Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.
Стюарт Ричи. Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке. М.: Corpus, 2023. Перевод с английского Алены Якименко. Содержание
В 1830–1840‑х годах Сэмюэль Мортон, знаменитый американский врач и ученый, опубликовал серию богато иллюстрированных книг, содержавших его измерения сотен человеческих черепов со всего мира. Его метод заключался в том, чтобы заполнить все пустоты черепа горчичными семенами (позднее — свинцовой дробью), а затем оценить, насколько крупным должен был быть мозг внутри черепа, по количеству семян или дробинок, которые удалось затолкать внутрь. По результатам измерений своей коллекции он заключил, что черепа европейцев вместительнее, чем черепа азиатов, индейцев и африканцев, и предположил, что эти различия демонстрируют отличные для разных групп «умственные и нравственные способности». Книги Мортона, в которых он также обсуждал свои надуманные теории о совершенно различном происхождении разных человеческих рас, стали международной сенсацией и сыграли ключевую роль в укреплении позиций расовой теории, пытавшейся разделить людей на иерархию высших и низших групп и способствовавшей разжиганию некоторых из наижутчайших кошмаров XIX и XX столетий.
Наряду с различиями средних значений по группам Мортон предоставил изобильные данные по своим измерениям большинства черепов. Подобная степень прозрачности для того времени была нетипична и позволила будущим исследователям перепроверить его данные. В 1978 году, когда Мортона и его теории уже почти полностью позабыли, палеонтолог Стивен Джей Гулд именно это и сделал.
Мортоновский анализ черепов, писал Гулд, страдал от целого ряда неувязок. Мортон делил группы произвольно: например, сообщал результаты для некоторых подгрупп черепов белых, где каждая характеризовалась высокими средними, но не делал того же для некоторых подгрупп индейцев, тоже обладавших крупными черепами. В некоторые группы он несправедливо включал больше мужчин — а ведь у них, как мы знаем, головы больше, поскольку и тела вообще крупнее, — тем самым неправомерно увеличивая среднее. Вычисления для каких‑то групп он перепроверил на предмет ошибок, а для других — нет. Еще между измерениями с помощью семян и измерениями с помощью более надежных свинцовых дробинок было расхождение — и для черепов черных и индейцев оно было больше, чем для белых, а значит, ошибки в измерениях с помощью семян происходили избирательно. Позднее Гулд предложил «вероятный сценарий» того, как это могло происходить:
«Мортон, проводя измерения с помощью семян, берет угрожающе большой череп черного, небрежно его заполняет и несколько раз легонько встряхивает. Затем берет удручающе мелкий череп кавказца, усердно его трясет и сильно нажимает большим пальцем в районе большого затылочного отверстия [находится в основании черепа, через это отверстие входит позвоночник]. Это происходит легко, без сознательных побуждений; ожидания — мощное руководство к действию».
Таким образом у Мортона получалось бы, что черепа популяций белых крупнее, чем небелых. И действительно, все его огрехи смещали результаты в том же направлении. Ошибки, как выразился Гулд, отражали «тиранию априорного предпочтения», то есть убеждение Мортона в превосходстве белых. Если анализировать данные должным образом, то различия между черепами разных этнических групп оказывались бы совсем незначительными — уж точно не на чем было бы выстраивать расовую иерархию. И это не единичная история. Те же уроки о влиянии предвзятости, говорил Гулд, вероятно, применимы ко всей науке: «Подозреваю, что неосознаваемые или слабо ощущаемые жульничество, искажение и манипулирование данными широко распространены, повальны и неотвратимы в профессии, присваивающей статус и авторитет за аккуратные и недвусмысленные открытия».
Гулд был абсолютно прав. Написал он эти слова в 1970‑х, и с тех пор стало еще очевиднее: ученые регулярно проводят свои исследования таким образом, что до сознательного мошенничества не доходят, однако же сильно сдвигают шансы в свою пользу. И хотя далее мы вернемся к идеологическим предубеждениям ученых, политические взгляды, включая те, что подобны расовым предрассудкам, приписанным Гулдом Мортону, не являются главной темой этой главы. Прежде всего нас будут интересовать предубеждения, связанные с самим научным процессом: пристрастие к получению наглядных либо ярких результатов, подтверждение излюбленной теории или опровержение аргумента, выдвигаемого конкурентом. Любого из них может быть достаточно, чтобы спровоцировать неосознаваемое манипулирование данными, а в некоторых случаях — полное исчезновение неудовлетворительных результатов.
Ирония налицо. Как мы обсуждали, наука олицетворяет наше максимальное приближение к объективности: это процесс, способный преодолеть индивидуальные предубеждения благодаря тому, что чья угодно работа подвергается рецензированию и тщательной проверке. Однако, слишком сосредотачиваясь на этом идеальном представлении о науке как о непогрешимом, беспристрастном методе, мы забываем, что на практике предубеждения преследуют нас на каждом этапе процесса: при чтении предыдущих трудов, продумывании исследования, получении данных, анализировании результатов и принятии решения, публиковать ли их. Тенденция не замечать эти предубеждения превращает научную литературу, которая должна представлять собой точное изложение всего добытого человечеством знания, в крайне субъективный сплав правды и самообмана.
Мы начнем эту главу с обсуждения такого предубеждения, которое затрагивает всю научную литературу в целом. Затем присмотримся к тому, как предубеждения влияют на результаты индивидуальных исследований. Для этого нам потребуется совершить небольшой экскурс в статистические методы, чтобы увидеть, как они используются, неверно применяются и неправильно понимаются учеными, анализирующими свои данные. И наконец, мы рассмотрим множество сил, как внутренних, так и внешних, отталкивающих ученых от истины.
*
Есть такой старый как мир философский вопрос: «Почему существует нечто, а не ничто?» Мы вправе сформулировать похожий вопрос о научном процессе: почему в исследованиях всегда находят что‑то, а не ничего? Когда читаешь в газете научный раздел, простительно подумать, что прогнозы ученых постоянно оправдываются, а гипотезы вечно подтверждаются, тогда как исследований, в которых ничего интересного не находят, кот наплакал. Оно и понятно: в газетах ведь должны преподноситься «новости», а не «летопись абсолютно обо всем, что произошло». А вот научная литература должна быть летописью абсолютно всего, что в науке произошло, — однако демонстрирует то же пристрастие к новым и захватывающим историям. Если просмотреть научные журналы, то обнаружатся бессчетные положительные результаты (когда предсказания ученых оправдываются или обнаруживается что‑то новое), но крайне мало результатов отрицательных (когда исследователи остаются с пустыми руками). Буквально через секунду мы вплотную займемся техническим, статистическим определением «положительных» результатов в противоположность «отрицательным». А пока нам достаточно знать, что ученые обычно стремятся к первым и оказываются разочарованы, если получают вторые.
Специалист по метанауке Дэниел Фанелли в исследовании 2010 года определил, насколько же научная литература позитивна: он перебрал почти две с половиной тысячи статей по всем научным дисциплинам и подсчитал, в скольких из них сообщалось о положительных результатах проверки первой предложенной гипотезы. В различных областях науки уровень позитивности оказался разным. Самым низким (но при этом все равно высоким) — 70,2% — характеризовались космические исследования, а самым высоким — и вряд ли вас это удивит — психология/психиатрия, где положительные результаты содержались в 91,5% публикаций. Увязать столь поразительную успешность с уровнем воспроизводимости в психологии, мягко говоря, довольно сложно.
Возможно, вас удивляет, почему это нам не следует ожидать высокого уровня успеха в научных исследованиях. В конце концов, ученые обладают фундаментальными знаниями в своей области, и гипотезы обычно являются обоснованными предположениями, а не случайными тычками пальцем в небо. Но, если только ученые не настоящие провидцы, трудно ожидать столь высокого уровня позитивности, какой получился у Фанелли. Где же все тупики, те великие идеи, что не выдержали испытания? Где все пробы и ошибки? Где, если уж на то пошло, все ложноотрицательные результаты, когда в ходе исследования не удается получить ожидаемый результат просто по невезению, несмотря на то что гипотеза верна? Иными словами, доля положительных результатов в научной литературе не просто высока, а нереалистично высока.
Есть очевидная, но огорчительная причина такой неуемной позитивности: ученые решают, публиковать ли исследование, на основании его результатов. В идеальном мире значение имела бы лишь методология исследования: если все согласны в том, что это хорошая проверка сформулированной гипотезы и работа хорошо продуманная, оно публикуется. Это было бы истинным воплощением мертоновской нормы бескорыстности, когда ученым полагается заботиться не о конкретных результатах (сама идея, что у ученых есть свои «излюбленные теории», — посягательство на эту норму), а только лишь о строгости, с коей проводится изучение.
От реальности это, однако, далеко. Результаты, подтверждающие теорию, оформляются и с помпой подаются в журналы, тогда как разочаровывающие «провалы» (как часто воспринимаются отрицательные результаты) ученые без лишнего шума бросают и переходят к следующему проекту. И это касается не только самих исследователей: редакторы журналов и рецензенты тоже решают, принимать ли статьи к публикации, на основании того, насколько интересно выглядят открытия, и не обязательно обращают внимание на то, сколь дотошны были исследователи в своей работе. И круг замыкается: зачем исследователям утруждать себя подачей в журнал статьи с отрицательными результатами, если ее шансы быть принятой к публикации ничтожны?
Это называют публикационным смещением. Оно также известно под старым названием «проблема картотечного ящика»: поскольку в таком ящике ученым предписывалось хранить все свои отрицательные результаты — скрытыми от лишних глаз. Подумайте об этом в контексте фразы «История пишется победителями», только применительно к научным результатам, либо же так: «Если у вас нет для публикации никаких положительных результатов, не публикуйте ничего вообще».
Чтобы понять, чем публикационное смещение оборачивается на практике, нам нужно подробнее обсудить, как ученые решают, что есть результаты «положительные», а что «отрицательные». А значит, как данные анализируются и интерпретируются. Мы возвращаемся к идее из предыдущей главы, когда мы говорили о сфабрикованных результатах: в числовых данных всегда есть шум. Всякому измерению и всякой выборке сопутствует некоторая случайная статистическая флуктуация — ошибка измерения и ошибка выборки. Ее не только трудно подделать человеку — ее еще и непросто отделить от сигнала, который ищут ученые. Зашумленность чисел то и дело подкидывает случайные выбросы и исключения, образуя распределения, которые могут на самом деле быть бессмысленными и обманчивыми. Скажем, когда вы видите очевидное различие по жалобам на боли между группой, принимающей ваше новое лекарство, и контрольной группой, принимающей плацебо, хотя объясняется оно чистой случайностью. Или, казалось бы, вы видите корреляцию между двумя измерениями, которая возникла абсолютно случайно и не появится снова, если исследование повторить. Или вы думаете, что обнаружили энергетический сигнал в ускорителе частиц, а это все случайные флуктуации. Как распознать, где интересующий вас эффект, а где — прихоти случая и ошибок? Для подавляющего большинства ученых ответ кроется в вычислении p-значения.