1. Ошибка репликации
2. Смещение публикации

Команда Брайана Носека решила повторить множество исследований.

Не верь всему, что читаешь в литературе по психологии. На самом деле, две трети этого, вероятно, следует доверять.

В самом большом проекте такого рода Брайан Носек, социальный психолог и глава Центра открытой науки в Шарлоттсвилле, штат Вирджиния, и 269 соавторов повторили работу, изложенную в 98 оригинальных статьях из трех психологических журналов, чтобы выяснить, пришли ли они независимо друг от друга. с такими же результатами.

Исследования, которые они предприняли, варьировались от увековечивания выражения неуверенности до различий в том, как дети и взрослые реагируют на стимулы страха, до эффективных способов обучения арифметике.

Согласно качественным оценкам репликаторов, как ранее сообщалось Nature , только 39 из 100 попыток репликации были успешными. (На 98 работах было выполнено 100 попыток репликации, так как в двух случаях попытки репликации были дублированы отдельными командами.) Но считается ли попытка репликации успешной, непросто. Сегодня в Science команда сообщает о множестве различных мер, которые они использовали, чтобы ответить на этот вопрос 1 ,

Показатель в 39% получен из субъективных оценок успеха или неудачи команды (см. График «Проверка надежности»). Другой метод оценивал, может ли быть обнаружен статистически значимый эффект, и давал еще более мрачный результат. В то время как 97% оригинальных исследований обнаружили значительный эффект, только 36% исследований репликации обнаружили значительные результаты. Команда также обнаружила, что средний размер эффектов, обнаруженных в реплицированных исследованиях, составлял лишь половину того, что сообщалось в оригинальных исследованиях.

«Нет никакого способа узнать, является ли какой-либо отдельный документ истинным или ложным из этой работы», - говорит Носек. Либо оригинал или работа по репликации могут быть ошибочными, либо принципиальные различия между ними могут быть недооценены. В целом, однако, проект указывает на широкую публикацию работ, которая не выдерживает проверки.

Хотя Носек быстро говорит, что большинство ресурсов должно быть направлено на новые исследования, он предлагает, чтобы всего 3% научного финансирования, посвященного тиражированию, могло иметь большое значение. Текущая сумма, по его словам, близка к нулю.

Ошибка репликации

Работа является частью Проекта воспроизводимости, запущенного в 2011 году на фоне громкие сообщения о мошенничестве и ошибочный статистический анализ это привело к кризису идентичности в психологии.

Джон Иоаннидис, эпидемиолог из Стэнфордского университета в Калифорнии, говорит, что истинная частота сбоев репликации может превышать 80%, даже выше, чем предполагает исследование Носека. Это связано с тем, что проект «Воспроизводимость» был нацелен на работу в уважаемых журналах, ученые-первопроходцы тесно сотрудничали с репликаторами, а группы по тиражированию обычно выбирали документы, использующие относительно простые методы - все, что должно было облегчить репликацию.

Но он добавляет: «Мы действительно можем использовать это, чтобы улучшить ситуацию, а не просто оплакивать ситуацию. Сам факт того, что это сотрудничество произошло в таких масштабных масштабах, говорит о том, что ученые готовы двигаться в направлении улучшения ».

Работа, опубликованная в журнале Science , отличается от предыдущих работ по репликации, потому что команда на самом деле воспроизвела такой большой объем экспериментов, говорит Эндрю Гельман, статистик из Колумбийского университета в Нью-Йорке. В прошлом некоторые исследователи отклоняли признаки широко распространенных проблем, потому что они включали небольшие усилия по репликации или были основаны на статистическом моделировании.

Но им будет сложнее отмахнуться от последнего исследования, говорит Гельман. «Это эмпирическое доказательство, а не теоретический аргумент. Ценность этого проекта в том, что, надеюсь, люди будут менее уверены в своих требованиях ».

Смещение публикации

Дело в том, говорит Носек, не в том, чтобы критиковать отдельные статьи, а в том, чтобы оценить, насколько предвзятость приводит к публикации в психологии. Например, скучные, но точные исследования могут никогда не быть опубликованы, или исследователи могут добиться интригующих результатов меньше, документируя истинные результаты, чем ударить статистический джекпот ; найти значительный результат просто благодаря удаче или пробуя различные аналитические методы, пока что-то не получится.

Носек считает, что другие научные области, вероятно, имеют много общего с психологией. Один анализ показал, что только 6 из 53 известных публикаций в области биологии рака могут быть воспроизведены 2 и связанный Проект воспроизводимости в биологии рака в настоящее время идет полным ходом. Стимулы для поиска результатов, достойных громких публикаций, очень сильны во всех областях и могут подтолкнуть людей к потере объективности. «Если это происходит в широком масштабе, то опубликованная литература может быть прекраснее реальности», - говорит Носек.

Опубликованные сегодня результаты должны спровоцировать более широкие дебаты об оптимальной научной практике и публикации, говорит Бетси Леви Палак, социальный психолог из Принстонского университета в Нью-Джерси. «Это говорит о том, что мы не знаем баланса между инновациями и репликацией».

По ее словам, тот факт, что исследование было опубликовано в престижном журнале, будет стимулировать дальнейшую стипендию и показывает, что теперь «тиражирование продвигается как ответственная и интересная линия исследования».

Похожие

Комментарии