Более половины психологических исследований не проходят тест на воспроизводимость

  1. Ошибка репликации
  2. Смещение публикации

Команда Брайана Носека решила повторить множество исследований.

Не верь всему, что читаешь в литературе по психологии. На самом деле, две трети этого, вероятно, следует доверять.

В самом большом проекте такого рода Брайан Носек, социальный психолог и глава Центра открытой науки в Шарлоттсвилле, штат Вирджиния, и 269 соавторов повторили работу, изложенную в 98 оригинальных статьях из трех психологических журналов, чтобы выяснить, пришли ли они независимо друг от друга. с такими же результатами.

Исследования, которые они предприняли, варьировались от увековечивания выражения неуверенности до различий в том, как дети и взрослые реагируют на стимулы страха, до эффективных способов обучения арифметике.

Согласно качественным оценкам репликаторов, как ранее сообщалось Nature , только 39 из 100 попыток репликации были успешными. (На 98 работах было выполнено 100 попыток репликации, так как в двух случаях попытки репликации были дублированы отдельными командами.) Но считается ли попытка репликации успешной, непросто. Сегодня в Science команда сообщает о множестве различных мер, которые они использовали, чтобы ответить на этот вопрос 1 ,

Показатель в 39% получен из субъективных оценок успеха или неудачи команды (см. График «Проверка надежности»). Другой метод оценивал, может ли быть обнаружен статистически значимый эффект, и давал еще более мрачный результат. В то время как 97% оригинальных исследований обнаружили значительный эффект, только 36% исследований репликации обнаружили значительные результаты. Команда также обнаружила, что средний размер эффектов, обнаруженных в реплицированных исследованиях, составлял лишь половину того, что сообщалось в оригинальных исследованиях.

«Нет никакого способа узнать, является ли какой-либо отдельный документ истинным или ложным из этой работы», - говорит Носек. Либо оригинал или работа по репликации могут быть ошибочными, либо принципиальные различия между ними могут быть недооценены. В целом, однако, проект указывает на широкую публикацию работ, которая не выдерживает проверки.

Хотя Носек быстро говорит, что большинство ресурсов должно быть направлено на новые исследования, он предлагает, чтобы всего 3% научного финансирования, посвященного тиражированию, могло иметь большое значение. Текущая сумма, по его словам, близка к нулю.

Ошибка репликации

Работа является частью Проекта воспроизводимости, запущенного в 2011 году на фоне громкие сообщения о мошенничестве и ошибочный статистический анализ это привело к кризису идентичности в психологии.

Джон Иоаннидис, эпидемиолог из Стэнфордского университета в Калифорнии, говорит, что истинная частота сбоев репликации может превышать 80%, даже выше, чем предполагает исследование Носека. Это связано с тем, что проект «Воспроизводимость» был нацелен на работу в уважаемых журналах, ученые-первопроходцы тесно сотрудничали с репликаторами, а группы по тиражированию обычно выбирали документы, использующие относительно простые методы - все, что должно было облегчить репликацию.

Но он добавляет: «Мы действительно можем использовать это, чтобы улучшить ситуацию, а не просто оплакивать ситуацию. Сам факт того, что это сотрудничество произошло в таких масштабных масштабах, говорит о том, что ученые готовы двигаться в направлении улучшения ».

Работа, опубликованная в журнале Science , отличается от предыдущих работ по репликации, потому что команда на самом деле воспроизвела такой большой объем экспериментов, говорит Эндрю Гельман, статистик из Колумбийского университета в Нью-Йорке. В прошлом некоторые исследователи отклоняли признаки широко распространенных проблем, потому что они включали небольшие усилия по репликации или были основаны на статистическом моделировании.

Но им будет сложнее отмахнуться от последнего исследования, говорит Гельман. «Это эмпирическое доказательство, а не теоретический аргумент. Ценность этого проекта в том, что, надеюсь, люди будут менее уверены в своих требованиях ».

Смещение публикации

Дело в том, говорит Носек, не в том, чтобы критиковать отдельные статьи, а в том, чтобы оценить, насколько предвзятость приводит к публикации в психологии. Например, скучные, но точные исследования могут никогда не быть опубликованы, или исследователи могут добиться интригующих результатов меньше, документируя истинные результаты, чем ударить статистический джекпот ; найти значительный результат просто благодаря удаче или пробуя различные аналитические методы, пока что-то не получится.

Носек считает, что другие научные области, вероятно, имеют много общего с психологией. Один анализ показал, что только 6 из 53 известных публикаций в области биологии рака могут быть воспроизведены 2 и связанный Проект воспроизводимости в биологии рака в настоящее время идет полным ходом. Стимулы для поиска результатов, достойных громких публикаций, очень сильны во всех областях и могут подтолкнуть людей к потере объективности. «Если это происходит в широком масштабе, то опубликованная литература может быть прекраснее реальности», - говорит Носек.

Опубликованные сегодня результаты должны спровоцировать более широкие дебаты об оптимальной научной практике и публикации, говорит Бетси Леви Палак, социальный психолог из Принстонского университета в Нью-Джерси. «Это говорит о том, что мы не знаем баланса между инновациями и репликацией».

По ее словам, тот факт, что исследование было опубликовано в престижном журнале, будет стимулировать дальнейшую стипендию и показывает, что теперь «тиражирование продвигается как ответственная и интересная линия исследования».

Похожие

Тест Huawei P9 Plus - Введение - Тест камеры - Optyczne.pl
Увеличение возможностей камер, используемых в смартфонах, и все более высокое качество изображений, которые они генерируют, является причиной того, что интерес к простым компактным камерам в последние годы постепенно снижается. Такая ситуация тем более удивительна, если принять во внимание среднего пользователя, для которого камера является инструментом, в основном используемым для записи различных событий из их жизни, семьи, друзей и знакомых. Если камеры на вашем смартфоне достаточно для такого
Sony A7 III - тест камеры
Хотя многие элементы взяты из флагманской модели, A7 III стоит более чем вдвое дешевле. Это самый универсальный полный кадр на рынке? Третье поколение полнокадровых беззеркальных камер определенно отличается от предшественника. Во многом он похож на флагман и на 10000 дороже. Модель PLN Sony A9 с которой он разделяет большую часть спецификации, включая, прежде всего, отличную систему автофокуса.
Почему некоторые из ваших продуктов не продаются в Интернете?
Вы управляете интернет-магазином и, анализируя свое предложение, обнаруживаете пресловутую проблему с продажей только определенных товаров.
Тест - широкоугольный объектив AUKEY "рыбий глаз" и макро - wurzlwerk.de
Как спортсмен с легкими фотографическими амбициями (например, чтобы еще лучше сиять в Страве), у вас часто возникает проблема, заключающаяся в том, что вы не всегда можете нести оборудование, необходимое для хорошего объекта. Особенно при беге и гонках, но также и во всех других видах спорта, оптимизированных по весу, часто (если вообще) телефон с его стандартным объективом. Помогает создавать потому, что сменные линзы, благодаря которым увлеченные линзы смартфона можно чем-то модернизировать.
Lit Motors двухколесный не может упасть
Основатель калифорнийской Lit Motors Дэнни Ким - энтузиаст мотоциклов. Конечно, в оживленном городском потоке. Вы можете пройти через все пробки, и парковка редко является проблемой. Но вы не остаетесь сухим и не стоите сами по себе. Конечно, не первый, кто хочет совместить преимущества автомобиля и мотоцикла. Так что-то с закрытым телом, которое не падает. Гироскоп как решение Существуют успешные решения с трициклами узкой колеи для того,
Alcatel Onetouch POP 3 (5.0): полный тест
Alcatel Onetouch POP 3 (5.0): обещание Alcatel Onetouch предлагает первый приз с акцентом на дизайн и мощность. Технические характеристики, которые остаются очень скромными, но основная цель которых - разрешить наиболее распространенное использование.
Ирландские покупатели Marks & Spencer готовы заплатить на 39% больше, чем их британские коллег...
Ирландские покупатели Marks & Spencer готовы заплатить на 39% больше, чем их британские коллеги за свои индейки, мясные пироги и мелочи в это Рождество, поскольку британский ритейлер применяет изрядную надбавку к ценам своего праздничного ассортимента продуктов питания в Ирландия , 75-страничный каталог новогодних продуктов компании показывает, что покупатели в 17 торговых точках республики получают более высокие цены в большинстве основных
ТЕСТ: Western Digital My Cloud EX2
С момента нашего последнего тестирования небольшого NAS прошло несколько месяцев, и тогда это была самая доступная модель Synology. DiskStation DS214se кто должен попробовать Но Synology, конечно, не одинок в предложении вариантов в бюджетном классе - Western Digital также будет участвовать в веселье. Western Digital - или просто WD - вероятно, больше всего известен ножом с Seagate за то, что он является крупнейшим
ТЕСТ: Sony Cyber-shot HX90V
Маленькая камера Sony сочетает в себе мощный зум с четкими изображениями и отличную цену. Sony специализируется на создании небольших, вкусных и функциональных продуктов. На этот раз им удалось прижать 30-кратный зум, поворотный экран и выдвижной OLED-видоискатель к самой маленькой камере с увеличенным зумом, которую мы видели за долгое время. Он также имеет GPS-регистрацию изображений, так что они могут быть отсортированы по местоположению, а не только по датам. Как и другие участники
Тест CHUWI Hi10 pro. Недорогой планшет с двумя ОС (Windows 10 и Remix)
Производительность (Windows) Прежде чем обсуждать производительность, небольшое замечание: в зависимости от того, в каком магазине вы покупаете планшет, иногда при первом запуске окон вы можете увидеть китайские «кусты» - это нормально, не о чем беспокоиться. Выберите английский, а затем установите польский в настройках Windows. Давайте посмотрим на компоненты. Планшет оснащен 4-ядерным процессором Intel Atom x5-Z8300, 4 ГБ оперативной памяти и встроенной графической
Starcraft & Broodwar Кооперативный мод кампании
Обзор всего, что мы сделали для мода, перечисляя ключевые функции, которые сделали совместный опыт приятным. кооперативный динамический Увеличение сложности Полностью написанный сценарий Диалог AI Balancing Сценарии AI улучшены Общие юниты 50/50 для не базовых миссий Тщательно протестировано кооперативный Мы хотели, чтобы Starcraft сотрудничал с того момента, когда мы узнали,

Комментарии

Что еще более важно, что еще они будут лгать в будущем?
Что еще более важно, что еще они будут лгать в будущем? Почему мы используем тесты Это может быть лучше всего объяснено на примере. Скажем, вы пытаетесь выбрать между Google Pixel 2 и
Настоящее чудо дизайна, часы не так ли?
Настоящее чудо дизайна, часы не так ли? Цена: 20 евро на Gearbest , 5 место: клон Apple Watch Дешевая копия SmartWatch занимает пятое и последнее место. Это Ulefone UWatch, который очень напоминает Apple Watch. Не только дизайн, но и функции были скопированы с оригинала. Преимущество
Почему бы не помочь нашему потенциальному клиенту установить кондиционер самостоятельно, даже если он купил его у конкурентов?
Почему бы не помочь нашему потенциальному клиенту установить кондиционер самостоятельно, даже если он купил его у конкурентов? Может быть, потому что он посетил блог, он запомнит наш магазин и вернется к нему, когда устройство нуждается в обслуживании или замене? Используйте синергию инструментов онлайн-маркетинга Таким образом, мы создаем электронное изображение, которое напрямую влияет на посещение нашего сайта. Такой пользователь также
Я Серебряный Элитный Мастер и выиграл более 20 игр, Все еще нет повышения рейтинга?
Я Серебряный Элитный Мастер и выиграл более 20 игр, Все еще нет повышения рейтинга? Было много споров вокруг того, что известно как Эло Ада. Что такое Эло Ад? По сути, это идея, что вы можете застрять в более низком ранге (обычно в серебряном спектре) и вам действительно будет трудно подниматься, даже если ваш истинный навык намного лучше. Другими словами, вы можете застрять в серебре на очень долгое время, выигрывая и выигрывая в большинстве своих игр без повышения рейтинга.
Зак еще не имел хорошего мнения о Xperia, но изменилось ли это с новым флагманом японцев?
Зак еще не имел хорошего мнения о Xperia, но изменилось ли это с новым флагманом японцев? Пытки на Sony Xperia XZ Premium youtuber начались с теста на рисование экрана. Здесь никаких сюрпризов. Панель рисуется только в шестом классе по шкале Мооса, что является типичным результатом для смартфонов. Фронтальная камера также покрыта тем же Gorilla Glass 5 и не может быть поцарапана ножом. Задняя панель корпуса также была покрыта этим стеклом и не остерегалась в глазу камеры. Задняя
Какая из дам не чувствует себя лучше в сделанных на заказ созданиях?
Какая из дам не чувствует себя лучше в сделанных на заказ созданиях? То же самое относится и к моде на велосипеде. Доступные боксеры, предназначенные для байкеров, - это решение, которое значительно повышает комфорт езды на велосипеде. Полное отсутствие швов или размещение их в нейтральных местах гарантирует, что мы избежим раздражения или ссадин даже
Не можете позволить себе профессиональную фотографию или супермодели?
Не можете позволить себе профессиональную фотографию или супермодели? Купите доступную лицензию на стоковую фотографию. Есть миллионы высококачественных там. Более того, выбирайте оригинальные иллюстрации или графику, созданные дизайнером. Помните, что не всегда необходимо использовать изображения в ваших рекламных баннерах. Убийственная копия и приятная типографика могут создавать одинаково эффективные результаты. 13. Выберите подходящие цвета - Каждый
Ведь удовольствий много не бывает, верно?
Ведь удовольствий много не бывает, верно? И что самое крутое в этом: исследование анальных сфер касается обоих полов! Кишечная косметика, смазки, эротические массажные масла Kinky секс магазин Винки не только порнография и вибраторы для женщин стоит :) Добро пожаловать в наш отдел эротических косметики, которые являются прекрасным дополнением к любой кровати стычек.
Кто не хочет выглядеть так беззаботно?
Кто не хочет выглядеть так беззаботно? Галстук-бабочка Далее идет предварительно завязанный галстук-бабочка. Прикрепленный к регулируемому шейному ремню, он, как вы уже догадались, имеет предварительно завязанный лук. Этот стиль легко определить размер и его можно носить в считанные секунды. Недостатком предварительно завязанного галстука является то, что он может выглядеть жестким и почти слишком идеальным. Любой поклонник галстука-бабочки знает, что предварительно
И ничего не тереть?
И ничего не тереть? Тогда вы нашли хорошего партнера в криминале! 5. Вы чувствуете себя свободно в бикини для серфинга, как рыба в воде Из всей одежды для серфинга в теплой воде у бикини для серфинга меньше всего ткани. В результате вы очень близко к морю и чувствуете всю чудесную соль на своей коже. Каждая волна льстит вашему телу, солнце целует вашу кожу, и вы чувствуете себя как Ева в райском саду с морской розой! Почему вы хотите добровольно носить что-то
Не говоря уже о выборе духов в подарок, когда вы сомневаетесь, угадали предпочтения этого человека?
Не говоря уже о выборе духов в подарок, когда вы сомневаетесь, угадали предпочтения этого человека? Не волнуйтесь. Мы выбрали для вас самые популярные духи для женщин , С которыми вы никогда не прогадаете. Самые популярные духи для женщин Своеобразные, элегантные, страстные и одновременно нежные. Эти 10 самых продаваемых духов для женщин превратились в мировые бестселлеры, которые никогда не станут обыденностью.

Это самый универсальный полный кадр на рынке?
Почему некоторые из ваших продуктов не продаются в Интернете?
Что еще более важно, что еще они будут лгать в будущем?
Настоящее чудо дизайна, часы не так ли?
Почему бы не помочь нашему потенциальному клиенту установить кондиционер самостоятельно, даже если он купил его у конкурентов?
Может быть, потому что он посетил блог, он запомнит наш магазин и вернется к нему, когда устройство нуждается в обслуживании или замене?
Я Серебряный Элитный Мастер и выиграл более 20 игр, Все еще нет повышения рейтинга?
Что такое Эло Ад?
Зак еще не имел хорошего мнения о Xperia, но изменилось ли это с новым флагманом японцев?
Зак еще не имел хорошего мнения о Xperia, но изменилось ли это с новым флагманом японцев?
Новости
Слова жизни
Фотогалерея