Эксперимент: результаты только половины научных статей удается повторить

Международная группа исследователей подвела итог семилетнего проекта по оценке воспроизводимости результатов в социальных и поведенческих науках. Проверке подверглись 274 утверждения, представленных в 164 научных статьях, опубликованных в 54 рецензируемых журналах. Успешно повторить удалось лишь около половины исследований. Однако это не говорит о научной недобросовестности авторов проверенных работ. Результаты исследования представлены в журнале Nature.

Проект был реализован в рамках инициативы SCORE (Systematizing Confidence in Open Research and Evidence). Исследователи проверяли публикации за период с 2009 по 2018 год из нескольких смежных научных областей (экономика, государственное управление, криминология, маркетинг, финансы, менеджмент, политология, психология). Всего было охвачено 12 направлений. К анализу привлекли 865 ученых. Для перепроверки отобрали 274 количественные гипотезы из 164 статей.

Чтобы исключить случайные ошибки, мощность статистической выборки подняли почти до 100%. Иными словами, если первоначальный эффект был реален, повторный эксперимент почти гарантированно должен был его зафиксировать. Ученые строго следовали методикам, которые использовали авторы оригинальных статей. В итоге лишь 55% гипотез подтвердились. Однако если уравновесить вклад каждой исходной работы доля подтвержденных утверждений падает до 49,3%. При этом разные научные области показали схожую картину.

При этом сами эффекты, зафиксированные в исходных статьях, оказались значительно слабее. Если в первоисточниках медианное значение корреляции равнялось 0,25, то при повторном тестировании оно опустилось до 0,10 – менее половины. Это согласуется с результатами более ранних работ: в 2015 году удалось воспроизвести результаты 36 — 47% статей по психологии

Авторы отмечают, что невозможность воспроизвести результат не означает фальсификации. Ложные результаты неизбежны при множественных проверках, а небольшие выборки систематически завышают реальную силу связи причинных связей. Откровенное мошенничество в научных публикациях встречается намного реже. Основная причина низкой воспроизводимости результатов заключается в устоявшихся практике научных журналов, которые заинтересованы в «красивых» результатах.

Кризис репликации науки оказался серьезнее, чем считалось

Одна из главных теорий климатических аномалий не прошла проверку

Подписывайтесь и читайте «Науку» в MAX