Рецензии ИИ на научные статьи получили более высокие оценки, чем отзывы экспертов

Исследователи из Гарвардского университета Гэри Кинг и Стивен Уортингтон сравнили рецензии на научные рукописи, подготовленные искусственным интеллектом и оплачиваемыми экспертами. В слепом сравнении бывшие редакторы журналов чаще предпочитали отзывы ИИ. Работа опубликована как препринт и пока не прошла независимое рецензирование.

Эксперимент оценивал полезность замечаний для доработки статей перед отправкой в журнал. Способность ИИ принимать решения о публикации или распознавать научные прорывы авторы не проверяли.

В выборку вошли 124 рукописи и 134 экспертных отзыва, собранных в 2019–2026 годах сервисом rapidPeer. Специалисты получали оплату за подробный разбор обезличенных работ. Качество этих рецензий высоко оценивали и авторы: 88% из 74 опрошенных назвали его высоким или очень высоким.

Для тех же рукописей создали отзывы с помощью Claude Opus 4.8. В одном варианте модель получала инструкции сервиса без внешних инструментов, в другом — специальный запрос и доступ к интернет-поиску. Рецензии сравнивала модель другой компании — GPT-5.5. Дополнительно три бывших редактора ведущих журналов независимо оценили десять случайно выбранных пар, не зная авторства отзывов.

Редакторы предпочли рецензии ИИ в 26 из 30 случаев — примерно в 87%. Модель-судья выбрала их во всех сравнениях. Преимущество сохранялось при сопоставлении отзывов близкой длины: результат нельзя было объяснить только объёмом или стилем текста.

По проверке, также проведенной ИИ, доля ошибочных утверждений о рукописях составила 5,5% в отзывах модели против 15,9% у людей. В рецензиях с доступом к поиску не обнаружили вымышленных источников. Интернет особенно помог при оценке литературы: без него преимущество модели в этой категории было заметно скромнее.

Авторы исследования считают, что ИИ может ускорить подготовку замечаний, сохранив окончательные решения за редакторами. Однако массовое использование похожих моделей способно подталкивать ученых к общепринятым подходам и снижать разнообразие идей.

Физики подтвердили верность написанного ИИ доказательства квантовой теории Янга–Миллса

Ученые придумали болезнь, а ИИ начал лечить людей от нее: эксперимент

В научных статьях обнаружены тысячи поддельных ссылок от ИИ

ИИ-ученый совершил семь научных открытий

Подписывайтесь и читайте «Науку» в MAX