Оценено, как пометка «создано ИИ» влияет на доверие к научным текстам

Психологи из МФТИ и РОСБИОТЕХ решили проверить, какой научный текст вызовет больше доверия — сгенерированный ИИ или написанный специалистом. Оказалось, что созданные искусственным интеллектом статьи не вызывают у читателей большого доверия, даже несмотря на ясность и достоверность. Впрочем, есть простой способ вернуть тексту репутацию — сообщить, что его проверил и отредактировал человек.К такому выводу пришли Михаил Матвеев и Елена Матвеева, опубликовавшие исследование в издании Психология. Журнал Высшей школы экономики.

Ученые провели эксперимент с участием 183 взрослых русскоязычных студентов. Средний возраст участников составил около 22 лет. Все они читали один и тот же научно-популярный текст о сверхпроводимости объемом около 280 слов. Отличалась только информация об его авторстве.

Участников разделили на три группы. Первой ничего не сообщили о происхождении текста. Второй сказали, что его создал искусственный интеллект. Третьей — что текст создан ИИ, но затем отредактирован человеком. После чтения добровольцы отвечали на вопросы по содержанию и оценивали, насколько доверяют полученной информации и готовы ее использовать или распространять.

С пониманием текста никаких проблем не возникло. Когда испытуемых спросили о свойствах сверхпроводимости, участники из всех трех групп дали верные ответы практически на все вопросы. Таким образом знание о том, что текст написал ИИ, не мешало разобраться в научном материале.

Зато доверие к сгенерированному тексту было низким. Участники, которым сообщили, что авторство материала принадлежит машине, оценили текст в среднем на 4,1 балла из 7. В группе, где об авторстве ничего не говорили, средняя оценка составила 5,6 балла. В этих группах люди также были в целом менее склонны использовать или распространять текст.

Самое интересное наблюдение связано с третьей группой. Когда участникам сообщили, что текст создал ИИ, но затем его отредактировал человек, доверие к материалу поднялось до 5,4 балла. Этот показатель приближается к значению первой группы, которая ничего не знала об авторстве текста.

Авторы исследования предполагают, что отметка «создано ИИ» сама по себе вызывает ожидание фактических ошибок в тексте. Упоминание редактора придает материалу убедительность, давая понять, что нейросеть прошла дополнительный контроль.

Психологи считают, что их выводы могут иметь широкое применение в образовании и научной коммуникации. Они рекомендуют университетам и издателям проверять созданные машиной материалы и специально указывать, что они прошли редактуру. Только такой подход, по мнению авторов, поможет сохранить доверие аудитории в эпоху генеративного ИИ.

От контента низкого качества деградируют даже LLM, показал эксперимент

Психологи узнали, как язык общения влияет на «характер» чат-бота ИИ

На Кантонской выставке показали 235 тысяч продуктов с искусственным интеллектом

Подписывайтесь и читайте «Науку» в MAX