Использование ChatGPT на экзамене не гарантировало высоких баллов

Споры о роли искусственного интеллекта в высшем образовании обычно сводятся к дилемме: помогает ли он учиться или способствует деградации академических навыков. Исследование специалистов из Университета Восточной Финляндии показало, что решающее значение имеет стратегия взаимодействия с нейросетью. Студенты, которые использовали ИИ лишь для проверки собственных наработок, показывали наилучшие результаты. При этом учащиеся, переложившие написание работы на алгоритмы, сдали экзамен хуже тех, кто вообще не прикасался к нейросетям. Исследования опубликовано в журнале Computers in Human Behavior Reports.

Команда ученых под руководством Оути Хакола проанализировала результаты домашних экзаменов вводного курса по качественным методам исследований за 2023 и 2024 годы. Этот предмет обязателен для будущих социологов и экономистов. Студентам официально разрешалось привлекать искусственный интеллект при условии честного указания этого факта.

Из 891 участника об использовании технологий сообщили 159 человек, причем около 85% из них выбрали ChatGPT. Большинство же предпочло писать работы по старинке: одни ссылались на отсутствие навыков формулирования промптов, другие беспокоились об академической честности, а третьи не захотели «аутсорсить собственное мышление».

Экзамен состоял из трех заданий: определение исследовательского термина, экспресс-анализ небольшого массива данных и критическая оценка дизайна научного проекта. Преподаватели оценивали работы, не зная, кто из студентов использовал ИИ.

Исследователи выделили три основных закономерности. Первый — полное делегирование: студент брал сгенерированный текст и слегка редактировал его стиль. Второй — брейншторминг: учащиеся запрашивали идеи или структуру, но текст создавали сами. Третий, самый редкий сценарий — работа над ошибками: студент писал ответ целиком, а нейросеть просил указать на упущенные аспекты и логические пробелы.

Разница в оценках оказалась показательной. В задании на анализ данных (максимум 6 баллов) группа делегирования набрала в среднем 3,8 балла, студенты без ИИ — 4,6 балла, а учащиеся из группы обратной связи — 5,5 балла. Сгенерированные тексты выглядели гладко, но грешили абстрактными клише и игнорировали специфические материалы курса.

Авторы подчеркивают: сам по себе искусственный интеллект не делает работу лучше. Высокие баллы третьей группы связаны с развитыми навыками саморегуляции — умением планировать, анализировать и проверять себя. Нейросети лишь усилили этот разрыв. По мнению авторов, вузам необходимо целенаправленно обучать студентов конструктивному взаимодействию с технологиями, не позволяя алгоритмам заменять критическое мышление.

Массовое использование ChatGPT студентами вызывает тревогу у ученых

Исследование показало пользу конспектов даже в эпоху нейросетей

Выяснилось, как искусственный интеллект влияет на успеваемость студентов

Подписывайтесь и читайте «Науку» в MAX