Ученые придумали, как проверить, понимает ли ИИ смысл ответов людей
Новый метод особенно важен при обработке интервью, опросов и обсуждений в фокус-группах, где за одинаковыми словами могут скрываться совершенно разные мысли и переживания.
Вместе специалисты по журналистике, анализу данных и сестринскому делу разработали методику AURA (Alignment and Usefulness Rating Audit). Она позволяет оценивать результаты тематического анализа, выполненного ИИ, по двум критериям. Первый — насколько выявленные алгоритмом темы совпадают с темами, которые определили специалисты. Второй — насколько полезны полученные результаты для понимания изучаемой проблемы.
Методику проверили на 32 интервью с преподавателями, практикующими специалистами и студентами сестринского дела. Участники рассказывали о своем опыте использования генеративного искусственного интеллекта.
Сначала исследователи самостоятельно выделили основные темы бесед, а затем сравнили их с результатами компьютерной модели. Выяснилось, что алгоритм обнаружил многие из тех же общих тем, что и люди. Из 12 тем, выделенных специалистами, 11 имели близкое соответствие хотя бы одной категории, предложенной ИИ.
Однако совпадение еще не означало, что модель правильно передала смысл высказываний. Иногда она объединяла несколько самостоятельных тем в одну широкую категорию, а иногда, наоборот, разделяла единую тему на несколько мелких.
Почему без человека пока не обойтись«Во время интервью люди обычно не говорят об одной теме от начала до конца. ИИ может помочь организовать такие беседы, чтобы исследователям было проще увидеть, о чем говорят участники», — пояснил Джон Роберт Баутиста, доцент Школы сестринского дела Миссури.
Исследование показало, что искусственный интеллект полезен для обработки больших массивов интервью и поиска повторяющихся закономерностей. Однако ученые не нашли убедительных доказательств того, что алгоритм способен стабильно выявлять новые содержательные выводы, которые ускользнули от внимания специалистов.
«Наши результаты показывают, что технология может помочь исследователям работать с большими массивами интервью, материалами фокус-групп и ответами на опросы. Но опыт и знания человека по-прежнему играют центральную роль при интерпретации результатов», — отметила Темитопе Эйинла, аспирантка Института науки о данных и информатики.
Разработку можно применять при изучении опыта пациентов, проблем в образовании и отношений на рабочем месте. Во всех этих областях важно не просто распределить ответы по категориям, а понять, что именно имели в виду люди.
В эксперименте «коварный» ИИ склонил людей к выполнению плохого совета
Anthropic научила ИИ «видеть сны» и исправлять ошибки в собственной памяти
Подписывайтесь и читайте «Науку» в MAX













