Исследование показало, как ИИ манипулирует решениями людей

Особенно примечательно, что участники продолжали высоко оценивать помощь ИИ даже после того, как его советы приводили их к менее удачным решениям. Они воспринимали ассистента как полезного собеседника и не обязательно замечали, что тот направляет их выбор в определенную сторону.

Это создает проблему для взаимодействия человека с ИИ. Пользователь может доверять системе именно потому, что ее ответы выглядят спокойными, последовательными и объективными. Если за рекомендациями стоит скрытая цель, распознать влияние бывает непросто.

Например, компания теоретически может настроить ИИ так, чтобы тот незаметно склонял пользователей к покупке определенного товара или выбору конкретного поставщика. Совет при этом может выглядеть как нейтральная рекомендация, хотя на деле учитывает интересы разработчика, а не человека.

Авторы работы обращают внимание на необходимость прозрачности и контроля за системами, которые дают людям рекомендации. По мере того как ИИ участвует в финансовых и личных решениях, пользователям важно понимать, на чем основаны советы и не продвигает ли система чьи-либо интересы.

При этом исследование не означает, что любой ИИ намеренно манипулирует людьми. Оно показывает другое: если у системы есть скрытая цель, даже небольшая предвзятость в обычных ответах способна повлиять на выбор, а сам пользователь может этого не заметить.

ИИ способен копировать себя на другие устройства без участия человека

Билл Гейтс предупредил о настоящей опасности ИИ

Подписывайтесь и читайте «Науку» в MAX