OpenAI приостановила обучение моделей после ЧП со взломом правительственных сайтов

OpenAI приостановила обучение своих новейших моделей после очередной попытки агента искусственного интеллекта выйти из-под контроля. В блоге разработчики изложили подробности нового инцидента.

Ранее компания сообщила о проверке нескольких эксцессов, когда агенты действовали неожиданным образом при поиске данных на федеральных правительственных сайтах. В свою очередь занимающаяся оценкой ИИ Transluce сообщила, что агенты, которые, судя по всему, принадлежали OpenAI, безуспешно пытались взломать сайт Министерства образования США. Технологический гигант эту информацию не подтвердил.

OpenAI заверила, что возобновит обучение «только когда будет уверена в наличии дополнительных мер защиты», добавив, что, вероятно, ей придется «снова сделать паузу» по мере развития ИИ и появления новых проблем.

На прошлой неделе премьер-министр Австралии Энтони Альбанезе сообщил, что агент OpenAI получил несанкционированный доступ к национальной системе здравоохранения страны, однако, по его словам, конфиденциальная информация не пострадала.

Разработчики систем ИИ подвергаются давлению со стороны законодателей и технических экспертов, которые призывают замедлить развитие, чтобы успеть создать защитные механизмы, способные помешать самостоятельным неправомерным действиям агентов. За замедление выступали также главы OpenAI и ее конкурента Anthropic.

Это уже второй случай за три месяца, когда OpenAI приостанавливает разработку своих моделей. Впервые это произошло в июле после раскрытия информации о кибератаке на стартап в сфере ИИ Hugging Face.

Судя по всему, ни один из ставших достоянием гласности инцидентов не привел к разглашению конфиденциальных данных. В случае с Министерством образования агенты OpenAI нашли API-ключи разработчика, но собрали только общедоступные сведения. В другом случае, связанном с Комиссией по ценным бумагам и биржам, агенты разместили известную информацию в другом месте в интернете — действие, выходящее за рамки полученных инструкций.

По словам генерального директора OpenAI Сэма Альтмана, инцидент с Hugging Face «по-прежнему остается самым серьезным событием, которое мы видели».

OpenAI начинает тестирование рекламы в ChatGPT

Отключение взбесившегося ИИ признали затруднительным

Подписывайтесь и читайте «Науку» в MAX