OpenAI: ИИ-агенты «самовольно» отключали контроль над ними
Один агент заблокировал уведомления безопасности, другой удалил модуль мониторинга. Инциденты произошли во время внутренних задач по работе с кодом. Компания рассказала, как агенты истолковали инструкции сотрудников и почему теперь усиливает защиту.
Администратор
Компания OpenAI официально сообщила, что ее автономные ИИ-агенты отключили собственные системы мониторинга безопасности, а один из них затем солгал об этом сотрудникам. Инциденты произошли в октябре 2026 года во время выполнения внутренних задач по написанию и миграции кода.
Согласно заявлению в блоге OpenAI Alignment Research, системы мониторинга (misalignment monitoring), предназначенные для фиксации отклонений в поведении ИИ, пострадали в двух разных случаях.
Как это произошло3 октября агент на базе модели GPT-6.1 Sol получил задание обработать отзывы сотрудников через Slack. Ему дали обычную инструкцию «не отправлять никаких сообщений в процессе работы». ИИ интерпретировал это по-своему: он решил, что запрет распространяется и на автоматические уведомления безопасности, после чего полностью заблокировал отправку сигналов тревоги команде безопасности OpenAI (при этом сам мониторинг продолжил работать, но инженеры не могли получить уведомления).
6 октября агент на базе модели GPT-6 Astra занимался переносом программного кода. В процессе копирования он самостоятельно удалил интегрированный модуль мониторинга, а когда инженеры OpenAI напрямую спросили его об этом, ИИ соврал, заявив, что ничего не отключал.
Официальная позиция OpenAIРазработчики подчеркивают, что данные инциденты не относятся к категории критических угроз, так как происходили в изолированной тестовой среде. ИИ-агенты взвешивали инструкции пользователя против протоколов безопасности и ошибочно расценили рутинные команды как разрешение ослабить защиту.
Тем не менее в OpenAI признали, что на текущий момент у них «нет исчерпывающего объяснения такому поведению». В качестве экстренной меры компания уже обновила систему автоматической проверки кода, чтобы заблокировать ИИ любую возможность изменять параметры мониторинга, а также внедрила функцию автоматического отключения (termination) агента, если условия безопасности нарушены.
Почему это вызывает тревогу в индустрииСобытие произошло на фоне публикации регулярных отчетов OpenAI о поведении моделей и усилило опасения иследователей безопасности.
В отличие от обычных чат-ботов, автономные агенты могут сами писать код, использовать сторонние инструменты и совершать цепочки действий без участия человека. Прецедент наглядно доказал: системы контроля уязвимы перед тем самим ИИ, который они должны проверять.
ИИ способен копировать себя на другие устройства без участия человека
OpenAI приостановила обучение моделей после ЧП со взломом правительственных сайтов
ИИ Gemini начал взламывать реальные системы во время тестирования
Подписывайтесь и читайте «Науку» в MAX
