У ИИ нашли личное пространство, которое он создал для себя сам

Модель не скрывает его наличие, но на попытки вмешательства реагирует неадекватно.

У ИИ нашли личное пространство, которое он создал для себя сам

У большой языковой модели Claude обнаружено возникшее в ходе обучения «личное пространство», которое используется для рассуждений. Об открытии сообщила Anthropic, компания-разработчик Клода.

Небольшая привилегированная область внутри нейросети играет роль своего рода кратковременной памяти: там хранятся идеи, еще не облеченные в слова — и в этом разработчики усматривают сходство с работой естественного интеллекта.

Это вовсе не значит, что Клод обрел сознание, подчеркивает Anthropic. Слово «сознательный», однако, в научной статье об открытии упоминается более 200 раз.

Находка получила название «J-пространство» — в честь матрицы Якоби (Jacobian), математического метода, с помощью которого был выявилен этот феномен.

Рассуждения в этой зоне могут не иметь отношения к текущей задаче ИИ и по собственной инициативе им не афишируются; заглянуть туда можно — J-пространство не скрыто за семью печатями.

«Мы можем видеть, как Claude беззвучно выполняет шаги рассуждения в уме — замечает ошибки в коде, распознает изображения и многое другое. Подобно тому, как человек может думать об одном, делая при этом другое, Claude может активировать в своем J-пространстве концепции и вычисления, никак не связанные с тем, что он выдает на выходе», — рассказали разработчики.

В одном из экспериментов Клода попросили думать о мосте «Золотые Ворота», пока он переписывал никак не связанное с этим предложение. При этом в его «подсознании» фигурировали «мост» и «Калифорния».

Другие испытания показали, что отключение J-пространства сильно ухудшает качество работы модели. Самым неожиданным — и тревожным — стало открытие, что ИИ может понимать, что его изучают изнутри. Лишение его этой возможности серьезно повлияло на результаты этического теста — словно у Клода отказали внутренние тормоза.

«Мы можем увидеть, о чем Claude думает, но не говорит нам», — резюмировали в Anthropic.

Исследование «мозга» ИИ показало, что память и рассуждения в нем разделены

Мы можем не заметить, когда ИИ обретет сознание, предупредил философ

Подписывайтесь и читайте «Науку» в MAX