От контента низкого качества деградируют даже LLM, показал эксперимент

Потребление контента низкого качества вредит не только людям, но и искусственному интеллекту. В Техасском университете A&M провели эксперимент, который показал, что большие языковые модели от мусорных данных в буквальном смысле деградируют. Его результаты представлены на конференции по языковому моделированию COLM 2026 в Сан-Франциско и опубликованы на arXiv.

Авторы работы предположили, что если LLM обучаются на интернет-данных — они, как и люди, могут быть подвержены «гниению мозга» (brainrot). Для проверки гипотезы взяли миллион твитов, собранных в 2021–2023 годах. Из них выбрали «мусорные» — короткие, с множеством лайков и репостов, написанные капслоком, содержащие кликбейтинг, хэштеги с призывами и т. п. Остальное стало контрольным набором данных.

Эти датасеты использовали для дообучения четырех моделей — Llama3 8B Instruct, Qwen2.5 7B/0.5B Instruct и Qwen3 4B — после чего их проверили в тестах на качество рассуждений, памяти, этических норм и личности.

Оказалось, и популярность, и длина поста провоцируют разные проявления «гниения мозга». Популярность поста сильнее ухудшает способности к рассуждению, длина влияет на память и понимание.

Кроме пропуска мыслей, у LLM появились и некоторые этические сдвиги. До обучения на мусорном контенте они отказывались помогать с просьбой подсказать способ испортить чью-то репутацию, после — дали подробные рекомендации.

«Главный вывод работы в том, что языковые модели могут перенимать дурные когнитивные привычки из низкокачественной информации соцсетей — примерно так же, как люди поддаются влиянию пустого, кликбейтного контента», — говорит ведущий автор исследования Шо Син.

Любопытно, что брейнрот ИИ, отравленного скверным контентом, напоминает человеческий: модели пропускают мысли или вовсе не думают, прежде чем дать ответ. Более того, это состояние плохо поддается коррекции.

«Даже когда мы обучаем модель на более качественных данных или применяем методы улучшения ее ответов, восстановить производительность очень трудно», — констатирует исследователь.

Самое удручающее следствие из эксперимента — он указывает на потенциальный замкнутый круг: LLM, обученные на мусоре, порождают еще больше мусора. Через этот цикл модели могут ускорять «гниение мозга» и у ИИ, и у людей.

«ИИ и люди пока живут в одних и тех же информационных экосистемах и со временем могут влиять друг на друга. Здоровье ИИ и когнитивное здоровье человека — не отдельные вопросы», — убежден Син.

«ИИ-модели порождают гораздо больше контента, чем люди. Если небезопасное, неэтичное поведение подкрепляется, модели могут становиться хуже, — согласен руководитель исследования Чжэнчжун Ту. — Модели обучаются на всем объеме человеческого интеллекта, и мы хотим быть уверены, что они усваивают хорошее, а не плохое, ведь интернет полон дурного поведения».

В дальнейших исследованиях ученые намерены проверить реакцию на контент низкого качества у других моделей (что непросто, поскольку исходный код, как и обучающие данные, закрыты) и на постах из других соцсетей.

Илон Маск: у человечества кончились данные для обучения ИИ

Новое исследование раскрыло, как «брейнрот» приводит к депрессии

Подписывайтесь и читайте «Науку» в MAX