В Китае создали «мозг» для роботов, предсказывающий последствия действий: видео

Разработчики выделяют четыре ключевых архитектурных решения.

Первое — семантический визуально-действенный токенизатор, который совместно сжимает визуальную информацию и данные о действиях, помогая модели точнее переводить словесные инструкции в конкретные движения робота. Второе — строгая причинная стратегия предобучения, которая следит, чтобы предсказания шли в правильном временном порядке, не перепрыгивая и не путая последовательность событий. Третье — архитектура Mixture of Experts, «смесь экспертов», при которой модель состоит из множества специализированных «под-моделей», и для каждой задачи включаются только нужные из них. Это увеличивает общие возможности системы, не замедляя при этом скорость ее работы. Четвертое — усовершенствованный асинхронный механизм вывода, который позволяет роботу одновременно предсказывать будущие состояния и выполнять текущие действия, постоянно корректируя решения на основе реальных наблюдений.

По словам компании, все эти решения вместе позволяют управлять роботом в реальном времени с частотой 150 герц на одной видеокарте — то есть система обновляет свои решения 150 раз в секунду. Модель также способна освоить новую задачу манипуляции всего по 20 демонстрациям, используя обучение в контексте — без необходимости заново настраивать параметры самой сети.

Как система принимает решения

LingBot-VA объединяет предсказание будущего видео и обучение стратегии поведения в единой авторегрессионной модели — она одновременно учится понимать визуальную динамику происходящего и связанные с ней действия робота. Сначала модель проходит предобучение на большом массиве видео и данных о действиях роботов, а затем донастраивается под конкретные прикладные задачи.

В работе система сначала предсказывает, как будет выглядеть картина мира в будущем, опираясь на текущие наблюдения и словесную инструкцию. Затем обратная динамическая модель превращает эти предсказания в конкретные исполняемые действия робота, а реальные наблюдения постоянно замещают предсказанные состояния — так цикл управления не отрывается от реальности.

Что уже умеет робот

Robbyant продемонстрировала модель на длинных и требующих точности задачах — приготовление завтрака, распаковка доставленных посылок, вставка трубок, поднятие винтов, складывание одежды и открывание ящиков. Компания также сообщила о хороших результатах на симуляционных тестах RoboTwin 2.0 и LIBERO, где модель обошла существующие методы в целом ряде сценариев.

Отдельно в компании отметили способность LingBot-VA сохранять долговременную память — это позволяет роботу отличать визуально одинаковые, но по сути разные ситуации и корректно выполнять многошаговые задачи, которые требуют счета, соблюдения последовательности действий и повторяющихся операций.

«Robbyant продолжит исследовать новые границы воплощннного интеллекта, одновременно ускоряя развитие открытой технологической и прикладной экосистемы, чтобы быстрее внедрять роботов в промышленные и реальные сценарии», — заявил в свонм комментарии генеральный директор Robbyant Чжу Син.

В Канаде создали робота для опасных работ, которым можно управлять за 1500 км: видео

Роботы-гуманоиды впервые успешно провели две операции: видео

Подписывайтесь и читайте «Науку» в MAX