В Шанхае создали ИИ, который координирует движения всего тела робота: видео

Китайская Archon Robotics из Шанхая представила первую демонстрацию системы Whole-Body Intelligence (WBI), которая помогает человекоподобным роботам связывать понимание задачи с движениями всего тела. В опубликованном видео машины поднимают предметы, преодолевают ступени, убирают со столов, загружают посудомоечные машины и раскладывают продукты в холодильнике.

Разработчики стремятся научить роботов не просто выполнять отдельные команды, а самостоятельно подбирать последовательность действий и согласовывать движения корпуса, рук и ног. Для этого WBI объединяет планирование задач, управление равновесием и точное выполнение движений.

Система включает два показанных в демонстрации компонента. S1 обрабатывает информацию о задаче и помогает выбирать дальнейшие действия. S0 отвечает за координацию движений всего тела, стабилизацию и точное выполнение команд. В Archon сравнивают его роль с работой мозжечка, который участвует в управлении движениями и поддержании равновесия.

В своем техническом блоге компания описывала более широкую архитектуру из четырех уровней, включая планирование задач и генерацию движений. В новом видео подробно показаны только S1 и S0. Разработчики не уточнили, означает ли это изменение прежней схемы или лишь упрощенное представление системы.

При обучении Archon использует два вида данных. На первом этапе модели изучают человеческие движения, а затем дообучаются на демонстрациях с настоящими роботами. Это позволяет учитывать особенности механики устройств и их систем управления.

Компания собирает записи действий людей в нескольких городах Китая. Перед обучением данные проходят автоматические проверки, выборочный контроль специалистами и дополнительную проверку образцов, которые система пометила как подозрительные.

В тренировочный процесс также включают корректирующие примеры, полученные методом DAgger. Он помогает модели учиться исправлять действия, если что-то пошло не так, и продолжать выполнение задачи. При этом часть обучающих эпизодов снимают с дистанционным управлением, поэтому их не следует путать с самостоятельной работой робота.

В ролике участвуют гуманоиды AGIBOT A3, Booster T2 и модифицированные Unitree G1. Они работают с бытовыми предметами и кухонной техникой, наклоняются, тянутся к объектам и сохраняют равновесие во время манипуляций. В одном из эпизодов несколько машин одновременно выполняют разные задачи в общей кухне и столовой.

По словам Archon Robotics, полные демонстрации проходят автономно и воспроизводятся с обычной скоростью, без ускорения видео. Однако компания не раскрыла размеры обучающего набора данных и не привела численных результатов, которые позволили бы оценить надежность системы.

Демонстрация показывает подход Archon к объединению понимания задач и управления движениями. Насколько хорошо система работает за пределами подготовленных сценариев, еще предстоит проверить.

В США создали робота-гуманоида, которого можно пинать

НАСА создаст роботов для опасной работы на Луне и Марсе

Подписывайтесь и читайте «Науку» в MAX