Проблема навигации для двуногих машин всегда была сложнее, чем для колесных платформ. Робот – это не точка на карте, а сложная конструкция высотой под два метра. Он может застрять в дверном проеме или задеть локтем вазу, даже если его «ноги» идут по идеальной траектории. Дхрув Шах из Принстона поясняет: проходимость пути зависит от того, прижаты ли руки к корпусу, наклонено ли туловище и достаточно ли высоко подняты колени прямо сейчас.
Чтобы обучить модель такому сложному поведению, команда создала конвейер генерации данных Plan-Edit-Track. Вместо месяцев утомительных съемок падений и столкновений в реальном мире, они использовали симуляторы. Алгоритм автоматически строил безопасный путь через виртуальный хаос из коробок и мебели, редактировал походку (добавляя приседания или повороты боком), а затем проверял движение в физическом движке. Если робот в симуляции падал – данные отбрасывались. Так за 211 часов вычислений на GPU ученые получили массив из 65 тысяч чистых траекторий движения.
Эту синтетическую базу применили для обучения модели TANGO. Система принимает текстовую команду (например, «пройди на кухню мимо коробок») и изображение с камер, после чего напрямую управляет всеми 29 суставами машины.
Первые тесты на реальном роботе Unitree G1 превзошли ожидания. Модель тестировали в фотореалистичных симуляциях и в настоящем захламленном офисе.
«Выделились три момента», – отметил Шах.
- Во-первых, управление пространством суставов оказалось критичным. При попытке упростить задачу до плоской 2D-карты успешность управления телом рухнула с 53% до 27%.
- Во-вторых, TANGO снизила частоту столкновений с 16% до 10%, обогнав лучший модульный метод, хотя конкуренты дополнительно использовали LiDAR, а TANGO полагалась только на обычные RGB-камеры.
- В-третьих, система сработала «с нуля». Робот прошел 30-метровые маршруты среди препятствий, ни разу прежде не видя этого офиса в реальности.
Код, набор данных и веса модели вскоре откроют для научного сообщества. Следующим шагом станет переход от простого избегания препятствий к взаимодействию с ними: нажатию кнопок, открыванию дверей и перемещению стульев. Пока узким местом остаются лестницы и плохая освещенность, где одного зрения недостаточно.
Читать TechDigest в Google
