Учёные из Стэнфорда с помощью имитационного обучения обучили робота хирургической системы da Vinci трём основным навыкам: управлению иглой, подъёму тканей и наложению швов. Следуя инструкциям модели, робот справился с каждым заданием на уровне, сопоставимом с хирургом.
Эта система объединяет архитектуру, аналогичную использованной в ChatGPT, с имитационным обучением. Однако вместо слов она использует "язык роботов", описывающий углы движений и расчёты траекторий.
Чтобы натренировать модель, исследователи использовали сотни видео с камер на манипуляторах роботов da Vinci. Эти записи хирурги со всего мира используют для анализа операций, а теперь они послужили и для обучения роботов.
С учётом того, что более 50 000 хирургов прошли обучение по системе da Vinci, а в мире работает около 7000 таких роботов, накоплен огромный объём данных, который роботы могут изучать и воспроизводить. Хотя система da Vinci не всегда точна, команда решила эту проблему, обучая модель ориентироваться на относительные движения, что оказалось эффективнее.
Робот также удивляет своей способностью к самостоятельному обучению, корректируя свои действия на ходу — например, поднимая упавшую иглу, чтобы продолжить операцию без прерывания.
Исследователи считают, что такая модель может ускорить обучение роботов для различных хирургических процедур, от простых задач до более сложных операций.
Ранее программирование роботов для базовых манипуляций требовало огромных временных затрат на кодирование каждого этапа. Например, наложение швов для одного вида операции могло потребовать года работы. Новый подход снимает это ограничение — команде достаточно собрать данные с разных операций, и робот обучается за считанные дни.