Инженеры Массачусетского технологического института представили носимый ультразвуковой браслет, способный с высокой точностью отслеживать сложные движения рук. В отличие от традиционных систем, которые полагаются на камеры или громоздкие перчатки с датчиками, это устройство размером с умные часы заглядывает внутрь запястья, визуализируя мышцы, сухожилия и связки. С помощью искусственного интеллекта оно преобразует эти внутренние анатомические изменения в цифровые данные, представляющие 22 степени свободы в пальцах и ладони.
Стандартные методы отслеживания движений рук имеют свои ограничения. Камеры легко блокируются, перчатки с множеством датчиков ощущаются неестественно, а датчики мышечных сигналов, известные как ЭМГ, слишком шумны, чтобы обнаруживать тонкие и плавные движения. Чтобы решить эту проблему, исследователи из MIT разработали браслет, использующий миниатюрные ультразвуковые наклейки. Устройство непрерывно создает подробные изображения внутренней анатомии запястья, а искусственный интеллект, обученный на тысячах точек данных, интерпретирует эти закономерности, сопоставляя области изображения с положениями всех пяти пальцев.
Как объяснил Гэнси Лу, один из участников исследования, сухожилия и мышцы запястья работают как нити, управляющие пальцами-марионетками. Идея заключается в том, что, сфотографировав состояние этих нитей, можно точно определить положение руки. Для обучения нейросети исследователи одновременно записывали движения добровольцев с помощью камер и делали ультразвуковое сканирование запястья. Поскольку человек не способен вручную отслеживать такие быстрые и сложные взаимосвязи, алгоритм взял эту задачу на себя.
Систему протестировали на восьми добровольцах с разным телосложением. Браслет с высокой точностью предсказывал самые разные положения рук — от 26 букв сложных жестов американского языка жестов до тонких хватов, необходимых для удержания ножниц, теннисного мяча или карандаша. Успешная интеграция доказала, что искусственный интеллект способен надежно преобразовывать внутренние подергивания сухожилий в точные цифровые жесты независимо от индивидуальных анатомических особенностей человека.
Чтобы продемонстрировать универсальность разработки, инженеры использовали браслет для управления как виртуальной, так и физической средой в реальном времени. В цифровых тестах пользователи с помощью естественных жестов сжатия и захвата масштабировали и перемещали виртуальные объекты на экране компьютера. В испытаниях с роботом устройство превратилось в цифровой контроллер для марионеток: добровольцы на расстоянии управляли роботизированной рукой, которая в реальном времени повторяла движения их пальцев. Это позволило сыграть на пианино мелодию и даже участвовать в настольной игре в баскетбол.
В перспективе такие роботы смогут учиться выполнять деликатные задачи — от хирургических операций до сложных производственных процессов — просто имитируя естественные движения человеческой руки.
