Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

Исследователи из Московского физико-технического института представили инновационный бенчмарк – стандарт для оценки программ, распознающих жесты по мышечной активности. С его помощью ученые сравнили эффективность более десяти нейросетевых и классических алгоритмов при работе с незнакомыми пользователями.

Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

В основе технологии лежит электромиография (ЭМГ) – метод регистрации электрических сигналов, возникающих при сокращении мышц. ЭМГ-датчики, размещенные на теле, улавливают эти импульсы, а программное обеспечение преобразует их в команды для управления техникой: протезами, дронами, системами виртуальной и дополненной реальности.

Главным преимуществом ЭМГ-датчиков является их независимость от внешних условий: они работают в темноте, не требуют прямой видимости и не подвержены перекрытиям одеждой. Кроме того, такие системы обладают высокой чувствительностью, позволяя фиксировать даже минимальные мышечные движения.

Однако исследование выявило существенную проблему: современные нейросети не способны одинаково точно распознавать жесты разных людей без предварительной настройки. Причина – в индивидуальных особенностях мышечной активности каждого человека. В ходе экспериментов ни одна из протестированных моделей не достигла приемлемого уровня точности на незнакомом испытуемом: лучшие результаты составили лишь около 35%. При этом разницы между нейросетями и классическими алгоритмами практически не было.

Ключевым препятствием стала межсубъектная вариативность: сигналы одного и того же жеста у разных людей различаются сильнее, чем модели могут обобщить. На мышечную активность влияют пол, уровень усталости и даже температура тела. Например, у женщин активность мышц предплечья может быть в 1,3–2,8 раза выше, а охлаждение руки на один градус изменяет спектр сигнала на 2,8 Гц.

Ученые пришли к выводу, что для создания массовых ЭМГ-устройств необходимы адаптивные алгоритмы. Будущее – за сочетанием предварительно обученных моделей и быстрой индивидуальной калибровки, которая позволит системе за считанные секунды подстроиться под нового пользователя и в дальнейшем дообучаться.

Сегодня наиболее зрелые ЭМГ-технологии сосредоточены в сфере «умных» протезов и телеуправлении роботами, а главные коммерческие приложения — девайсы дополненной и виртуальной реальности и носимая электроника. В перспективе ЭМГ-приборы могут быть востребованы в медицине. Например, для восстановления пациентов после инсульта, диагностики нейромышечных заболеваний или контроля эффективности упражнений у спортсменов.

Читайте также

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

ChatGPT заблокировал запросы на имитацию стиля известных писателей

ChatGPT заблокировал запросы на имитацию стиля известных писателей

«Умный пластырь» определяет сахар в крови через пот за пять секунд

«Умный пластырь» определяет сахар в крови через пот за пять секунд

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Российская Tomato Quality Station автоматически сортирует помидоры

Российская Tomato Quality Station автоматически сортирует помидоры

Ученые предупредили о новой угрозе для квантовых компьютеров

Ученые предупредили о новой угрозе для квантовых компьютеров

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе