Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

Исследователи из Московского физико-технического института представили инновационный бенчмарк – стандарт для оценки программ, распознающих жесты по мышечной активности. С его помощью ученые сравнили эффективность более десяти нейросетевых и классических алгоритмов при работе с незнакомыми пользователями.

Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

В основе технологии лежит электромиография (ЭМГ) – метод регистрации электрических сигналов, возникающих при сокращении мышц. ЭМГ-датчики, размещенные на теле, улавливают эти импульсы, а программное обеспечение преобразует их в команды для управления техникой: протезами, дронами, системами виртуальной и дополненной реальности.

Главным преимуществом ЭМГ-датчиков является их независимость от внешних условий: они работают в темноте, не требуют прямой видимости и не подвержены перекрытиям одеждой. Кроме того, такие системы обладают высокой чувствительностью, позволяя фиксировать даже минимальные мышечные движения.

Однако исследование выявило существенную проблему: современные нейросети не способны одинаково точно распознавать жесты разных людей без предварительной настройки. Причина – в индивидуальных особенностях мышечной активности каждого человека. В ходе экспериментов ни одна из протестированных моделей не достигла приемлемого уровня точности на незнакомом испытуемом: лучшие результаты составили лишь около 35%. При этом разницы между нейросетями и классическими алгоритмами практически не было.

Ключевым препятствием стала межсубъектная вариативность: сигналы одного и того же жеста у разных людей различаются сильнее, чем модели могут обобщить. На мышечную активность влияют пол, уровень усталости и даже температура тела. Например, у женщин активность мышц предплечья может быть в 1,3–2,8 раза выше, а охлаждение руки на один градус изменяет спектр сигнала на 2,8 Гц.

Ученые пришли к выводу, что для создания массовых ЭМГ-устройств необходимы адаптивные алгоритмы. Будущее – за сочетанием предварительно обученных моделей и быстрой индивидуальной калибровки, которая позволит системе за считанные секунды подстроиться под нового пользователя и в дальнейшем дообучаться.

Сегодня наиболее зрелые ЭМГ-технологии сосредоточены в сфере «умных» протезов и телеуправлении роботами, а главные коммерческие приложения — девайсы дополненной и виртуальной реальности и носимая электроника. В перспективе ЭМГ-приборы могут быть востребованы в медицине. Например, для восстановления пациентов после инсульта, диагностики нейромышечных заболеваний или контроля эффективности упражнений у спортсменов.

Читайте также

Greenworks представила компактную дрель-шуруповёрт DD560 с защитой от отдачи

Greenworks представила компактную дрель-шуруповёрт DD560 с защитой от отдачи

Может ли искусственный интеллект чувствовать боль? Учёные обнаружили необычные реакции нейросетей

Может ли искусственный интеллект чувствовать боль? Учёные обнаружили необычные реакции нейросетей

Greenworks представила компактный гайковёрт IW3450 с крутящим моментом до 580 Нм

Greenworks представила компактный гайковёрт IW3450 с крутящим моментом до 580 Нм

Нейросеть обучили слушать города и распознавать источники шума

Нейросеть обучили слушать города и распознавать источники шума

Телевизоры Samsung заподозрили в слежке за пользователями через микрофоны и скриншоты

Телевизоры Samsung заподозрили в слежке за пользователями через микрофоны и скриншоты

Учёные научились передавать запахи через интернет с помощью искусственного интеллекта

Учёные научились передавать запахи через интернет с помощью искусственного интеллекта

Российский композит ускорит регенерацию тканей

Российский композит ускорит регенерацию тканей

Петербургские ученые придумали «мосты» между разными поколениями техники

Петербургские ученые придумали «мосты» между разными поколениями техники

Обзор iPhone 18 Pro Max: Apple A20 Pro, переменная диафрагма и лучшая автономность в истории серии

Обзор iPhone 18 Pro Max: Apple A20 Pro, переменная диафрагма и лучшая автономность в истории серии

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Не только чума: семь самых смертоносных эпидемий и пандемий в истории человечества

Не только чума: семь самых смертоносных эпидемий и пандемий в истории человечества

Метеостанция с ИИ различает 12 видов облаков

Метеостанция с ИИ различает 12 видов облаков

Живые клетки грудного молока программируют здоровье младенца

Живые клетки грудного молока программируют здоровье младенца

Китай разрешил городские тесты роботакси Xpeng и СП Volkswagen/JAC

Китай разрешил городские тесты роботакси Xpeng и СП Volkswagen/JAC

Apple представила iPad mini 2026 с OLED-экраном и чипом A20 Pro — но есть нюанс

Apple представила iPad mini 2026 с OLED-экраном и чипом A20 Pro — но есть нюанс