Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

Исследователи из Московского физико-технического института представили инновационный бенчмарк – стандарт для оценки программ, распознающих жесты по мышечной активности. С его помощью ученые сравнили эффективность более десяти нейросетевых и классических алгоритмов при работе с незнакомыми пользователями.

Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

В основе технологии лежит электромиография (ЭМГ) – метод регистрации электрических сигналов, возникающих при сокращении мышц. ЭМГ-датчики, размещенные на теле, улавливают эти импульсы, а программное обеспечение преобразует их в команды для управления техникой: протезами, дронами, системами виртуальной и дополненной реальности.

Главным преимуществом ЭМГ-датчиков является их независимость от внешних условий: они работают в темноте, не требуют прямой видимости и не подвержены перекрытиям одеждой. Кроме того, такие системы обладают высокой чувствительностью, позволяя фиксировать даже минимальные мышечные движения.

Однако исследование выявило существенную проблему: современные нейросети не способны одинаково точно распознавать жесты разных людей без предварительной настройки. Причина – в индивидуальных особенностях мышечной активности каждого человека. В ходе экспериментов ни одна из протестированных моделей не достигла приемлемого уровня точности на незнакомом испытуемом: лучшие результаты составили лишь около 35%. При этом разницы между нейросетями и классическими алгоритмами практически не было.

Ключевым препятствием стала межсубъектная вариативность: сигналы одного и того же жеста у разных людей различаются сильнее, чем модели могут обобщить. На мышечную активность влияют пол, уровень усталости и даже температура тела. Например, у женщин активность мышц предплечья может быть в 1,3–2,8 раза выше, а охлаждение руки на один градус изменяет спектр сигнала на 2,8 Гц.

Ученые пришли к выводу, что для создания массовых ЭМГ-устройств необходимы адаптивные алгоритмы. Будущее – за сочетанием предварительно обученных моделей и быстрой индивидуальной калибровки, которая позволит системе за считанные секунды подстроиться под нового пользователя и в дальнейшем дообучаться.

Сегодня наиболее зрелые ЭМГ-технологии сосредоточены в сфере «умных» протезов и телеуправлении роботами, а главные коммерческие приложения — девайсы дополненной и виртуальной реальности и носимая электроника. В перспективе ЭМГ-приборы могут быть востребованы в медицине. Например, для восстановления пациентов после инсульта, диагностики нейромышечных заболеваний или контроля эффективности упражнений у спортсменов.

Читайте также

Мичиганский университет разработал новую методику для спасения папирусов

Мичиганский университет разработал новую методику для спасения папирусов

Компоненты материнского молока планируют получать из растений

Компоненты материнского молока планируют получать из растений

Цифровая модель предотвратит трещины в деталях авиадвигателей

Цифровая модель предотвратит трещины в деталях авиадвигателей

От мегаваттного YAL-1 до Iron Beam: 7 самых мощных боевых лазеров в мире

От мегаваттного YAL-1 до Iron Beam: 7 самых мощных боевых лазеров в мире

Один из перспективных сверхпроводников для термоядерных реакторов разрушился под действием радиации

Один из перспективных сверхпроводников для термоядерных реакторов разрушился под действием радиации

В Китае открыли детский сад для роботов

В Китае открыли детский сад для роботов

Флуоресценция замерила содержание микропластика в реке Воронеж

Флуоресценция замерила содержание микропластика в реке Воронеж

Ученые ТПУ создали топливо из угольной смолы и переработанных шин от БелАЗов

Ученые ТПУ создали топливо из угольной смолы и переработанных шин от БелАЗов

Миссии NASA, которые изменили историю освоения космоса

Миссии NASA, которые изменили историю освоения космоса

15 технологий древности, которыми человечество пользуется до сих пор

15 технологий древности, которыми человечество пользуется до сих пор

Те самые редкоземельные металлы: что в них редкого и зачем они вообще нужны

Те самые редкоземельные металлы: что в них редкого и зачем они вообще нужны

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

90 млн лет назад на Южном полюсе бушевали лесные пожары

90 млн лет назад на Южном полюсе бушевали лесные пожары

Huawei представила первый серийный складывающийся втрое смартфон Mate XT2

Huawei представила первый серийный складывающийся втрое смартфон Mate XT2

Пульсар испустил 114 гигантских импульсов за час наблюдения

Пульсар испустил 114 гигантских импульсов за час наблюдения

Физики хотели создать «лазер» из нейтрино — квантовая механика запретила это

Физики хотели создать «лазер» из нейтрино — квантовая механика запретила это