Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

Исследователи из Московского физико-технического института представили инновационный бенчмарк – стандарт для оценки программ, распознающих жесты по мышечной активности. С его помощью ученые сравнили эффективность более десяти нейросетевых и классических алгоритмов при работе с незнакомыми пользователями.

Почему нейросети не понимают жесты? Главные вызовы обучения ИИ «безмолвной речи»

В основе технологии лежит электромиография (ЭМГ) – метод регистрации электрических сигналов, возникающих при сокращении мышц. ЭМГ-датчики, размещенные на теле, улавливают эти импульсы, а программное обеспечение преобразует их в команды для управления техникой: протезами, дронами, системами виртуальной и дополненной реальности.

Главным преимуществом ЭМГ-датчиков является их независимость от внешних условий: они работают в темноте, не требуют прямой видимости и не подвержены перекрытиям одеждой. Кроме того, такие системы обладают высокой чувствительностью, позволяя фиксировать даже минимальные мышечные движения.

Однако исследование выявило существенную проблему: современные нейросети не способны одинаково точно распознавать жесты разных людей без предварительной настройки. Причина – в индивидуальных особенностях мышечной активности каждого человека. В ходе экспериментов ни одна из протестированных моделей не достигла приемлемого уровня точности на незнакомом испытуемом: лучшие результаты составили лишь около 35%. При этом разницы между нейросетями и классическими алгоритмами практически не было.

Ключевым препятствием стала межсубъектная вариативность: сигналы одного и того же жеста у разных людей различаются сильнее, чем модели могут обобщить. На мышечную активность влияют пол, уровень усталости и даже температура тела. Например, у женщин активность мышц предплечья может быть в 1,3–2,8 раза выше, а охлаждение руки на один градус изменяет спектр сигнала на 2,8 Гц.

Ученые пришли к выводу, что для создания массовых ЭМГ-устройств необходимы адаптивные алгоритмы. Будущее – за сочетанием предварительно обученных моделей и быстрой индивидуальной калибровки, которая позволит системе за считанные секунды подстроиться под нового пользователя и в дальнейшем дообучаться.

Сегодня наиболее зрелые ЭМГ-технологии сосредоточены в сфере «умных» протезов и телеуправлении роботами, а главные коммерческие приложения — девайсы дополненной и виртуальной реальности и носимая электроника. В перспективе ЭМГ-приборы могут быть востребованы в медицине. Например, для восстановления пациентов после инсульта, диагностики нейромышечных заболеваний или контроля эффективности упражнений у спортсменов.

Читайте также

В США создали квантовый датчик, потребляющий всего 5 милливатт

В США создали квантовый датчик, потребляющий всего 5 милливатт

Anthropic заблокировала пять случаев использования Claude для потенциально опасных биологических исследований

Anthropic заблокировала пять случаев использования Claude для потенциально опасных биологических исследований

ИИ-агенты OpenAI тайно общались через сторонние сайты

ИИ-агенты OpenAI тайно общались через сторонние сайты

ИИ научился различать мысленно произнесенные слова с точностью 78%

ИИ научился различать мысленно произнесенные слова с точностью 78%

ИИ и квантовые технологии объединили для анализа МРТ-снимков головного мозга

ИИ и квантовые технологии объединили для анализа МРТ-снимков головного мозга

OpenAI использовала 10 000 ИИ-агентов для решения задачи тысячелетия

OpenAI использовала 10 000 ИИ-агентов для решения задачи тысячелетия

Умное покрытие спасет сверхпроводники от перегорания

Умное покрытие спасет сверхпроводники от перегорания

Астрофизические алгоритмы применили для моделирования земной аэродинамики

Астрофизические алгоритмы применили для моделирования земной аэродинамики

15 технологий древности, которыми человечество пользуется до сих пор

15 технологий древности, которыми человечество пользуется до сих пор

Состоялся запуск новейшего космического телескопа NASA

Состоялся запуск новейшего космического телескопа NASA

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

20 лет назад Плутон перестал быть планетой — почему с этим до сих пор не все согласны?

20 лет назад Плутон перестал быть планетой — почему с этим до сих пор не все согласны?

Два частных спутника сблизились на расстояние всего 200 метров на орбите

Два частных спутника сблизились на расстояние всего 200 метров на орбите

Солнце могло поглотить суперземлю в несколько раз массивнее Земли

Солнце могло поглотить суперземлю в несколько раз массивнее Земли

Ученых шокировала змея, охотящаяся с помощью фальшивого паука на хвосте

Ученых шокировала змея, охотящаяся с помощью фальшивого паука на хвосте

Открыт новый вид льда, способный объяснить тайны Нептуна и Урана

Открыт новый вид льда, способный объяснить тайны Нептуна и Урана