В основе технологии лежит анализ электрической активности коры головного мозга. Ученые зафиксировали электроэнцефалограммы 22 добровольцев – носителей русского и испанского языков. Участники эксперимента произносили вслух и про себя шесть базовых пространственных команд: «вверх», «вниз», «влево», «вправо», «вперед», «назад». Выяснилось, что внутреннее проговаривание слов формирует специфические, устойчивые паттерны мозговой активности. Эти микроскопические электрические бури успешно фиксируются стандартной ЭЭГ-шапочкой.
Для расшифровки этих немых сигналов исследователи применили алгоритмы машинного обучения. Нейросети научились соотносить конкретные узоры мозговых волн с их семантическим значением. На текущем этапе система распознает мысленную речь с точностью около 78%. Как отметил ведущий научный сотрудник НИТЦ Дмитрий Шапошников, для такой нетривиальной задачи это уже серьезный результат.
Ключевым достижением стала публикация собранных данных. Команда ЮФУ выложила на платформе Zenodo открытую двуязычную базу ЭЭГ-сигналов. Этот массив информации служит фундаментом – своеобразным Rosetta Stone для разработчиков по всему миру, которые теперь могут обучать свои системы декодировать внутренний монолог человека.
«Наша цель – создать качественный инструмент для разработки алгоритмов, способных распознавать „внутреннюю речь“ – то, что человек мысленно произносит, не шевеля губами. Такие технологии критически необходимы людям, которые по каким-либо причинам не могут говорить или двигаться: они дадут возможность управлять техникой, печатать тексты и взаимодействовать с виртуальной реальностью посредством одной только мысли», – пояснил Дмитрий Шапошников.
Двуязычный характер базы позволяет создавать кросс-лингвистические модели, универсальные для любого пользователя. В планах ученых – расширение лексикона до нескольких десятков единиц и повышение точности идентификации до 90-95% за счет более сложных архитектур ИИ. В перспективе подобные интерфейсы станут спасательным кругом для пациентов после инсульта, с боковым амиотрофическим склерозом или синдромом изоляции, возвращая им способность общаться с миром одним лишь усилием мысли.
