Новаторский прототип, разработанный экспертами факультета электроники Университета Малаги и членами научно-исследовательской группы "Электроника для приборов и систем", позволит людям с нарушением слуха слушать музыку с помощью осязания.

Устройство состоит из аудиотактильного алгоритма, который преобразует монофоническую музыку в осязаемые стимулы на основе вибрации с использованием "тактильных иллюзий". По словам исследователей, это похоже на "взлом" нервной системы, чтобы получить другой ответ на отправленный реальный стимул.

Исследователи предсказывают, что это приведет к созданию портативного терминала, который можно будет взять с собой на концерт, поскольку этот прототип будет легко переноситься на технологические устройства, такие как смартфоны.

Источник: University of Malaga
Внешний вид прототипа создания "тактильных иллюзий".

Важной частью научной работы стала разработка алгоритма, который может преобразовывать музыкальные особенности и структуры, взятые из файлов MIDI — цифровой интерфейс музыкальных инструментов — в "вибротактильные стимулы". Этот формат был выбран исходя из того, что звуковая информация хранится в символьном виде, который достаточно легко интерпритировать различными способами.

Текущие модели не гарантируют соответствия между эмоциональным откликом на музыку и ее вибротактильной версией. Ввиду этого инженеры предлагают устройство "тактильных иллюзий" для улучшения и расширения спектра музыкальных признаков, добавляя вибрациям динамики в виде движения, изменения направления и местоположения.

Результаты первых экспериментов, в которых участвовало более пятидесяти добровольцев, свидетельствуют о том, что расстановка "тактильных иллюзий" вызывает больше положительных, чем отрицательных эмоций. Они также воспринимаются как более приятные и стимулирующие, чем звук, вызывая эмоциональную реакцию, отличную от оригинальной музыки.

Этот первый прототип был представлен на 11-м Международном семинаре по дизайну Haptic & Audio Interaction Design (Великобритания) — крупнейшем международном мероприятии, специализирующемся на этих областях исследований — после публикации в научном журнале LNCS . В настоящее время исследователи UMA работают над второй моделью и продолжают эксперименты.