Сенсорные системы человека проявляют удивительную способность к распознаванию объектов и слов даже в случаях, когда объекты перевернуты или когда слова произносятся разными голосами, которые нам не знакомы.

Глубокие нейронные сети, известные как действенные модели машинного обучения, могут быть обучены выполнять аналогичные задачи, верно идентифицируя изображение собаки независимо от цвета её шерсти или слово независимо от высоты голоса говорящего. Однако новое исследование, проведенное нейробиологами из Массачусетского технологического института, выявило, что эти модели часто реагируют одинаково на изображения и слова, которые мало похожи на целевой объект.

При использовании этих нейронных сетей для генерации изображений или слов, на которые они реагировали так же, как на конкретные естественные сигналы, например, изображение медведя, большинство таких моделей создавали изображения и звуки, которые были непризнаваемы для человеческих наблюдателей. Это показывает, что эти модели разрабатывают свои собственные "идиосинкратические инварианты", то есть, они реагируют одинаково на разные стимулы.

Эти результаты предоставляют новый метод для оценки того, насколько успешно эти модели имитируют способность организации сенсорного восприятия человека. Согласно словам Джоша Макдермотта, доцента кафедры мозга и когнитивных наук Массачусетского технологического института, эти результаты могут оказать влияние на развитие искусственного интеллекта и понимание процессов сенсорного восприятия.

Источник: MIT researchers.
Когда этим нейронным сетям было предложено сгенерировать изображение или слово, которое они поместили бы в ту же категорию, что и конкретный входной сигнал, например изображение медведя, большая часть того, что они создали, была неузнаваема для людей-наблюдателей. Справа — пример того, что модель назвала "медведем".

В последние годы исследователи обучали глубокие нейронные сети анализировать огромные объемы данных, такие как звуки или изображения, и изучать общие закономерности, которые позволяют им классифицировать объекты и слова так же эффективно, как это делают люди. Эти модели считаются ведущими в области биологических сенсорных систем.

Считается, что при сенсорном восприятии человека система учится игнорировать второстепенные характеристики, такие как освещение или угол обзора, и сосредотачиваться на основных аспектах объекта. Этот процесс известен как инвариантность, при которой объекты воспринимаются одинаково, несмотря на различия в несущественных характеристиках.

Исследователи задались вопросом, способны ли глубокие нейронные сети, обученные выполнять задачи классификации, реализовать аналогичные инварианты. Для проверки этой гипотезы, они использовали эти модели для создания стимулов, на которые модели реагировали так же, как на изначальные образцы, представленные им исследователями.

Эти стимулы были названы "метамерами модели" и пересматривают концепцию метамеров, впервые использованную в исследованиях восприятия цвета. Метамеры - это стимулы, которые неотличимы для определенной системы, несмотря на различия в их характеристиках.

Удивительно, исследователи обнаружили, что большинство изображений и звуков, созданных этими метамерами, существенно отличались от исходных образцов, которые были представлены моделям. Большинство изображений представляли собой беспорядочные пиксели, а звуки напоминали неразборчивый шум. Люди, смотревшие на эти изображения, чаще всего не могли связать их с теми же категориями, что и оригинальные образцы.

Эти результаты показывают, что модели формируют собственные инварианты, которые существенно отличаются от тех, которые присущи человеческому сенсорному восприятию. Это позволяет им реагировать одинаково на стимулы, которые вряд ли можно назвать похожими на человеческие.

Исследователи также обнаружили, что эффект схожей идиосинкратической инвариантности проявляется в разных моделях зрения и слуха. Однако каждая модель оказалась обладательницей уникальных инвариантностей. Интересно, что метамеры, созданные одной моделью, оставались непризнаваемыми для другой модели, так же, как и для человеческих наблюдателей.

Важным выводом из этого исследования является выявление идиосинкратической инвариантности у этих моделей. Как отмечает Джош Макдермотт, этот аспект говорит о том, что эти модели разрабатывают свои собственные виды инвариантности, которые зависят от конкретных измерений в пространстве стимулов, и это варьируется от модели к модели, что делает каждую модель уникальной.

Исследователи также обнаружили, что с помощью подхода, называемого состязательным обучением, метамеры моделей можно сделать более узнаваемыми для людей. Первоначально этот метод был разработан для борьбы с проблемой, когда даже незначительные изменения в изображении могут привести к неправильному его распознаванию.

Использование состязательного обучения и внесение некоторых измененных стимулов в обучающие данные позволили создать модели, метамеры которых стали более узнаваемыми для людей. Однако, следует отметить, что даже после этой коррекции, метамеры все равно не были столь же узнаваемы, как и исходные стимулы. Исследователи признают, что этот эффект требует дополнительного изучения для полного его понимания.

Анализ метамеров, созданных компьютерными моделями, может стать полезным инструментом для оценки того, насколько точно эти вычислительные модели способны имитировать организацию человеческого сенсорного восприятия. Это наблюдение предоставляет способ проведения поведенческих тестов на конкретных моделях, чтобы определить, насколько они сходны с человеческими наблюдателями. Такой метод может также помочь в поиске способов улучшения моделей и их инвариантностей в будущем.