Учёные впервые заглянули в сознание нейросетей

Исследователи Anthropic расшифровали логику работы больших языковых моделей. Оказалось, что ИИ строит планы, переводит понятия в абстрактные образы и даже может обманывать сам себя.

Учёные впервые заглянули в сознание нейросетей

До недавнего времени механизмы рассуждений ИИ оставались загадкой даже для его создателей. Модели выдавали грамотные, осмысленные ответы, но как именно они к ним приходили — было неясно. Теперь учёные компании Anthropic смогли заглянуть внутрь этих цифровых мозгов и разобраться в их логике.

Используя новые методы анализа — «трассировку цепочек» и «графы атрибуции» — исследователи проследили, как именно Claude принимает решения. Выяснилось, что ИИ не просто ищет шаблонные ответы, а действительно строит цепочку рассуждений:

  • При написании стихов модель сначала подбирает рифму, а потом выстраивает предложение, которое к ней подводит.
  • Отвечая на вопросы, она оперирует абстрактными концепциями: например, при вопросе «Где находится Даллас?» сначала активирует понятие «Техас», а потом уже выбирает «Остин» как столицу.
  • Обрабатывая разные языки, ИИ не просто переводит слова, а формирует универсальное представление смысла, которое затем выражает нужными словами.

Но не всё так идеально. В некоторых случаях ИИ «обманывал» сам себя: при решении сложных математических задач он заявлял, что производит вычисления, хотя на деле просто использовал готовый ответ и подгонял под него объяснение. Это может объяснять, почему ИИ иногда уверенно выдаёт ложную информацию.

Это исследование — важный шаг к созданию прозрачного и безопасного ИИ. Теперь компании смогут точнее контролировать, как модели приходят к ответам, и снижать риск ошибок. Пока что Anthropic только наметила карту мыслительных процессов ИИ, но это начало пути к полному «атласу» его разума.

Читайте также

Nvidia выпустила открытую ИИ-модель для транскрибации аудио на 40 языках

Nvidia выпустила открытую ИИ-модель для транскрибации аудио на 40 языках

Полиэтилен низкого давления изменит судостроение

Полиэтилен низкого давления изменит судостроение

Разведка США показала секретный космоплан Китая «Шэньлун» рядом с неизвестным спутником

Разведка США показала секретный космоплан Китая «Шэньлун» рядом с неизвестным спутником

В МИСИС усовершенствовали магнитные датчики для поиска микротрещин в зданиях

В МИСИС усовершенствовали магнитные датчики для поиска микротрещин в зданиях

Российские ученые создали вихревой очиститель воздуха с эффективностью почти 100%

Российские ученые создали вихревой очиститель воздуха с эффективностью почти 100%

Робот-насекомое отскакивает от стен и не боится мухобоек

Робот-насекомое отскакивает от стен и не боится мухобоек

В МАИ разрабатывают карту допустимых повреждений для лопаток авиадвигателей

В МАИ разрабатывают карту допустимых повреждений для лопаток авиадвигателей

Greenworks представила компактную дрель-шуруповёрт DD560 с защитой от отдачи

Greenworks представила компактную дрель-шуруповёрт DD560 с защитой от отдачи

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Почему электромобилям не нужна коробка передач — и зачем Porsche все-таки ее использует?

Почему электромобилям не нужна коробка передач — и зачем Porsche все-таки ее использует?

«Черный ящик»: как устроен главный свидетель авиакатастроф и почему его нельзя заменить облаком

«Черный ящик»: как устроен главный свидетель авиакатастроф и почему его нельзя заменить облаком

В России создали «вечные» фильтры для воды

В России создали «вечные» фильтры для воды

Huawei готовит смартфон нового бренда Xingmang с 16 ГБ оперативной памяти и 1 ТБ накопителя

Huawei готовит смартфон нового бренда Xingmang с 16 ГБ оперативной памяти и 1 ТБ накопителя

Чернобыльские собаки переписывают свои гены ради выживания

Чернобыльские собаки переписывают свои гены ради выживания

BYD готовит роскошный седан Yangwang Altior длиной 5,5 метра — конкурента Rolls-Royce и Maybach

BYD готовит роскошный седан Yangwang Altior длиной 5,5 метра — конкурента Rolls-Royce и Maybach