Исследователи из MIT, Гарварда и Чикагского университета обнаружили удивительный феномен в работе больших языковых моделей (LLM). Они назвали его «потёмкинское понимание» — по аналогии с легендарными бутафорскими деревнями, которые якобы показывали Екатерине II. Суть в том, что ИИ может идеально объяснить концепцию, но совершенно не способен применить её на практике.
Как работает «потёмкинское понимание»?
Учёные провели серию тестов с GPT-4o, Gemini, Claude и другими топовыми моделями. Результаты шокировали:
- Модели правильно объясняли схему рифмовки ABAB, но не могли составить рифмованное четверостишие
- Они распознавали литературные приёмы в сонетах Шекспира (94% точности), но не могли их воспроизвести (40% ошибок)
- Хорошо описывали психологические концепции, но путались при их классификации (55% ошибок)
Это принципиально отличается от «галлюцинаций» ИИ, когда модель выдаёт откровенную ложь. Здесь система даёт технически правильный ответ, но не понимает его смысла.
«Потёмкинское понимание» делает бессмысленными современные тесты для ИИ. Модель может идеально пройти экзамен, оставаясь «троечником» в реальном мире.
Как отмечают исследователи: «Нам нужны либо новые способы тестирования ИИ, либо методы искоренения такого поведения». Пока же даже самые продвинутые нейросети остаются своеобразными «отличниками-зубрилами», чьи знания — лишь красивая декорация.
