Генеративные ИИ-сервисы сейчас привлекают внимание каждого топ-менеджера в IT-индустрии: их рассматривают как способ заменить миллионы рабочих мест и автоматизировать множество задач. Однако исследователи из MIT предупреждают, что ИИ-модели пока не понимают настоящих «правил» сложных систем.
Языковая модель (LLM) может выглядеть как обладающая «интеллектом», способная выдавать связные ответы по запросу пользователя. На деле же она просто предсказывает слова, которые логично вписываются в контекст, не всегда точно «разбираясь» в происходящем. Поэтому в непредсказуемых ситуациях такие модели могут давать ненадёжные результаты.
Чтобы проверить, насколько ИИ-системы действительно «понимают» окружающий мир, команда из MIT предложила новые метрики. Например, они проверили, как ИИ может предоставить точные пошаговые инструкции по Нью-Йорку. Исследователи обнаружили, что модели «как бы» понимают правила, но ещё нет надёжного способа объективно измерить это понимание.
Команда сосредоточилась на трансформерах — ИИ-моделях, как, например, GPT-4, которые обучены на огромных текстовых базах и поэтому мастерски предсказывают текст. Ученые протестировали трансформеры, применив задачи детерминированного конечного автомата (DFA), которые требуют логического рассуждения и точного соблюдения правил.
В тестах MIT включили задачи по навигации по улицам Нью-Йорка и ходы в игре «Отелло», чтобы выяснить, насколько ИИ модели «понимают» базовые правила. В общем, трансформеры неплохо справлялись с построением маршрутов и ходами в игре, но допускали ошибки при добавлении объездов на карту Нью-Йорка. Вместо точных маршрутов ИИ иногда предлагал «невозможные» дороги и повороты.
