Необычный случай использования prompt injection произошел в судебной системе американского штата Коннектикут. Мэтью Эллиот, самостоятельно представляющий свои интересы в деле против New York Bariatric Group, добавил скрытые инструкции для искусственного интеллекта как минимум в два поданных в суд документа.
Как сообщает 404 Media, текст был набран очень мелким шрифтом белого цвета, поэтому оставался практически незаметным на странице, но мог быть считан системой обработки документов. В инструкциях ИИ предлагалось интерпретировать материалы таким образом, чтобы добиться выгодного для Эллиота решения по одному из ходатайств.
Скрытый текст обнаружили случайно. Сотрудник суда обратил внимание на необычные интервалы между строками, отличавшиеся от предыдущих документов Эллиота. После проверки выяснилось, что свободное пространство содержало невидимые для обычного просмотра инструкции.
Судья Уолтер Майкл Спейдер-младший потребовал объяснить происхождение скрытого текста и решить, нарушают ли подобные действия правила судебного процесса. При этом суд подчеркнул, что сам не использует ИИ для анализа поданных документов. Однако подобные инструменты могут применять адвокаты и другие участники дела, а значит, скрытая инструкция потенциально способна повлиять на их работу.
Сам Эллиот заявил, что проводил своеобразный «аудит» судебной системы и хотел проверить, используются ли для обработки документов инструменты искусственного интеллекта. Суд это объяснение не принял и расценил действия как намеренную попытку повлиять на анализ материалов скрытым способом.
В результате Эллиоту запретили электронную подачу документов. Теперь материалы по делу он должен предоставлять лично и только в бумажном виде. Более серьезных санкций суд не назначил, в том числе учитывая, что мужчина не является адвокатом и представляет себя самостоятельно.
При этом суд отдельно отметил, что не выступает против применения искусственного интеллекта в юридической практике. Такие инструменты могут помочь людям самостоятельно разобраться в законодательстве и подготовить документы, однако их использование должно оставаться открытым и добросовестным.
Случай также стал очередной демонстрацией опасности prompt injection — метода, при котором скрытые в тексте инструкции заставляют ИИ игнорировать исходную задачу или менять свое поведение. По мере распространения ИИ-агентов подобные атаки становятся проблемой не только для веб-сервисов и программного обеспечения, но и для систем, работающих с обычными документами.
