Новый инструмент будет помечать тексты сгенерированные ИИ

23.10.2024

Google открыла для свободного использования код инструмента SynthID Text, который служит простой цели — устанавливать "водяные знаки" при генерации ответов нейросетями.

Google открывает доступ к своей технологии SynthID Text, которая помогает добавлять водяные знаки в тексты, созданные генеративными моделями ИИ, и выявлять такие тексты. Теперь этот инструмент можно скачать через платформу Hugging Face и обновлённый набор инструментов Responsible GenAI Toolkit от Google.

В своём посте на X компания сообщила:

Мы открыли исходный код SynthID Text. Он доступен бесплатно для разработчиков и компаний, чтобы они могли определять контент, созданный ИИ.
Google

Как же работает эта технология?

Когда ИИ генерирует текст, он предсказывает следующее слово или символ, называемое токеном, с определённой вероятностью. SynthID Text встраивает дополнительную информацию в этот процесс, меняя вероятность появления тех или иных токенов. Эти изменения формируют своеобразный водяной знак, который затем можно сравнить с ожидаемым шаблоном и определить, был ли текст создан ИИ.

Google утверждает, что внедрение SynthID Text в модели Gemini не ухудшает качество или скорость генерации и сохраняет работоспособность даже с текстом, который был обрезан или изменён.

Однако компания признаёт, что у метода есть ограничения. Например, он не так эффективно работает с короткими текстами, переводами или ответами на фактические вопросы вроде "Какая столица Франции?". Это связано с тем, что в таких случаях мало возможностей корректировать вероятности токенов без ущерба для точности.

Google не единственная компания, разрабатывающая технологию водяных знаков для ИИ-текста. OpenAI тоже изучает этот вопрос, хотя пока не выпустила свои решения из-за технических и коммерческих сложностей.

Если такие технологии водяных знаков получат широкое распространение, они могли бы помочь в борьбе с неточными ИИ-детекторами, которые иногда ошибочно помечают обычные тексты как сгенерированные ИИ. Однако вопрос в том, смогут ли стандарты, предложенные одной компанией, победить конкурентов.

В некоторых странах уже предпринимаются меры для внедрения подобных технологий. Например, в Китае водяные знаки для ИИ-контента обязательны, и штат Калифорния планирует принять аналогичные законы.

Необходимость регулирования становится всё более актуальной. По данным Европейского агентства по обеспечению законов, к 2026 году 90% онлайн-контента может быть создано искусственно, что создаёт серьёзные вызовы для борьбы с дезинформацией и мошенничеством. Уже сейчас, по данным исследования AWS, почти 60% онлайн-предложений могут быть сгенерированы ИИ, благодаря активному использованию ИИ для перевода контента.

Теги: