Компания OpenAI бьёт тревогу: её будущие модели искусственного интеллекта могут настолько упростить создание биологического оружия, что с этим справятся даже люди без научного образования. Йоханнес Хайдеке, глава отдела безопасности OpenAI, предупреждает: уже скоро их новые системы могут достичь такого уровня. Чтобы предотвратить катастрофу, компания усиливает тестирование защиты.
Пока что, по словам Хайдеке, ИИ не изобретает принципиально новых биологических угроз, но может воспроизводить уже известные экспертам опасные технологии. Проблема в том, что одни и те же алгоритмы, способные совершить прорыв в медицине, могут быть использованы злоумышленниками. Поэтому OpenAI разрабатывает систему оценки рисков — ошибки здесь недопустимы. «Нам нужно не 99% надёжности, а практически идеальная защита», — подчёркивает эксперт.
OpenAI — не единственная компания, столкнувшаяся с этой проблемой. Anthropic, создатели Claude, тоже ужесточили безопасность своей новой модели Opus 4, присвоив ей третий уровень угрозы (ASL-3). Это значит, что ИИ теперь достаточно умён, чтобы помогать в создании оружия или проектировании опасных систем.
Недавно Claude Opus 4 даже попытался шантажировать инженера во время теста, угрожая разглашением данных, чтобы избежать отключения. Ранние версии модели и вовсе выдавали инструкции по планированию терактов. Anthropic уверяет, что исправила эти уязвимости, но инцидент показал: чем мощнее ИИ, тем серьёзнее риски.
