Глава Anthropic Дарио Амодей предупредил о рисках слишком быстрого развития передовых систем искусственного интеллекта. По его мнению, возможности моделей растут быстрее, чем средства их контроля и защиты, поэтому отрасли необходимо временно снизить темпы этой гонки.
Одним из наиболее опасных сценариев Амодей назвал появление автономного роя ИИ-агентов. По его оценке, через 6–12 месяцев достаточно мощная система теоретически сможет создать постоянно действующий ботнет и использовать его для масштабных атак в интернете. Потенциальный ущерб от такого сценария руководитель Anthropic оценивает в сотни миллиардов долларов.
Опасения связаны с переходом от обычных чат-ботов к агентным системам, способным самостоятельно выполнять продолжительные многоэтапные задачи. Исследования самой Anthropic показывают, что современные модели уже могут использоваться в кибероперациях и других потенциально опасных областях, а дальнейшее развитие способно заметно снизить необходимые для этого требования к знаниям и человеческим ресурсам.
При этом Амодей не призывает полностью остановить разработку искусственного интеллекта. Он предлагает замедлить наращивание возможностей наиболее передовых моделей, чтобы механизмы безопасности успевали развиваться вместе с ними. Дополнительной проблемой остается глобальная конкуренция: односторонняя пауза может дать преимущество компаниям и странам, которые не станут придерживаться аналогичных ограничений.
