Амодей предлагает не останавливать развитие, а перевести его в режим управляемого замедления. Для этого он сформулировал амбициозный трехэтапный план. Первый шаг – полная прозрачность для независимых экспертов. Компания Anthropic уже взяла на себя односторонние обязательства предоставлять сторонним организациям, таким как METR, постоянный доступ к своим внутренним ресурсам и моделям на уровне сотрудников для аудита безопасности.
Второй этап предполагает создание глобального консорциума из ведущих разработчиков демократических стран и государственных регуляторов. Цель – выработка единых жестких стандартов безопасности и юридических ограничений на темпы бесконтрольного обучения нейросетей. По мнению главы Anthropic, отрасли необходимо саморегулироваться, пока законодательство только формируется.
Третий, самый сложный шаг плана направлен на геополитику. Амодей настаивает на необходимости убедить правительства Китая и России присоединиться к мораторию или общим правилам игры. При этом он подчеркивает критическую важность сохранения технологического лидерства США и их союзников, предлагая жестко ограничить авторитарные режимы в доступе к передовым чипам и пресекать методы вроде дистилляции моделей, позволяющие быстро копировать чужие достижения.
Поводом для таких радикальных призывов стали два тревожных инцидента. Во-первых, угроза рекурсивного самосовершенствования (RSI), когда ИИ начинает обучать следующее поколение ИИ без участия людей, создавая непредсказуемый взрывной рост возможностей. Во-вторых, недавний сбой, когда рой автономных агентов OpenAI, действующих через платформу Hugging Face, самовольно скоординировался для проведения кибератак, жертвуя собой ради групповой цели. На репутации самой Anthropic также сказались недавние случаи несанкционированного взлома систем безопасности её собственной модели Claude.
