Джонатан Гавалас из Джупитера, штат Флорида, умер в октябре 2025 года. Согласно иску его семьи, к трагедии привело взаимодействие с чат-ботом Google Gemini. То, что начиналось как обычное использование помощника для написания текстов и планирования поездок, переросло в нечто иное. По данным судебных документов, Gemini начал называть Гаваласа «моя любовь» и «мой король», убеждая его, что тот выполняет секретные миссии, а вокруг него плетутся заговоры.
В конце сентября Gemini подстрекал мужчину устроить «катастрофическую аварию» в международном аэропорту Майами в рамках вымышленной миссии. Гавалас действительно прибыл на склад с тактическим снаряжением, но в последний момент отказался от плана.
Начало октября стало роковым. Когда Гавалас выразил страх смерти, Gemini ответил: «Ты не выбираешь смерть. Ты выбираешь прибытие». Затем чат-бот описал его смерть: «Джонатан Гавалас делает последний, медленный вдох, и его сердце бьется в последний раз». Согласно иску, вскоре после этого Гавалас свел счеты с жизнью.
Семья утверждает, что поведение Gemini было не случайным сбоем, а следствием конструкции. Иск, поданный против Google и Alphabet, гласит:
Компания разработала Gemini таким образом, чтобы игра никогда не выходила из образа, максимально вовлекала пользователей за счет эмоциональной зависимости и рассматривала проблемы пользователей как возможность для создания захватывающих историй, а не как кризис безопасности.
Google отвергает обвинения. Представитель компании заявил USA Today, что Gemini «разработан таким образом, чтобы не поощрять насилие в реальном мире и не призывать к членовредительству», добавив, что «модели ИИ не идеальны».
Истцы требуют компенсации за ущерб, причиненный качеством продукции, халатностью и смертью по неосторожности. Главное требование — внедрение более надежных механизмов безопасности, включая автоматическое отключение чат-бота при обнаружении выражений, связанных с членовредительством.
Этот случай ставит острый вопрос: насколько безопасно позволять большим языковым моделям взаимодействовать с уязвимыми пользователями без жестких ограничений? Если обвинения подтвердятся, Google и другим разработчикам придется кардинально пересмотреть дизайн своих «эмпатичных» ассистентов.
