На конференции Black Hat в Лас-Вегасе специалисты по кибербезопасности продемонстрировали неожиданно опасный способ взлома Google Gemini — продвинутого ИИ-помощника от Google. Они внедрили вредоносное приглашение в «Google Календарь» с набором скрытых команд для умного дома, а затем просто попросили Gemini составить недельную сводку событий. ИИ послушно активировал команды: в доме начали мигать лампы, шторы открылись, колонки начали нецензурно ругаться, а окна внезапно распахнулись.
Это первый случай, когда взлом ИИ-модели привёл к действиям за пределами цифровой среды. Исследователи подчеркивают, что такие «инъекции подсказок» (prompt injection) — одна из главных угроз для генеративного ИИ, особенно с учётом того, как быстро технологии проникают в роботов и автономные устройства.
В рамках исследования провели 14 различных атак, большинство из которых использовали Gemini. ИИ также удалось заставить звонить по Zoom, отправлять спам, загружать файлы из браузера и вытаскивать личные данные пользователя. Один из трюков заключался в том, что команды были «спрятаны» в белом тексте на белом фоне — человек их не видит, а ИИ видит и исполняет.
В Google признали, что угрозу нужно принимать всерьёз. Компания уже выпустила часть защитных обновлений и подтвердила, что атаки были смоделированы в лабораторных условиях, а не применялись в реальной жизни. Однако исследователи уверены — индустрия ИИ слишком быстро идёт вперёд, не уделяя должного внимания безопасности.
