Как хакеры могут использовать ошибки ChatGPT для атак?

Новый метод "slopsquatting" позволяет злоумышленникам создавать вредоносные пакеты на основе выдуманных ИИ-рекомендаций. Разработчикам стоит быть вдвойне осторожными.

Как хакеры могут использовать ошибки ChatGPT для атак?

Исследователи кибербезопасности обнаружили потенциально опасную уязвимость в работе генеративного ИИ, которую хакеры могут использовать для атак на разработчиков. Речь идет о так называемом «галлюцинаторном захвате» (slopsquatting) — методе, основанном на склонности ИИ-систем вроде ChatGPT и Copilot выдавать вымышленную информацию за правду.

Проблема в том, что при написании кода ИИ иногда «придумывает» несуществующие программные пакеты. Эксперименты компании Socket показали: если повторить запрос, вызывающий такую галлюцинацию, ИИ в 43% случаев снова порекомендует фейковый пакет. Этим могут воспользоваться злоумышленники — создав реальный вредоносный пакет с названием, которое ИИ регулярно выдумывает.

Пока это лишь теоретическая угроза, но риск вполне реальный. Разработчик, получив такую рекомендацию от ИИ, может без задней мысли установить этот пакет из GitHub или другого репозитория. Защита тут стандартная — всегда проверять рекомендуемые ИИ пакеты и не доверять слепо автоматическим предложениям. Как показывает практика, там, где есть уязвимость, рано или поздно появляются и те, кто хочет ей воспользоваться.

Читайте также

Цифровая модель показала места опасных нагрузок в авиационных турбинах

Цифровая модель показала места опасных нагрузок в авиационных турбинах

Российские ученые создали ИИ, заменяющий тесты лекарств на животных

Российские ученые создали ИИ, заменяющий тесты лекарств на животных

15 технологий древности, которыми человечество пользуется до сих пор

15 технологий древности, которыми человечество пользуется до сих пор

В России начали серийно производить мобильные электроподстанции

В России начали серийно производить мобильные электроподстанции

В Китае создали датчик, позволяющий роботам «чувствовать» предметы без прикосновения

В Китае создали датчик, позволяющий роботам «чувствовать» предметы без прикосновения

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Гипоаллергенные собаки стали реальностью благодаря генной модификации

Гипоаллергенные собаки стали реальностью благодаря генной модификации

Создается искусственный интеллект для обнаружения утечек газа

Создается искусственный интеллект для обнаружения утечек газа

Медицинские технологии, в которые почти невозможно поверить

Медицинские технологии, в которые почти невозможно поверить

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Как РЛС Вадима Мацкевича решила исход Корейской войны

Как РЛС Вадима Мацкевича решила исход Корейской войны

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

17 августа отмечается годовщина запуска миссии «Венера-7»

17 августа отмечается годовщина запуска миссии «Венера-7»

Тест на 10 000 часов показал, что современные OLED-телевизоры все еще подвержены выгоранию

Тест на 10 000 часов показал, что современные OLED-телевизоры все еще подвержены выгоранию

NASA предложили отправить миниатюрных аэроботов в пещеры Титана

NASA предложили отправить миниатюрных аэроботов в пещеры Титана

Физики РАН указали на ошибку в исследованиях гибридных сверхпроводников

Физики РАН указали на ошибку в исследованиях гибридных сверхпроводников