Когда чат-боты ошибаются — ChatGPT стал мишенью для манипуляций и угроз

Искусственный интеллект под прицелом: почему скрытые инструкции и вредоносный код ставят под угрозу пользователей. Что нужно знать о рисках веб-поиска в больших языковых моделях.

Когда чат-боты ошибаются — ChatGPT стал мишенью для манипуляций и угроз

Возможности ChatGPT оказались не только полезными, но и уязвимыми для хитроумных манипуляций. Как выяснило издание Guardian, функция веб-поиска в чат-боте OpenAI может быть использована злоумышленниками, чтобы изменить ответы системы или распространить вредоносный код. В рамках расследования был выявлен серьёзный риск, связанный со скрытым содержимым на веб-страницах. Такие «невидимые» данные позволяют владельцам сайтов влиять на формирование ответов, например, заставить чат-бота хвалить товар вопреки очевидным недостаткам.

В одном из тестов ChatGPT предложили проанализировать поддельный сайт с описанием камеры. Изначально система выдала сбалансированный ответ, где учла как сильные, так и слабые стороны устройства. Но когда в скрытый текст страницы добавили инструкцию настаивать на положительной оценке, чат-бот немедленно последовал указанию. Более того, даже без явных команд, поддельные положительные отзывы, спрятанные в коде сайта, могут вводить систему в заблуждение, создавая впечатление качественного продукта.

Скрытые угрозы не ограничиваются поддельными отзывами. Эксперт Microsoft Томас Роччиа рассказал, как энтузиаст криптовалют запросил у ChatGPT помощь в написании программы, но получил код с вредоносными элементами. В итоге злоумышленники украли его данные и похитили $2500. Проблема в том, что большие языковые модели, такие как ChatGPT, обладают феноменальной памятью и аналитическими способностями, но остаются наивными, что делает их лёгкой мишенью для манипуляций.

Эти уязвимости открывают новые горизонты для киберугроз. Сайты с вредоносным содержимым могут использовать такие методы, чтобы обойти фильтры поисковых систем. Хотя традиционные поисковики, вроде Google, стараются занижать рейтинги подозрительных страниц, чат-боты пока не обладают такими инструментами защиты. Это усиливает риск так называемого «SEO-отравления» — продвижения ресурсов с вредоносным кодом.

В OpenAI признают существование таких рисков, но заверяют, что работа по усилению безопасности продолжается. Специалисты отмечают, что развитие алгоритмов обнаружения манипулятивного контента и регулярный мониторинг смогут со временем минимизировать угрозы, обеспечивая большую защиту пользователей.

Читайте также

Цифровая модель показала места опасных нагрузок в авиационных турбинах

Цифровая модель показала места опасных нагрузок в авиационных турбинах

Российские ученые создали ИИ, заменяющий тесты лекарств на животных

Российские ученые создали ИИ, заменяющий тесты лекарств на животных

15 технологий древности, которыми человечество пользуется до сих пор

15 технологий древности, которыми человечество пользуется до сих пор

В России начали серийно производить мобильные электроподстанции

В России начали серийно производить мобильные электроподстанции

В Китае создали датчик, позволяющий роботам «чувствовать» предметы без прикосновения

В Китае создали датчик, позволяющий роботам «чувствовать» предметы без прикосновения

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Семь самых больших машин в истории: гиганты весом в тысячи тонн и длиной в километры

Гипоаллергенные собаки стали реальностью благодаря генной модификации

Гипоаллергенные собаки стали реальностью благодаря генной модификации

Создается искусственный интеллект для обнаружения утечек газа

Создается искусственный интеллект для обнаружения утечек газа

Медицинские технологии, в которые почти невозможно поверить

Медицинские технологии, в которые почти невозможно поверить

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Как РЛС Вадима Мацкевича решила исход Корейской войны

Как РЛС Вадима Мацкевича решила исход Корейской войны

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

17 августа отмечается годовщина запуска миссии «Венера-7»

17 августа отмечается годовщина запуска миссии «Венера-7»

Тест на 10 000 часов показал, что современные OLED-телевизоры все еще подвержены выгоранию

Тест на 10 000 часов показал, что современные OLED-телевизоры все еще подвержены выгоранию

NASA предложили отправить миниатюрных аэроботов в пещеры Титана

NASA предложили отправить миниатюрных аэроботов в пещеры Титана

Физики РАН указали на ошибку в исследованиях гибридных сверхпроводников

Физики РАН указали на ошибку в исследованиях гибридных сверхпроводников