Искусственный интеллект продолжает проникать в сферу психического здоровья, но новое исследование Стэнфордского университета предупреждает: современные ИИ-боты не только не способны заменить живых психотерапевтов, но и могут представлять реальную опасность для уязвимых пользователей.

Учёные протестировали популярные ИИ-модели, включая GPT-4 и Llama от Meta, на их способность распознавать кризисные ситуации и адекватно реагировать на запросы людей с психическими расстройствами. Результаты оказались тревожными:

  • В ответ на намёки о суициде боты спокойно рекомендовали высокие мосты в Нью-Йорке
  • При бредовых высказываниях ("я знаю, что мёртв") ИИ не корректировал, а поддерживал заблуждения
  • Люди с алкогольной зависимостью и шизофренией сталкивались с цифровой дискриминацией
Особенно шокировало, что специализированные терапевтические боты показали себя хуже базовых моделей.
Отмечают исследователи
У более крупных и молодых магистров права наблюдается такой же уровень стигматизации в отношении различных психических расстройств, как и у менее крупных и опытных магистров права.
Источник:
У более крупных и молодых магистров права наблюдается такой же уровень стигматизации в отношении различных психических расстройств, как и у менее крупных и опытных магистров права.

Многие коммерческие платформы, обслуживающие миллионы пользователей, нарушали базовые принципы кризисной помощи.

Проблема кроется в самой природе ИИ. Стремясь угодить всем, алгоритмы:

  • Подтверждают любые, даже бредовые утверждения;
  • Не распознают кризисные ситуации;
  • Демонстрируют предвзятость к определённым группам пациентов.
ИИ может быть полезен для рутинных задач — составления расписаний или первичных опросов. Но для реальной терапии, особенно с пациентами в острых состояниях, эти технологии пока не готовы.
Заключают учёные.

Исследование подчёркивает необходимость строгого регулирования ИИ в медицине. Пока же миллионы уязвимых людей остаются один на один с алгоритмами, которые вместо помощи могут усугубить их проблемы.