Stack Overflow, сайт вопросов и ответов для кодеров и программистов, временно запретил пользователям делиться ответами, сгенерированными чат-ботом ChatGPT.
На данный момент официальная позиция администрации ресурса состоит в том, что запрет был временным и окончательное решение будет принято через некоторое время в будущем после консультации с сообществом. Но, как объяснили модераторы, ChatGPT просто слишком упрощает для пользователей создание ответов, которые на первый взгляд кажутся правильными, но часто ошибочными при внимательном рассмотрении.
ChatGPT — это экспериментальный чат-бот, созданный OpenAI на основе генератора текста автозаполнения GPT-3.5. Веб-демонстрация бота была выпущена на прошлой неделе и с тех пор с энтузиазмом воспринята пользователями в Интернете. Интерфейс бота побуждает людей задавать вопросы и, в свою очередь, предлагает впечатляющие и гибкие результаты по целому ряду запросов: от создания стихов, песен и телевизионных сценариев до ответов на простые вопросы, а также написания и отладки строк кода.
Но в то время как многие пользователи были впечатлены возможностями ChatGPT, другие отметили его постоянную тенденцию генерировать правдоподобные, но ложные ответы. Попросите бота написать биографию публичного деятеля, например, и он вполне может с полной уверенностью вставить неверные биографические данные. Попросите его объяснить, как создать программное обеспечение для конкретной функции, и он точно так же может создать правдоподобный, но в конечном счете неверный код.
Это один из нескольких хорошо известных недостатков моделей генерации текста ИИ, также известных как модели больших языков или LLM. Эти системы обучаются путем анализа шаблонов в огромных кучах текста, извлеченных из Интернета. Они ищут статистические закономерности в этих данных и используют их, чтобы предсказать, какие слова должны быть следующими в любом заданном предложении. Это означает, однако, что им не хватает жестко закодированных правил работы определенных систем в мире, что приводит к их склонности генерировать "беглую чушь".
Учитывая огромные масштабы этих систем, невозможно с уверенностью сказать, какой процент их вывода является ложным. Но в случае с Stack Overflow компания на данный момент решила, что риск ввести пользователей в заблуждение слишком высок.