Согласно недавнему исследованию, проведенному совместно с доцентом Университета Южной Флориды, стало ясно, что даже эксперты-лингвисты испытывают затруднения в различии текстов, созданных искусственным интеллектом, от тех, которые написаны людьми.
Данные исследования, опубликованные в журнале Research Methods in Applied Linguistics, демонстрируют, что эксперты-лингвисты, представляющие ведущие мировые журналы, способны точно отличить тексты, созданные искусственным интеллектом, от рефератов, написанных человеком, всего лишь в 39 процентах случаев.
Мэтью Кесслер совместно с Дж. Эллиоттом Казалом, доцентом кафедры прикладной лингвистики в Университете Мемфиса, провел исследование, в рамках которого 72 эксперта в области лингвистики были приглашены оценить различные тексты с целью определить, созданы они искусственным интеллектом или людьми.
Мэтью Кесслер, ученый из Университета Южной Флориды, отметил:
Мы полагали, что если кто-то в состоянии определить авторство текста, то это будут лингвисты, которые посвятили свою карьеру изучению языковых закономерностей и других аспектов человеческой коммуникации.
Каждому из экспертов было предложено проанализировать четыре образца текстов. Ни один из них не смог правильно идентифицировать все четыре образца, и 13% экспертов ошиблись в оценке всех текстов. Как результат, Мэтью Кесслер пришел к выводу, что профессионалы в области лингвистики не могут однозначно отличить текст, написанный студентом, от текста, созданного языковой моделью на основе искусственного интеллекта, такой как ChatGPT, без использования специализированного программного обеспечения, которое на данный момент еще не разработано.
Несмотря на попытки экспертов использовать аргументы на основе языковых и стилистических особенностей для определения авторства текстов, они оказались в значительной степени неуспешными. Общая точность определения авторства составила всего 38,9 процента.
Что еще более удивительно, так это то, что мы спросили их, какие аргументы они использовали для своих оценок, и они предоставили логичные объяснения, однако их оценки не были согласованными и точными.
На основании этого исследования, Мэтью Кесслер и Дж. Эллиотт Казал пришли к выводу, что ChatGPT способен создавать короткие тексты на уровне, сравнимом с большинством авторов-людей и даже в некоторых случаях превосходит их, особенно учитывая, что искусственный интеллект обычно не допускает грамматических ошибок.
С другой стороны, авторы-люди могут быть более успешными в создании более длинных текстов, так как искусственный интеллект иногда может генерировать контент, который выходит за рамки нормальных языковых ожиданий и облегчает определение его искусственного происхождения.
Мэтью Кесслер выразил надежду, что это исследование способствует более широкому обсуждению и разработке этичных принципов и рекомендаций по использованию искусственного интеллекта в научных и образовательных целях.
Читать TechDigest в Google
