Джеймс Зоу (James Zou), доцент кафедры биомедицинских данных, информатики и электротехники Стэнфордского университета, и его команда провели исследование, в ходе которого собрали 91 эссе, написанное не носителями английского языка для сдачи экзамена по английскому языку как иностранному (TOEFL). Затем эти эссе были загружены в семь программ-детекторов генеративных текстов GPT. Результаты, полученные профессором Зоу, показали, что более половины эссе были ошибочно классифицированы как написанные ИИ, тогда как образцы, написанные носителями английского языка, были детектированы практически идеально.
Проблема детектирования текстов не нова, об этом КонтрПлагиат писал неоднократно. В России сервис детектирования реализуется на базе Антиплагиат ВУЗ, который может метить, как генеративные, нумерации страниц, так и автоматически собранные содержания работ. Здесь Антиплагиат понять можно, и совсем невозможно понять, когда генеративным считается текст, написанный человеком, и полностью пустая страница работы.
Исследование Джеймса Зоу подчеркивает серьезные проблемы, с которыми сталкиваются инструменты при распознавании сгенерированных текстов, особенно тех, которые написаны не носителями английского языка. Хотя программы, содержащие ИИ, становятся все более популярными, преподаватели обеспокоены тем, что студенты могут использовать эти системы для переписывания письменных заданий.
Чтобы попасть в ногу с вызовами времени, разработано множество цифровых инструментов "обнаружения ИИ", позволяющих точно анализировать человеческий текст и отличать его от текста, сгенерированного языковыми моделями (LLM), такими как ChatGPT компании OpenAI. Однако результаты исследования Джеймса Зоу (James Zou) и его коллег свидетельствуют, что эти инструменты обнаружения ИИ страдают значительной погрешностью и неточностью при обнаружении текстов, написанных не носителями английского языка.
Такая неверная классификация может иметь серьезные последствия для студентов, которые могут быть ошибочно обвинены в использовании ИИ для подготовки письменных заданий. Кроме того, преподаватели могут столкнуться с трудностями при оценке работ студентов для определения аутентичности их текстов.
Исследование ученого и его научной группы подчеркивает необходимость дальнейшего совершенствования средств выявления ИИ, чтобы сделать их более точными и надежными при работе с текстами, написанными не носителями английского языка.
В связи с этим возникает важный и актуальный вопрос: если искусственный интеллект (ИИ) создает контент, который легко ускользает от обнаружения детекторами, а человеческие тексты детекторы относят к генеративным, то насколько эффективны детекторы, предназначенные для выявления таких случаев?
Как отмечают авторы заявления, если в статье используются обычные английские слова, то детектор будет выдавать больше ошибок, что, в свою очередь, означает, что статья, скорее всего, будет обозначена как творение ИИ. С другой стороны, если в тексте используются более сложные слова, то алгоритм классифицирует статью как "написанную вручную".
Для дальнейшего изучения этого вопроса команда Джеймса Зоу (James Zou) провела ряд тестов: загрузила 91 статью в ChatGPT и попросила модель переписать текст. Затем более "сложные" правки были проверены в семи программах детектирования текстов ИИ, в результате чего многие статьи были переклассифицированы как написанные человеком.
Мы поздравляем Джеймса Зоу (James Zou) и его команду с открытием, которое лишь на полгода отстало от выводов КонтрПлагиата, который использует в своей модели перефразирования этот подход при очеловечивании русскоязычных текстов.
Таким образом, хотя контент, созданный ИИ, часто бывает низкого качества, имеющиеся на сегодня инструменты распознавания текстов ИИ явно не так эффективны, как хотелось бы. В своей недавней презентации Джеймс Зоу отметил, что "имеющиеся детекторы слишком ненадежны и рискованны, чтобы студенты могли полностью доверять этим технологиям. Это утверждение не вызывает вопросов, потому что его трудно опровергнуть.
