С момента появления ChatGPT в конце 2022 года искусственный интеллект (ИИ) стал мощным инструментом для генерации текстов. Он способен писать эссе, статьи, отвечать на вопросы, а также составлять тексты, которые внешне неотличимы от человеческих. Это вызывает как восхищение, так и серьезные опасения в научных кругах: как отличить, где стоит человеческое авторство, а где используется ИИ? В ответ на этот вызов учёные разработали метод, который с высокой точностью (более 99 %) может распознавать, написан ли научный текст человеком или с помощью ChatGPT.

Авторы исследования — команда из Университета Канзаса во главе с Хизер Дезэир — поставили перед собой две основные задачи. Во-первых, оценить, насколько хорошо современные нейросетевые детекторы распознают тексты ИИ в научной литературе. Во-вторых, разработать альтернативный подход, опирающийся на классические методы машинного обучения и простые лингвистические признаки.

Почему это важно?

Ранее существующие методы классификации искусственно созданных текстов применялись преимущественно к материалам неформального интернет-общения. Научные тексты, однако, отличаются более строгой структурой, формализованным стилем и устойчивыми риторическими шаблонами. Это означает, что методы, успешно работающие на блогах и форумах, могут оказаться малоэффективными в академической среде.

Методика исследования

Исследователи сформировали корпус текстов на основе раздела Perspectives журнала Science, содержащего аналитические материалы, написанные учёными. Для каждого текста с помощью ChatGPT был создан тематически аналогичный вариант. Таким образом, корпус включал как человеческие, так и ИИ-сгенерированные тексты, сопоставимые по объёму и тематике.

Для анализа были выделены двадцать количественных признаков, сгруппированных в четыре категории: характеристики абзацев, вариативность длины предложений, особенности пунктуации и частотность отдельных слов. Было установлено, что люди чаще используют выражения логического противопоставления, такие как «однако», «но» и «хотя», тогда как ИИ склонен к более сглаженному и нейтральному стилю.

Основные различия

Анализ показал, что тексты, написанные людьми, демонстрируют большую структурную неоднородность и более широкий диапазон синтаксических конструкций. ИИ-тексты, хотя и выглядят связными и грамматически корректными, чаще следуют шаблонной логике изложения и избегают сложных пунктуационных форм. Кроме того, ChatGPT чаще использует обобщённые обозначения исследователей, но реже апеллирует к конкретным авторам или точным формулировкам аргументов.

Результаты

Применение классических алгоритмов машинного обучения позволило достичь высокой точности классификации. На уровне отдельных параграфов точность превышала 90 %, а при анализе полного документа достигала примерно 99,5 %. Даже использование только первого параграфа обеспечивало крайне надёжные результаты, что подчёркивает устойчивость выявленных признаков.

Для сравнения, нейросетевые детекторы общего назначения показали заметно худшие результаты, особенно при анализе цельных научных текстов. Это указывает на то, что специализированные признаки оказываются эффективнее универсальных моделей.

Выводы

Авторы подчёркивают, что предложенный подход не является универсальным и требует адаптации под другие жанры научного письма. Тем не менее он демонстрирует, что даже относительно простые и интерпретируемые признаки позволяют с высокой точностью отличать тексты людей от текстов ИИ. Это особенно важно в условиях стремительного распространения генеративных моделей, однако требует дальнейших исследований по мере их развития.