Сравниваем нейросети КонтрПлагиат и DeepL Write – показатели уникальности и улучшения качества текстов на основе искусственного интеллекта

Мы уже анонсировали возможность вычитывания и правки текстов с помощью нейросети КонтрПлагиат

Однако не только мы пытаемся использовать возможности искусственного интеллекта на «всю катушку», сегодня расскажем об аналогичном функционале DeepL Write – сервисе для улучшения качества текстов на английском и немецком языках, работающий на основе искусственного интеллекта, рис. 1.

Рисунок 1 - Интерфейс сервиса DeepL Write

С помощью DeepL Write, как и у КонтрПлагиата, тексты можно не только проверять на предмет грамматических ошибок, но и редактировать.

По мнению разработчиков, система DeepL Write улавливает тонкие оттенки значений исходного текста и предлагает варианты перефразирования предложений и замены слов с учетом контекста.

Перейдем от слов к делу, имеется исходный текст

Текст источник

Вокальные данные (диапазон, свобода звукоизвлечения, наличие зажимов) Критерии оценки:
 - высокий уровень: свободное владение голосом; диапазон 2 октавы и более, зажимы не значительны.
- средний уровень: уверенное владение голосом в разговорном регистре; диапазон от 1,5 до 2 октав, зажимы на переходах.
- низкий уровень: неуверенное владение голосом, диапазон меньше 1,5 октав, зажимы практически во всем диапазоне.

Попробуем этот текст улучшить с помощью DeepL Write, рис. 2.

Рисунок 2 - Улучшение качества текста с помощью DeepL Write

Текст, после нейросетевой правки DeepL Write

Пение (диапазон, свобода выражения, наличие клипов) Критерии оценки:
 - Высокий уровень: свободное управление голосом; диапазон 2 октавы и более, без зажимов.
- средний уровень: уверенное управление голосом в разговорной позиции; диапазон от 1,5 до 2 октав, зажимы на переходах.
- Низкий уровень: плохой контроль над голосом, диапазон менее 1,5 октавы, зажимы почти во всех областях.

Сравнительная таблица приобретенных дефектов «улучшения» от DeepL Write представлена ниже

Таблица 1 - Сравнительная таблица приобретенных дефектов «улучшения» от DeepL Write

 Текст источника

 Текст после улучшения DeepL Write

Комментарий ошибок 

Вокальные данные

Пение

«Вокальные данные», это не «пение»

свобода звукоизвлечения

свобода выражения

«Выражение» и «звукоизвлечение», это совершенно разные понятия

наличие зажимов

наличие клипов

«Зажимы» при вокальном исполнение и «клипы», это совершенно разные понятия

свободное владение голосом

свободное управление голосом

В контексте вокального творчества, «управление» – не совсем удачный термин

зажимы не значительны

без зажимов

В исходнике речь идет о малом количестве значений, DeepL Write интерпретировал как полное отсудив, что является некорректной подачей

уверенное владение голосом

уверенное управление голосом

В принципе так сказать допустимо, но в академической речи, такое изложение «режет глаз»

в разговорном регистре

в разговорной позиции

DeepL Write не уловил сути текста, изложив его некорректно

неуверенное владение голосом

плохой контроль над голосом

В принципе так сказать допустимо, но в академической речи, такое изложение «режет глаз»

зажимы практически во всем диапазоне

зажимы почти во всех областях

«Диапазон» и «области», некорректный термин изменяющий смысловую нагрузку.

Подводим итог, текст источник содержит 418 знаков, количество неточностей, в том числе и критических у DeepL Write – 180 знаков, другими словами, 43% текста, изложено с ошибками, которые потребуется исправлять руками, что сводит к нулю возможность использования данного сервиса.

В ранних публикациях мы писали, что для прохождения проверки в антиплагиат, версии ВУЗ требуется достичь отличия текстов на уровне 81% и более, показатель отличия измеряется при сверке по шинглам, состоящим из двух слов (Ш2). На рисунке 3 представлено значения показателя Ш2, оно составляет 52%, что говорит о существенном недоборе отличия, текст, проверку в Антиплагиат ВУЗ не пройдет.

 

Рисунок 3 - DeepL Write продемонстрировал достаточно низкий показатель отличия текстов, другими словами, редактируемый текст не стал уникальным и проверку в Антиплагиат ВУЗ не пройдет

Протестируем улучшение качества текстов с помощью искусственного интеллекта нейросети КонтрПлагиат:

Вокальные способности, данные (диапазон (октавы), свобода, проявляемая в процессе звукоизвлечения, наличие или отсутствие зажимов).
Критеральные показатели оценки:
 - высокое значение уровня: свободное владение возможностями своего голоса; диапазон занимает 2 октавы или больше, зажимы, фактически не заметны, не значительны.
- среднее значение уровня: уверенное владение возможностями своего голоса в разговорном регистре; звуковой диапазон колеблется в диапазоне от 1,5 до 2 октав, фиксируется наличие зажимов на переходах.
- низкое значение уровня: неуверенное владение возможностями своего голоса, диапазон заметно меньше 1,5 октав, фиксируется наличие зажимов наблюдается практически во всем звуковом диапазоне.

Как видно из приведенного текста, КонтрПлагиат идет несколько иным путем, качество текста осталось примерно на том же уровне, что и у источника, ошибки отсутствуют, однако текст прирос в объеме за счет разбивки шинглов словами «вставками».

На рисунке 4 представлен показатель отличия текста по Ш2, он составил 83%, что превышает требуемую норму, следовательно, текст после рерайта и улучшения нейросетью КонтрПлагиат проверку в Антиплагиат ВУЗ пройдет с успехом.

 

Рисунок 4 – КонтрПлагиат продемонстрировал достаточно высокий показатель отличия текстов, другими словами, редактируемый текст стал уникальным и проверку в Антиплагиат ВУЗ пройдет

Подводим итог, КонтрПлагиат, по результатам теста, показал результаты в два раза лучше, чем у сервиса DeepL Write, по ряду показателей - качество текста, отличие текста (Ш2).