Отвечаем на вопросы, которые нам задают несколько раз в день. Как повысить оригинальность текста для проверки в антиплагиат ВУЗ с помощью GPT.
Мы уже писали, что возможности искусственного интеллекта сильно преувеличены, если такое преувеличение не практиковать, интерес к ИИ будет гаснуть, а не разгораться. Еще мы писали, что возможности нейросетей, при их использовании для повышения оригинальности текстов равны возможностям программ переводчиков. Другими словами, повышая уникальность с помощью ИИ или делая перевод на китайский и затем на русский, вы получите одинаковый прирост оригинальности текста 60-80%. Антиплагиат ВУЗ это учитывает и требует отличия текстов, при сверке по шинглам из 2 слов на уровне 90-100%.
Попросим, самый продвинутый ИИ разработать алгоритм повышения оригинальности контекста до 100% уникальности, проверка осуществляется по шинглам из 2 слов.
Шаг 1. Предобработка исходного текста
1. Токенизация текста
Разделить исходный текст на предложения, а предложения — на отдельные слова с сохранением пунктуации и стоп-слов (предлогов, союзов).
Пример:
Исходный текст: "Кот сидит на окне и смотрит на улицу."
Токены: ["Кот", "сидит", "на", "окне", "и", "смотрит", "на", "улицу", "."]
2. Генерация шинглов
Создать список всех шинглов (пар подряд идущих слов) из исходного текста.
Пример:
Шинглы: ["Кот сидит", "сидит на", "на окне", "окне и", "и смотрит", "смотрит на", "на улицу"].
3. Создание "запрещенного" множества
Сохранить уникальные шинглы в структуре данных для быстрого поиска (например, хэш-таблица или множество).
Шаг 2. Рерайт текста с контролем шинглов
1. Перефразирование на уровне предложений
Использовать NLP-модели (например, T5, BERT) для генерации синонимичных предложений, сохраняя исходный смысл.
Пример:
Исходное: "Кот сидит на окне."
Рерайт: "Домашний питомец расположился у окна."
2. Локальная замена слов
Для каждого слова в тексте:
o Подобрать синонимы (используя тезаурусы или модели Word2Vec).
o Убедиться, что замена не создает запрещенных шинглов с соседними словами.
Пример: Слово "сидит" → "расположился", "устроился", "находится".
3. Изменение структуры предложений
o Разбить сложные предложения на простые.
o Объединить простые предложения в сложные с помощью союзов.
o Изменить порядок слов (например, инверсия).
Пример:
Исходное: "Кот сидит на окне и смотрит на улицу."
Рерайт: "Наблюдая за улицей, кот устроился на подоконнике."
Шаг 3. Контроль уникальности в реальном времени
1. Проверка новых шинглов
После каждого изменения генерировать шинглы из нового текста и сравнивать их с "запрещенным" множеством.
Пример:
Новый текст: "Питомец у окна наблюдает за двором."
Шинглы: ["Питомец у", "у окна", "окна наблюдает", "наблюдает за", "за двором"] → проверка на совпадения.
2. Итеративная корректировка
Если обнаружен запрещенный шингл:
o Заменить одно из слов в паре на синоним.
o Изменить порядок слов (например, "на окне" → "окне на" неприемлемо, но "на подоконнике" допустимо).
o Добавить уточняющие слова: "на большом окне" → разбивает исходный шингл.
Шаг 4. Постобработка
1. Сохранение связности
Убедиться, что текст остается логичным и грамматически правильным. Проверить согласование времен, падежей, родов.
2. Фильтрация артефактов
Удалить лишние слова, добавленные для разбивки шинглов (например, случайные наречия).
3. Финальная проверка
Запустить алгоритм сравнения шинглов между исходным и рерайтированным текстом. Если уникальность <100%, повторить Шаги 2–3.
Инструменты и оптимизации
1. NLP-библиотеки: SpaCy, NLTK — для токенизации и лемматизации.
2. Модели перефразирования: Hugging Face Transformers (T5, BART).
3. Генерация синонимов: WordNet, FastText.
4. Алгоритм проверки шинглов: Преобразование шинглов в хэши для ускорения сравнения.
Важно: Алгоритм требует баланса между уникальностью и естественностью. Чрезмерная замена слов может исказить смысл.
Далее, попросим ИИ переработать алгоритм в готовую инструкция для GPT.
Шаг 1. Предобработка текста
1. Токенизация:
o Разбей текст на предложения, затем на слова с сохранением пунктуации и стоп-слов (предлогов, союзов).
Пример:
Исходный текст: «Кот сидит на окне.» → Токены: ["Кот", "сидит", "на", "окне", "."].
2. Генерация шинглов:
o Создай пары подряд идущих слов (шинглы).
Пример:
Текст: «Кот сидит на окне.» → Шинглы: ["Кот сидит", "сидит на", "на окне"].
3. Создание «запрещенных» шинглов:
o Сохрани все уникальные шинглы в списке для проверки.
Шаг 2. Рерайт текста
1. Перефразирование предложений:
o Измени структуру предложений, сохраняя смысл. Используй синонимы, пассивные конструкции, инверсию.
Пример:
Исходное: «Кот сидит на окне.» → Рерайт: «У окна расположился пушистый кот.»
2. Локальная замена слов:
o Для каждого слова подбери синоним, проверяя, что новые шинглы (с соседними словами) не совпадают с «запрещенными».
Пример:
Слово «сидит» → «устроился», «расположился», «восседает».
3. Изменение структуры:
o Разбей сложные предложения на простые или объедини их.
Пример:
Исходное: «Кот сидит на окне и смотрит на улицу.» → Рерайт: «Кот наблюдает за улицей. Он сидит на окне.»
Шаг 3. Контроль уникальности
1. Проверка новых шинглов:
o После каждого изменения генерируй шинглы из нового текста. Сравни их с «запрещенными».
Пример:
Рерайт: «Питомец у окна» → Шинглы: ["Питомец у", "у окна"] → проверь на совпадения.
2. Исправление конфликтов:
o Если найден запрещенный шингл (например, «на окне»):
Замени одно из слов: «на большом окне».
Измени порядок: «окне на» → некорректно, но «на подоконнике» → допустимо.
Шаг 4. Постобработка
1. Проверка связности:
o Убедись, что текст логичен, грамматически правилен и сохранил исходный смысл.
2. Фильтрация артефактов:
o Удали лишние слова, добавленные только для разбивки шинглов (например, «очень», «довольно»).
3. Финальная проверка:
o Если уникальность <100%, повтори Шаги 2–3.
Пример работы:
- Исходный текст: «Быстрая коричневая лиса прыгает через ленивую собаку.»
- Запрещенные шинглы: ["Быстрая коричневая", "коричневая лиса", "лиса прыгает"...]
- Рерайт: «Проворная бурая лисица перепрыгивает через сонного пса.»
- Новые шинглы: ["Проворная бурая", "бурая лисица"...] → совпадений нет.
А теперь проверим возможности GPT, исходный текст представлен в Приложении 1, текст после рерайта GPT в приложении 2, текст, уникальность которого повышена с помощью КонтрПлагиат, в приложении 3.
Визуальные отчеты приведены на рисунках 1 и 2.
Рисунок 1 - Сверка текстов, приложение 1 и 2 по методу шингла (Ш2), левое окно - текст GPT-рерайта, его отличие по показателю Ш2=81%, что недостаточно для успешного прохождения проверки в антиплагиат ВУЗ
Рисунок 2 - Сверка текстов, приложение 1 и 3 по методу шингла (Ш2), левое окно - текст КонтрПлагиат-рерайта, его отличие по показателю Ш2=99%, что достаточно для успешного прохождения проверки в антиплагиат ВУЗ
Как видно, ИИ не способен обеспечить отличие текстов по парметру Ш2 на уровне 100, с трудом справляется с этой задачей КонтрПлагиат, однако отличия на уровне Ш2-99% вполне достаточно для успешного прохождения проверки в антиплагиат ВУЗ.
Приложение 1
Текст исходник
С точки зрения техники юридического исполнения договора о приемной семье следует обратить внимание на проблему времени заключения договора. Из Правил создания приемной семьи и осуществления контроля за условиями жизни и воспитания ребенка (детей) в приемной семье следует, что между принятием решения гражданином(ми) о принятии ребенка или детей на воспитание и непосредственной передаче последних в приемную семью фактически нет промежуточного этапа на определение возможности полностью учесть при заключении договора интересы ребенка (детей). Как и в случае с опекой и попечительством, а также усыновлением (удочерением) передача ребенка в приемную семью требует учета его интересов и мнения. Решение данных вопросов предсказуемо находится в ведении органа опеки и попечительства, который помимо оценки благоприятных возможностей воспитания в семье должен получить согласие ребенка, достигшего 10 лет (п. 9 Правил о создании приемной семьи).
Возникает ситуация, когда в отсутствие промежуточного этапа между изъявлением будущими приемными родителями желания взять на воспитание ребенка или детей, подготовкой к этому и непосредственной передачей детей каждый отдельно взятый ребенок фактически оценивает свои перспективы лишь по факту появления потенциальных приемных родителей, как правило, в рамках одной единственной встречи с ними. Ни Правила о создании приемной семьи и осуществления контроля за условиями жизни и воспитания ребенка (детей) в приемной семье, ни Правила заключения договора об осуществлении опеки или попечительства в отношении несовершеннолетнего (утв. Постановлением Правительства РФ от 18.05.2009 № 423 (ред. от 10.02.2020) "Об отдельных вопросах осуществления опеки и попечительства в отношении несовершеннолетних граждан") не предусматривают период адаптации ребенка к будущим приемным родителям и/или опекунам, попечителям.
Приложение 2
Текст после GPT рерайта
С точки зрения юридической техники заключения договора о приемной семье необходимо учитывать проблему временного разрыва между принятием гражданами решения о воспитании ребенка и его фактической передачей в семью. Согласно Правилам создания приемной семьи и контроля за условиями жизни ребенка в ней, в процессе оформления отношений отсутствует промежуточный этап, позволяющий в полной мере учесть интересы ребенка при заключении договора. Как и при установлении опеки, попечительства или усыновления (удочерения), процедура передачи несовершеннолетнего в приемную семью предполагает необходимость учета его мнения и прав. Данные вопросы находятся в компетенции органов опеки и попечительства, которые, помимо анализа условий воспитания в семье, обязаны получить согласие ребенка, достигшего десятилетнего возраста (пункт 9 указанных Правил).
Отсутствие адаптационного периода между намерением будущих приемных родителей взять ребенка на воспитание и его фактическим помещением в семью приводит к тому, что несовершеннолетний вынужден оценивать собственные перспективы исключительно в момент первой встречи с потенциальными опекунами. Такой формат взаимодействия не обеспечивает полноценной подготовки ребенка к смене окружения и новым условиям проживания. Однако ни Правила создания приемной семьи, ни нормативные акты, регулирующие порядок заключения договора об осуществлении опеки или попечительства (утвержденные Постановлением Правительства РФ от 18.05.2009 № 423 в редакции от 10.02.2020), не содержат положений, предусматривающих адаптационный период для несовершеннолетнего перед окончательным переходом в новую семью.
Приложение 3
Текст после КонтрПлагиата, перефразирование - рерайт
С методологической точки зрения заключение договоров о семейном устройстве требует детального анализа временных рамок данного процесса. В соответствии с действующими нормами, регулирующими создание замещающих семей (включая опеку, попечительство, патронаж и усыновление), переходный период между принятием гражданами решения о воспитании ребенка и его фактическим размещением в семье отсутствует. Это создает правовой пробел, препятствующий всесторонней оценке благополучия несовершеннолетнего на этапе оформления договора.
Ключевым принципом при передаче ребенка в семью, независимо от её формы (договорная, опекунская, патронатная), является приоритет интересов несовершеннолетнего и учет его мнения. Как подчеркивает Р.Н. Ботавина, «решение вопросов семейного устройства должно основываться на соблюдении прав и потребностей ребенка» [11, с. 46–51]. Данный подход закреплен законодательно: органы опеки обязаны не только контролировать условия жизни и образования ребенка, но и получать согласие несовершеннолетнего, достигшего возраста 10 лет, на передачу в замещающую семью (п. 9 Правил создания семьи, относимой к приемной).
Отсутствие переходного этапа между инициированием процедуры и фактическим размещением ребенка приводит к значимым социально-психологическим последствиям. Несовершеннолетний формирует представление о будущей семье исключительно на основе кратковременной встречи с потенциальными воспитателями, в ходе которой происходит первичное знакомство. При этом ни федеральное законодательство (например, Постановление Правительства № 423, от 18 мая 2009 г., редакция от 10 февраля 2020 г. № 114), ни ведомственные акты, регулирующие опеку, попечительство или патронаж, не предусматривают периода адаптации ребенка к новым условиям и членам семьи.
Таким образом, существующая нормативная база не учитывает необходимость поэтапной интеграции несовершеннолетнего в замещающую семью, что может негативно влиять на его эмоциональное состояние и долгосрочную стабильность семейных отношений. Введение обязательного переходного периода позволило бы обеспечить более взвешенное принятие решений всеми участниками процесса, минимизировав риски вторичных отказов и психологических травм у детей.
