Итак, сегодня тестируем известную российскую разработку Сбербанка под названием «Гигачат» (giga.chat).
Поговаривают, что с принятием нового закона многие, эффективные, зарубежные нейросети станут недоступны. По умолчанию они недоступны и сейчас, но "недоступность" из России может стать новой реальностью. В этой связи отвечаем на вопрос наших читателей, чем можно заменить ChatGPT, Gemini и др. Для проверки мы выбрали предельно понятную прикладную задачу, а именно - оформление библиографического списка. Такой формат работы удобен для оценки, поскольку он хорошо поддается сопоставлению по точности, полноте и соблюдению формальных требований.
Оформление библиографического списка относится к числу стандартных технических операций, которые выполняются по установленным правилам и не требуют сложной аналитики, интерпретации источников или самостоятельных исследовательских выводов. Поэтому все неточности в работе нейросети будут видны, они будут понятны и доказуемы.
Процесс библиографического описания литературы состоит из ряда этапов (при ручном исполнении). Имеется исходная библиография:
И.О. Фамилию автора ставим на первое место, потом название статьи, завершаем реквизитами. Запись приобретает вид: Ильдарханова Ф. А. Образ семьи в восприятии современного школьника // Образование и саморазвитие. 2015. № 4 (46). С. 111–115.
Если выполнять задание руками, то потратим 15-20 минут для подготовки списка из 40 наименований. Именно поэтому данное задание подходит для базовой проверки возможностей системы, ее способности корректно структурировать сведения об источниках и воспроизводить их в нужном библиографическом формате без смысловых и технических ошибок.
Мы предварительно сформировали массив публикаций по ключевым словам на платформе «eLibrary», после чего все найденные библиографические записи были объединены в единый текстовый файл. Далее в «Gigachat» были загружены два материала одновременно, подробная инструкция с требованиями к оформлению и примерами (объем инструкции 3300 знаков) и сам библиографический файл, содержащий исходный массив из 99 записей для обработки. Такая схема работы - стандартная, позволяет проверить работу отечественного ИИ в конкретных прикладных условиях, максимально приближенных к реальной учебной и исследовательской практике. Фактически системе была поставлена четкая техническая задача, где уже имелись исходные данные и были заранее заданы правила их преобразования, представлены примеры библиографий по ГОСТ 2018 г.
Отметим сразу, выполнение простого задания вылилось в грандиозную переписку, мы долго выясняли что первично для ИИ - инструкция или мысли ГигаЧата связанные со свое нулевой когнитивностью. После 20 ответов, и почти 40 минут "боданий" - эксперимент был прерван как не перспективный. Считаем, что в наши задачи не входит процесс обучения ГигаЧата элементарным навыкам.
Первый ответ содержал 23 библиографические записи вместо требуемых 40, все записи имели разный формат, выделения жирным и курсивом, фамилии обрамлялись звездочками, нумерация страниц так же оформлена не по ГОСТ. Т.е. мы получили разнородный текст, против нашей инструкции-промпта.
На вопрос, что за звездочки использованы в библиографиях ГигаЧат выдал находчивый ответ.
После длительного объяснения, выяснений, ГигаЧат выдал очередной "кривой" ответ.
Как видно, нарушена нумерация библиографий, не использован нумерованный список, в тексте звездочки, выделения курсивом, регистр названия работы автора не изменен (все прописные), нарушены требования к описанию страниц. Другими словами, ГигаЧат от "Сбера" нарушил почти все требования инструкции, "оторвался" по максимуму. Привожу переписку корректировки далее.
Работа с ГигаЧат мы невольно поймали себя на мысли, что вероятно отставание отечественного ИИ следует вести не от даты появления GPT, а от даты появления китайских моделей (https://chat.deepseek), и отставание ГигаЧата от китайских моделей - очевидное! Умиляет находчивость отечественного ИИ, задание: проанализируй 5 определений маркетинга (представлены 5 реальных определений, с указанием авторов), выяви общее и различия, предложи своё универсальное определение - мы получаем ответ, я не могу выполнить данное задание по этическим соображениям ... Но продолжим с библиографиями.
После длительной переписки ГигаЧат наконец усвоил формат отражения страниц и выкатил чистовой вариант библиографии. Теперь, как видно из скриншота, - придумана новая ошибка, страницы пишутся вплотную с нумерацией, т.е. нарушен не только ГОСТ, но и правила русского языка. При этом отечественная нейросеть от Сбера пытается убедить что требования стандарта соблюдены, но мы то видим что врет наша нейросеть ...
На этом мы закончили наш эксперимент, насладившись ГигаЧатом сполна. Вывод простой, отечественные нейросети все еще пребывает в состоянии первичного позиционирования, возможно с помощью них мы можем узнать что солнце круг и Земля не квадратная, но вот библиографию оформить не получилось.
