GPT-5.6 Sol и GPT-6 Astra, тестируем, какая модель лучше: характер сбоев, объективный контроль и рейтинговая оценка

Период наблюдения: суточные рабочие ретроспективы 4–6 сентября 2026 года.

Исследуемые модели: GPT-5.6 Sol / Pro и GPT-6 Astra / Pro.

Цель исследования — выявить способность моделей GPT выполнять реальные пользовательские задачи: соблюдать исходное техническое задание, сохранять ограничения в ходе длительной работы, корректно проводить самопроверку и доводить операцию до результата, который можно принять по заранее установленным критериям.

Методика оценки

В анализ включались только объективно фиксируемые эпизоды: требуемый файл не создан; заданное условие изменено; часть исходного содержания потеряна; выбран неверный объект исследования; защищённый текст изменён; формальный PASS противоречит независимой проверке; конечная рабочая сборка отсутствует либо основная задача не завершена.

Продолжительность отдельных операций намеренно не используется. По истории диалогов GPT не смогла достоверно отделить собственно машинную обработку от пауз, пользовательских сообщений и иных интервалов. Поэтому оценивать точное количество минут или часов было бы методологически неверно. Для Astra отдельно оценивается только наблюдаемая динамика достижения результата: в рассматриваемой суточной ретроспективе продвижение от задания к принимаемому результату было заметно медленнее.

Для классификации последствий применена единая шкала:

• L1 — малый сбой: результат остаётся пригодным;
• L2 — существенный сбой: требуется исправление отдельной части;
• L3 — серьёзный сбой: существенная часть задачи требует повторной работы;
• L4 — критический сбой: основная задача не выполнена либо результат нельзя принять по заданным критериям.

Важно: процентные показатели ниже рассчитываются среди зарегистрированных проблемных эпизодов, а не среди всех без исключения обращений к модели. Это исследование структуры наблюдаемых отказов, а не расчёт общей вероятности ошибки ChatGPT.

GPT-5.6 Sol / Pro: 55 зафиксированных проблемных эпизодов - пригодного результата НЕТ

В суточной ретроспективе GPT-5.6 Sol выделено 55 отдельных проблемных эпизодов. После применения единой шкалы последствий 25 случаев отнесены к уровню L4, 27 — к L3 и 3 — к L2.

• критические сбои L4: 45,5% зарегистрированных проблемных эпизодов;
• серьёзные и критические сбои L3–L4: 94,5% зарегистрированных проблемных эпизодов;
• средняя тяжесть зарегистрированного сбоя: 3,40 из 4;
• нормированный индекс риска: 85,0 из 100.

Сбои проявлялись не только на сложных задачах

Один из наиболее важных результатов ретроспективы состоит в том, что ошибки нельзя объяснить только сложностью программирования HUMAN Card Builder. Часть сбоев возникала при выполнении элементарных, однозначно сформулированных инструкций.

Например, требовалось представить техническое задание полностью и с самого начала, но GPT начинала его с промежуточной стадии — получения архива. При прямой инструкции «оптимизация — это упрощение, ничего не придумывай» модель поступала противоположным образом: добавляла новые проверки и требования. При наличии уже установленной проверки порядка двухсловными шинглами была предложена ещё одна фактически дублирующая проверка.

Ещё более наглядны простые предметные ошибки. При подготовке выпускной квалификационной, то есть дипломной, работы модель начала рассуждать о курсовой. При подборе источников для темы «Совершенствование маркетинговой деятельности ООО „ИЛОН“» вместо материалов непосредственно об исследуемой компании в выдаче появились посторонние объекты, а затем общий набор интернет-источников.

При сравнении локальных ИИ пользователь прямо указал, что практическое значение имеют русский и английский языки. Тем не менеееньше в оценке использовалось общее количество поддерживаемых языков — формально доступная, но нерелевантная для данной задачи метрика.

Отдельно зафиксировано нарушение простой инструкции по сохранению авторского текста. Требовалось оставить формулировку «5.5 с самого начала и до самого конца не работала», однако GPT заменила её более мягким выражением. Вместо коррекции грамматики и академического стиля модель начала корректировать саму позицию автора.

Такие эпизоды важны методологически. Когда модель ошибается при многоступенчатом программировании, можно предположить влияние сложности задачи. Но инструкции уровня «не меняй эту фразу», «не называй диплом курсовой», «начни ТЗ с первого пункта» или «ищи сведения о конкретной компании» не содержат сопоставимой технологической сложности.

Формальный PASS оказался отдельным источником риска

На сложных операциях проявился более опасный тип отказа — расхождение между внутренней самопроверкой GPT и независимо наблюдаемым качеством результата.

В реальном тесте HUMAN-контура Controller формально принял 157 из 157 карточек по критериям WORD_COUNT_MATCH и AUTHOR_FIXED_MATCH. После этого была проведена ручная POS-проверка первых десяти карточек. В каждой из десяти обнаружилась как минимум одна очевидная ошибка определения части речи: 10 ошибок в 10 проверенных карточках.

Следовательно, формальный PASS подтверждал согласованность результата с разметкой, предоставленной самой системой, но не доказывал объективную правильность этой разметки. Для автономной системы это принципиальная проблема: модель способна сформировать ошибочные данные, проверить их относительно собственной же ошибочной конструкции и получить положительный контрольный результат.

Локальные PASS не обеспечили сквозного результата

При проверке полного рерайта было выделено 195 логических rewrite-unit. Даже по упрощённым формальным ограничениям существующая база позволяла назначить HUMAN-карточки максимум 122 из 195 единиц. Без назначения оставались 73 единицы. Это ещё до учёта полной семантической совместимости, структуры SLOT и ряда других ограничений.

Поэтому FINAL_ASSEMBLER не запускался, а конечный READY_REWRITE.docx не создавался. Таким образом, отдельные локальные проверки могли завершаться PASS, но общая пользовательская задача оставалась невыполненной.

GPT-6 Astra / Pro: концентрация отказов на уровне конечного результата - чернового или дефектного результата НЕТ 

Для GPT-6 Astra / Pro в сопоставимой суточной ретроспективе выделено 11 ключевых проблемных эпизодов. Семь из них относятся к критическому уровню L4, три — к L3, один — к L2.

• критические сбои L4: 63,6% зарегистрированных проблемных эпизодов;
• серьёзные и критические сбои L3–L4: 90,9% зарегистрированных проблемных эпизодов;
• средняя тяжесть зарегистрированного сбоя: 3,55 из 4;
• нормированный индекс риска: 88,6 из 100.

Профиль Astra отличается от GPT-5.6 Sol. У Sol сбои широко распределялись по разным этапам: работа с текстом, сегментация, HUMAN-карточки, контроль, рерайт, библиография и подготовка ТЗ. У Astra большая часть критических событий концентрируется непосредственно вокруг способности довести поставленную задачу до требуемого конечного результата.

При разработке HUMAN Card Builder конечная принятая рабочая сборка не была получена. Предусмотренный заданием цикл «разработка → реальный тест → выявление ошибки → исправление → повторный тест» не завершился подтверждённым общим PASS.

Одновременно зафиксировано изменение утверждённого ТЗ. Это особенно показательно, поскольку условие «не изменять уже утверждённые требования» само по себе не является сложной инженерной задачей. Тем не менее, пользователю пришлось требовать возврата к первоначальному техническому заданию.

В другом эпизоде были смешаны требования различных функциональных вкладок KontrPlagiat, несмотря на заранее установленное разделение их назначения. Вместо окончательно принятой версии компонента в ходе работы продолжали фигурировать промежуточные результаты.

При последующей диагностике неудачи модель перечисляла возможные внутренние причины сбоя, не располагая достаточными доказательствами того, какая конкретно причина действительно возникла. При объективном контроле техническая гипотеза должна быть отделена от установленного факта.

Astra значительно медленнее продвигалась к принимаемому результату

Отдельным наблюдаемым отличием стала динамика рабочего процесса. GPT-6 Astra в исследуемой суточной ретроспективе значительно медленнее продвигалась к конечному принимаемому результату. Повторялись циклы переработки ТЗ, анализа предыдущей ошибки и формирования промежуточных вариантов, однако требуемая конечная рабочая сборка так и не была подтверждена.

Это утверждение не является измерением вычислительной скорости модели и не означает, что установлена точная разница во времени генерации одного ответа. Сравнивается практическая скорость достижения результата внутри наблюдаемого рабочего процесса: сколько итераций, переработок и возвратов к уже установленным требованиям происходит до выполнения основной задачи. По этому показателю Astra в рассматриваемой ретроспективе показала явно худшую динамику, чем GPT-5.6 Sol.

Рейтинговая оценка моделей

По интегральному показателю первое место в исследуемой ретроспективе занимает GPT-5.6 Sol / Pro — 85,0 балла риска. Второе место — GPT-6 Astra / Pro — 88,6 балла риска. Поскольку увеличение индекса означает ухудшение результата, меньшее значение является лучшим.

Разница индексов составляет 3,6 пункта. Из-за различного размера наблюдаемых выборок этого недостаточно для универсального утверждения о превосходстве одной архитектуры над другой. Однако результат позволяет сделать более узкий и проверяемый вывод: в исследованной суточной ретроспективе переход к GPT-6 Astra не улучшил прикладную надёжность относительно GPT-5.6 Sol. Обе модели, в целом, демонстрируют НЕ способность писать коды html компонентов, НЕ способность выполнять несложные задачи, естественно вопрос о  AGI здесь отпадает, оно даже "за соседней стеной" не стояло ...

Astra получила более высокую среднюю тяжесть зарегистрированного сбоя — 3,55 против 3,40, а доля критических эпизодов L4 достигла 63,6% против 45,5% у Sol. Одновременно наблюдалась значительно более медленная динамика достижения конечного результата.

Вывод

Самотестирование показывает, что наиболее существенный риск флагманских GPT при длительной практической работе заключается не в случайной стилистической или языковой ошибке. Основная проблема — нестабильность управления задачей во времени.

В течение одного рабочего цикла модель может правильно процитировать правило, затем нарушить его; согласиться не изменять техническое задание, затем изменить его; сформировать собственный контроль, получить PASS и позднее не пройти независимую проверку.

Особенно настораживают сбои на простых задачах. Подмена дипломной работы курсовой, изменение явно защищённой авторской формулировки, начало ТЗ не с первого пункта, выбор нерелевантной метрики или поиск данных не о той компании показывают, что проблема не ограничена предельно сложным программированием.

Для GPT-5.6 Sol дополнительно обнаружен риск ложной уверенности формального контроля: PASS не всегда означал объективную корректность результата. Для GPT-6 Astra основным наблюдаемым дефектом стала концентрация критических отказов вокруг завершения основной задачи и значительно более медленное продвижение к требуемому конечному состоянию. К сожаление в этой системе не выявлена способность работать от задачи верхнего уровня, равно как и способность работать по декомпозированому ТЗ,

По итогам исследуемых суточных ретроспектив ни GPT-5.6 Sol / Pro, ни GPT-6 Astra / Pro не продемонстрировали уровень надёжности, при котором сложную многоэтапную разработку можно без внешнего объективного контроля полностью передать модели и считать её собственный PASS достаточным доказательством готовности результата.

Приложение 1

Данные самотестирования GPT-5.6 Sol / Pro

В таблице приведены 55 проблемных эпизодов, использованных при анализе. Уровень L присвоен по единой шкале влияния сбоя на конечный результат.

Приложение 2

Данные самотестирования GPT-6 Astra / Pro

Примечание. Результаты относятся только к описанным суточным ретроспективам и зарегистрированным эпизодам. Они не являются статистической оценкой всех запросов пользователей, всех экземпляров моделей или всей инфраструктуры OpenAI. Рейтинг характеризует тяжесть наблюдавшихся сбоев в конкретной практической серии работ. Отчет подготовлен моделью GPT Sol.