GPT (Generative Pre-trained Transformer) — это алгоритм глубокого обучения, который используется для генерации текста, перевода речи и других задач обработки естественного языка. GPT является моделью искусственного интеллекта.
Одной из особенностей GPT является его способность генерировать текст в контексте. Это означает, что модель учитывает предыдущий контекст при генерации новых слов или предложений. Благодаря этому GPT может создавать осмысленный и грамматически правильный текст, который соответствует конкретной теме и контексту.
Однако, несмотря на заявленные преимущества, GPT имеет некоторые ограничения. Например, модель не всегда способна генерировать тексты, полностью соответствующие требованиям задачи или обладающие высокой оригинальностью. Также могут возникать проблемы с пониманием контекста, что может приводить к генерации некорректных текстов.
Недавнее исследование, проведенное специалистами из Стэнфордского университета и Калифорнийского университета в Беркли, поднимает важный вопрос о точности и надежности крупномасштабной языковой модели ChatGPT компании OpenAI. В ходе исследования было обнаружено, что качество ответов, генерируемых системой GPT, с течением времени снижается, что вызывает обеспокоенность у исследователей.
Для проверки согласованности процедур ChatGPT, используемых в GPT-3.5 и GPT-4, исследователи провели серию экспериментов. Они анализировали склонность искусственного интеллекта к «дрейфу» — изменению качества и точности ответов, а также его способность выполнять заданные команды. В ходе экспериментов исследователи просили ChatGPT-3.5 и GPT-4 решать математические задачи, отвечать на сложные и деликатные вопросы, а также генерировать компьютерный код по заданным инструкциям.
Результаты исследования показали, что поведение ChatGPT существенно меняется со временем. Например, в марте 2023 года точность определения простых чисел в системе GPT-4 составляла около 98%. Однако к июню того же года точность GPT-4 при решении той же задачи снизилась до менее чем 3%. В то же время GPT-3.5, выпущенный 3 июня, показал улучшение в определении простых чисел по сравнению с предыдущей версией, выпущенной в 2023 году. Что касается генерации компьютерного кода, то в период с прошлого месяца по июнь обе версии системы снизили свою способность генерировать код.
В исследовании также отмечается, что пользователи сыграли заметную роль в увеличении некорректности и даже фейковости ответов, сгенерированных GPT. В связи с этим, исследователи считают необходимым предоставить ряд пояснений, которые могут влиять на качество ответов GPT.
В. Мустакимов, GPT экономистам. Фрагмент книги: 550 промптов повышающих производительность в 1000 раз. Промпт-инжиниринг для написания исследований, от плана до антиплагиата, решения задач, генерации творческих идей, ускорения рутинных процессов