Интерпретируемый ИИ: проблемы и возможности разработки прозрачных моделей машинного обучения

Одна из самых больших проблем искусственного интеллекта (ИИ) заключается в том, что нам трудно понять, как он работает - он просто слишком сложен!

Возьмем, к примеру, чат-бота ChatGPT, который в последние месяцы произвел вирусную сенсацию. Он способен генерировать письменные тексты, такие как электронные письма, рассказы, сообщения в блогах и стихи, на таком уровне, что кажется, будто их написал человек.

Новацию по достоинству оценили студенты, позже, тягу к инновациям пресёк антиплагиат.ВУЗ, научившись выявлять генеративные тексты. С GPT началась борьба, как на уровне образовательных учреждений, так и на уровне государств.

Количество загрузки приложения ChatGPT начала снижаться. Интересно, что количество пользователей, которое неуклонно росло с момента запуска приложения, теперь снижается.

В июне количество загрузок приложений ChatGPT и Bing на iOS в США снизилось на 38%. Глобальный трафик ChatGPT с десктопов и мобильных устройств упал на 9,7%, а количество уникальных посетителей - на 5,7%.

Конечно, ChatGPT по-прежнему посещают 1,5 млрд. человек в месяц, что позволяет ему входить в двадцатку крупнейших ресурсов мира.

Может показаться, что интерес к ChatGPT снизился, но вполне возможно, что падение числа посетителей связано просто с выходом приложения. Вообще, показатели аудитории - вещь сложная и может рассчитываться по-разному. Тем не менее, это своего рода тревожный сигнал.

Не смотря на динамику версий и заявления разработчиков, ChatGPT допускает очень глупые ошибки, а иногда даже говорит полную чушь. Из-за сложности алгоритмов, используемых для получения результатов (последняя итерация языковой модели, известная как GPT-4, как утверждается, была обучена более чем на триллионе параметров), никто точно не знает, почему это происходит. Где происходит сбой? И в чем причина неудачи?

В связи с этим возникает задача создания "объяснимого искусственного интеллекта" (Explainable Artificial Intelligence, XAI). Этот термин относится к системам искусственного интеллекта, которые могут не просто отвечать на задаваемые нами вопросы. XAI-системы должны уметь давать четкие и понятные объяснения своим решениям, подробно описывая факторы, которые они учитывают при принятии решений.

Вспомните, как вы учились в школе, и учитель просил вас "показать свою работу" - чтобы он знал, что вы поняли свои ответы, а не просто угадали или скопировали их у ребенка за соседней партой. Искусственному интеллекту нужна интерпретируемость, как и вашим школьным работам!

Итак, давайте рассмотрим, почему это необходимо для будущего развития искусственного интеллекта, и один из основных вопросов, которые мы должны решить, если хотим, чтобы искусственный интеллект реализовал свой обещанный потенциал.

Почему объяснимый ИИ жизненно необходим?

ИИ способен совершить революцию в любой отрасли - от здравоохранения до финансов. Однако для этого необходимо, чтобы мы могли ему доверять. И не просто доверять - мы должны быть уверены, что понимаем, почему он рекомендует пациенту то или иное лечение или как он определяет, что многомиллионная сделка с высокой вероятностью является мошеннической.

Алгоритмы искусственного интеллекта могут давать только те ответы, которые соответствуют их обучающим данным. Если они обучены на неверных или необъективных данных, то и ответы будут неверными. Если мы рассчитываем использовать его для принятия важных решений, которые могут повлиять на жизнь людей, например, в области здравоохранения, трудоустройства или финансов, то это может быть опасно и очень плохо для общества в целом.

Старая пословица о компьютерных алгоритмах и обработке данных гласит: "Мусор на входе = мусор на выходе", и это еще более справедливо для алгоритмов ИИ.

В конечном счете, все сводится к доверию - ИИ способен изменить общество и улучшить нашу жизнь, но это может произойти только в том случае, если общество будет ему доверять.

Решение проблемы "черного ящика" - создание объяснимого ИИ - является ключевой частью достижения этой цели, поскольку люди (в целом) с большей вероятностью поверят в то, что они могут доверять ИИ и чувствовать себя комфортно, позволяя ему использовать их данные и принимать решения, если они могут понять его.

Интерпретируемый ИИ также является важной концепцией с точки зрения регулирования. По мере внедрения ИИ в общество, вероятно, будет появляться все больше законов и нормативных актов, регулирующих его использование. В качестве примера можно привести закон ЕС об ИИ. Интерпретируемость приложений, вероятно, будет играть важную роль в определении того, как они будут регулироваться в будущем.

Проблемы разработки интерпретируемого искусственного интеллекта

Первая проблема связана со сложностью самого ИИ. Когда мы сегодня говорим об искусственном интеллекте, мы обычно подразумеваем машинное обучение. Речь идет об алгоритмах, которые по мере накопления данных могут все лучше и лучше справляться с конкретными задачами - от распознавания изображений до навигации самоуправляемого автомобиля. Для этого требуются сложные математические модели, которые трудно перевести в понятные человеку объяснения.

Другая проблема заключается в том, что интерпретируемость необходимо соизмерять с производительностью - большинство алгоритмов машинного обучения кодируются для получения максимально эффективных результатов, без затрат ресурсов на объяснение их работы.

Существуют также коммерческие соображения. Детали работы некоторых наиболее распространенных систем машинного обучения, таких как поисковые алгоритмы Google или языковые модели ChatGPT, не являются общественным достоянием. Это связано с тем, что конкуренты могут легко скопировать эти системы, что наносит ущерб коммерческим интересам их владельцев.

Как можно решить эти проблемы?

Решение проблемы XAI, скорее всего, потребует широкого и продолжительного сотрудничества между всеми заинтересованными организациями. К ним относятся академические и исследовательские институты, ведущие разработки, коммерческие структуры, предоставляющие технологию и использующие ее для получения прибыли, а также государственные органы, которые будут играть роль регуляторов и контролеров внедрения технологии в общество.

Например, компания IBM создала инструментарий с открытым исходным кодом под названием Ai Explainability 360, который может использоваться разработчиками ИИ для внедрения концепции объяснимости в свои проекты и приложения.

Многие академические институты, неправительственные организации и частные компании создали собственные исследовательские институты, занимающиеся вопросами этики ИИ, и прозрачность часто является одним из приоритетов их исследований.

Необходимо разработать стандартные критерии и метрики, которые можно было бы использовать для измерения объяснимости, которая сегодня может означать разные вещи для разных людей. Важной частью этой работы является согласование методов оценки и продвижение приложений и проектов с хорошей интерпретируемостью.

Может ли искусственный интеллект дать свои собственные ответы?

Инструменты естественного языка, такие как ChatGPT, показали, что они могут аннотировать компьютерный код таким образом, чтобы он мог объяснить свою работу на человеческом языке. Будущие итерации этой технологии, вероятно, будут настолько совершенны, что смогут аннотировать и алгоритмы искусственного интеллекта.

Когда языковые модели GPT-3 и GPT-4, на которых базируется ChatGPT, были интегрированы в поисковую систему Bing компании Microsoft, добавленная функциональность (в некоторой степени) показала, где алгоритмы нашли данные, используемые для предоставления ответов на запросы пользователей. Это шаг вперед в обеспечении интерпретируемости - конечно, в отличие от оригинального приложения ChatGPT, которое вообще не давало никаких подсказок или пояснений.

Независимо от того, какое решение будет реализовано, можно с уверенностью сказать, что XAI Search сыграет важную роль в подготовке к изменениям, которые принесет с собой ИИ в целом. По мере того как ИИ будет играть все более важную роль в нашей жизни, это будет побуждать разработчиков инструментов и приложений ИИ к ответственной и этичной практике, обеспечивающей доверие и прозрачность. Это, в свою очередь, приведет нас к будущему, в котором ИИ будет использоваться справедливо и на благо всех нас.