От LLM до галлюцинаций — простое руководство по распространённым терминам, связанным с ИИ

Искусственный интеллект — это сложный и запутанный мир. Ученые, работающие в этой области, часто используют жаргонизмы и сленг, чтобы объяснить, над чем они работают. В результате нам часто приходится использовать эти технические термины в наших материалах об индустрии искусственного интеллекта. Поэтому мы решили составить глоссарий с определениями некоторых наиболее важных слов и фраз, которые мы используем в наших статьях.

Искусственный общий интеллект (AGI)

Это расплывчатый термин. Но обычно он относится к ИИ, который способен выполнять многие, если не большинство, задач лучше, чем среднестатистический человек. Генеральный директор OpenAI Сэм Альтман недавно описал AGI как «эквивалент среднестатистического человека, которого вы могли бы нанять в качестве коллеги». В то же время устав OpenAI определяет AGI как «высокоавтономные системы, которые превосходят людей в наиболее экономически ценной работе». Понимание AGI в Google DeepMind немного отличается от этих двух определений; лаборатория рассматривает AGI как «ИИ, который по крайней мере не уступает людям в большинстве когнитивных задач». Запутались? Не волнуйтесь — так же думают и эксперты, стоящие у истоков исследований в области ИИ.

ИИ-агент (AI agent)

Под ИИ-агентом понимается инструмент, который использует технологии ИИ для выполнения ряда задач от вашего имени — помимо того, что может делать обычный чат-бот с ИИ, — таких как оформление расходов, бронирование билетов или столика в ресторане или даже написание и поддержка кода. Однако, эта развивающаяся сфера быстро изменяется, поэтому «ИИ-агент» может означать разные вещи для разных людей. Кроме того, инфраструктура всё ещё создаётся для реализации предполагаемых возможностей. Но основная концепция подразумевает автономную систему, которая может использовать несколько систем искусственного интеллекта для выполнения многоэтапных задач.

Цепочка мыслей (chain of thought)

На простой вопрос человеческий мозг может ответить, даже не задумываясь, — например, «какое животное выше, жираф или кошка?». Но во многих случаях, чтобы найти правильный ответ, вам понадобится ручка и бумага, потому что есть промежуточные этапы. Например, если у фермера есть куры и коровы, и всего у него 40 голов и 120 ног, вам может понадобиться записать простое уравнение, чтобы найти ответ (20 кур и 20 коров).

В контексте ИИ цепочка рассуждений для больших языковых моделей означает разбиение задачи на более мелкие промежуточные этапы для улучшения качества конечного результата. Обычно на получение ответа уходит больше времени, но ответ с большей вероятностью будет правильным, особенно в контексте логики или программирования. Модели рассуждений разрабатываются на основе традиционных больших языковых моделей и оптимизируются для цепочки рассуждений благодаря обучению с подкреплением.

Глубокое обучение (deep learning)

Подмножество самосовершенствующегося машинного обучения, в котором алгоритмы ИИ имеют многоуровневую структуру искусственной нейронной сети (ANN). Это позволяет им устанавливать более сложные взаимосвязи по сравнению с более простыми системами на основе машинного обучения, такими как линейные модели или деревья решений. Структура алгоритмов глубокого обучения основана на взаимосвязанных путях нейронов в человеческом мозге.

Модели ИИ с глубоким обучением способны выявлять важные характеристики в самих данных, не требуя от инженеров-людей определения этих характеристик. Структура также поддерживает алгоритмы, которые могут учиться на ошибках и в процессе повторения и корректировки улучшать собственные результаты. Однако для получения хороших результатов системам глубокого обучения требуется большое количество точек данных (миллионы и более). Кроме того, их обучение обычно занимает больше времени по сравнению с более простыми алгоритмами машинного обучения, поэтому затраты на разработку, как правило, выше.

Диффузия (diffusion)

Диффузия — это технология, лежащая в основе многих моделей ИИ, генерирующих изображения, музыку и текст. Вдохновлённые физикой, диффузионные системы постепенно «разрушают» структуру данных — например, фотографий, песен и так далее — добавляя шум до тех пор, пока ничего не останется. В физике диффузия является спонтанной и необратимой — сахар, растворённый в кофе, нельзя вернуть в форму кубика. Но диффузионные системы в ИИ направлены на изучение процесса «обратной диффузии» для восстановления разрушенных данных, что позволяет извлекать данные из шума.

Дистилляция (distillation)

Дистилляция — это метод, используемый для извлечения знаний из большой модели ИИ с помощью модели «учитель-ученик». Разработчики отправляют запросы модели-учителю и записывают результаты. Ответы иногда сравнивают с набором данных, чтобы оценить их точность. Затем эти результаты используются для обучения модели-ученика, которая обучается имитировать поведение учителя.

Дистилляцию можно использовать для создания более компактной и эффективной модели на основе более крупной модели с минимальными потерями при дистилляции. Вероятно, именно так OpenAI разработала GPT-4 Turbo, более быструю версию GPT-4.

Хотя все компании, работающие в сфере ИИ, используют дистилляцию внутри компании, некоторые из них, возможно, также использовали её для того, чтобы догнать передовые модели. Дистилляция от конкурента обычно нарушает условия предоставления услуг API ИИ и чат-помощников.

Точная настройка (fine-tuning)

Это относится к дальнейшему обучению модели ИИ для оптимизации производительности в более узкой области, чем та, которая ранее была в центре внимания при обучении, — обычно путем добавления новых специализированных (т. е. ориентированных на задачу) данных.

Многие стартапы в сфере ИИ используют большие языковые модели в качестве отправной точки для создания коммерческого продукта, но стремятся повысить их полезность для целевой отрасли или задачи, дополняя предыдущие циклы обучения тонкой настройкой на основе собственных знаний и опыта в конкретной области.

Генеративно-состязательная сеть (GAN)

Это тип системы машинного обучения, которая лежит в основе некоторых важных разработок в области генеративного ИИ, когда речь идёт о создании реалистичных данных, включая (но не только) инструменты для создания дипфейков. GAN предполагает использование пары нейронных сетей, одна из которых использует обучающие данные для создания выходных данных, которые передаются другой модели для оценки. Таким образом, вторая модель, дискриминатор, играет роль классификатора для выходных данных генератора, что позволяет ему со временем совершенствоваться.

Структура GAN устроена как соревнование (отсюда и «состязательный» характер) — две модели, по сути, запрограммированы на то, чтобы превзойти друг друга: генератор пытается обмануть дискриминатор, а дискриминатор работает над тем, чтобы распознать искусственно сгенерированные данные. Такое структурированное соревнование может оптимизировать результаты работы ИИ, сделав их более реалистичными без необходимости дополнительного вмешательства человека. Однако GAN лучше всего подходят для более узких задач (таких как создание реалистичных фотографий или видео), а не для ИИ общего назначения.

Галлюцинация (hallucination)

Галлюцинация — это термин, который в индустрии ИИ используется для обозначения того, что модели ИИ выдумывают — буквально генерируют неверную информацию. Очевидно, что это огромная проблема для качества ИИ.

Галлюцинации приводят к тому, что результаты работы GenAI могут вводить в заблуждение и даже приводить к реальным рискам с потенциально опасными последствиями (представьте себе запрос о состоянии здоровья, который возвращает вредный медицинский совет). Именно поэтому в большинстве инструментов GenAI мелким шрифтом теперь предупреждается, что пользователи должны проверять ответы, сгенерированные ИИ, даже несмотря на то, что такие предупреждения обычно гораздо менее заметны, чем информация, которую инструменты выдают одним нажатием кнопки.

Считается, что проблема сфабрикованной ИИ-системой информации возникает из-за пробелов в обучающих данных. Особенно сложно решить эту проблему для ИИ общего назначения — также известного как базовая модель. Существующих данных просто недостаточно для обучения моделей ИИ, которые могли бы исчерпывающе ответить на все вопросы, которые мы могли бы задать. TL;DR: мы ещё не изобрели Бога (пока).

Галлюцинации способствуют переходу ко всё более специализированным и/или вертикальным моделям ИИ — то есть к узкоспециализированным ИИ, требующим более узкого экспертного знания, — как к способу снизить вероятность пробелов в знаниях и уменьшить риски дезинформации.

Inference (вывод)

Выводы — это процесс работы модели ИИ. Это предоставление модели возможности делать прогнозы или делать выводы на основе ранее полученных данных. Чтобы было понятно, выводы не могут быть сделаны без обучения; модель должна изучить закономерности в наборе данных, прежде чем она сможет эффективно экстраполировать эти данные.

Многие типы аппаратного обеспечения могут выполнять логический вывод: от процессоров смартфонов до мощных графических процессоров и специализированных ускорителей ИИ. Но не все они одинаково хорошо справляются с моделями. Например, для прогнозирования с помощью очень больших моделей на ноутбуке потребуется гораздо больше времени, чем на облачном сервере с высокопроизводительными чипами ИИ.

Большая языковая модель (LLM)

Большие языковые модели, или LLM, — это модели ИИ, используемые популярными ИИ-помощниками, такими как ChatGPT, Claude, Google Gemini, Meta* AI Llama*, Microsoft Copilot или Mistral Le Chat. Когда вы общаетесь с ИИ-помощником, вы взаимодействуете с большой языковой моделью, которая обрабатывает ваш запрос напрямую или с помощью различных доступных инструментов, таких как просмотр веб-страниц или интерпретаторы кода.

У помощников с искусственным интеллектом и больших языковых моделей могут быть разные названия. Например, GPT — это большая языковая модель OpenAI, а ChatGPT — продукт-помощник с искусственным интеллектом.

LLM — это глубокие нейронные сети, состоящие из миллиардов числовых параметров (или весов, см. ниже), которые изучают взаимосвязи между словами и фразами и создают представление о языке, своего рода многомерную карту слов.

Эти модели создаются путём кодирования шаблонов, которые они находят в миллиардах книг, статей и расшифровок. Когда вы задаёте вопрос LLM, модель генерирует наиболее вероятный шаблон, соответствующий запросу. Затем она оценивает наиболее вероятное следующее слово после последнего на основе того, что было сказано ранее.

Нейронная сеть (neural network)

Нейронная сеть — это многослойная алгоритмическая структура, лежащая в основе глубокого обучения и, в более широком смысле, всего бума инструментов генеративного ИИ, последовавшего за появлением больших языковых моделей.

Хотя идея использовать в качестве структуры для алгоритмов обработки данных плотно переплетённые нейронные связи в человеческом мозге появилась ещё в 1940-х годах, именно недавнее появление графических процессоров (GPU) в индустрии видеоигр по-настоящему раскрыло потенциал этой теории. Эти чипы оказались хорошо подходящими для обучения алгоритмов с гораздо большим количеством слоёв, чем было возможно в предыдущие эпохи, что позволило системам искусственного интеллекта на основе нейронных сетей добиться гораздо более высокой производительности во многих областях, включая распознавание голоса, автономную навигацию и разработку лекарств.

Обучение (training)

Разработка ИИ на основе машинного обучения включает в себя процесс, известный как обучение. Проще говоря, это подача данных, чтобы модель могла обучаться на основе шаблонов и генерировать полезные результаты.

На этом этапе работы с ИИ можно немного пофилософствовать, поскольку математическая структура, используемая в качестве отправной точки для разработки обучающейся системы, представляет собой просто набор слоёв и случайных чисел. Только в процессе обучения модель ИИ обретает форму. По сути, это процесс, в ходе которого система реагирует на характеристики данных, что позволяет ей адаптировать результаты к желаемой цели — будь то распознавание изображений кошек или создание хайку по запросу.

Важно отметить, что не все ИИ нуждаются в обучении. ИИ, основанный на правилах, который запрограммирован на выполнение заранее заданных инструкций, например, таких как линейные чат-боты, не нуждается в обучении. Однако такие системы ИИ, скорее всего, будут более ограниченными, чем (хорошо обученные) системы самообучения.

Тем не менее обучение может быть дорогостоящим, поскольку требует большого количества исходных данных, а объёмы данных, необходимых для таких моделей, как правило, растут.

Иногда гибридные подходы можно использовать для ускорения разработки модели и сокращения затрат. Например, для тонкой настройки ИИ на основе правил с использованием данных. Это означает, что для разработки требуется меньше данных, вычислительных мощностей, энергии и алгоритмической сложности, чем если бы разработчик начинал с нуля.

Трансферное обучение (transfer learning)

Метод, при котором ранее обученная модель ИИ используется в качестве отправной точки для разработки новой модели для другой, но обычно связанной задачи, что позволяет повторно применить знания, полученные в ходе предыдущих циклов обучения.

Трансферное обучение может повысить эффективность за счёт сокращения времени на разработку модели. Оно также может быть полезно, когда данные для задачи, для которой разрабатывается модель, несколько ограничены. Но важно отметить, что у этого подхода есть ограничения. Модели, использующие трансферное обучение для получения обобщённых возможностей, скорее всего, потребуют обучения на дополнительных данных, чтобы хорошо работать в своей области.

Веса нейронной сети (weights)

Весовые коэффициенты являются основой обучения ИИ, поскольку они определяют, какое значение (или вес) придается различным характеристикам (или входным переменным) в данных, используемых для обучения системы, тем самым формируя результат работы модели ИИ.

Другими словами, весовые коэффициенты — это числовые параметры, которые определяют наиболее значимые элементы в наборе данных для конкретной задачи обучения. Они выполняют свою функцию, применяя умножение к входным данным. Обучение модели обычно начинается со случайно назначенных весовых коэффициентов, но по мере развития процесса весовые коэффициенты корректируются, поскольку модель стремится получить результат, наиболее близкий к целевому.

Например, модель искусственного интеллекта для прогнозирования цен на жилье, которая обучена на исторических данных о недвижимости для целевого местоположения, может включать веса для таких характеристик, как количество спален и ванных комнат, является ли объект отдельным или смежным, есть ли у него парковка, гараж и так далее.

В конечном итоге веса, которые модель присваивает каждому из этих входных параметров, отражают степень их влияния на стоимость недвижимости, исходя из заданного набора данных.

Источник: TechCrunch