OpenAI и другие ведущие компании ИИ разрабатывают новые методы обучения, чтобы преодолеть ограничения текущих методов. Решая непредвиденные задержки и сложности в разработке более крупных, более мощных языковых моделей, эти новые методы фокусируются на поведении, подобном человеческому, чтобы научить алгоритмы «думать».
Сообщается, что новые методы обучения, которые лежат в основе недавней модели OpenAI «o1» (ранее Q* и Strawberry), возглавляемые дюжиной исследователей ИИ, ученых и инвесторов, имеют потенциал для преобразования ландшафта разработки ИИ. Сообщаемые достижения могут повлиять на типы или количество ресурсов, которые постоянно требуются компаниям ИИ, включая специализированное оборудование и энергию для содействия разработке моделей ИИ.
Модель o1 предназначена для решения проблем таким образом, чтобы имитировать человеческое мышление и рассуждения, разбивая многочисленные задачи на этапы. Модель также использует специализированные данные и обратную связь, предоставленную экспертами в отрасли ИИ, для повышения ее производительности.
С тех пор как OpenAI представила ChatGPT в 2022 году, произошел всплеск инноваций в области ИИ, и многие технологические компании утверждают, что существующие модели ИИ требуют расширения, будь то за счет большего количества данных или улучшения вычислительных ресурсов. Только тогда модели ИИ могут постоянно улучшаться.
Теперь эксперты по ИИ сообщили об ограничениях в масштабировании моделей ИИ. 2010-е годы были революционным периодом для масштабирования, но Илья Суцкевер, соучредитель лабораторий ИИ Safe Superintelligence (SSI) и OpenAI, говорит, что обучение моделей ИИ, особенно в понимании языковых структур и шаблонов, выровнялось.
«2010-е годы были эпохой масштабирования, теперь мы снова вернулись в эпоху чудес и открытий. Масштабирование правильных вещей сейчас важнее», — заявили они.
В последнее время исследователи лабораторий ИИ столкнулись с задержками и трудностями при разработке и выпуске больших языковых моделей (LLM), которые являются более мощными, чем модель GPT-4 OpenAI.
Во-первых, обучение больших моделей стоит дорого, часто достигая десятков миллионов долларов. И из-за возникающих сложностей, таких как отказ оборудования из-за сложности системы, окончательный анализ того, как работают эти модели, может занять месяцы.
Помимо этих проблем, тренировочные запуски требуют значительного количества энергии, что часто приводит к нехватке электроэнергии, которая может нарушить процессы и повлиять на более широкую электросеть. Еще одна проблема — колоссальный объем данных, используемых большими языковыми моделями, настолько большой, что, как сообщается, модели ИИ израсходовали все доступные данные по всему миру.
Исследователи изучают метод, известный как «вычисление во время тестирования», для улучшения текущих моделей ИИ во время обучения или на этапах вывода. Метод может включать генерацию нескольких ответов в режиме реального времени для выбора ряда лучших решений. Таким образом, модель может выделять больше вычислительных ресурсов для сложных задач, требующих принятия решений и рассуждений, подобных человеческим. Цель — сделать модель более точной и эффективной.
Ноам Браун, исследователь из OpenAI, который помог разработать модель o1, поделился примером того, как новый подход может достигать удивительных результатов. На конференции TED AI в Сан-Франциско в прошлом месяце Браун объяснил, что «заставив бота думать всего 20 секунд в раздаче покера, мы получили такой же прирост производительности, как и при масштабировании модели в 100 000 раз и ее обучении в 100 000 раз дольше».
Вместо того, чтобы просто увеличить размер модели и время обучения, это может изменить то, как модели ИИ обрабатывают информацию, и привести к более мощным и эффективным системам.
Сообщается, что другие лаборатории ИИ разрабатывают версии метода o1. К ним относятся xAI, Google DeepMind и Anthropic. Конкуренция в мире ИИ не нова, но мы можем увидеть значительное влияние на рынок оборудования ИИ в результате новых методов. Такие компании, как Nvidia, которая в настоящее время доминирует на рынке чипов ИИ из-за высокого спроса на их продукцию, могут особенно пострадать от обновленных методов обучения ИИ.
В октябре Nvidia стала самой дорогой компанией в мире, и ее рост состояния можно во многом объяснить использованием ее чипов в массивах ИИ. Новые технологии могут повлиять на положение Nvidia на рынке, заставив компанию адаптировать свои продукты для удовлетворения меняющегося спроса на оборудование ИИ. Потенциально это может открыть больше возможностей для новых конкурентов на рынке вывода.
Новая эра развития ИИ может быть на горизонте, обусловленная меняющимися требованиями к оборудованию и более эффективными методами обучения, такими как те, которые используются в модели o1. Будущее как моделей ИИ, так и компаний, стоящих за ними, может измениться, открыв беспрецедентные возможности и усилив конкуренцию.
Источник: Artificial Intelligence News
