OpenAI сталкивается с убывающей отдачей от своей последней модели ИИ, одновременно справляясь с давлением, связанным с недавними инвестициями.
Согласно данным издания The Information, новая модель ИИ от OpenAI, имеющая кодовое название Orion, демонстрирует меньший прирост производительности по сравнению с предыдущими версиями.
В ходе тестирования среди сотрудников, сообщалось, что Orion достиг уровня производительности GPT-4, завершив всего 20% своего обучения. Однако, переход от GPT-4 к ожидаемой модели GPT-5, по всей видимости, показывает меньшие улучшения в качестве, чем прыжок от GPT-3 к GPT-4.
«Некоторые исследователи в компании, что Orion не всегда превосходит своего предшественника в выполнении определенных задач», говорится в отчете сотрудников. «Orion лучше справляется с языковыми задачами, но может не превосходить предыдущие модели в таких задачах, как программирование», отметили сотрудники OpenAI.
На ранних этапах обучения ИИ обычно достигаются наиболее значительные улучшения, тогда как последующие фазы обычно приводят к меньшим приростам производительности. Следовательно, оставшиеся 80% обучения вряд ли предоставят улучшения, сопоставимые с предыдущими поколениями.
Эта ситуация с последней моделью ИИ возникает в критический момент для OpenAI, после недавнего раунда финансирования, в результате которого компания привлекла $6,6 млрд. Вместе с этим финансовым обеспечением увеличиваются ожидания со стороны инвесторов, а также технические вызовы, которые усложняют традиционные методы масштабирования в разработке ИИ.
Если эти ранние версии не оправдают ожиданий, перспективы OpenAI по привлечению будущих инвестиций могут вызвать меньший интерес.
Ограничения, подчеркнутые в отчете, подчеркивают значительную проблему, с которой сталкивается вся индустрия ИИ: уменьшающуюся доступность высококачественных данных для обучения и необходимость поддержания актуальности в условиях все более конкурентного поля.
Согласно документу (PDF), опубликованному в июне, компании, занимающиеся ИИ, исчерпают пул общедоступных текстовых данных, созданных человеком, в период с 2026 по 2032 год. The Information отмечает, что разработчики «в значительной степени выжали максимум» из данных, которые использовались для обеспечения быстрого прогресса ИИ, наблюдаемого в последние годы.
Чтобы справиться с этими вызовами, OpenAI в корне переосмысляет свою стратегию разработки ИИ.
«В ответ на недавний вызов законам масштабирования обучения, вызванный замедлением улучшений GPT, индустрия, по-видимому, переключает свои усилия на улучшение моделей после их первоначального обучения, что потенциально может привести к появлению другой формы закона масштабирования», объясняет The Information.
Пока OpenAI решает эти вызовы, компания должна балансировать между инновациями и практическим применением, а также ожиданиями инвесторов. Однако продолжающийся отток ведущих специалистов из компании не способствует улучшению ситуации.
Источник: Artificial Intelligence News
