ИИ на всю катушку: компании устали платить за «токенмаксинг» без роста продуктивности

Корпоративная мода на «токенмаксинг» — стремление выжимать из ИИ как можно больше генерации и задач — начала давать сбой. Компании, которые бросились внедрять ChatGPT, Claude и другие ИИ-инструменты во всё подряд, столкнулись с растущими счетами, но не увидели сопоставимого роста продуктивности.

«С помощью ИИ очень легко создать то, что вам вообще не нужно», — говорит Винсент Гусдорф, глава AI-аналитики Moody’s Ratings. По его словам, после первых счетов бизнес быстро понял: новые инструменты дорогие, и пользоваться ими нужно осмысленно.

Токены — это единицы текста, которые ИИ читает и генерирует; примерно три четверти слова. Чем больше токенов тратит компания, тем выше счет. Еще недавно в Кремниевой долине высокий расход токенов подавали как признак эффективности: Сэм Альтман хвалил «токенмаксинг-стартапы», Дженсен Хуанг говорил, что если инженер за $500 тысяч не «сжигает» токенов на $250 тысяч, «что-то не так».

Но ажиотаж быстро сменился отрезвлением. Глава Microsoft Сатья Наделла предупредил, что компании фактически платят дважды: деньгами за токены и своими закрытыми данными, которые передают ИИ-провайдерам. Глава Palantir Алекс Карп выразился еще жестче: бизнес «в бешенстве» от того, что тратит деньги на токены, которые не создают ценности, и при этом с него требовали предоставить свою интеллектуальную собственность.

Теперь компании ищут не максимум ИИ, а более умное его использование. В Bain & Company отмечают: расходы на токены у крупных клиентов могут удваиваться почти каждые два месяца. Если платить условные $200 в месяц на одного разработчика и умножить это на 20 тысяч сотрудников, получается бюджетная строка, к которой мало кто был готов.

Один из главных выводов: не каждую задачу нужно отдавать самой мощной и дорогой модели. Для письма или простой сводки не нужен «ИИ-кувалда» уровня Claude Opus. Поэтому растет интерес к «маршрутизации моделей»: простые запросы отправляются более дешевым системам, сложные — мощным.

Дополнительное давление на рынок создают китайские open-source-модели вроде Kimi от Moonshot и GLM от Zhipu: они почти догоняют топовые американские модели, но стоят заметно дешевле.

Технический директор Mozilla Раффи Крикорян сравнивает токенмаксинг с прежней модой измерять продуктивность программиста количеством строк кода. От этой идеи индустрия уже отказалась. По его словам, токенмаксинг идет тем же путем — и через год над ним, возможно, будут просто смеяться.

Источник: AP

AI News

Статьи и новости о нейросетях и искусственном интеллекте, просто и понятно о сложных технологиях. Освещает современные тенденции, объясняет, как работают ИИ-системы, и показывает, каким образом нейросети меняют различные сферы жизни. Регулярно собирает подборки и топы полезных нейросетей, тщательно отбирая актуальные инструменты и сервисы, которые могут существенно упростить рабочие и повседневные задачи. В своих подборках делится описаниями возможностей каждой нейросети, а также рекомендациями по их применению, чтобы помочь читателям быстро разобраться в новых технологиях и использовать их с максимальной пользой.

Социальные сети автора: