Clarifai представила новую возможность оркестрации вычислений, которая обещает помочь предприятиям оптимизировать их рабочую нагрузку ИИ в любой вычислительной среде, снизить затраты и избежать зависимости от одного поставщика.
Объявленный 3 декабря 2024 года, выпуск в режиме публичного предварительного просмотра позволяет организациям управлять рабочими нагрузками ИИ через единый контрольный центр, независимо от того, выполняются ли эти нагрузки в облаке, на локальных серверах или в изолированной инфраструктуре. Платформа может работать с любой моделью ИИ и аппаратными ускорителями, включая GPU, CPU и TPU.
«Clarifai всегда была впереди, имея более чем десятилетний опыт поддержки крупных предприятий и критически важных правительственных нужд с полным набором инструментов ИИ для создания пользовательских рабочих нагрузок ИИ,» сказал Мэтт Зайлер, основатель и генеральный директор Clarifai. «Теперь мы открываем возможности, которые разрабатывали для внутренней оптимизации наших вычислительных затрат, чтобы обеспечить одновременную работу миллионов моделей.»
Компания утверждает, что её платформа может уменьшить использование вычислительных ресурсов в 3,7 раза благодаря оптимизации упаковки моделей, поддерживая при этом более 1,6 миллиона запросов на вывод в секунду с надежностью 99.9997%. По данным Clarifai, оптимизации могут потенциально снизить затраты на 60–90%, в зависимости от конфигурации.
Возможности платформы оркестрации вычислений включают:
— Оптимизацию затрат через автоматизированное управление ресурсами, включая упаковку моделей, упрощение зависимостей и настраиваемые опции авто-масштабирования, которые могут уменьшать масштаб до нуля для реплик моделей и вычислительных узлов,
— Гибкость развертывания на любом аппаратном оборудовании, включая облачные, локальные, изолированные и Clarifai SaaS инфраструктуры,
— Интеграцию с AI платформой Clarifai для разметки данных, обучения, оценки, рабочих процессов и обратной связи,
— Функции безопасности, позволяющие развертывание в VPC клиентов или локальные кластеры Kubernetes без необходимости открытых входящих портов, пиринга VPC или кастомных IAM ролей.
Платформа возникла из проблем клиентов Clarifai с производительностью и стоимостью ИИ. «Если бы у нас был способ мыслить об этом целостно и сравнить наши локальные затраты с облачными, а затем уметь управлять оркестрацией по всем средам на основе стоимости, это было бы невероятно ценно,» отметил клиент, как указано в объявлении Clarifai.
Способности оркестрации вычислений основаны на существующей платформе Clarifai для ИИ, которая, по утверждению компании, обработала более 2 миллиардов операций в области компьютерного зрения, языка и аудио ИИ. Компания сообщает о поддержке более чем 99.99% времени работоспособности и круглосуточной доступности для критических приложений.
Возможность оркестрации вычислений в настоящее время доступна в режиме публичного предварительного просмотра. Организации, заинтересованные в тестировании платформы, должны связаться с Clarifai для получения доступа.
Источник: Artificial Intelligence News
