Компания Primate Labs официально выпустила Geekbench AI — инструмент для тестирования производительности, разработанный специально для рабочих нагрузок, связанных с машинным обучением и ИИ.
Выпуск Geekbench AI 1.0 ознаменовал собой завершение многолетней работы по разработке и сотрудничеству с клиентами, партнерами и сообществом инженеров в сфере ИИ. Бенчмарк, ранее известный как Geekbench ML в фазе предварительного просмотра, был переименован для соответствия отраслевой терминологии и обеспечения ясности его назначения.
Geekbench AI теперь доступен для Windows, macOS и Linux на веб-сайте Primate Labs, а также в Google Play Store и Apple App Store для мобильных устройств.
Новый инструмент для тестирования производительности от Primate Labs нацелен на предоставление стандартизированного метода измерения и сравнения возможностей ИИ на различных платформах и архитектурах. Бенчмарк предлагает уникальный подход, предоставляя три общих оценки, которые отражают сложность и гетерогенность рабочих нагрузок ИИ.
«Измерение производительности, проще говоря, действительно сложно», — пояснили в Primate Labs. «Это не потому, что трудно запустить произвольный тест, а потому, что трудно определить, какие именно тесты наиболее важны для тех показателей, которые вы хотите измерить — особенно на разных платформах, и особенно когда все используют слегка разные методы».
Система из трех оценок учитывает различные уровни точности и аппаратные оптимизации, встречающиеся в современных реализациях ИИ. Такой многомерный подход позволяет разработчикам, производителям оборудования и энтузиастам более глубоко понять производительность устройства в области ИИ в разных сценариях.
Отличительным дополнением в Geekbench AI является включение измерений точности для каждого теста. Эта функция признает, что производительность ИИ важна не только с точки зрения скорости, но и с точки зрения качества результатов. Объединяя показатели скорости и точности, Geekbench AI предоставляет более целостное представление о возможностях ИИ, помогая пользователям понять компромиссы между производительностью и точностью.
Geekbench AI 1.0 поддерживает широкий спектр фреймворков для ИИ, включая OpenVINO на Linux и Windows, а также специфические делегаты TensorFlow Lite, такие как Samsung ENN, ArmNN и Qualcomm QNN на Android. Эта широкая поддержка фреймворков обеспечивает соответствие бенчмарка последним инструментам и методологиям, используемым разработчиками ИИ.
Бенчмарк также использует более обширные и разнообразные наборы данных, которые не только улучшают оценку точности, но и лучше представляют реальные сценарии использования ИИ. Все рабочие нагрузки в Geekbench AI 1.0 выполняются минимум одну секунду, что позволяет устройствам достичь максимальной производительности во время тестирования, сохраняя при этом импульсный характер реальных приложений.
Primate Labs опубликовала подробные технические описания рабочих нагрузок и моделей, используемых в Geekbench AI 1.0, подчеркивая свою приверженность прозрачности и методологиям тестирования, соответствующим отраслевым стандартам. Бенчмарк интегрирован с Geekbench Browser, что облегчает кроссплатформенные сравнения и совместное использование результатов.
Компания ожидает регулярные обновления Geekbench AI, чтобы идти в ногу с изменениями рынка и появлением новых функций ИИ. Однако Primate Labs считает, что Geekbench AI уже достиг уровня надежности, который делает его подходящим для интеграции в профессиональные рабочие процессы, и крупные технологические компании, такие как Samsung и Nvidia, уже используют этот бенчмарк.
Источник: Artificial Intelligence News