Компании Mistral AI и NVIDIA представили новую передовую языковую модель Mistral NeMo 12B, предназначенную для создания и использования в корпоративных приложениях, таких как чат-боты, многоязычные задачи, программирование и суммаризация текста.
Благодаря объединению экспертных знаний Mistral AI в области данных и оптимизированной аппаратно-программной экосистемы NVIDIA, модель Mistral NeMo демонстрирует высокую производительность в различных задачах. Гийом Лампль, сооснователь и главный научный сотрудник Mistral AI, отметил, что совместная работа с командой NVIDIA позволила создать модель с непревзойденной точностью, гибкостью, высокой эффективностью и корпоративным уровнем поддержки и безопасности.
Модель Mistral NeMo была обучена на платформе NVIDIA DGX Cloud AI, обеспечивающей масштабируемый доступ к новейшей архитектуре NVIDIA. Для улучшения и оптимизации процесса также использовались NVIDIA TensorRT-LLM для ускоренной производительности и платформа NVIDIA NeMo для создания кастомных генеративных моделей ИИ.
Эта модель превосходно справляется с многотуровыми диалогами, математическими задачами, здравым смыслом, знанием мира и программированием, обеспечивая точное и надежное выполнение разнообразных задач. С контекстной длиной в 128К, Mistral NeMo обрабатывает сложную информацию более связно и точно, обеспечивая релевантные результаты.
Выпущенная под лицензией Apache 2.0, Mistral NeMo является моделью с 12 миллиардами параметров. Использование формата данных FP8 для вывода модели уменьшает размер памяти и ускоряет развертывание без потери точности. Это позволяет модели лучше усваивать задачи и эффективно справляться с разнообразными сценариями, делая ее идеальной для корпоративного использования.
Mistral NeMo поставляется в виде микросервиса NVIDIA NIM для оптимизированного вывода с использованием двигателей NVIDIA TensorRT-LLM. Такой контейнерный формат позволяет легко развертывать модель в любых условиях, обеспечивая гибкость для различных приложений. Модель можно развернуть за считанные минуты, а не за несколько дней.
NIM включает программное обеспечение корпоративного уровня из набора NVIDIA AI Enterprise с выделенными ветками функций, строгими процессами валидации и поддержкой безопасности корпоративного уровня. В него также входит комплексная поддержка, прямой доступ к эксперту NVIDIA AI и определенные соглашения об уровне обслуживания, обеспечивая надежную и стабильную производительность.
Открытая лицензия модели позволяет предприятиям легко интегрировать Mistral NeMo в коммерческие приложения. Модель оптимизирована для работы на одной видеокарте NVIDIA L40S, NVIDIA GeForce RTX 4090 или NVIDIA RTX 4500, обеспечивая высокую эффективность, низкие вычислительные затраты и улучшенную безопасность и конфиденциальность.
Команда инженеров Mistral AI и NVIDIA оптимизировала обучение и вывод модели Mistral NeMo, использовав эффективные методы параллелизма, масштабируемость и смешанную точность с помощью Megatron-LM. Обучение проводилось с использованием 3,072 GPU H100 80GB Tensor Core на DGX Cloud, что значительно увеличило эффективность обучения.
Модель Mistral NeMo готова к использованию на различных платформах, включая облачные сервисы, дата-центры и рабочие станции RTX, революционизируя применение ИИ в корпоративной среде. Уже сегодня можно ознакомиться с Mistral NeMo на сайте ai.nvidia.com, а в ближайшее время станет доступна и загрузка NIM.
Источник: SecurityLab.ru
