Полноценные песни вместо коротких фрагментов. Обзор MiniMax Music 3

Известная компания MiniMax выпустила третью версию своей модели для генерации музыки. В отличие от многих текстовых и видео-релизов того же года, здесь обошлось без громких слов про «превосходство над человеком». MiniMax просто показала, что умеет собирать целую песню, а не короткий обрывок мелодии с искаженным вокалом на выходе, чем страдало предыдущее поколение подобных систем. В чем же состоят ее особенности? Разберемся с экспертами нейросетевого сервиса Креатор Проджект.

Способности, которыми обладает модель

MiniMax Music 3 генерирует полноценную песню длиной до пяти минут за один проход. Пользователь может указать на входе творческую концепцию и, по желанию, готовые тексты песни. На выходе получается аудио 32 килогерца, 16 бит, стерео, в формате WAV. То есть, без сжатия, которое обычно портит верхние частоты вокала. Веса модели выложены в открытый доступ на Hugging Face и GitHub под лицензией MiniMax-Music3 Community License. Коммерческое использование бесплатно для компаний с годовой выручкой ниже 20 миллионов долларов. Всем, кто крупнее, придется покупать отдельную коммерческую лицензию через партнера Comfy. Модель уже интегрирована в ComfyUI с готовым шаблоном рабочего процесса, так что тем, кто уже знаком с этим интерфейсом для генеративных пайплайнов, разбираться с нуля не придется.

Текст песни размечается тегами структуры — intro, verse, pre-chorus, chorus, bridge, instrumental, solo, outro. Именно эта разметка задает макроструктуру будущей композиции. Отдельно есть система расширения промптов на основе шаблонов, которая берет короткое описание вроде «теплый lo-fi соул с женским вокалом» и разворачивает его в подробную Structured Caption с указанием жанра, темпа, размера, тональности, сценария использования и характера продакшена, вплоть до того, где именно в песне должен появиться конкретный инструмент и как должна меняться подача вокала от куплета к припеву.

Как устроена архитектура

Внутри MiniMax Music 3 состоит из трех основных частей: токенизатора, языковой модели и блока, который превращает полученные данные в готовый звук. У каждой части своя задача. Сначала система разбирает музыку на понятные ей элементы, затем строит композицию и в конце собирает все обратно в аудио.

Токенизатор использует восемь слоев векторного квантования. Первый слой работает с большой кодовой книгой на 16 384 записи и отвечает за основную структуру и смысл музыки. Еще семь слоев, по 1024 записи каждый, добавляют более мелкие детали звучания. Обучение проходит в два этапа. Сначала отдельно обучается первый слой, чтобы система научилась видеть общую структуру композиции, а затем все восемь слоев дообучаются вместе.

За построение самой музыки отвечает Hybrid-LM — две модели разного размера, которые работают вместе. Большая модель на 8 миллиардов параметров, созданная на основе Qwen3.5, следит за композицией в целом и предсказывает ее основные музыкальные элементы. Она видит песню целиком, поэтому может удерживать ее структуру на протяжении нескольких минут. Вторая модель, на 0,6 миллиарда параметров, работает с более мелкими акустическими деталями внутри каждого отдельного фрагмента. Сначала обучается большая модель, а затем обе модели дообучаются вместе.

Такое разделение позволяет системе одновременно решать две задачи: помнить, как развивается песня целиком, и не терять детали внутри отдельных моментов. Благодаря этому композиция может длиться до пяти минут и при этом сохранять связность и достаточно сложное звучание.

Последний этап — превращение этих данных в настоящий звук. Здесь MiniMax Music 3 использует несколько необычный подход. Вместо того чтобы сразу превращать дискретные токены в аудио, система сначала объединяет скрытые представления большой и маленькой моделей. Затем они поступают в flow matching-модель на 2,4 миллиарда параметров. После этого результат передается в компактный Flow-VAE на 123 миллиона параметров, который изначально был разработан для MiniMax Speech, но затем переобучен для музыки.

Именно такой способ позволяет работать не только с отдельными дискретными элементами, но и с непрерывными характеристиками звука. По словам разработчиков, это помогает точнее передавать вокал и делает звучание инструментов более естественным. Особенно это заметно в таких нюансах, как плавные переходы между нотами, легато и глиссандо, которые при работе только с дискретными токенами часто звучат менее естественно.

Выводы

По официальным демонстрационным примерам компании модель действительно неплохо держит настроение и структуру на всей длине трека. Куплеты плавно перетекают в припевы, инструменты появляются и исчезают в нужных местах, а не просто играют одну и ту же партию до конца. Вокал звучит достаточно натурально. Дыхание и переходы между регистрами не выбиваются из общей картины настолько резко, как это часто случается у генеративной музыки. Открытые веса и разумный порог бесплатного коммерческого использования делают модель интересной не только для энтузиастов, но и для небольших студий и инди-разработчиков, которым не по карману закрытые сервисы с подпиской за трек. Главное, что стоит держать в уме: несмотря на впечатляющую архитектуру, итоговое качество все равно сильно зависит от того, насколько подробно и грамотно составлен исходный запрос. Чуда без осмысленного промпта здесь тоже не случится, как, впрочем, и в любой другой генеративной системе такого рода.

Olga Lammers

Разбор и оценка ИИ-моделей и проектов, внимательно отслеживает развитие технологий и тенденции в области искусственного интеллекта. Аналитические обзоры помогают понять принципы работы ИИ, их возможности и ограничения, дает рекомендации по использованию инновационных решений в различных сферах. Делает сложные темы доступными для широкой аудитории.