OmniVoice от Xiaomi. Как работает ИИ, способный говорить на сотнях языков

Несколько секунд чьего-то голоса, и нейросеть от Xiaomi уже готова заговорить этим голосом хоть на суахили, хоть на узбекском. Да хоть на любом редком языке, на котором говорят несколько тысяч человек в горной деревне. В мае 2026 года китайская компания выложила в открытый доступ модель OmniVoice, которая клонирует голос и поддерживает 646 языков. И после этого сразу стала самой масштабной по охвату языков системой такого рода среди всех, что выходили в открытом доступе.

Как функционирует нейросеть

OmniVoice умеет работать в трех режимах:

• В первом достаточно дать модели буквально несколько секунд записи голоса, и она заговорит этим голосом на любом из поддерживаемых языков. При этом тембр и манера речи оригинала будут сохранены.
• Во втором голос не клонируется, а собирается с нуля по текстовому описанию. Можно попросить низкий хриплый мужской голос с легкой хрипотцой, и система сама подберет подходящее звучание.
• В третьем режиме модель вообще обходится без всяких образцов и просто генерирует подходящий голос автоматически, без какого-либо описания.

Интерфейс OmniVoice устроен достаточно просто:

Технически разработчики пошли по упрощенному пути. Большинство систем озвучки сначала переводят текст в промежуточные смысловые токены, а уже потом превращают их в звук; получается несколько последовательных этапов, и на каждом из них может накопиться ошибка. OmniVoice делает это в один шаг: текст напрямую превращается в звуковые токены, без промежуточных стадий. Обучали модель на 580 тысячах часов открытых аудиозаписей, а готовый результат компания выложила полностью в открытом доступе. С кодом, весами, а также частью обучающих данных под свободной лицензией Apache 2.0. Скачать и запустить ее может кто угодно, у кого хватит вычислительных мощностей.

Помимо функции перевода текста в речь, также на портале представлен перевод речи в текст, создания транскриптов видео, преобразователь голоса и прочие опции. Отметим, что функция транскрибации также доступна на русскоязычном портале Креатор Проджект.

Актуальные цены:

Чем удивляет модель

Цифры, которые приводит Xiaomi, выглядят впечатляюще. На китайском тестовом наборе модель ошибается в распознавании слов всего в 0,84 % случаев. А этот результат сопоставим с записью живого диктора. По заявлению компании, в слепых тестах на 24 языках OmniVoice обходит по похожести голоса и разборчивости речи действующие коммерческие системы. На выборке из 102 языков ее речь оказывается такой же разборчивой, как у живого человека, а местами даже более разборчивой. Отдельная гордость разработчиков – работа с редкими языками. Даже если для языка в интернете набралось меньше десяти часов записей, модель все равно способна выдать приличное по качеству произношение. Данная опция позволяет сохранить звучание редких языков в цифровом виде, даже в том случае, если живых носителей практически не осталось.

Подобные возможности могут оказаться полезными не только для ученых-лингвистов. Например, образовательные проекты смогут озвучивать учебные материалы на языках, для которых раньше было сложно найти профессиональных дикторов. А музеи и культурные организации получат инструмент для создания цифровых архивов исчезающих языков и диалектов.

Работает все это довольно-таки быстро. Модель генерирует звук примерно в сорок раз быстрее, чем длится сама речь, так что задержка на практике почти не ощущается. Есть и приятные мелочи. Например, автоматическое подавление шума на исходной записи и точный контроль произношения отдельных слов через фонетическую запись, что особенно полезно для китайского языка с его тонами.

Еще одно интересное направление, в котором может быть применена модель OmniVoice, связано с локализацией контента. Фильмы, обучающие курсы, подкасты и видеоролики можно будет быстрее переводить на десятки языков, сохраняя при этом голос оригинального автора. Если подобные технологии продолжат развиваться, языковой барьер в интернете может стать заметно ниже, чем сегодня.

Стоит ли беспокоиться

У такой открытости есть и обратная сторона. Модель, которая клонирует голос по нескольким секундам записи и при этом бесплатно доступна каждому, неизбежно вызывает вопрос о мошенничестве: голосовые подделки и так регулярно используют для звонков от имени родственника, попавшего в беду, а инструмент с такой точностью и охватом языков теоретически облегчает задачу тем, кто захочет применить его во вред. Сама Xiaomi позиционирует OmniVoice прежде всего в качестве части своей более крупной экосистемы голосовых технологий под названием HyperAI, которая постепенно встраивается в смартфоны и умные устройства компании. Открытый код компания преподносит как вклад в сохранение редких языков и развитие исследований в этой области.

Так или иначе, технология вышла за пределы лаборатории, и обратно ее уже не спрятать. В первую очередь, это удобный и бесплатный инструмент, который раньше стоил бы немалых денег у коммерческих провайдеров наподобие ElevenLabs. Однако появление таких моделей также является и поводом запомнить простое правило: если голос в трубке просит срочно перевести деньги, лучше перезвонить и проверить, действительно ли это тот человек, за которого он себя выдает.

Olga Lammers

Разбор и оценка ИИ-моделей и проектов, внимательно отслеживает развитие технологий и тенденции в области искусственного интеллекта. Аналитические обзоры помогают понять принципы работы ИИ, их возможности и ограничения, дает рекомендации по использованию инновационных решений в различных сферах. Делает сложные темы доступными для широкой аудитории.