Исследователи захватили аккаунт создателя Kokoro на Hugging Face и показали, как незаметно подменить работу ИИ-модели

Отсутствие проверки подлинности владельцев аккаунтов на платформе Hugging Face позволило исследователям получить контроль над аккаунтом, связанным с Kokoro — моделью преобразования текста в речь, которая используется в проектах Google, NVIDIA, AMD, Intel и Amazon Web Services.

Злоумышленник, захвативший такой аккаунт, может превратить его в канал распространения атак на цепочки поставок ПО. В результате под угрозой могут оказаться данные пользователей, а также системы, в которых используется скомпрометированная модель.

Однако исследователи продемонстрировали ещё более скрытный сценарий атаки: они изменили веса модели таким образом, чтобы та генерировала аудио, не соответствующее исходному тексту. При этом программный код самого приложения остался нетронутым.

По словам исследователей, поскольку изменения затрагивают исключительно веса модели, антивирусные сканеры и другие средства обнаружения вредоносного ПО не смогут найти ни вредоносный код, ни его сигнатуры.

«Мы изменили то, что говорит модель, просто дообучив её нейронные веса. Тот же входной текст. Тот же голосовой файл. Та же конфигурация. Тот же код инференса — мы не изменили ни одной строки в приложении, которое запускает модель», — рассказал исследователь в области безопасности Алон Герц (Alon Hertz).

Kokoro — это модель с открытыми весами, предназначенная для преобразования текста в речь. Она поддерживает несколько языков и предлагает более 50 предустановленных голосов.

Хотя разработчик модели, компания Hexgrad, не выпускал обновлений с апреля 2025 года, проект по-прежнему пользуется большой популярностью: ежемесячно его скачивают почти 13 миллионов раз на Hugging Face. Примерно в тот же период перестали обновляться и репозиторий проекта на GitHub, и Python-пакет на PyPI.

Kokoro поддерживается инструментами для разработчиков от Google, NVIDIA и Intel, в том числе решениями для создания голосовых ИИ-агентов и синтеза речи непосредственно на устройствах. AMD и Amazon Web Services также публиковали руководства, демонстрирующие применение модели в рабочих процессах с ИИ-агентами.

Чтобы получить контроль над аккаунтом Kokoro на Hugging Face, Герцу и его команде оказалось достаточно зарегистрировать домен, который использовал первоначальный владелец, а затем сбросить пароль от учётной записи.

В минувшие выходные исследователи зарегистрировали домен hexgrad.com, указанный в общедоступном файле DONATE.md проекта Kokoro. После этого они использовали его для сброса пароля аккаунта издателя модели.

Затем команда провела контролируемый эксперимент: с помощью игровой видеокарты исследователи изменили веса Kokoro всего за 87 секунд. В результате модель начала выдавать скомпрометированный результат — аудио, содержание которого было искажено относительно исходного текста.

Как рассказал Герц, команда локально протестировала модифицированную модель Kokoro, используя её стандартный конвейер инференса. При этом исследователи не стали загружать изменённые веса на Hugging Face, поскольку это могло поставить под угрозу многочисленные рабочие системы, зависящие от данной модели.

Исследователь также подчёркивает, что подобное обновление по всем признакам выглядело бы как совершенно легитимный релиз. Тестирование с использованием другого аккаунта показало, что Hugging Face не распознавала такие изменения как подозрительные.

После захвата аккаунта имя издателя осталось прежним. Не изменились и способ доставки файлов, их формат и архитектура модели. Размеры файлов также были бы примерно такими же, как у оригинала. При этом в самом релизе не содержалось бы никакого вредоносного ПО.

Более масштабная проблема доверия

По мнению исследователя, скомпрометированные аккаунты разработчиков представляют серьёзную угрозу для цепочек поставок ПО. Злоумышленники могут распространять через них изменённые веса моделей под видом обычных обновлений. Особенно уязвимы системы, которые автоматически загружают новые версии зависимостей.

Kokoro стала лишь показательным примером, который команда выбрала, чтобы привлечь внимание к проблеме.

Герц отмечает, что опасность представляют даже аккаунты, которые никто не взламывал. Любой пользователь может некоторое время поддерживать внешне легитимный образ проекта, а затем в один момент опубликовать вредоносное обновление.

«Hugging Face не проверяет издателей. Платформа не удостоверяется, что аккаунтом по-прежнему владеет его первоначальный законный владелец, а не тот, кто незаметно получил к нему доступ на прошлой неделе. Она также не проверяет модели и наборы данных, которые загружают эти аккаунты», — объясняет Герц.

«Те же самые непроверенные веса моделей и наборы данных распространяются через зеркала и конвертированные версии, релизы на GitHub, реестры пакетов, руководства по развёртыванию и прямые загрузки — по всей экосистеме моделей с открытым доступом», — добавил исследователь.

Герц сообщил о проблеме команде Hugging Face, рассчитывая на оперативную реакцию, однако ответа не получил.

Источник: Bleeping Computer

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.

Интересно? Поделиться:

3 комментария к “Исследователи захватили аккаунт создателя Kokoro на Hugging Face и показали, как незаметно подменить работу ИИ-модели”

  1. Эта история показывает, насколько уязвимой может быть даже популярная ИИ-модель, если злоумышленники получают доступ к аккаунту её разработчика. Особенно опасна незаметная подмена модели, ведь пользователи могут долго не подозревать, что получают результаты уже от изменённой версии.

  2. Милионны вкладывают для создания какой либо платформы,а злоумышленники взламывают их, как это возможно.

  3. Вот это уже страшнее любого скама: не код взламывают, а саму душу модели. Она говорит то же самое тем же голосом, а по факту врёт и антивирус даже не чихнёт. Оказывается доверять нейросети по принципу код же не менялся наивность уровня я верю, что мой собеседник в интернете точно тот за кого себя выдаёт. После таких новостей начинаешь смотреть на любые AI инструменты как на ящик с двойным дном и честно говоря правильно делаешь.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Рекомендуем почитать

Подпишитесь на нашу рассылку

Loading

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Продолжая использовать наш сайт, вы соглашаетесь с использованием файлов cookie. Они помогают нам обеспечивать корректную работу сайта и делать его более удобным.
Принять
Политика конфиденциальности