...

Проблемы модели Apertus. Открытый код, не гарантирующий качество

В сентябре 2025 года исследователи из EPFL, ETH Zurich и Швейцарского национального суперкомпьютерного центра (CSCS) выпустили нейросеть Apertus. Таким непривычным для русского уха образом была названа «первая крупномасштабная открытая многоязычная языковая модель Швейцарии». Неплохо звучит, не правда ли? Однако, как водится, за громкими названиями часто скрывается продукт, который или не соответствует заявленным обещаниям, или же соответствует – но весьма и весьма слабо.

Чем является Apertus

Загадочное слово «Apertus» на самом деле происходит от латинского и означает «открытый». Здесь отражена главная особенность обозреваемого проекта. Весь процесс разработки (архитектура, веса модели, обучающие данные, способы тренировки) открыт и полностью задокументирован. Нейросеть доступна в двух размерах – с 8 и 70 млрд. параметров. Меньшая версия подходит для индивидуального использования. Обе модели вышли в свет с открытым исходным кодом, поэтому их можно использовать в коммерческих проектах и в науке.

Технические характеристики и подход к разработке

Apertus обучалась на 15 триллионах токенов (более чем на 1000 языках), при этом 40% данных составляет контент не на английском. Модель включает языки, которые до этого были слабо представлены в больших языковых моделях: швейцарский немецкий, романшский и множество других региональных диалектов и языков. Обучающий корпус построен только на публично доступных данных, отфильтрованных с учетом машиночитаемых запросов на исключение от веб-сайтов (даже ретроактивно), удалением персональных данных и другого нежелательного контента до начала обучения.

Разработчики предлагают Apertus в качестве «самой мощной полностью открытой LLM» на момент релиза. Версия с 70 миллиардами параметров значительно уступает проприетарным моделям наподобие GPT-4, Gemini или Claude, которые тренируются на гораздо больших датасетах и имеют доступ к массивным вычислительным мощностям. Для сравнения: GPT-3 содержит 175 миллиардов параметров (детали для более поздних версий не публикуются). Тем не менее, меньшая версия Apertus с 8 миллиардами параметров уже превосходит сопоставимые модели.

Примечательно, что модель тренировалась на суперкомпьютере Swiss Alps, который работает полностью на гидроэнергии, а это снижает экологический след проекта. Для следующего раунда обучения выделено 20 миллионов швейцарских франков (25 млн. долларов) из федерального финансирования. В долгосрочной перспективе потребуются дополнительные источники финансирования, так как переобучение больших языковых моделей – дорогостоящий процесс, который могут себе позволить часто проводить только компании с большими ресурсами.

Работа на практике

Как показало практическое использование обозреваемой нейросети, когда дело доходит до реальных запросов, тут все не так безоблачно. Конечно, забота о природе – это хорошо. Однако давайте посмотрим, как модель отвечает на запросы юзеров.

Сначала мы попросили ИИ ответить на вопрос о том, каким образом можно выучить иностранный язык. Тут нейросеть дала достаточно стандартный ответ. Пожалуй, в разы лучше на этот же вопрос способна ответить Chat GPT-4.1, работающая на сайте Креатор Проджект.

После этого был сделан запрос – придумать задачу по математике. На этот раз нейросеть начала нести полную чепуху:

Еще один запрос на естественном языке – на этот раз о том, почему простые смертные стремятся к цели – нейросеть обработала тоже достаточно тривиально:

В случае Apertus о чем-то выдающемся говорить не приходится. Возможно, на швейцарском языке она выдает и более вразумительные ответы. Однако все же ее позиционировали в качестве «открытой и доступной для всех», а стало быть, и результаты работы ИИ должны быть соответствующими. Высокие принципы – это, конечно, очень хорошо, однако о качестве работы создатели проекта не особо позаботились.

В тестах Apertus иногда выдает неуклюжие или неправильные предложения на итальянском, а на романшском дала неверный перевод слова «дедушка». Руководитель разработки признает, что разговорные способности модели нуждаются в улучшении, но утверждает, что она уже превосходит другие языковые модели в определенных задачах, например, в переводе с немецкого на романшский согласно последнему техническому отчету. Некоторые эксперты критикуют такой подход, задаваясь вопросом о смысле модели, которая говорит на романшском, если ее средняя производительность далека от сопоставимых моделей, не говоря уже о лидерах рынка.

Выводы

Таким образом, нейросеть Apertus нельзя назвать аналогом ChatGPT для личного пользования. Это модель, которая разработана скорее для адаптации под различные сервисы, притом зарубежные. Ошибки в некоторых языках – большая проблема для этой нейросети.

Модель демонстрирует заметные ошибки в менее распространенных языках, а также не может обновляться в режиме реального времени. Единственный способ внести изменения и исправления в AI-модель – переобучить ее, а это очень дорогостоящий процесс.

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter. Можете написать лучше? Мы всегда рады новым авторам.

Интересно? Поделиться:

2 комментария к “Проблемы модели Apertus. Открытый код, не гарантирующий качество

  1. Проект ценен как исследовательская и образовательная платформа, но как массовый профессиональный инструмент он столкнулся с ограничениями, которые один лишь open-source подход решить не смог.

  2. В результате, пользователи, полагаясь на открытый код, рискуют столкнуться с ошибками, уязвимостями или несоответствиями в функциональности. Кроме того, недостаток формальных стандартов и централизованного управления усложняет аудит и поддержку проекта, что снижает уровень уверенности в конечном результате.

Добавить комментарий

Оставляя комментарий вы соглашаетесь на обработку персональных данных в соответствии с политикой конфиденциальности, соглашаетесь с пользовательским соглашением. Ваш адрес email не будет опубликован. Обязательные поля помечены *

Подпишитесь на нашу рассылку

Loading

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Продолжая использовать наш сайт, вы соглашаетесь с использованием файлов cookie. Они помогают нам обеспечивать корректную работу сайта и делать его более удобным.
Принять