Deepseek презентовал Janus Pro. Преимущества и ограничения модели

В последнее время появляется все больше специализированных решений, и одним из интересных примеров является Janus Pro AI от компании Deepseek. Данная система представляет собой усовершенствованную версию предыдущей модели Janus, в которой был реализован ряд существенных улучшений в области обработки и генерации мультимодального контента. Разработчики сделали акцент на оптимизации стратегии обучения модели, что позволило достичь более стабильных результатов при работе с изображениями и текстом.

Что представляет собой Janus Pro

Запущенная 27 января 2025 года, данная нейросеть объединяет анализ и генерацию изображений, предлагая пользователям широкие возможности работы с визуальным контентом. Благодаря данному функционалу Janus-Pro-7B становится потенциальным конкурентом ведущих генераторов изображений. Система построена на основе технологий Transformers.js и ONNX Runtime Web, которые позволяют выполнять все вычисления локально, без необходимости отправки данных на удаленные серверы. Поэтому работа на данном ресурсе является автономной и обеспечивает высокий уровень безопасности.

В сравнении с другими решениями (например, с системой Flux), Janus Pro демонстрирует более широкие возможности в области понимания мультимодального контента, хотя и уступает в скорости генерации высококачественных изображений. Данная особенность создает определенные ограничения для пользователей, которым требуется быстрая обработка графического контента; но она же может стать и преимуществом для тех, кто работает со сложными задачами, требующими взаимодействия между текстом и изображениями.

Разработчики Janus Pro уделили особое внимание масштабируемости модели, что позволило создать различные версии системы, в число которых вошли Janus-Pro-7B и Janus-Pro-1B. Каждая версия оптимизирована под определенные задачи и условия использования, что дает пользователям возможность выбрать наиболее подходящий вариант в зависимости от своих потребностей и доступных вычислительных ресурсов.

Система двойного предназначения

Janus Pro использует новую технологию, которая помогает ей лучше понимать и создавать как текст, так и изображения. Это позволяет нейросети обрабатывать сложные запросы, учитывая контекст предложенного запроса в обоих форматах. Однако для работы такой системы может потребоваться больше вычислительных мощностей, чем у моделей, созданных только для текста или только для картинок.

Примеры генерации

Давайте посмотрим, каким образом модель генерирует визуальный контент:

Качество картинки довольно неплохое. Особенно стоит отметить и то, что материал генерируется достаточно быстро — его создание отняло буквально несколько мгновений.

Сгенерировать текстовый контент пользователь может также непосредственно на портале Janus AI. Однако очередь на обработку запроса оказалась настолько большой, что ответа от ИИ мы так и не дождались — с генерацией картинки нейросеть определенно справилась лучше:

Главные технические характеристики

Практические преимущества и ограничения обозреваемой системы заключаются в следующем:

• Оптимизированное потребление вычислительных ресурсов благодаря облегченной архитектуре;
• Превосходит DALL-E 3 в некоторых тестах (GenEval score 0.80 против 0.67);
• Улучшенная точность результатов за счет расширенного набора обучающих данных;
• Конкурентоспособная стоимость по сравнению с моделями OpenAI;
• Возможные сложности с распознаванием мелких деталей из-за фиксированного разрешения;
• Ограничения при выполнении задач OCR;
• Требует дополнительной оптимизации для коммерческого использования;
• Свободное применение в коммерческих проектах благодаря открытой лицензии.

Архитектурные особенности:

• Базовая модель представлена в двух версиях: с 1 и 7 миллиардами параметров;
• Использует унифицированную трансформерную архитектуру для двунаправленного понимания и генерации изображений;
• Применение SigLIP-L энкодера для обработки визуальной информации;
• Поддержка работы с изображениями в разрешении 384×384 пикселей;
• Интеграция MLP-адаптеров для улучшения извлечения признаков;
• Открытый исходный код, распространяемый под лицензией MIT.

Стоит отметить, что данные характеристики актуальны на момент выпуска модели и могут меняться с выходом новых обновлений. Также реальная производительность может варьироваться в зависимости от конкретных условий использования и доступных вычислительных ресурсов.

 

Недостатки системы

Следует отметить, что при всех достоинствах системы существуют определенные ограничения, связанные с высокой нагрузкой на серверы и возможными задержками в работе — это мы увидели непосредственно на практике. Данный минус особенно заметен в периоды повышенного трафика, когда пользователям приходится проявлять терпение при ожидании результатов обработки запросов. А также качество генерируемых изображений может варьироваться в зависимости от сложности запроса и доступных ресурсов.

Что в итоге?

Janus Pro AI представляет собой интересное решение в области мультимодального искусственного интеллекта, предлагающее баланс между функциональностью и доступностью. Несмотря на определенные ограничения, система демонстрирует потенциал для различных практических применений. Мы можем рекомендовать данную платформу лишь условно — выбор же всегда остается за вами.