Обзор Gemma 3n. Матрешечная архитектура без интернета и серверов

Gemma 3n представляет собой модель от Google, которая работает на обычных устройствах (смартфонах, планшетах и ноутбуках). Функционирует она без облака и без интернета; однако при этом модель понимает голос, хорошо обрабатывает изображения и видео. Обычно с AI-моделями приходится выбирать: либо маленькая и быстрая, но с посредственным качеством, либо умная и точная, но требующая мощного железа. Gemma 3n работает по-другому. Она создана для запуска на обычных устройствах, но сохраняет производительность, достаточную для решения повседневных задач.

Архитектура MatFormer: вложенные модели

В первую очередь отметим, что в этот раз инженеры Google разработали способ, при помощи которого большая модель потребляет ресурсы как маленькая, без потери качества. Она загружает только те параметры, которые нужны для конкретной задачи, вместо того чтобы держать в памяти всю архитектуру целиком.

В основе Gemma 3n лежит архитектура MatFormer, или же «Matryoshka Transformer». Название пошло от матрешки, так как внутри большой модели спрятаны модели поменьше. В зависимости от задачи включается либо полная версия, либо облегченная. В обычных нейросетях-трансформерах есть два типа блоков. Первый – механизм внимания, он разбирается, как слова в предложении связаны друг с другом. Второй же представляет собой так называемую «feed-forward» сеть, она анализирует каждое слово отдельно. В классических моделях эта вторая сеть везде одинакового размера, однако в MatFormer она гибкая.

Нижние слои нейросети обрабатывают простые задачи; например, распознают буквы, базовые паттерны. Им не нужна большая сеть, хватит и маленькой. Верхние слои занимаются сложными вещами; они понимают смысл, контекст запроса, тонкости и нюансы. Им дают сеть побольше. Получается, что разные части модели работают с разной интенсивностью, в зависимости от того, что делают.

Во время обучения модель тренируется сразу на всех конфигурациях: полной, половинной, четвертной. Каждая версия получает одинаковое количество примеров. Когда запускаешь модель, выбираешь нужную конфигурацию. На мощном телефоне можно включить всё, на слабом же – только часть. И не нужно хранить несколько разных файлов, все версии уже внутри одной модели.

Такой подход дает свободу. Один и тот же файл можно запускать на флагмане и на бюджетнике. Не надо переобучать нейросеть или оптимизировать ее отдельно под каждое устройство. Модель сама подстраивается под доступные ресурсы.

График демонстрирует: конфигурация E2B с 2 миллиардами параметров выдает 50% точности в тесте MMLU, версия E4B с 4 миллиардами — уже 62%. Между ними лежат промежуточные варианты Mix-n-Match — чем больше параметров включаешь, тем лучше результат.

Что умеет модель

Gemma 3n является мультимодальной нейросетью. Она понимает не только текст, но и голос, фотографии, видеоролики; одним словом, годится для обработки различных материалов. При этом, как было указано выше, все работает локально. Контекст на 32 тысячи токенов позволяет юзеру скормить нейросети длинный документ или вести долгий диалог. Модель обучена на 140+ языках, так что с мультиязычностью проблем нет. Всё упаковано так, что помещается в карман.

Разработчики могут встраивать Gemma 3n в приложения, которые работают без интернета. Не нужно платить за API, ждать ответа от сервера или волноваться о том, что данные пользователя утекут. Модель открывает множество новых сценариев применения – с ее помощью можно и воспользоваться голосовым ассистентом, и проанализировать фото. Конечно, Gemma 3n не заменит GPT-4 или другие гигантские модели там, где нужна максимальная мощь. Но она и не для этого. Ее место там, где важны скорость и автономность. Где AI должен быть под рукой, а не в облаке.

Зачем Google создал модель Gemma 3n

Последние годы все гонялись за размером. Модели становились больше, умнее, но при этом все более требовательными к железу. Запустить GPT-4 на своем компьютере невозможно без фермы из видеокарт, и даже средние модели на 13-70 миллиардов параметров требуют либо мощный десктоп, либо облачный сервис.

Google пошел другим путем. Вместо наращивания размера они решили сделать модель для людей, которая работала бы на телефонах, планшетах, ноутбуках. Gemma 3n создавалась в сотрудничестве с производителями мобильных процессоров. Она использует архитектуру следующего поколения Gemini Nano, линейки моделей, заточенных под использование на различных девайсах.

Gemma 3n открывает дорогу для приложений, которые раньше применять было невозможно. Переводчик, работающий офлайн в режиме реального времени. Голосовой ассистент, который не сливает твои разговоры в облако. Анализ фотографий прямо на устройстве без загрузки на сервер. Интерактивные фичи, которые реагируют на происходящее вокруг – на звуки, движения, визуальные сигналы – и притом делают это моментально, без задержек на обмен данными с облаком.

Модель доступна для скачивания на платформах Hugging Face, Ollama, Kaggle и LM Studio. Разработчики могут брать ее и встраивать в свои проекты. Модель не является экспериментальной; она представляет собой рабочий инструмент, готовый к использованию.

Таким образом, Gemma 3n показывает: мощный ИИ на самом деле может работать прямо на устройстве, без облака и без потери качества. По мнению экспертов Креатор Проджект, данная модель является одним из самых убедительных примеров того, куда движется индустрия – к доступности и повсеместному использованию искусственного интеллекта.