Как BDH-CQ добилась высокой эффективности при небольшом размере

У всех крупных лабораторий гонка идет по одному и тому же маршруту – больше параметров, больше данных, видеокарт… Финская по духу и совсем не про масштаб команда Pathway, специализирующаяся на архитектурах, не похожих на классический трансформер, пошла другим путем. Она выпустила модель BDH-CQ размером всего 150 миллионов параметров. Которая, тем не менее, умудрилась пробить прежний рекорд эффективности на одном из самых требовательных бенчмарков для проверки способности к рассуждению.

Что за модель и как она рассуждает

BDH-CQ построена поверх архитектуры Dragon Hatchling, которую та же лаборатория представила еще в 2025 году в качестве альтернативы трансформерам. Эта архитектура была вдохновлена не конкретным устройством мозга, а общими принципами, которые биология довела до совершенства: локальные взаимодействия, разреженная активность, устойчивое состояние и постоянная подстройка связей.

Вместо централизованных матричных умножений внимание в этой архитектуре возникает из локальных взаимодействий графа «нейронов-частиц». Вычисления происходят на синапсах, которые подстраиваются по правилам, похожим на хеббовское обучение; то есть, связи усиливаются между теми элементами, которые срабатывают вместе. При этом у архитектуры есть параллельная GPU-дружественная реализация, которая на практике по производительности не уступает трансформерам, а масштабируется она проще, потому что растет фактически по одному параметру — числу нейронов. По данной причине поведение при увеличении размера предсказать легче, чем у классических моделей.

Технический отчет о самой BDH-CQ, опубликованный авторским коллективом, описывает примененный подход как комбинацию обучения с рекуррентным латентным рассуждением. То есть, примеры, показанные модели прямо во время инференса, постоянно обновляют ее рекуррентную память. Затем модель решает саму задачу через несколько шагов вычислений в многомерном латентном пространстве, ни разу не проговаривая промежуточные рассуждения словами. Иными словами, здесь нет привычной длинной цепочки токенов «размышления вслух», за которую обычно и приходится платить в рассуждающих моделях. Вычисления просто разворачиваются во внутреннем пространстве модели.

Результат на ARC-AGI-1

Именно отсутствие развернутого текстового рассуждения и объясняет главный результат. На публичном наборе бенчмарка ARC-AGI-1 системе показывают несколько примеров визуального преобразования и просят применить то же правило к новой картинке. BDH-CQ набрала 29,5 % по метрике pass@2. При этом расчетная стоимость обработки одной задачи составила 0,0007 доллара. Для сравнения: младшая версия GPT Luna 5.6 в экономном режиме показывает более высокий результат в 34,2 %, но обходится в 11 раз дороже. Причем даже после того, как OpenAI 30 июля срезала цену этой модели на 80 %. По утверждению Pathway, независимая проверка методом черного ящика воспроизвела заявленные цифры. Хотя стоит отметить, что часть аудиторов оказалась связана с партнерскими организациями авторов, а не была полностью сторонней.

Помимо самого числа, в статье интересна секция с контролируемыми вмешательствами в духе задач ARC: авторы намеренно проверяли, насколько последовательно модель применяет выведенное из примеров правило и какие концепции даются ей тяжелее прочих. Один результат особенно показателен и честно признан в самой работе как слабое место: при попытке скомбинировать несколько операций одновременно (например поменять местами цвета и одновременно применить другое преобразование) модель провалила задачу полностью, не решив ни одной из 72 подобных комбинаций.

Дело не только в точности

Ценность BDH-CQ не столько в самом результате на ARC-AGI-1, сколько в том, что она показывает: архитектура Dragon Hatchling может быть полезна на практике, а не оставаться просто интересной теорией. У базовой версии BDH и раньше были хорошие результаты. Например, внутренняя версия лаборатории показала точность 97,4 % на 250 тысячах сложных судоку из набора Sudoku Extreme. При этом модели не требовались цепочка рассуждений, повторные попытки или внешние инструменты. Правда, этот результат относится именно к внутренней версии Pathway, а не к открытому репозиторию, который можно скачать и запустить самостоятельно.

У архитектуры также нет жесткого ограничения на длину контекста, как у трансформеров с фиксированным окном. Для этого используются позиционные кодировки вроде RoPE и ALiBi, а верхние слои сети постепенно забывают старые токены по мере увеличения контекста.

Код BDH открыт на GitHub, поэтому архитектуру может изучить и попробовать воспроизвести ее результаты любой желающий. В итоге получилась довольно необычная для индустрии модель: она небольшая, дешевая и не самая точная, но при этом заставляет по-новому взглянуть на то, что считать хорошим результатом. Важна не только абсолютная точность, но и то, какой ценой она достигается.

Выводы

Модель BDH-CQ показывает, что небольшая нейросеть с необычной архитектурой тоже может быть конкурентоспособной, если правильно расставить приоритеты между качеством и затратами. Как указывают эксперты Креатор Проджект, это не прорыв, который отменяет трансформеры, но интересный пример того, в каком направлении может развиваться более эффективный ИИ.

Olga Lammers

Разбор и оценка ИИ-моделей и проектов, внимательно отслеживает развитие технологий и тенденции в области искусственного интеллекта. Аналитические обзоры помогают понять принципы работы ИИ, их возможности и ограничения, дает рекомендации по использованию инновационных решений в различных сферах. Делает сложные темы доступными для широкой аудитории.