rStar-Math от Microsoft мастерски раскрывает логику сложнейших математических головоломок

Исследователи Microsoft Asia представили небольшую языковую модель (SLM) для решения математических задач. В статье, опубликованной на сервере препринтов arXiv, команда описала технологию и математические подходы, лежащие в основе этой модели, а также ее эффективность на стандартных тестах.

В последние годы крупные технологические компании активно совершенствуют свои крупные языковые модели (LLM), которые уже нашли широкое применение. Однако их работа требует значительных вычислительных мощностей и большого потребления электроэнергии, что делает их дорогими в эксплуатации.

На фоне этих ограничений растет интерес к SLM, более компактным моделям, способным работать на локальных устройствах. Такие модели обычно ориентированы на решение задач в узкой области, например, математики. Новый проект Microsoft сфокусирован не только на решении математических задач, но и на обучении модели рассуждать поэтапно.

Модель, названная rStar-Math, отличается от предыдущих разработок, включая Phi-4, другим подходом. Она использует метод Монте-Карло для поэтапного анализа задач. Это позволяет разбивать проблему на части, последовательно приходя к решению. Кроме того, rStar-Math выводит процесс своих рассуждений в виде кода на Python и пояснений на естественном языке, что повышает прозрачность работы модели.

Microsoft также разработала rStar-Math с учетом ее интеграции с большими языковыми моделями. Это отражает стратегию, согласно которой будущие LLM могут представлять собой комбинацию множества специализированных SLM. Команда отметила, что rStar-Math уже показала отличные результаты в ряде тестов, а исходный код и данные планируется опубликовать на GitHub.