NeuralOS. Операционная система, которая существует только в воображении нейросети

Платформа NeuralOS представляет собой интересный проект от исследователей из Университета Ватерлоо и Национального исследовательского совета Канады. Это полностью сгенерированная копия операционной системы, но при этом имеющая одну особенность – она является полной симуляцией. Каждый пиксель на экране предсказывается нейросетью на основе действий пользователя: кликов мышкой, движений курсора, нажатий на клавиши. Никаких настоящих приложений при этом тут нет; все, что появляется на экране, это галлюцинация модели, которая училась на записях реальных взаимодействий с Ubuntu. Когда человек двигает мышкой по экрану, компьютер в этот момент не обращается к файловой системе или ядру, так как их там просто нет и быть не может. Он просто рисует следующий кадр интерфейса прямо на ходу (хотя и не так быстро, как хотелось бы).

Как устроена система изнутри

В основе NeuralOS лежит связка из двух нейросетей, каждая из которых играет определенную роль. Первая – рекуррентная сеть (RNN), которая работает подобно памяти компьютера. Она отслеживает состояние системы: какие окна открыты, где находится курсор, что пользователь делал секунду назад. По сути, эта сеть представляет собой аналог ядра операционной системы, только вместо кода тут внутреннее представление нейросети. Вторая часть – диффузионная модель, которая берет текущее состояние от RNN и рисует следующий кадр экрана.

Систему тренировали на большом датасете записей Ubuntu XFCE, в котором собраны как случайные взаимодействия, так и реалистичные действия, сгенерированные AI-агентами. Модель училась предсказывать, как выглядит интерфейс после того, как пользователь кликнул на иконку, открыл файл или закрыл окно. В результате и получилась нейросеть NeuralOS, которая умеет показывать реалистичные последовательности экранов: человек наводит мышку на папку «Home», дважды кликает – и модель генерирует анимацию открытия окна. При этом нейросеть не запускает реальный файловый менеджер. Она просто рисует то, что должно было бы появиться.

Код проекта открыт и доступен на GitHub, а демо можно попробовать на официальной странице нейросети. Правда, стоит быть готовым к тормозам и задержкам – это все еще исследовательский прототип.

Что получается на практике и где имеются проблемы

Эксперименты показывают, что NeuralOS на самом деле умеет отслеживать взаимодействия с мышкой и надежно предсказывает переходы состояний наподобие запуска приложений. Можно двигать курсором, открывать папки, закрывать окна, и все это работает убедительно с визуальной точки зрения. Более того, есть интересный побочный эффект: модель умеет симулировать приложения, которые никогда не были установлены в обучающих данных – например, игру Doom. Это происходит потому, что нейросеть учится общим паттернам интерфейсов и способна экстраполировать их на незнакомые ситуации.

Но есть у этого проекта и большие минусы. Мало того, что работает вся система довольно медленно, так еще и само по себе точное моделирование детального ввода с клавиатуры остается сложной задачей. Мышкой работать можно, а вот печатать текст или вводить команды – проблема. Модель работает с разрешением 512×384 пикселей и скоростью всего 1,8 кадра в секунду. Это, конечно же, далеко от плавности реальной ОС. Плюс система не может выполнять реальные задачи: никто не установит софт, не выйдет в интернет, не запустит что-то сложнее визуальной симуляции. По сути, это эмулятор внешнего вида интерфейса, больше предназначенный для развлечения.

Зачем это нужно и что дальше

NeuralOS сама по себе указывает на возможность создания полностью генеративных интерфейсов, при помощи которых пользователи могли бы персонализировать взаимодействие в виртуальной среде через естественный язык или жесты вместо фиксированных меню. Вместо того, чтобы искать нужную функцию в настройках, можно просто сказать: «Сделай интерфейс темнее» или «Покажи мне все документы про проект Х» – и система перестраивает GUI на лету под запрос. То есть, здесь речь идет уже не просто о визуальной теме, а о полностью адаптивном интерфейсе.

Еще одна перспектива – размытие границ между приложениями; в данном случае пассивные медиа (например, фильмы) могут преобразовываться в интерактивные переживания. Можно представить будущее, в котором человек смотрит видео, ставит его на паузу и начинает взаимодействовать с объектами на экране, потому что нейросеть генерирует продолжение в реальном времени. Или игры, которые не программируются заранее, а создаются моделью по ходу действия – как это уже пробуют делать с симуляторами наподобие GameNGen.

Заключение

Итак, вердикт команды Креатор Проджект насчет платформы NeuralOS таков. Проект пока что довольно слаб, однако сама идея NeuralOS демонстрирует, куда может двинуться развитие интерфейсов: от жестко запрограммированных элементов к живым, генеративным системам, которые подстраиваются под каждого пользователя. Пока что это медленно, неточно и ограниченно, но направление задано.