Больше деталей, меньше нагрузки. NVIDIA DLSS – рендер нового поколения

NVIDIA выпустила DLSS 4, и это не просто очередная цифра в названии. Компания полностью переделала основу технологии, заменив старые нейросети на новые, более продвинутые. Теперь DLSS использует трансформеры вместо сверточных нейронных сетей (CNN), которые работали с самого начала. Поэтому теперь картинка стала заметно лучше, а производительность в большинстве случаев выросла.

Правда, есть особенность с производительностью на старых картах, особенно на RTX 30-й серии. Но главное, что NVIDIA сделала апгрейд доступным для всех владельцев RTX-карт, а не только для тех, кто купил последнее поколение. А это все же редкость в индустрии, в которой обычно нововведения принято привязывать к новому железу, чтобы стимулировать продажи.

Что такое DLSS и почему это важно

DLSS расшифровывается как «Deep Learning Super Sampling» («сверхвыборка с использованием глубокого обучения»); это технология, которая позволяет играм работать быстрее без сильной потери качества картинки. Работает так: игра рендерится в меньшем разрешении, а DLSS с помощью нейросетей увеличивает изображение до нужного размера. Вместо того чтобы рисовать каждый кадр в 4K (что очень нагружает видеокарту), игра может рисовать в 1080p или даже ниже, а DLSS доводит картинку до 4K так, чтобы разница была минимальной.

Проблема простого увеличения картинки в том, что получается размытое месиво. Нужно как-то восстанавливать детали, которые потерялись при рендеринге в низком разрешении. DLSS делает это с помощью обученных нейросетей. ИИ показывали тысячи примеров, как выглядит картинка в высоком и низком разрешении, и она научилась угадывать, какие детали должны быть на изображении.

До DLSS 4 использовались сверточные нейронные сети (CNN); это старая, проверенная технология, которая хорошо работает с изображениями. Но у нее есть ограничения в понимании контекста и временной стабильности. DLSS 4 переходит на трансформеры – более современную архитектуру нейросетей, которая лучше понимает связи между разными частями изображения и между кадрами. Трансформерная модель в DLSS 4 имеет вдвое больше параметров и в четыре раза больше вычислительной мощности по сравнению со старой CNN-моделью.

Super Resolution. Основа основ стала лучше

Super Resolution представляет собой базовую функцию DLSS, которая увеличивает разрешение картинки. Именно она делает основную работу по восстановлению деталей. NVIDIA обещала улучшения в временной стабильности, меньше ореолов, больше деталей в движении и исправление кучи багов. Проверили на трех разных играх – Cyberpunk 2077, Alan Wake 2 и S.T.A.L.K.E.R. 2.

В Cyberpunk 2077 было показано наиболее заметное улучшение, заключавшееся в исчезновении полупрозрачных шлейфов на анимированных текстурах. Старая CNN-модель всегда страдала этим (текст на экранах телевизоров, LED-табло, вывески с бегущими надписями зачастую размазывались и двоились). Проблема в том, что движок игры передает информацию о движении объектов, но эта информация не всегда совпадает с анимацией самих текстур. Новая трансформерная модель научилась распознавать анимированные текстуры и правильно их отображать. В результате весь движущийся текст теперь стабилен и читается с расстояния во всех режимах качества и разрешениях. Разница как день и ночь.

Ray Reconstruction: самое впечатляющее улучшение

Из всех апгрейдов в DLSS 4 Ray Reconstruction получил самые впечатляющие улучшения. Ray Reconstruction представляет собой технологию очистки шума при трассировке лучей. Когда игра использует трассировку лучей для реалистичного освещения и отражений, приходится идти на компромиссы и пускать меньше лучей, чем нужно для идеальной картинки. В результате получаем шум, мерцание отражений, нестабильные тени. Ray Reconstruction убирает этот шум с помощью нейросетей.

Проблема была в том, что в Cyberpunk 2077 старая CNN-модель Ray Reconstruction создавала эффект «масляной живописи» на всем изображении, артефакты на далеких объектах или во время езды, и какое-то замыленное отображение лиц персонажей, особенно в движении. Даже с этими проблемами Ray Reconstruction давал плюсы; но артефакты были настолько заметными, что некоторые игроки отключали функцию, потому что она разрушала погружение.

С трансформерной моделью все изменилось. Эффект масляной живописи сведен к минимуму на всех разрешениях. Артефакты в сценах с низким контрастом исчезли, картинка в движении стабильна. Лица персонажей значительно очистились, стабильны в движении и больше не отвлекают артефактами во время кат-сцен или диалогов. Анимированные текстуры получили ту же обработку, что и в Super Resolution, и теперь – никаких недостатков на всех разрешениях.

Наш вердикт

С точки зрения экспертов Креатор Проджект, DLSS 4 демонстрирует заметный шаг вперед в технологиях игрового рендеринга. Игровая картинка стала более плавной и детализированной, особенно в динамичных сценах и при трассировке лучей. Технология работает на широком спектре видеокарт. Результат – более четкая, плавная и реалистичная картинка даже в самых динамичных сценах. При этом технология остается эффективной на большинстве карт RTX и успешно сочетает высокое качество с хорошей производительностью.

Olga Lammers

Разбор и оценка ИИ-моделей и проектов, внимательно отслеживает развитие технологий и тенденции в области искусственного интеллекта. Аналитические обзоры помогают понять принципы работы ИИ, их возможности и ограничения, дает рекомендации по использованию инновационных решений в различных сферах. Делает сложные темы доступными для широкой аудитории.