Обзор Runway Gen-4. Нейросеть, которая понимает кинематограф

Новейшая разработка компании Runway, модель Gen-4, ознаменовала собой важный шаг вперед в области генерации видео с помощью искусственного интеллекта. Эта нейросеть нового поколения решает одну из самых сложных проблем в сфере ИИ-видео: поддержание визуальной последовательности и согласованности элементов на протяжении всего видеоряда. Она генерирует высококачественные видео, которые уже сегодня используют как обычные блогеры, так и создатели кинофильмов. В чем же состоят ее особенности? Каким образом пользоваться Gen-4? Поговорим детальнее.

Чем интересна Gen-4

Обозреваемая модель обладает большим количеством преимуществ, выгодно выделяющих ее среди аналогов. Для создателей видеоконтента данная нейронная сеть раскрывает беспрецедентные возможности – ведь одна и та же сцена теперь может быть показана с разных углов. Раньше, в предыдущих версиях, это было невозможным. При этом новые опции стали доступными без необходимости дополнительного обучения модели или настройки параметров, что еще больше упрощает работу с системой.

Gen-4 использует визуальные референсы в сочетании с текстовыми промптами. Нейросеть создает изображения и видео, при этом сохраняя полную согласованность стилей, субъектов, локаций и т.д. С новой моделью авторам стало намного проще создавать оригинальный, авторский контент.

Предыдущая модель Gen-3, выпущенная в июне 2024 года, уже значительно улучшила возможности ИИ-видеосинтеза. Продолжительность генерируемых видео увеличилась с двух до десяти секунд; также разработчикам удалось и повысить общую согласованность контента. Gen-4 развивает эти достижения еще дальше; она сконцентрирована на нарративной последовательности видеоролика. Ее преимущества позволяют создавать намного более структурированные истории, а не те абстрактные «сюрреалистические» последовательности, которые обычно ассоциируются с видео, созданным ИИ.

Как работает нейросеть

Давайте рассмотрим, каким образом использовать эту нейросеть. Для начала необходимо зайти на официальный сайт Runway и зарегистрироваться. Новички могут воспользоваться бесплатными «кредитами», чтобы опробовать возможности нейронной сети. После этого можно приобрести платную подписку. За 12 долларов можно пользоваться нейросетью в течение одного месяца. При этом пользователю также будет начислено определенное количество «кредитов»; если они исчерпаются, он сможет купить еще одну подписку.

После того как аккаунт создан, выбираем нужную модель и приступаем к созданию видеоролика. Весь процесс построен просто и интуитивно понятно. Юзер может воспользоваться картинками, и тогда для генерации видеоролика необходимо будет загрузить собственное изображение (или сгенерировать его непосредственно в системе):

Также сгенерировать видео можно и при помощи обычного текстового промпта — оба варианта позволяют получить ролик быстро и без труда.

Мы решили загрузить картинку и создать на ее основе видео:

Процесс генерации отражается на экране пользователя:

В итоге мы получили короткий, но высококачественный ролик:

Особая позиция Runway в конкурентной среде

Что еще стоит сказать о Runway? Известно, что именно она стала одной из первых компаний, выпустивших работоспособные инструменты генерации видео для публичного использования. Команда также внесла значительный вклад в разработку модели Stable Diffusion, которая стала одной из ключевых технологий в области генерации изображений с помощью ИИ. Несмотря на то, что компания обладает гораздо меньшими финансовыми ресурсами (в сравнении, к примеру, с OpenAI), Runway заняла особую нишу на рынке.

Сегодня компания развивает позицию, схожую с позицией Adobe. Runway создает инструменты, предназначенные для поддержки уже существующих творческих процессов, а не позиционирует себя в качестве самостоятельного решения. Данный подход позволил ей успешно сотрудничать со множеством крупных студий – в том числе начать цифровое партнерство с кинокомпанией Lionsgate, предоставившей Runway легальный доступ к своей библиотеке фильмов для обучения моделей, а взамен получила специализированные инструменты для производства и постпродакшна.

Технология Runway уже нашла практическое применение в профессиональном продакшне. Например, она использовалась при создании эффектов для фильма «Везде, все и сразу», получившего множество наград, а также для создания визуальных приемов в программе «The Late Show with Stephen Colbert». В отличие от многих конкурентов, которые выпускают универсальные инструменты для создания видео, Runway концентрируется на маркетинге для творческих профессионалов – дизайнеров, кинематографистов и прочих.

Новая эра видеопроизводства с ИИ

Таким образом, Gen-4 от Runway представляет собой значительный шаг вперед в эволюции инструментов для генерации видео с помощью искусственного интеллекта. Фокус на последовательности персонажей, объектов и окружения через различные кадры и сцены решает одну из наиболее фундаментальных проблем предыдущих моделей и открывает новые творческие возможности для профессионалов в сфере медиа.

Особый подход Runway, ориентированный на поддержку существующих творческих процессов, а не на их замену, отличает компанию от многих конкурентов и потенциально может обеспечить более глубокую интеграцию технологий ИИ в профессиональные рабочие процессы.