Как сделать видео с помощью нейросетей?

Рассказываем на примере сниппета BCHRRS

В 2024 году сниппеты треков вытеснили привычные клипы от музыкантов — такой формат стал более универсальным. Сниппеты подходят как для стандартного широкого формата, так и для вертикальных видео в YouTube Shorts, Instagram Reels, TikTok, VK Клипов, видеошотов в Яндекс Музыке и Spotify. Кроме того, их намного проще создавать благодаря короткой длине.

В этой статье мы расскажем о том, как создать уникальный эффектный видеосниппет с помощью трёх инструментов на примере сниппета для трека BCHRRS «Московский темп».

Для этого нам понадобятся следующие программы: Midjourney, Runway, AI Video Enhancer (если потребуется улучшить качество сгенерированного видео) и CapCut.

1

Создание статичных изображений

Начнём с визуализации: для этого нам нужно подобрать грамотные промпты для Midjourney. В нашем случае мы хотели передать атмосферу рэйв-киберпанка в ночной Москве и сюжетный сторителлинг трека:

Пример промта:
/imagine prompt: draw, photorealistic images of a young boy on a motorcycle fleeing hooligans at night in an abandoned factory.::3 cyberpunk::3 --aspect 1:1 --quality .5

Получившийся результат:

Пример промта:
/imagine prompt: draw 4 punks with katanas fighting with people in an abandoned building in a sci-fi and cyberpunk atmosphere. Resolution 1080x1080.

Получившийся результат:

Еще несколько пример изображений, получившихся в процессе генерации:

2

Оживляем изображения

Для этого нам понадобится нейросеть Runway ML Gen‑3 и прочный запас терпения: качественные видео получаются далеко не с первого раза.

Бесплатно можно сгенерировать 105 секунд видео и экспортировать с водяным знаком, больше возможностей доступно в платной версии программы.

На главной странице нажмите «Start with Image», затем в открывшемся окне выберите вкладку «Image + Description». Загрузите изображение и введите промпт. Для оживления фотографий используйте запрос в стиле: «idle animation of a [общее описание объекта]».

Что получилось сделать у нас из статичных изображений, сделанных в Midjourney:

После нескольких десятков генераций мы собрали наиболее удачные варианты, склеили их в программе для монтажа CapCut, а после дополнительно прогнали получившееся видео через нейросеть AI Video Enhancer для улучшения качества видео.

4

Заключение

Инструменты, о которых мы рассказали в этом гайде — лишь один из немногих примеров использования новых технологий в производстве и маркетинге музыки.

В пособии B1 Education вы можете найти подборку нейросетей для музыкантов, а в нашем Telegram-канале мы регулярно рассказываем о новых фишках и технологиях — подписывайся, чтобы ничего не пропустить!