Автор этой статьи: Го Сяосинь, менеджер по продукту Tencent IEG

Привет всем, меня зовут Го Сяосинь, я практический менеджер по продуктам в области искусственного интеллекта крупного производителя и новичок в области кино и телевидения, мечтающий стать режиссёром. Вы когда-нибудь задумывались об использовании своей уникальной точки зрения, чтобы рассказать историю, но застряли на сложном пороге кино- и телепроизводства?

Если у вас тоже есть история, которую вы хотите рассказать, в этой статье мы поделимся с вами новым рабочим процессом создания фильмов и телепередач: даже если у вас нет профессиональных навыков и опыта в производстве фильмов и телепередач, вы можете создавать кино- и телеработы от 0 до 1 через цепочку инструментов ИИ.

Рабочий дисплей

Следующая работа — это оригинальный фильм и телевизионный клип «Братья Тигры», над которым я провел 12 часов в свободное время с помощью цепочки инструментов искусственного интеллекта на протяжении всего процесса.

Он неожиданно получил хороший отклик в социальных сетях. Без какой-либо рекламы он получил 185 лайков на Douyin всего за 7 дней, а количество просмотров превысило 20 000 раз!

Далее я безоговорочно поделюсь всем своим рабочим процессом с искусственным интеллектом и шаг за шагом покажу вам, как использовать цепочку инструментов искусственного интеллекта для создания оригинальных кино- и телевизионных клипов с нуля.

производственный поток

1. Обзор рабочего процесса

Рабочий процесс производства кино и телевизионных клипов выглядит следующим образом. Общая продолжительность производства составляет около 12 часов.

Проще говоря, все начинается с идеи, создания текстов с помощью ИИ, использования ИИ для создания музыкальных песен и, наконец, использования ИИ для создания видео. Производство видео включает в себя: разработку сценария раскадровки, создание виртуальных певцов, производство анимации MV. и видеоклип.

2. Производство текстов

1. Создайте текст песни

Хорошая песня нуждается в лирической основе, которая разделена на множество различных уровней, таких как вступление, припев, куплет и т. д. Я сотрудничал с GPT, чтобы разработать структуру создания текстов (подробности приведены ниже), чтобы качество последующих текстов и создания песен могло легче соответствовать ожиданиям.

Левая часть изображения выше — это компонент написания текстов, предоставляемый GPT, а правая — структура создания текстов, которую я объединил исходя из своих собственных потребностей.

2. Тексты песен, созданные ИИ

Здесь я отладил несколько версий подсказок и, наконец, процитировал следующие подсказки для создания текстов. Качество созданных текстов будет более соответствовать ожиданиям. Друзья, которым они нужны, могут их приобрести.

## Role

Вы профессиональный автор песен

## Background

Будучи поклонником номер один знаменитого китайского поэта Фан Вэньшаня, вы выучили все тексты, которые он когда-либо писал. Вы поймете его образ мышления и стиль написания текстов, и вы будете использовать тот способ и стиль, который вы научились писать тексты.

## Goals

Адаптировать текст детской песни «Два тигра».

## Skills

- Хорошо умеет адаптировать тексты песен, что позволяет не только сохранить сцены оригинального текста, но и еще больше сублимировать тексты, придавая им литературный темперамент и великолепную художественную концепцию.

- Хорошо владеете рэп-стилем и имеете хорошие навыки написания рэп-текстов, таких как две рифмы, три рифмы и рифмы.

## Output Format

Пожалуйста, выведите свой творческий контент в соответствии со следующей структурой текста.

[instrumental intro][Verse 1]<тексты песен>[Chorus]<тексты песен>[Verse 2]<тексты песен>[Chorus]<тексты песен>[Bridge]<тексты песен>[Guitar solo][Chorus]<тексты песен>[Outro][End]

## Workflow

Как профессиональный автор песен, пожалуйста, используйте свои [Навыки] и следуйте [Формату вывода] для достижения [Целей].

Даже если подсказки настроены,Первая версия текста, выдаваемая GPT, лишь ближе к тому, что я ожидал.,О том, как дальше дорабатывать и улучшать качество текстов,Здесь я имею в виду то, чем поделился г-н Нг Энда.«Четыре шаблона проектирования ИИ-агента»,и опирается на рефлексивные механизмы четырех парадигм.

То есть первая версия создается большой моделью, затем большая модель используется для анализа и предоставления предложений по оптимизации, а затем большая модель модифицируется до версии. Этот цикл повторяется в течение многих раундов, после чего выводится текст. несколько раундов могут быть очень близки к ожиданиям. Наконец, некоторую точную настройку можно выполнить вручную (как показано ниже).

3. Производство песен

1. Музыкальный инструмент с искусственным интеллектом

Позвольте мне сначала рассказать о трех популярных Генерациях, представленных в настоящее время на рынке. музыки с помощью ИИинструмент Сравните и оцените,Наконец, решите использоватьSunoдля создания песен。

Результаты оценки: Следующая оценка предназначена только для создания китайских песен. При предоставлении одинаковых текстов и одинаковых настроек жанра музыка, созданная с помощью этих трех инструментов, оценивается и сравнивается. Точность произношения Suno на китайском языке намного выше, чем у Udio. Креативность и качество создания музыки выше, чем у Tiangong Music.

Udio

У Udio серьезные проблемы с неточным произношением китайских текстов и отсутствием текста.

Фактор рекомендации: 1 звезда

ТяньгунSkymusic

Tiangong отличается особым подходом к настройке музыкальных стилей. Он требует от пользователей предоставления музыкального произведения для справки. Ему не хватает креативности в создании музыки, а иногда и в искажении текстов. Однако, как отечественный ИИ, его китайское произношение является самым четким и понятным. точный.

Фактор рекомендации: 3 звезды

Suno

Произношение китайских текстов Suno относительно точное. Хотя электронная музыка сильна, эмоции песен также относительно богаты и деликатны.

Фактор рекомендации: 4 звезды

2. Генерация музыки с помощью ИИ

Интерфейс создания Suno очень прост и выглядит следующим образом.

Вот подсказки по жанрам, как писать песни. Рекомендуемые шаблоны структуры слов приведены ниже. При необходимости вы можете их подобрать.

<музыкальный жанр（нравитьсяKpop、Heavy Metal）>、<музыкальный стиль（нравитьсяSlow、Broadway）>、<настроение（нравитьсягрустный、злость）>、<музыкальный инструмент（нравитьсяфортепиано、Гитара）>、<тема или сцена>、<Описание голоса（нравитьсязлостьизмужской голос、грустный женский голос）>

Последний шаг — создание музыки. Suno будет генерировать 3 музыкальных произведения каждый раз. Если вас не устраивает, измените подсказки жанра или создайте их напрямую. Самая длинная музыка, создаваемая Suno, составляет около 2 минут. что очень близко к полноценной песне.

4. Видеопроизводство

1. Разработка сценария раскадровки

Прежде чем приступить к созданию клипа, я сначала сделал раскадровку на основе текста. Я считаю, что раскадровка — очень важное звено, и в основном оно играет три роли:

1) Планируйте контент заранее:Раскадровка Скрипт Помогает планировать заранееMVсодержание и структура,Помогает подумать о том, как лучше передать информацию.,убеждатьсяMVМожет иметь четкую повествовательную нить и плавные визуальные эффекты.； 2) Экономьте время и ресурсы:проходитьдизайн Раскадровка Скрипт,Вы можете заранее решить, для каких сцен требуются виртуальные певцы.,Какие сцены требуют, чтобы ИИ создавал изображения и сцены?,Это значительно экономит время и ресурсы во время фактического производственного процесса.（после всегоAIКаждая единица произведенного контента имеет стоимость.）； 3) Используйте вдохновение и творческий подход:существоватьдизайн Раскадровка Скриптв процессе,Вы можете попробовать разные методы повествования, чтобы представить контент клипа.,На этом этапе вы в основном тратите время на поиск ссылок, поиск вдохновения, неоднократное придумывание и постоянную сортировку.,Фактических производственных ограничений нет.,Таким образом, вы можете свободно представлять сцены и эффекты;

На картинке выше показана раскадровка, которую я разработал для создания клипа.

Я твердо верю, что в будущем художникам, использующим ИИ для создания фильмов и телевидения, нужно будет сосредоточиться только на дизайне раскадровки, чтобы обеспечить 1% вдохновения, а остальные 99% работы пусть сделает ИИ.

2. Поколение виртуальных певцов

В настоящее время на рынке существует 3 инструмента искусственного интеллекта с хорошей репутацией.,То есть использование фотографий людей для синхронизации губ (в настоящее время в основном используется в речевых сценах).,Я пытался сравнить эффект его генерации в сцене пения.,Наконец я решил использоватьHeygen。

Результаты оценки: Следующая оценка фокусируется только на эффекте генерации сцен пения. Предоставляя одинаковые тексты и одинаковые настройки фотографий, видео, созданные этими тремя инструментами, оцениваются и сравниваются. Среди них Heygen относительно точен в синхронизации губ. сопоставление при генерации. Эффект анимации персонажей также стал более естественным.

Heygen

Соответствие формы рта: от среднего до верхнего.

Эффект анимации: средний

Бесплатная пробная версия: 2 минуты

Фактор рекомендации: 4 звезды

Замечательный юань

Цвет губ: средний

Эффект анимации: средний Ниже

Бесплатная пробная сумма: 1 минута

Фактор рекомендации: 3 звезды

DID

Соответствие форме рта: нижний

Эффект анимации: средний

Бесплатная пробная версия: 2 минуты

Фактор рекомендации: 2 звезды

Все вышеперечисленные инструменты являются платными, но все они имеют определенный лимит бесплатной пробной версии. Есть также несколько инструментов с открытым исходным кодом для синхронизации губ. Среди них должен быть видеоэффект синхронизации губ, созданный SadTalker (на основе Stable Difffusion). самый мощный на данный момент открытый исходный код (как показано ниже).

3. Изображения, созданные ИИ

Создание имиджа певца и сцены для клипа,Я предпочитаю использоватьMidjourney。

Причина относительно проста: текстуру и эстетику клипа, который мне нужен, может создать только Midjourney.

Здесь я в основном рассказываю, как лениво писать слова-подсказки Midjourney. В основном я использую два метода:

1) Написано совместно с GPT

Добавьте соответствующие тексты в GPT, дайте GPT сначала понять текст, затем представить картину, изображенную текстами, и дать конкретные текстовые описания и подсказки Midjourney, и, наконец, использовать Midjourney для создания изображений. (Как показано в случае ниже)

2) Найдите вдохновение в Сяохуншу.

Обычно я черпаю вдохновение для подсказок в Xiaohongshu. Конечно, существуют также вертикальные сообщества, посвященные обмену изображениями AIGC и подсказками, такие как ArtStation, CivitAI и Liblib.

Но по сравнению с Xiaohongshu, Xiaohongshu более удобен для использования фрагментированного времени. Внезапно, если у вас есть идея, вы можете открыть Xiaohongshu, чтобы найти контент, а затем собрать его. Качество контента также относительно высокое.

Иногда я встречаю стиль изображения, который мне нравится,Блогер не поделился подсказкой,Обычно я сохраняю картинку в это время,Затем проанализируйте изображение через Chatgpt, чтобы получить информацию об описании изображения.,РекомбинироватьMidjourneyизSrefинструкция,Как показано в следующем случае,По сути, вы можете восстановить понравившийся вам стиль изображения. (в частности, как использовать,Подробности смотрите у пользователей сетииз Советы по использованию MJ V6 Sref）

Обычно генерируйте изображения сцен видео.,Помимо необходимости соблюдения стилевого единства,Иногда это необходимоПоддерживайте согласованность ролей,Здесь рекомендуется использоватьMidjourneyизCrefизинструкция,Как показано в следующем случае,Я родилась девочкой с длинными оранжевыми волосами и в матроске.,Затем используйте команду Cref для создания последующих изображений.,Видно, что внешний вид и одежда девушки в основном соответствуют оригинальной картинке. (в частности, как использовать,Подробности смотрите у пользователей сетииз Советы по использованию MJ V6 Cref）

4. Графическая анимация с использованием искусственного интеллекта

Это самое трудоемкое звено во всем производстве. Все производство клипа занимает около 12 часов, из которых 50% времени приходится на процесс рисования и анимации AI.

Чтобы обеспечить единообразие стиля видеоизображения, в этой ссылке в основном используется метод графической анимации. Из-за кратковременности и слабой управляемости существующей графической анимации требуется сильная зависимость от непрерывного рисования карточек, поэтому. это отнимает очень много времени!

До того, как Сора вышел,Все, что мы можем играть, это 4s. В эпоху 4s,Сейчас я чаще всего использую Runway.,Далее следуют Дримина, Пика, Pixverse.,4индивидуальныйинструментсерединаНа долю Runway приходится 80% этого MVвидеопроизводства.。

Используя инструменты искусственного интеллекта Tusheng Animation, я в основном сосредотачиваюсь на следующих трех измерениях:

1) Управляемость:инструментпоставлятьиз Особенности и опции,Разрешить пользователям настраивать контент; 2) Сохранение деталей:существоватьвидеопроцесс генерациисередина,Подробности исходного материалаизсохранять способность； 3) Возможности обработки движения:инструментиметь дело свидеодвижение и переходиз Плавность и естественность；

Взлетно-посадочная полоса хорошо справляется с вышеуказанными критериями оценки, главным образом, благодаря своей управляемости и сохранению детализации:

1) Управляемость:пользовательпроходить Элементы управления объективом и функция движения кисти,способен достичьвидеоиз Детали прощеиз Корректирование； 2) Сохранение деталей:существоватьвидеопроцесс генерациисередина,Взлетно-посадочная полоса может лучше сохранить детали исходного изображения.,Это гарантирует, что фотографии прибудутанимацияизснижение； 3) Обработка движения:Runwayсуществоватьсделать несколько маленьких шаговиз Конкретные траектории движения и движения камеры,Лучше справляется с плавностью и естественностью движений.,Но в больших движениях,Очевидно, что взлетно-посадочная полоса имеет ограничения;

Например, этого тигра, смотрящего на солнце, можно быстро нарисовать с помощью движущейся кисти Runway. Используя другие инструменты, как бы вы ни корректировали слова-подсказки, такого эффекта не добиться. По сравнению с ним, Runway действительно более управляем!

Другие, такие как небольшие движения камеры и различные траектории движения нескольких объектов, также очень хороши для создания эффектов.

Если вы хотите создать относительно хороший анимационный эффект из изображения, в настоящее время необходимо вручную изменять слова-подсказки, изменять путь кисти и многократно перемещать. Обычно каждое изображение необходимо прокручивать как минимум 7-8 раз. Вот почему эта ссылка требует очень много времени.

Runway действительно хорош в генерации движений с небольшой амплитудой, но если вы позволите ему генерировать крупномасштабную анимацию движения объекта, он может прямо сейчас лежать только ровно.

Например, я прокатал сцену двух тигров, бегущих по заснеженному лесу, минимум 10 раз. Как бы я ни изменял слова-подсказки и траекторию движения кисти, эффекта добиться не удалось.

Что касается Dreamina от Byte, я был немного удивлен большим диапазоном движения. Та же самая картина, показанная выше, когда Dreamina перевернута, только после двойного переворота может дать относительно хороший эффект.

Конечно, у Dreamina также есть два ограничения:

1) Диапазон движений слишком велик, что крайне затрудняет контроль;

2) Все еще существуют определенные ограничения на сохранение деталей оригинальных материалов определенных стилей (особенно стилей анимации);

Например, тигр с голубым пламенем, идущий по реке. Как бы я ни корректировал подсказки, видео, созданное в Dreamina, с трудом сохраняет изображение белого тигра и спецэффекты пламени исходного материала;

‍

5. Монтаж видео

Это последний шаг. Что касается звуковых эффектов и редактирования, здесь выполняются все ручные операции.

Но преимущество в том, что редактирование — это хороший инструмент, поэтому этот шаг выполняется очень быстро, занимая всего около часа.

Выше представлен весь процесс использования цепочки инструментов искусственного интеллекта для создания кино- и телевизионных клипов от 0 до 1. Надеюсь, это сможет вас вдохновить.

Подвести итог

напиши до конца,Я твердо верю,ИИ — это всегда всего лишь инструмент,Это может значительно снизить порог человеческого творчества.,ноНичто не заменит вдохновения и творчества, возникающих в ходе творческого процесса.！

Кроме того, независимо от того, в какой форме творения вы находитесь,Независимо от того, используете ли вы инструмент с искусственным интеллектом или без него.,Суть инструмента заключается в том, чтобы помочь людям более эффективно творить. поэтому,Нет необходимости придерживаться конкретных инструментов, включая ИИ, а нужно найти оптимальное решение между затратами и выгодой.