VideoCrafter1: Open Diffusion Models for High-Quality Video Generation

• paper https://arxiv.org/pdf/2310.19512.pdf
• code https://github.com/ailab-cvc/videocrafter

image-20231108102745812

Abstract

• Коммерческая модель Text2Video может создавать видео высокого качества, но этого не делает Открытый. исходный код, не могу учиться
• VideoCrafterОткрытый исходный Код имеет 2 Модели, Text2Video иImage2Video, среди которых I2V может генерировать видео высокого разрешения 1024X576, превосходящее по качеству другие Открытые видео. исходный код Модель, и первый в отрасли Открытый исходный код I2VМодель. (I2VМодель вводится как текстовая ссылка image）

Contributions

• T2VМодель может генерировать видео высокого разрешения и высокого качества.,Обучающий набор состоит из 20 миллионов и 600 миллионов изображений.
• I2VМодель вполне может сохранить содержимое эталонного изображения.、структура и стиль

Related Work

• Video Diffusion Models (VDMs)
• ImagenVideo
• DragNUWA

Methodology

Overview

image-20231108104712911

Включает в себя 2 ключевые части: видео и распространение видео.

• video vae Ответственный за уменьшение размера выборки
  • видеоданные X0 подаются на кодер VAE E,картографированиеприезжать Скрытый слойZ0,Он может представлять собой сжатое видео в небольших размерах.
  • Z0 декодирует пространство данных через декодер D и восстанавливает X0'.
  • VAE использует стабильную версию VAE Diffusion проецирует каждый кадр независимо и не включает информацию о времени.

image-20231108111414839

• video diffusion
  • верновидео скрытый слой Z0 для шумоподавления,Наконец, видео генерируется в пиксельном пространстве с помощью декодера VAE.
  • Принять 3D Архитектура U-Net, включая временное измерение

Denoising 3D U-Net

• Каждый блок содержит сверточный слой, пространственное преобразование ST и временное преобразование TT.

image-20231108112046340

• Сигналы управления включают в себя семантический контроль (текстовые подсказки) и контроль скорости действий (частоту кадров в секунду).

image-20231108112244180

image-20231108112640660

• Временной шаг T и частота кадров FPS преобразуются в векторы посредством синусоидального внедрения (синусоидальное внедрение), а затем преобразуются в обучающие внедрения посредством двухуровневого MLP и, наконец, объединяются посредством поэлементного сложения.
• Семантический контроль вводится в приезжатьсеть через перекрестное внимание CA, где φi(zt) ∈ RN×di ϵ представляет собой пространственно сглаженные токены скрытого видео, φ обозначает текстовый кодер клипа, а y — входное текстовое приглашение.

Text-Aligned Rich Image Embedding

image-20231108110036296

• Текстовые подсказки фокусируются на функциях семантического уровня, а не на деталях внешнего вида.
• В I2VМодель,Требуется дополнительный интегрированный условный ввод,То есть имиджевые подсказки. Чтобы использовать информацию об изображении в видео Модель,Характеристики изображения должны быть проецированы в пространство для встраивания текста, верно.,Только так он может быть совместим (точно то же пространство признаков)
• Text Encoder да Кодировщик текста CLIP с глобальными семантическими символами. fcls и Субтитры к изображениямверновместе,Представляет видеоконтент преимущественно на семантическом уровне.,При этом фиксируется очень мало деталей. поэтому,Необходимо использовать из CLIP image ViT （clip image Токены всех патчей на последнем уровне кодировщика) Fvis = {fi}K i=0
• Чтобы встраивание текста было верным и аккуратным, используйте обучаемую сеть проекций. P верно Fvis картографирование приезжать целевое встраивание изображения Fimg = P(Fvis)
• Встраивание текста Ftext и встраивание изображения Fimg объединяются через уровень CA для расчета внутреннего признака Fin.

image-20231108114344516

Experiments

• Открытый исходный кодв,Лучшая производительность,Однако рекламный ролик Gen2 имеет разрыв в визуальном качестве и качестве действия.

image-20231108114424527

• Среди Воинов Пентагона уступает только Gen2.

image-20231108114431546

• Соотношение входного контроля состояния изображения верно

image-20231108114758612

• T2V

image-20231108114824763

• I2V

image-20231108114657469

image-20231108115035248

Conclusions

• Открытый исходный код Все нормально
• Эссе вернее, чем никогда не терялось,Фактические результаты средние

image-20231108115147302

image-20231108115209613

image-20231108115243336

References

• https://github.com/Picsart-AI-Research/Text2Video-Zero Этот I2V работает лучше