CVPR 2024 | AVID: Раскрашивание видео произвольной длины на основе модели диффузии
CVPR 2024 | AVID: Раскрашивание видео произвольной длины на основе модели диффузии

Ссылка на статью:https://arxiv.org/abs/2312.03816 автор:Zhixing Zhang, Bichen Wu ждать Адрес проекта:https://github.com/zhang-zx/AVID Организация контента:Ван Хан В этой статье предлагается новая технология под названием AVID (любая длина). Video Inpainting with Diffusion Model)извидео Исправить。AVID能够处理不同长度извидео,И хорошо справляйтесь с различными задачами по редактированию видео. видео ремонт,Также известно как видеозаполнение (inpainting),означает в пределах заданной области маски видео,Следуйте текстовым подсказкам или инструкциям по редактированию.,Создавайте новый видеоконтент,Сохраняя исходное содержимое немаскированных областей нетронутым. автор проверил эффективность AVID Model с помощью широкого спектра экспериментов,и по сравнению с некоторыми существующими методами,Продемонстрировал свое превосходство в различных восстановительных задачах по производительности. также,В статье также представлены некоторые качественные результаты, показывающие,и чтобы Модельиз效率、Область применения、сравнительный анализ、абляционное исследование、Обсуждение ограничений и потенциальных направлений улучшения.

Введение

В этой статье представлен метод восстановления видео, который является универсальным для любой длительности видео и диапазона задач. В этой статье считается, что наиболее прямой метод редактирования видео для пользователей — это задать маску в первом кадре и отредактировать текст. Учитывая видео, область маски начального кадра и приглашение к редактированию, задача требует, чтобы модель заполняла рекомендации по редактированию в каждом кадре, сохраняя при этом целостность области вне маски. Есть три трудности: 1) Временная согласованность 2) Поддержка разных типов восстановления на разных уровнях структурной точности 3) Обработка видео произвольной длины

Эта статья предназначена для редактирования видео фиксированной длины. Наша модель оснащена эффективными модулями движения и регулируемыми структурными направляющими. Основываясь на этом, в данной статье предлагается конвейер выборки Temporal MultiDiffusion с механизмом управления вниманием промежуточного кадра для создания видео любой желаемой продолжительности.

Детали модели

AVID разработан на основе системы врисовки изображений с текстовым управлением. Модуль движения объединен для обеспечения согласованности времени в области редактирования. Модуль структурного руководства адаптирует модель к различной структурной точности. И конвейер генерации нулевых кадров, который использует механизм управления вниманием в середине кадра для улучшения управления видео любой длины.

Рисунок 1

Видеозавершение текстового руководства

Для задач точного редактирования с учетом маски первого кадра в этой статье эта маска сначала расширяется на каждый кадр видео, чтобы получить последовательность масок. Для задачи обрезки для всех кадров предусмотрена одна и та же маска. Чтобы решить проблему временной непрерывности, мы обращаемся к AnimateDiff, чтобы расширить 2D-слой свертки до псевдо-3D, и добавляем модуль движения, чтобы изучить взаимосвязь между кадрами:

К условиям относятся области, не закрытые маской, маской и встраиванием текста. В процессе обучения оптимизируется только модуль движения, чтобы сохранить способность генерации исходной модели текстового изображения.

Структурное руководство по восстановлению видео

Учитывая, что задача покраски включает в себя различные типы подзадач, требования к точности поддержания конструкции различаются. Одним из распространенных типов ремонта является замена объектов, например «Заменить автомобиль на MINI Cooper»; другой тип — наложение текстуры (например, «Изменить цвет листа с красного на желтый» и существуют типы обрезки (например, «Заполнение областей выше»); и ниже") также популярны. Различные типы ремонта подразумевают разную структурную надежность. Например, если речь идет о преобразовании объекта, например, операции редактирования, заключающейся в превращении человека в статую, движения и структура исходного персонажа в области маски должны быть сохранены. Напротив, раскройка видео требует заполнения пустых областей для увеличения поля зрения без сигналов указания из области маски.

Рисунок 2. Различные типы рисования.

Наложение текстур требует сохранения структуры исходного видео, например, преобразование материала пальто человека в кожу (как показано), в то время как задачи по обрезке не должны быть такими точными. Поэтому автор разработал модуль структурного руководства, ссылаясь на конструкцию ControlNet, и зафиксировал параметры сети шумоподавления для обучения структурного модуля (на рисунке). Экстрактор структуры S используется для извлечения структурных признаков для каждого кадра. Извлеченные структурные признаки Cs содержат 13 карт признаков в 4 разрешениях, которые интегрируются в пропускное соединение сети шумоподавления и вход промежуточного слоя. В процессе вывода характеристики промежуточного слоя экстрактора будут иметь коэффициент для управления прочностью структурных особенностей.

Вывод нулевого кадра для длинных видео

Temporal MultiDiffusion

Теоретически модуль движения может генерировать видеоролики любой длины, но при создании видеороликов, длиннее обучающих, произойдет серьезное ухудшение качества. Temporal MultiDiffusion был разработан на основе MultiDiffusion. Сначала длинное видео разбивается на фрагменты с использованием псевдонимов. Конечный результат каждого кадра представляет собой среднее значение результатов шумоподавления, полученных для каждого фрагмента, содержащего этот кадр.

Middle-frame attention guidance

Хотя Multi Diffusion может сгладить вывод длинных видеороликов, автор обнаружил, что тема видео будет постепенно меняться, как показано на рисунке ниже.

Рисунок 3

Чтобы решить эту проблему, в этой статье вводится управление вниманием к промежуточному кадру, чтобы гарантировать, что сгенерированные объекты в каждом срезе являются непрерывными. Во-первых, 2D-самообслуживание расширяется до псевдо-3D-самообслуживания, а средний кадр в срезе используется в качестве ориентира на каждом уровне самообслуживания, как показано на рисунке ниже. Сила управления контролируется параметрами.

Рисунок 4

эксперимент

деталь

На основе предварительно обученной модели LDM. Используемый набор данных — это набор видеоданных Shutterstock после удаления водяных знаков. Обучение модуля движения настроено на 16 кадров случайной маски с разрешением 512x512. Кроме того, в качестве модуля управления используется энкодер Unet, который обучается с использованием того же набора данных. Используя HED в области синтеза в качестве направляющей информации для модуля управления, все параметры модуля управления участвуют в оптимизации.

Качественные результаты

Модель AVID была протестирована при различных типах монтажа видео разной продолжительности.,Включая замену объектов, обновление текстур и раскройку. Результаты эксперимента показывают, что,AVID способен обрабатывать изображения, не меняя окружающий контент.,Точно измените указанную область,И поддерживайте согласованность идентичности (например, цвета, структуры) сгенерированного контента в видеокадре.

Рисунок 5

AVID сравнивается с несколькими другими методами прорисовки видео на основе диффузионной модели, включая методы покадровой прорисовки. inpainting) и VideoComposer. показаны результаты эксперимента,AVIDПо предварительному заказудеталь、Превосходит другие методы с точки зрения сохранения фона и временной согласованности.。

Количественные результаты

Производительность модели оценивалась количественно с использованием трех автоматических показателей оценки: сохранение фона, выравнивание текста и видео и временная согласованность. AVID продемонстрировал отличные показатели по этим показателям.

Рисунок 6

пользовательэксперимент

Рисунок 7

удалятьэксперимент

структурное руководство

показалструктурное Влияние коэффициента руководства на результаты редактирования видео, указывая на то, что разные подзадачи редактирования требуют разной структуры. руководство Пропорция。

Рисунок 8

Temporal MultiDiffusion

Исследуется эффективность временного конвейера мультидиффузионной выборки при обработке видео различной длины.

Рисунок 9

Механизм управления вниманием промежуточного кадра

Исследуется роль механизмов управления вниманием в поддержании согласованности идентичности между видеокадрами.

Рисунок 10

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose