AnimateLCM позволяет создавать высококачественные видеоролики за несколько шагов. По сравнению с применением согласованного обучения непосредственно к исходному набору видеоданных, этот проект предлагает отдельную стратегию согласованного обучения, которая уточняет базовые знания о генерации изображений и базовые знания о генерации движения соответственно. Эта стратегия повышает эффективность обучения и улучшает визуальное качество создаваемых видеороликов.

Итак о двух ЛКМ Рабочий процесс,и Модель Личное сообщение за кулисами【LCM】Вот и всеhttps://mpvideo.qpic.cn/0bc3piacmaaaj4anjrwifzsva6wdez5aajqa.f10002.mp4?

AnimatediffLCM — это не только комбинация AnimateDiff и LCM, но также оптимизирующее качество изображения, его согласованность и использование меньшего объема видеопамяти. Другими словами, он сочетает в себе лучшее из обоих миров.

Пример https://mpvideo.qpic.cn/0bc3aeaciaaaguana76igvsvaaodeqaqajaa.f10002.mp4?

принцип

Модели видеодиффузии привлекают все большее внимание благодаря их способности создавать связные и высококачественные видеоролики. Однако итеративный процесс шумоподавления делает его трудоемким и трудоемким, что ограничивает его применение. Вдохновленные моделью согласованности (CM), которая уточняет предварительно обученные модели диффузии изображений для ускорения выборки с минимальными шагами, и успешно расширяет модель скрытой согласованности (LCM) при генерации условных изображений, мы предлагаем AnimateLCM, позволяющую генерировать высокоточные изображения. видео за минимальные шаги. Вместо непосредственного выполнения согласованного обучения на исходном наборе видеоданных мы предлагаем отдельную стратегию согласованного обучения, которая отделяет дистилляцию априорных генераций изображений и априорных генераций движения, повышая эффективность обучения и улучшая визуальное качество генерации. Кроме того, в сообществе стабильной диффузии реализована комбинация адаптеров plug-and-play для реализации различных функций ~ (например, ControlNet для контролируемой выработки электроэнергии). Мы предлагаем эффективную стратегию адаптации существующих адаптеров к нашей усовершенствованной модели согласованности видео с условным текстом или обучение адаптеров с нуля без ущерба для скорости выборки. Мы проверили предложенную стратегию генерации видео с учетом изображения и создания видео с учетом макета, обе добились наилучших результатов.

Скачать место размещения модели

1. Он поддерживает анимацию iffv3.

2. Даже при разрешении 256x8x600 на графическом процессоре rx 256 емкостью 256 ГБ в Windows это приводит к нехватке памяти, хотя другие модели хотя бы позволяют мне создавать с таким разрешением. Но LCM не превышает 8 ГБ

3.AnimateLCM позволяет создавать высококачественное видео за минимальное количество шагов. Вместо непосредственного выполнения согласованного обучения на исходном наборе видеоданных мы предлагаем отдельную стратегию согласованного обучения, которая отделяет дистилляцию априорных генераций изображений и априорных генераций движения, повышая эффективность обучения и улучшая визуальное качество генерации. Кроме того, в сообществе стабильной диффузии реализована комбинация адаптеров plug-and-play для реализации различных функций (например, ControlNet для управляемой генерации). Мы предлагаем эффективную стратегию адаптации существующих адаптеров к нашей усовершенствованной модели согласованности видео с условным текстом или обучение адаптеров с нуля без ущерба для скорости выборки. Мы проверили предложенную стратегию генерации видео с учетом изображения и создания видео с учетом макета, обе добились наилучших результатов.

Хранение модели

sd15_t2v_beta.ckpt 
ComfyUI/models/animatediff_models 
sd15_lora_beta.safetensors 
ComfyUI/models/loras

Необходимые узлы для рабочего процесса

https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved
https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
https://github.com/jojkaart/ComfyUI-sampler-lcm-alternative
ADE_StandardUniformContextOptions
SamplerLCMCycle
ADE_LoadAnimateDiffModel
LoraLoader
BNK_CLIPTextEncodeAdvanced
ADE_UseEvolvedSampling
LCMScheduler
ADE_ApplyAnimateDiffModelSimple
VAEDecode
SamplerCustom

Получите коллекцию рабочих процессов comfyui

Поиск в магазине приложений Toutiao Express Edition

Нажмите на поле поиска

Нажмите на сетевой диск

Поиск AI Живопись KK

Многие коллекции ИИ были организованы по адресу https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH.