Какова роль vae у стабильнодиффузных видов?

Stable Diffusion — это модель глубокого обучения, основанная на вариационном автокодировщике (VAE), которая в основном используется для генерации изображений из текста. В частности, VAE — это генеративная модель, которая может изучать скрытое пространство представления данных и использовать его для создания новых образцов данных. Модель VAE Stable Diffusion изучает набор скрытых переменных во время обучения, которые могут захватывать богатую семантическую и структурную информацию в изображении. При создании новых изображений VAE может преобразовывать входное текстовое представление в скрытые переменные, а затем генерировать новые изображения из пространства скрытого представления. Это созданное на основе текста изображение очень стабильно и воспроизводимо, отсюда и название «Стабильная диффузия». В общем, роль модели Stable Diffusion VAE заключается в преобразовании текстовых представлений в изображения путем изучения скрытого пространства представлений, тем самым достигая высококачественных, стабильных и воспроизводимых задач создания изображений текста.

Обычно мы в основном используем: Vae-ft-mse-840000-ema-pruned, поскольку он наиболее близок к реальному эффекту съемки.

Тестовая модель:

chilloutmix_NiPrunedFp32Fix.safetensors [fc2511737a]

Протестируйте модель AVE:

vae-ft-mse-560000-ema-pruned.safetensors vae-ft-mse-840000-ema-pruned.safetensors

Позитивные слова-подсказки:

1 girl,minneapolis \(wild huntress schoolgirl\) \(azur lane\),

Обратное слово-подсказку:

(semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime:1.4),text,close up,cropped,out of frame,worst quality,low quality,jpeg artifacts,pgly,duplicate,morbid,mutilated,extra fingers,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,blurry,dehydrated,bad anatomy,bad proportions,extra limbs,cloned face,disfigured,gross proportions,malformed limbs,missing arms,missing legs,extra arms,extra legs,fused fingers,too many fingers,long neck,

Количество шагов итерации:

20Steps

Метод выборки:

DPM++ 2M Karras

высота*ширина

512x512

случайное семя

1993120101

Эффект vae-ft-mse-560000-ema-pruned.safetensors

Эффект vae-ft-mse-840000-ema-pruned.safetensors

Сравнение 560000 и 840000

Базы обучения у них разные. Результаты обратной связи для более крупных обучающих ресурсов, конечно, лучше, поэтому мы можем выбрать более высокую версию по умолчанию, поскольку она наиболее близка к реальной стрельбе.

Другое

ClearVAE-NansLessTest.safetensors madebyollin-sdxl-vae-fp16-fix.safetensors

Соответствующая версия — vae-ft-mse-840000-ema-pruned.ckpt.