Всем привет, сегодня мы продолжим говорить о том, что происходит в технологическом кругу.

1. Чемпион

Контролируемый и последовательный проект создания анимации изображения человека, основанный на трехмерных параметрах. Все, что вам нужно, это фотография, чтобы заставить людей на фотографии двигаться.

Учитывая экшн-видео, Champ может позволить разным людям воспроизвести одно и то же действие.

Давайте сначала посмотрим на эффект фотографий реальных людей:

Champ также хорошо справляется с виртуальными персонажами и фотографиями разных стилей:

Проект в основном опирается на модель восстановления человеческой сетки для извлечения параметрической трехмерной модели человеческой сетки из входного видео. SMPL Последовательность рендеринга различной информации управляет генерацией видео.

рамки проекта

На диаграмме структуры проекта мы видим, что Чамп Многослойный модуль объединения движений (MLMF) используется для управления детальной генерацией видео с помощью глубины, костей, масок, нормалей и семантики, что делает его более реалистичным и гибким. Эти пять частей информации также можно получить через comfy Пример создания рабочего процесса для узлов.

Кроме того, Чемп использовать SMPL Форма тела персонажей в сгенерированном видео сохраняется единообразной. Выравнивая параметры формы тела, Champ Превосходит других в сохранении позы и движений персонажа. SOTA Работа.

Сравнение эффектов

Сравнение эффектов

Проект предоставляет демонстрационную версию. Если требуется локальное развертывание, видеопамять будет занята в соответствии с сгенерированным разрешением. Чем выше разрешение, тем больше используется видеопамять, что требует определенной аппаратной поддержки. Заинтересованные партнеры также могут попробовать сегментированную генерацию. .

Адрес проекта:

https://github.com/fudan-generative-vision/champ

2. Музе В

Проект создания виртуального человеческого видео бесконечной длины и высокой точности, основанный на параллельном шумоподавлении визуальных условий.

В этом проекте мы можем увидеть:

• Перемещение Ёне и Джинкс

• Учитель Ду Фу, который много лет моргал своими большими глазами

MuseV — проект создания виртуального человеческого видео. 在Создать сценуиз Есть и хорошие стороныиз Производительность。

MuseV поддерживает следующие методы генерации: изображение в видео, текст в изображение в видео и видео в видео. Кроме того, он совместим с экосистемой Stable Diffusion.

Параллельное шумоподавление

Параллельное шумоподавление

Для текущей схемы генерации, если условия первого кадра видео и изображения не совпадают, информация первого кадра может быть уничтожена, поэтому MuseV обычно имеет следующий процесс использования:

1. ОК, ссылка на видео
2. Используйте ссылкувидеоизпервый кадрДелайте снимки, чтобы делать снимки、controlnetпроцесс,Можно использовать MJ и другие платформы.
3. Используйте 2 китайских из для создания изображений и просмотра видео. MuseV 生成видео

Из-за ограниченного типа обучающих данных MuseV имеет больший диапазон движения при более низких разрешениях, но более низкое качество видео при более высоких разрешениях; он имеет лучшее качество изображения, но меньший диапазон движения; Также может потребоваться использование большего количества типов данных для обучения, таких как наборы высококачественных видеоданных с высоким разрешением.

В недавнем обновлении команда авторов обновила графический интерфейс Huggingface, чтобы его можно было использовать онлайн.

Обнимающий адрес:

https://huggingface.co/spaces/AnchorFake/MuseVDemo

На домашней странице команды авторов также упоминается, что их предстоящий MuseTalk (высококачественная модель синхронизации губ в реальном времени, демо-версия была представлена ​​на домашней странице проекта MuseV) можно использовать в сочетании с MuseV, и полученные результаты будут лучше. Вы можете рассчитывать на одну руку.

Адрес проекта:

https://github.com/TMElyralab/MuseV

3. Браш Нет

Модель закрашивания изображения с разложенной двухветвевой диффузией. Что касается области маски на экране (маска, отсутствуют части), BrushNet может ее восстановить. Кроме того, BrushNet может работать по принципу «подключи и работай» с любой предварительно обученной диффузионной моделью.

Отображение эффектов

Отображение эффектов

Модель выводит ненарисованное изображение с учетом входных данных маски и замаскированного изображения. Сначала маска субдискретизируется, чтобы соответствовать размеру скрытого пространства, а изображение маски подается в кодер VAE для выравнивания распределения скрытого пространства. Затем задержка шума, задержка изображения маски и маска понижающей дискретизации объединяются в качестве входных данных. Затем из модели извлекаются признаки. После шумоподавления сгенерированное изображение и изображение маски смешиваются с маской размытия для создания изображения.

рамки проекта

BrushNet не изменяет веса предварительно обученной модели диффузии, может регулировать масштаб сохранения и дополнительно настраивать коэффициент сохранения областей без маски. Это делает BrushNet очень гибким и легко подключаемым.

Команда авторов также продемонстрировала возможность сочетать BrushNet с различными моделями диффузии, в том числе:

• DreamShaper （DS）
• epiCRealism （ER）
• Henmix_Real （HR）
• MeinaMix （MM）
• Realistic Vision （RV）

Эффекты под разные модели

Эффекты под разные модели

В соответствии с личными потребностями пользователя уже обученная модель SD может быть гибко выбрана для интеграции, и вам останется только выбрать тот эффект, который вас устраивает.

Адрес проекта:

https://github.com/TencentARC/BrushNet

4. Медиа Кроулер

Это проект сканера с открытым исходным кодом, используемый для сканирования видео, изображений, комментариев, лайков, репостов и другой информации из Xiaohongshu, Douyin, Kuaishou, Bilibili и Weibo.

MediaCrawler строит мост на основе библиотеки драматурга, сохраняет контекстную среду браузера после успешного входа в систему и получает некоторые зашифрованные параметры путем выполнения выражений JS. Таким образом, нет необходимости воспроизводить основной JS-код шифрования, а сложность обратного проектирования значительно снижается. Создание проекта в среде Python также значительно улучшает масштабируемость проекта и имеет неограниченный потенциал.

В проекте есть следующие три состояния входа:

• QRCode （login_by_qrcode）
• Номер мобильного телефона (login_by_mobile)
• Cookie (login_by_cookies)

Автор также объясняет подготовку к входу в систему, чтобы пользователям было проще пользоваться.

Более того, MediaCrawler имеет модульную конструкцию, и пользователи могут определять ключевые слова для сканирования, назначенные каталоги и т. д. в соответствии со своими потребностями. Возможна «частная настройка» стратегий сканирования.

Кстати, автор лично удалил этот проект, получивший за несколько дней 10к+ звезд. Когда мы увидели это снова, на главной странице появилось много новых заявлений об отказе от ответственности. Надо полагать, сам автор не хочет, чтобы этот краулерный проект с такими удобными функциями приносил ему какие-либо неприятности.

Адрес проекта:

https://github.com/NanmiCoder/MediaCrawler

Ладно, на этом выпуске всё, увидимся в следующем!