Благодаря постоянному развитию технологий все, что мы видим в жизни, больше не ограничивается реальностью. В наш цифровой век, будь то изображения, видео или другие формы медиаконтента, они могут создаваться с помощью алгоритмов искусственного интеллекта. Прекрасные сцены, трогательные сюжеты и даже реалистичные персонажи могут быть созданы с помощью алгоритмов искусственного интеллекта. Когда вы смотрите видео, задумывались ли вы когда-нибудь над вопросом: настоящее ли это видео или оно было создано алгоритмом искусственного интеллекта?

Несколько дней назад вышел Sora и шокировал всех, а сегодня, как и было обещано, прибыла Stable Diffusion 3! Сегодня, когда разработка генеративного искусственного интеллекта идет полным ходом, многие мелкие партнеры также используют мощные и гибкие вычислительные мощности Trend Cloud для проведения соответствующих исследований.

В этой статье будет обсуждаться текущий статус развития технологии генерации видео и представлены некоторые инструменты генерации видео, которые недавно появились на экране, включая коммерческие продукты и проекты с открытым исходным кодом.

Sora

Sora — это модель преобразования текста в видео, разработанная OpenAI. Он может генерировать 60-секундное видео на основе короткого слова-подсказки. Он может не только понимать содержание слова-подсказки, но также обрабатывать подробные сцены, использовать сложные движения камеры, генерировать богатые эмоциональные состояния и достигать реального физического взаимодействия.

• Ссылка на официальный сайт: https://openai.com/sora.

Демонстрация эффекта Сора

Подсказка: модная женщина в черной кожаной куртке, длинной красной юбке и черных ботинках, с черной сумочкой в ​​руках уверенно и непринужденно идет по улице Токио с теплым освещением, мигающими неоновыми огнями и динамичными городскими вывесками. Она носила солнцезащитные очки и красные губы. Улицы мокрые и блестящие, с яркими огнями, которые, кажется, создают зеркальный эффект на земле, и по ним ходит множество людей.

Stable Diffusion 3

Stable Diffusion 3 — это модель синтеза изображений нового поколения, выпущенная Stability AI. Он создает подробные многопредметные изображения и улучшает качество и точность генерации текста по сравнению со своим предшественником.

Функции

• SD3 Количество параметров варьируется от 8 миллиарда до 80 Она варьируется от 100 до 100 миллионов. Позволяет различным версиям Модели работать на различных устройствах - от смартфонов до серверов. иметь в виду AI Потребление вычислительной мощности может быть ниже, но скорость вывода выше.
• В серии SD3 используется архитектура диффузионного преобразователя (аналогичная Sora), новый способ создания изображений с использованием искусственного интеллекта, который заменяет обычные строительные блоки изображений (такие как архитектура U-Net) системой, работающей с небольшими фрагментами изображений. Этот подход не только эффективно масштабируется, но и позволяет получать изображения более высокого качества.
• Кроме того, также используется слово «поток». технология сопоставления, способ создания AI Модельтехнология,Изображения можно создавать, научившись плавно переходить от случайного шума к структурированным изображениям. Нет необходимости моделировать каждый этап процесса,Просто сосредоточьтесь на общем направлении или потоке, которому должно следовать создание вашего изображения.
• Компания Stability утверждает, что ее веса можно скачать бесплатно и запускать локально после завершения тестирования.
• Можно добиться видео、3D и другие функции.

Демонстрация эффекта SD3

Советское слово: Эпический аниме-стиль с волшебником, стоящим ночью на вершине горы и читающим заклинания в темное небо с текстом «Стабильная диффузия 3», генерируемым цветной энергией.

Слово-подсказка: ночная фотография спортивного автомобиля с надписью «SD3» сбоку, автомобиля, едущего на высокой скорости по трассе, и огромного дорожного знака с надписью «БЫСТРЕЕ».

Stable Video Diffusion

Stable Video Diffusion — это большая модель для генерации видео, выпущенная Stability AI. Она разработана на основе их оригинальной графовой модели Stable Diffusion и представляет собой большую модель, специально используемую для генерации видео.

• бумага Связь：https://static1.squarespace.com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf
• Ссылка на проект: https://github.com/Stability-AI/generative-models
• ссылка на обнимающее лицо: https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

Онлайн-опыт

• https://replicate.com/stability-ai/stable-video-diffusion

На этой странице вы можете напрямую просмотреть демонстрационные изображения или загрузить свои собственные изображения для создания видеороликов.

Сеть источников изображений

Генерация результатов

VideoPoet

VideoPoet Это большая языковая модель (LLM), разработанная Google и способная решать различные задачи по созданию видео, в том числе text-to-video、image-to-video、video stylization、video inpainting & outpainting и video-to-audio。VideoPoet Одним из самых больших преимуществ является то, что вы можете увеличить продолжительность времени, повторяя метод, чтобы продлить время. Длина видео, то есть пусть AI Прогнозируйте содержимое следующей секунды на основе последней секунды видео.

• Ссылка на официальный сайт: https://sites.research.google/videopoet/.
• бумага Связь：https://storage.googleapis.com/videopoet/paper.pdf

Демонстрация эффекта VideoPoet

VideoPoet генерирует видео на основе различных текстовых подсказок.

длинное видео

Ключевое слово: космонавт начинает танцевать на Марсе под красочный фейерверк на заднем плане.

Trend Cloud расширяет возможности создания видео

Быстрое развитие технологий генерации видео невозможно отделить от мощной поддержки вычислительных мощностей. С ростом зрелости и популярности технологий облачных вычислений,,Как поставщик услуг вычислительной мощности, Trend Cloud предоставляет высокопроизводительные и высоконадежные вычислительные ресурсы.,Он заложил прочную основу для развития технологии генерации видео. Используйте мощные вычислительные мощности, предоставляемые платформами облачных вычислений.,Модель видеогенерации обеспечивает более эффективное обучение и вывод,Тем самым постоянно улучшая качество и эффективность генерации.

будущее,Благодаря постоянным инновациям и развитию технологий вычислительной мощности,,Технология видеопоколения откроет более широкое пространство для развития.

Ссылки

• https://stability.ai/news/stable-diffusion-3
• https://arstechnica.com/information-technology/2024/02/stability-announces-stable-diffusion-3-a-next-gen-ai-image-generator/
• Адрес бумаги Flow Matching: https://arxiv.org/abs/2210.02747
• https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.htm