1. Концепция аудио и видео:

Аудио и видео = аудио + видео

Аудио. Распространенным аудиоформатом является формат MP3, то есть, когда мы используем NetEase Cloud Music для прослушивания песен, песни представляют собой аудиофайлы.

Видео: Распространенным форматом видео является формат MP4, то есть мы используем Bilibili для просмотра фильмов и коротких видеороликов. Это видеофайлы.

2. Форматы кодирования в области встроенного аудио и видео

В дополнение к двум известным форматам кодирования аудио и видео, упомянутым выше. На самом деле у нас есть несколько международно признанных форматов в аудио- и видеоиндустрии.

2.1 Аудио:

Некодированный аудиоформат (необработанный звук)

Формат PCM: также известный как импульсно-кодовая модуляция. Это технология, используемая для цифровой связи и записи звука. PCM преобразует непрерывные аналоговые сигналы в дискретные цифровые сигналы путем дискретизации, квантования и кодирования аналоговых сигналов, тем самым обеспечивая высокоточную передачу и хранение сигналов.

Формат кодирования аудио

Формат G711: кодирование G711 изначально применялось к телефонной речи. Поскольку его кодирование обеспечивает хорошую четкость звука и высокую естественность речи, оно широко используется в различных областях. В стандарте G.711 существует два основных алгоритма сжатия. Один из них — алгоритм u-law (также известный как u-law, ulaw, mu-law), который в основном используется в Северной Америке и Японии, другой — алгоритм A-law, который в основном используется в Европе и других частях страны; мир. Среди них последний специально разработан для облегчения компьютерной обработки.

Существуют также форматы кодирования, подобные AAC и так далее.

2.2 Видео:

Некодированный формат видео (исходный формат видео)

Формат RGB и формат YUV:

Если это черно-белое изображение, каждому пикселю нужна только амплитуда, чтобы представить его яркость. Для цветного изображения требуется как минимум 3 значения для каждого пикселя, чтобы представить его яркость и цветность. Так называемое пространство цветности — это метод выражения яркости и цветности цветных изображений.

Формат RGB:

Как мы все знаем, любое цветное изображение может состоять из различных пропорций красного, зеленого и синего, что соответствует принципу трех основных цветов. Этот метод представления цветных изображений представляет собой цветовое пространство RGB.

Два самых известных формата RGB: один — формат RGB565.

Один из них — формат RGB888.

Почему эти два формата? А не бывает RGB777 или RGB128?

Прежде всего, форматы RGB565 и RGB888 кратны 8. Это связано с характеристиками самого компьютера.

В формате RGB565 мы используем 5 бит для представления красной переменной, 6 бит для представления зеленой переменной и 5 бит для представления синей переменной. Для такого пикселя нам нужно 2 байта для хранения его размера.

Если мы используем формат RGB888, это эквивалентно использованию 3 байтов для каждого пикселя для хранения его размера. Одним из преимуществ этого является то, что отображаемое изображение будет более четким, но объем данных также будет больше. Если вам понадобится передать изображение в будущем, это повлечет за собой множество дополнительных затрат.

Из-за биологических особенностей человеческого глаза: В нормальных условиях нет необходимости достигать настоящего полноцветного формата RGB888.

YUV-формат:

Кодирование YUV использует яркость и цветность для представления цвета каждого пикселя. Среди них Y представляет яркость, то есть значение серого.

U и V представляют цветность, и эти два значения описывают оттенок и насыщенность.

Среди них YUV также имеет три общие кодировки формата:

YUV444

YUV422

YUV420

Среди них в формате YUV444 каждый компонент Y использует набор UV-компонентов.

Тогда пространство, занимаемое одним пикселем, составит 8+8+8, что составляет 24 = 3 байта.

Если это формат YUV422, для каждых двух компонентов Y используется набор UV-компонентов.

Тогда пространство, занимаемое одним пикселем, составит 8+4+4 = 16 = 2 байта.

Если это формат YUV420, для каждых 4 компонентов Y следует использовать набор UV-компонентов.

Тогда пространство, занимаемое одним пикселем, составит 8+2+2 = 12 бит. 1,5 байта.

Так сколько места занимали черно-белые фильмы древних времен? Какой формат изображения использовать?

Ответом является формат YUV400, который имеет только один компонент значения шкалы серого. Остальное ушло.

Пространство, занимаемое одним пикселем, составляет 8 = 1 байт.

Формат кодирования видео

Формат H264: H.264 — это стандарт цифрового видеокодека с высокой степенью сжатия, разработанный Объединенной группой по видео (JVT), совместно созданной Группой экспертов по кодированию видео ITU-T (VCEG) и Группой экспертов по движущимся изображениям ISO/IEC (MPEG). H.264 является одновременно стандартом ITU-T H.264 и частью 10 стандарта ISO/IEC MPEG-4: Advanced Video Coding (AVC, Advanced Video Coding). Кодирование), поэтому H.264 также известен как AVC, MPEG-4 Part 10 и ISO/IEC 14496-10. Основными алгоритмами, используемыми в H.264, являются внутрикадровое сжатие и внутрикадровое сжатие. Алгоритм генерации I-кадров. Межкадровое сжатие — это алгоритм, генерирующий B-кадры и P-кадры.

Формат H265:

H.265, также известный как формат кодирования высокоэффективного видеокодирования (HEVC), представляет собой новый стандарт, запущенный через 10 лет после того, как текущий стандарт H.264 был стандартизирован в 2003 году. Он станет поддержкой видео в течение следующих десяти лет. Продукты Технология сжатия видео. Его особенностью является то, что он поддерживает разрешения 4K×2K и 8K×4K выше 1080p и увеличивает степень сжатия видео примерно в 2 раза по сравнению с H.264. Другими словами, видео того же качества можно отправлять со скоростью вдвое меньшей исходной скорости кодирования. Например, видеоконтент формата H.264, отправленный со скоростью 20 Мбит/с, можно отправлять только в формате HEVC со скоростью 10 Мбит/с при тех же условиях качества изображения.