Статьи о параллельном импорте, которые рекомендуется прочитать в первую очередь：《Сваренные цветовые модели RGB и CMYK — краткое введение в физические теории, связанные с цветом и оптикой.》、《Теория цветового пространства HSL/HSV/HSB, как конвертировать RGB и YUV》、《Теоретическая основа трихроматов и тетрахроматов: принцип цвета.》。В этой статье основное внимание уделяется《Разработка аудио и видео для мгновенных сообщений》/《От JPG до AVI — это самое мощное введение в кодирование видео, вы этого заслуживаете!》основанные на исследованиях заметки。На данный момент текст немного сумбурен,Это еще не было тщательно разобрано.

Почему изображения и видео необходимо сжимать?

Независимо от того, видео или аудио несжаты, объем хранилища огромен. Передача также затруднена.

Например, аудиовыборка44.1kHz/16bitвыборка(частота：294 x 50 x 3||44,056=245 x 59.94 x 3,Амплитуда: 0–96 д Б),Подробности можно посмотреть《История частот — от частот сети до звуковых частот》。скорость кода：16bit×44.1KHz＝705.6Kbit/s。

Что касается видео, простой расчет — это размер 1920×1080 (пикселей), 8-битная выборка R, G и B (этот цветовой диапазон превышает все цвета, видимые человеческим глазом, поэтому его также называют истинным цветом. Если оно выше, для нашего человеческого глаза бессмысленно и вообще не распознаётся) частота кадров 30фпс

3×8(bit)×1920×1080×30(s)÷8(byte)=6220800byte×30(s)≈186.6MB/s

Одна минута занимает около 11 ГБ, а 90-минутный фильм — около 1000 ГБ. Средний жесткий диск составляет всего 1 ТБ, а средняя скорость чтения и записи составляет 50-90 МБ/с.

Примечание: 8 бит = 1 байт.

Состав и характеристики зрительной системы человека ХВС:

• Нечувствителен к высокочастотной информации.
• Более чувствителен к высокому контрасту
• Более чувствителен к информации о яркости, чем к информации о цветности.
• Более чувствителен к информации о движении.

Какие факторы следует учитывать при проектировании цифровых видеосистем, исходя из характеристик HVS?

• Отбросить высокочастотную информацию и кодировать только низкочастотную информацию.
• Улучшение субъективного качества краевой информации
• Уменьшите разрешение цветности
• Выполните специальную обработку интересующей области (ROI).

Какие показатели и параметры используются для измерения видео? Самый важный из них — частота кадров.

В видео кадр относится к неподвижному изображению. Частота кадров обозначает количество кадров, включенных в видео в секунду (FPS, Frame per Second).

Чем выше частота кадров, тем более реалистичным и плавным будет видео.。

Введение в цифровое видео, кодирование и декодирование видео.

Вообще говоря, избыточная информация в видеороликах включает в себя:

Ключевые технологии кодирования и декодирования

Приоритетной целью устранения технологии видеокодирования является пространственная и временная избыточность.

Так называемый алгоритм кодирования предназначен для поиска закономерностей и построения моделей. Тот, кто сможет найти более точные правила и построить более эффективные модели, станет мощным алгоритмом.

Состав уровней кодирования

• ПоследовательностьОтносится к непрерывно кодированному видеоизображению с теми же параметрами.。
  • код начала последовательностиотносится к собственной битовой строке,Идентифицирует начало последовательности сжатых данных.。нравитьсяMPEG-2изкод начала по последовательности — шестнадцатеричное число 000001 (B3).
  • заголовок последовательностиотносится к информации о последовательности записи,Содержит профиль,Уровень,ширина,высокий,Это построчная последовательность?,Частота кадров и т. д.
  • Код окончания последовательностиотносится к собственной битовой строке,标识该序列из压缩данныеиз结束。нравитьсяMPEG-2из Код окончания по последовательности — шестнадцатеричное число 000001 (B7).
• Группа картинок (GOP)
• Картина
• Срез多个宏кусокиз组合。
  • Стартовый код полосы：专有из一段比特串,标识一个полоскаиз压缩данныеиз开始。нравитьсяMPEG-2из Стартовый код полосы — это шестнадцатеричное число 000001 (0~AF).
  • Заголовок：记录当前图像из相关信息。Включая положение группы,полоска Количественная параметры оценки, идентификация технологии кодирования макроблоков и т. д.
• Макроблок (МБ)16x16из像素кусок（для яркости）。
  • Контент макроблока：Тип кодирования макроблока,режим кодирования,Индекс опорного кадра,информация о векторе движения,Коэффициенты кодирования макроблоков и т. д.
• Блокировать8x8или4x4кусокизтрансформировать Количественная оценка系数изэнтропийное кодированиеданные。
  • CBP (Coded Block Patten)：用来指示кусокизтрансформировать Количественная Коэффициенты рейтинга все равны нулю?
  • Для кодирования YUV(4:2:0),CBP обычно имеет длину 6 бит.,Каждый бит соответствует блоку,Когда коэффициенты определенной фигуры все равны нулю,Соответствующее значение бита равно 0.,В противном случае это 1.
  • 每个кусокизтрансформировать Количественная Последний из коэффициентов оценки — это EOB. (End of Блок) символ.

Ключевые технологии кодирования и декодирования видео

• предсказывать：через внутрикадровыйпредсказыватьи межкадровыйпредсказывать降低视频图像изкосмос冗余和время冗余。
• трансформировать：通过从时域到频域изтрансформировать,Удалить корреляцию между соседними данными,То есть пространственная избыточность удаляется.
• Количественная оценка：通过用更粗糙изданные表示精细изданные来降低编码изданные量,или通过去除人眼不敏感из信息来降低编码данные量。
• сканирование：конвертировать двумерныетрансформировать Количественная Оценка Данные реорганизуются в одномерную последовательность данных.
• энтропийное кодирование：根据待编码данныеиз概率特性减少编码冗余。

предсказывать

Если видео продолжительностью 1 минута,Экран оставался неподвижным более десяти секунд.,или,Имеет 80% площади изображения,Весь процесс неизменен (неподвижен). Так,Это накладные расходы на хранение?,Можно ли его спасти? Нам необходимо точно предоставить избыточную информацию и устранить ее.

космоспредсказывать

Метод использования корреляции соседних пикселей в пространстве изображения для определения,Соседние пиксели в пространстве изображения имеют сильную корреляцию.,Технология внутрикадрового предсказывать устраняет пространственную избыточность.

• внутрикадровыйпредсказыватьтехнология：利用当前编码кусок周围已经重构出来из像素предсказыватьтекущий блок
• Внутриизображение кодирования（Iрамка）

яркостьпредсказыватьмодель

Цветность предсказывать режим

времяпредсказывать

Видеоизображения имеют сильную корреляцию во времени.,То есть имеет место избыточность времени. К методам кодирования, устраняющим временную избыточность, относятся: компенсация движения (ME), компенсация движения.,MC）。

• рамка间предсказывать：оценка движения（Motion Оценка, ME), компенсация движения (Motion Compensation,MC）
• Межизображение кодирования：впередпредсказыватьзакодированное изображение（P-образная рамка）,Двунаправленное предсказывать закодированное изображение (кадр B)

кинематическая модель

критерии соответствия

оценка движения

Целью является удаление временной избыточности из видеоизображений. оценка движение находит лучший соответствующий коэффициент предсказывать блок в диапазоне поиска для текущего блока, режим полного поиска Движение имеет высокую вычислительную сложность.

общая ситуацияоценка движения

На основе глобальной аффинной кинематики модель. предсказывать не так точно, как оценка на основе блоков движение. Количество видеороликов невелико и подходит для простых спортивных сцен. движения。

Типы алгоритмов быстрой настройки движения

Снижение стоимости при сохранении точности прогнозирования Типичные алгоритмы:

• Трехшаговый поиск（Three Step Search,TSS）
• 2D-поиск по журналу（2D Logarithmic Search,2DLOG）
• Ортогональный поиск（Orthogonal Search Algorithm,OSA）
• перекрестный поиск（Cross Search Algorithm,CSA）
• новый Трехшаговый поиск（New Three Step Search,NTSS）
• Четырехшаговый поиск（Four Step Search,FSS）
• Поиск сопряженного направления（Conjugate Direction Search,CDS）
• поиск по градиентному спуску（Gradient Descent Search,GDS）
• Иерархический поиск блоков（Hierarchical Block Matching Algorithm,HBMA）

Сравнение сложности алгоритмов поиска

Субпиксельная настройка движения и компенсация движения

Положение временного движения, скорее всего, будет находиться между целыми пикселями, то есть на субпикселях. Значение субпикселя можно оценить, используя соседние целочисленные пиксели: для получения значения субпикселя обычно используется линейная или билинейная интерполяция. субпиксельная точность движение имеет более высокую точность, чем предсказывать, но и более сложное: точность 1/2 пикселя. движение, пространство для хранения изображений увеличивается в 4 раза, вектор движения необходимо увеличить в 2 раза, точность 1/4 пикселя движения,Место для хранения изображений увеличено в 16 раз,Вектор движения необходимо увеличить в 4 раза.,Сложность вычислений также возрастает экспоненциально.

Попиксельная интерполяция

кодирование блоков изображений

Перемещение видеоконтента очень сложное.,Кодирование блоков изображений может повысить точность спортивных прогнозов.,Повышение эффективности сжатия. Чтобы закодировать размер блока и добавить информацию (MV,Mode) компромисс между количеством бит кодирования,Меньший размер блока кодирования приведет к повышению производительности, но к большему количеству бит дополнительной информации.

внутрикадровыйпредсказывать

• Iрамка图像из每个宏кусок都采用внутрикадровый（Intra）предсказыватьрежим кодирования。
• Макроблоки делятся на8x8или4x4кусок,Внутрикадровое кодирование для каждого блока,называетсяIntra8x8илиIntra4x4。
• Внутри рамки предсказывать есть несколько направлений предсказывать: Горизонтальное.,вертикальный,нижний левый,Верхний правый.
• внутрикадровыйпредсказывать Еще есть ДК（DC）предсказывать。
• 色度кусокпредсказывать Также есть ровная поверхность.предсказывать。

Количественная оценка

Сопоставьте большие наборы данных с небольшими наборами данных.

Вообще говоря, высокочастотная часть после Количественной оценки содержит большое количество нулевых коэффициентов.

Количественная Влияние оценки на субъективное качество 

Как понять поток сжатого кода? 

1. Синтаксис: позиционное соотношение различных элементов в потоке кода. Например: 01001001..., обозначающий тип кодирования изображения (01), тип макроблока (00), коэффициент кодирования 1001 и т. д.
2. Семантика: Значение, выражаемое каждым грамматическим элементом. Например: тип кодировки изображения. I-кадр (00), P-кадр (01), B-кадр (10)

I-кадр — самостоятельный кадр, несущий всю свою информацию. Он представляет собой наиболее полную картинку (занимает наибольшее пространство) и может быть декодирован самостоятельно, без обращения к другим изображениям. Первый кадр видеопоследовательности всегда является I-кадром.

P-образная рамка,«Межкадровый предсказывать кодированный кадр»,Необходимость ссылаться на различные части предыдущих I-кадров и/или P-кадров.,чтобы уметь кодировать. P-кадры зависят от предыдущих опорных кадров P и I. но,Скорость сжатия P-кадров относительно высока,Занимает меньше места.

Рамка Б,«Двунаправленный предсказывать закодированный кадр»,Предыдущий и следующий кадры используются в качестве опорных кадров. Не только обращаться к предыдущему,Также обратитесь к последующим кадрам,так,Имеет самую высокую степень сжатия.,Может достигать 200:1. но,Потому что это зависит от последующих кадров,так Не подходит для передачи в реальном времени（例нравиться视频会议）。

Классифицируя кадры, можно значительно уменьшить размер видео. Ведь объекты, подлежащие обработке, сильно уменьшаются (от всего изображения до участка на изображении).

Давайте рассмотрим пример с двумя кадрами:

Люди движутся, а фон нет. Первый кадр представляет собой I-кадр, а второй кадр представляет собой P-кадр. Разница между двумя кадрами. Другими словами, некоторые пиксели на картинке были перемещены, и траектория движения следующая:

Конечно, если расчет всегда основан на пикселях, объем данных будет относительно большим. Поэтому изображение обычно разрезается на разные «блоки» или «макроблоки» и рассчитывается на них. Макроблок обычно имеет размер 16 × 16 пикселей.

• I-кадр обрабатывается с использованием внутрикадрового кодирования, при котором используется только пространственная корреляция внутри изображения этого кадра.
• верноP-образная рамкаиз处理,采用рамка间编码（впередоценка движение), используя как пространственные, так и временные корреляции. Проще говоря, используя компенсацию движения (движение компенсация) алгоритм удаления лишней информации.

Важно отметить, что хотя I-кадры (внутрикадровое кодирование) имеют только пространственную корреляцию, весь процесс кодирования не является простым.

Как понять изображения кадра и поля?

Кадр изображения состоит из двух полей – верхнего и нижнего поля:

Прогрессивные и чересстрочные изображения

Прогрессивные изображения：一рамка图像из两场在同一время得到,ttop=tbot。

Чересстрочные изображения：一рамка图像из两场在不同время得到, ttop≠tbot。

Контроль скорости звука

речевой кодер

речевой кодер делится на три типа: (а) Редактор сигналов 、（b）Вокодер 、（c）гибридный кодер 。

Кодер сигнала предназначен для построения аналогового сигнала, включая фоновый шум.。Действует на все входные сигналы,因此会产生高质量из样值并且耗费较高из比特率。 И Вокодер (вокодер) не восстанавливает исходный сигнал. Этот набор кодеров Будет извлечен набор параметров этот набор параметров отправляется на принимающую сторону для получения модели генерации речи. Качество передачи голоса у Вокодера недостаточно хорошее. гибридный кодер, который объединяет в себе сильные стороны кодера сигналов и гармонизатора.

Кодеры сигналов часто проектируются так, чтобы быть независимыми от сигнала. Следовательно, он подходит для кодирования различных сигналов и не ограничивается речью.

Кодирование во временной области:

1. PCM：pulse code Модуляция – это самый простой метод кодирования. Просто дискретная сумма сигналов оценка,常采用верно数Количественная оценка。
2. DPCM：differential pulse code Модуляция, дифференциальное кодирование импульсов, кодирует только разницу между выборками. Предыдущая выборка или выборки используются для предопределения текущего значения выборки. Чем больше образцов используется для предсказывать, тем точнее будет значение предсказывать. Разность между истинным значением и предсказывать значение называется остатком и является объектом кодирования.

1. ADPCM：adaptive differential pulse code модуляция, адаптивное дифференциальное импульсное кодирование. То есть на основе DPCM Количественная корректируется соответствующим образом в соответствии с изменениями сигнала. оценкаустройство ипредсказыватьустройство,Сделать предсказывать значение ближе к реальному сигналу,Остатки меньше,Сжатие более эффективно.

Кодирование частотной области:

Кодирование в частотной области разлагает сигнал на ряд элементов разных частот и кодирует их независимо.

1. sub-band Кодирование: Поддиапазонное кодирование является простейшей технологией кодирования в частотной области. Это технология, которая преобразует исходный сигнал из временной области в частотную область, затем делит его на несколько поддиапазонов и соответственно кодирует их в цифровом виде. Он использует группу полосовых фильтров (BPF) для разделения исходного сигнала на несколько (например, m) поддиапазонов (называемых поддиапазонами). Каждый поддиапазон перемещается к частоте, близкой к нулевой, за счет характеристик модуляции, эквивалентных однополосной амплитудной модуляции. После прохождения через BPF (всего m) каждый поддиапазон изменяется с заданной скоростью (скорость Найквиста). выходной сигнал дискретизируется, а дискретные значения кодируются в цифровом виде с помощью m-канальных цифровых кодеров. Отправьте каждый цифровой закодированный сигнал в мультиплексор и, наконец, выведите поток закодированных поддиапазонов данных. Для разных поддиапазонов можно использовать разные методы в соответствии с моделью восприятия человеческого уха. способ оценки и выделение различного количества битов для поддиапазонов.
2. кодирование преобразования: кодирование DCT.

Вокодер

• канальный вокодер: воспользуйтесь преимуществами нечувствительности человеческого уха к фазе.
• Гомоморфный вокодер: может эффективно обрабатывать синтетические сигналы.
• формантный вокодер: большая часть информации в обычных речевых сигналах находится в положении и полосе пропускания форманты.
• linear predictive вокодер: наиболее часто используемый вокодер.

гибридный кодер

Кодеры формы сигнала пытаются сохранить форму закодированного сигнала.,Способен обеспечить высокое качество передачи голоса при среднем битрейте (32 кбит/с).,Но его нельзя применять в ситуациях с низким битрейтом. Вокодер пытается создать сигнал, акустически похожий на кодируемый сигнал.,Обеспечивает разборчивую речь при низких битрейтах,Но полученная речь звучит неестественно.

гибридный кодер сочетает в себе преимущества обоих:

• РЭЛП: На основе линейного предсказывать,Закодируйте остатки. Механизм таков: передавать только небольшую часть остатка.,Восстановите все остатки на принимающей стороне (скопируйте остатки основной полосы).
• MPC: многоимпульсное кодирование, удаляет корреляцию остатков,Используется для компенсации Вокодера, просто разделяя звуки на звонкие и глухие.,без дефектов промежуточного состояния.
• CELP: codebook excited linear prediction,Конкатенация речевого тракта предсказывать и фундаментальный предсказывать,Лучшее приближение к исходному сигналу.
• MBE: multiband excitation,Много мотивации,Цель состоит в том, чтобы избежать большого количества операций CELP.,Получите более высокое качество, чем Вокодер.

Контроль скорости видео

Из-за ограничений буфера и полосы пропускания скорость кодирования не может увеличиваться бесконечно, поэтому управление скоростью требуется для управления потоком кодирования в пределах целевого диапазона скорости передачи данных.

Обычно скорость кода контролируется путем настройки параметра Количественная оценка:

• Контроль уровня кадра
• Контроль уровня полосы
• Контроль уровня макроблока

Вопросы, которые следует учитывать при контроле скорости:

Предотвратите большие колебания в потоке кода, вызывающие переполнение буфера.

При этом сохраняйте буфер как можно более полным, чтобы качество изображения было максимально хорошим и стабильным.

CBR (постоянная скорость передачи данных): скорость передачи данных стабильна, но качество изображения сильно меняется. VBR (переменная скорость передачи данных): скорость передачи данных сильно колеблется, но качество изображения стабильно.

Алгоритм регулирования скорости:

• Распределение скорости кода
• контроль скорости

Управление скоростью — это нестандартная технология, доступная на стороне кодирования, но недоступная на стороне декодирования.

Как измерить и оценить эффект кодирования и декодирования?

Вообще говоря, она делится на объективную оценку и субъективную оценку. Объективная оценка заключается в том, чтобы говорить цифрами. Например, вычислите «Отношение сигнал/шум/пиковое соотношение сигнала/шума».

Я не буду приводить расчет отношения сигнал/шум, оставлю вам формулу. Вы можете изучить ее сами, когда у вас будет время.

стандарты кодирования видео

Международный телеграфный союз (МСЭ)

17 мая 1865 г.,В целях налаживания бесперебойной международной телеграфной связи,Представители 20 европейских стран, включая Францию, Германию, Россию, Италию и Австрию, подписали «Международную телеграфную конвенцию» в Париже.,Международный телеграфный союз (МСЭ) также была объявлена ​​учреждённой. С применением и развитием телефонов и радио авторитет МСЭ продолжает расширяться. В 1906 году представители 27 стран, включая Германию, Великобританию, Францию, США и Японию, подписали в Берлине Международную конвенцию о беспроводной телеграфии. В 1932 году представители более чем 70 стран провели встречу в Мадриде, Испания, чтобы объединить Международную телеграфную конвенцию и Международную радиотелеграфную конвенцию. Сформулировал «Международную конвенцию электросвязи» и решил официально изменить ее название на «Международный союз электросвязи» с 1 января 1934 года. , который сейчас называется МСЭ. МСЭ — специализированное учреждение Организации Объединенных Наций со штаб-квартирой в Женеве, Швейцария. В состав МСЭ входят три отдела: ITU-R (бывший Международный консультативный комитет по радио CCIR), ITU-T (бывший Международный консультативный комитет по телеграфии и телефонии CCITT) и ITU-D.

Международная организация по стандартизации ISO/Международная электротехническая комиссия IEC

Все знают об ISO,Это «Международная организация по стандартизации», которая ввела сертификацию качества ISO9001. МЭК,да“Международная электротехническая комиссия”。1988ГодISO и IEC совместно создали экспертную группу для разработки стандартов кодирования, декодирования и синхронизации данных телевизионного изображения и звуковых данных. Эта экспертная группа — знаменитая MPEG, Moving Picture Expert Group (Экспертная группа по движущимся изображениям).。

• МСЭ предложил H.261, H.262, H.263, H.263+ и H.263++, которые вместе называются серией H.26X и в основном используются в области видеосвязи в реальном времени, например как конференц-телевидение, видеотелефоны и т.п.
• ISO/IEC предложил MPEG1, MPEG2, MPEG4, MPEG7 и MPEG21, которые вместе называются серией MPEG.

ITU и ISO/IEC первоначально работали независимо.,позже,Была создана совместная команда,ИмяJVT（Объединенная группа по видео, совместная рабочая группа по видео）

JVT придерживается стандартов нового поколения. кодирования видеоиз制定,позже Представленный включает в себяH.264在内из一系列标准。作为一种из编码标准,Значительное улучшение производительности по сравнению с H.264.,Теперь это стало стандартной конфигурацией новейших систем кодирования видео.

Пожалуйста, обратите особое внимание на HEVC на изображении выше, это H.265, который в настоящее время находится в центре внимания.

Видео упаковка

Для любого видео определенно невозможно иметь только изображения и звук. Следовательно, после кодирования видео кодирование звука должно быть инкапсулировано вместе. Инкапсуляция — это формат инкапсуляции. Проще говоря, это означает помещение закодированных и сжатых видеодорожек и аудиодорожек в файл определенного формата. Проще говоря, видеодорожка эквивалентна рису, а аудиодорожка — посуде. Формат упаковки — ланч-бокс, контейнер, используемый для хранения еды. В настоящее время используются следующие основные видеоконтейнеры: MPG, VOB, MP4, 3GP, ASF, RMVB, WMV, MOV, Divx, MKV, FLV, TS/PS и т. д.

ПерепечаткаЭтот сайтстатья《Учебные заметки по техническим принципам, связанным с дискретизацией, квантованием, кодированием, сжатием и декодированием видео.》, Пожалуйста, укажите источник：https://www.zhoulujun.cn/html/theory/multimedia/CG-CV-IP/8147.html