Предисловие

В процессе разработки аудио и видео нам неизбежно необходимо использовать некоторые инструменты для помощи в разработке. В этой статье основное внимание уделяется общим инструментам и общим функциям в процессе разработки аудио и видео.

1. VLC-плеер

1. Введение

VLC поддерживает множество распространенных аудио- и видеоформатов, поддерживает различные протоколы передачи потокового мультимедиа, а также может использоваться в качестве локального сервера потокового мультимедиа. Он очень мощный.

2. Скачать

Официальный адрес загрузки с сайта: https://www.videolan.org/

Или вы можете загрузить его из магазина приложений вашего компьютера.

3、VLC media player

VLC — это бесплатный кроссплатформенный мультимедийный проигрыватель с открытым исходным кодом и платформа, которая может воспроизводить большинство мультимедийных файлов, а также DVD-диски, аудио-CD, VCD-диски и различные протоколы потокового мультимедиа.

Полное название VLC — Video Lan Client, который представляет собой кроссплатформенный видеоплеер с открытым исходным кодом.

VLC поддерживает большое количество форматов передачи, инкапсуляции и кодирования аудио и видео. Вот краткий и неполный список:

• Операционная система: Windows, WinCE, Linux, MacOSX, BEOS, BSD.
• Форма доступа: документ、 DVD/VCD/CD、 http、 ftp、 mms、 TCP、 UDP、 RTP、 IP многоадресная рассылка, IPv6、 rtsp
• кодирование Формат： MPEG*、 DIVX、 WMV、 MOV、 3GP、 FLV、 H.263、 H.264、 FLAC
• видеосубтитры： DVD、 DVB、 Text、 Vobsub
• видеовыход： DirectX、 X11、 XVideo、 SDL、 FrameBuffer、 ASCII
• Интерфейс управления: WxWidgets, QT4, Web, Telnet, командная строка.
• Плагины для браузера: ActiveX, Mozilla (Firefox).

4. VLC открывает потоковую передачу по сети

http://devimages.apple.com/iphone/samples/bipbop/gear1/prog_index.m3u8

СМИ -> Включите потоковую передачу по сети

Скопируйте и вставьте сюда сеть выше и нажмите «Воспроизвести».

Вы можете увидеть эффект воспроизведения

5. VLC как сервер потокового мультимедиа

VLC очень мощный. Это не только видеоплеер, но и небольшой видеосервер. Он также может перекодировать во время воспроизведения и отправлять видеопоток в сеть.

① Создание сервера потокового мультимедиа RTSP.

СМИ -> поток

Добавить локального mp4 Отформатируйте видеодокумент, затем щелкните строку потока.

Нажмите «Далее»

Выберите RTSP и нажмите «Добавить».

Например, я указываю порт RTSP по умолчанию 554, путь — /test, а затем нажимаю «Далее».

Видео выбора профиля — H.264 + MP3 (TS)

TS поток — это сегмент. В любой момент мы можем найти заголовок синхронизации и воспроизвести его. TS потокиз Преимущества

Вы можете просмотреть такой контент, как «Вниз», и нажать «Поток».

• vcodec=h264：H264 кодирование
• vb=800: битрейт видео
• acodec=mpga：Аудиоизкодирование
• ab=128: Количество бит аудиоиз.
• каналы=2: количество каналов
• samplerate=44100: частота дискретизации
• rtsp://:554/test: путь воспроизведения

rtp — транспортный протокол, rtsp — протокол управления.

Вы можете видеть, что индикатор выполнения начинает двигаться, вот так RTSP Сервер поток СМИ настроен.

② Создать нового игрока.

Откройте еще один VLC media player СМИ -> Включите потоковую передачу по сети, измените указанный выше путь воспроизведения на URL и нажмите кнопку воспроизведения

Вы можете видеть, что видеофайл воспроизводится.

Слева находится VLC В качестве сервера потока СМИ, в качестве push-потока, справа находится VLC игрок Включите потоковую передачу по сеть, это небольшой изигрок

Можно открыть несколькоигрок Включите потоковую передачу по сети

два、Медиа Инфо

1. Введение

MediaInfo используется для анализа информации о кодировке и содержании видео- и аудиофайлов.

① Какую информацию можно получить с помощью MediaInfo?

• Информация о контенте： заголовок, автор, название альбома, номер трека, дата, Общее время...
• видео： кодированиеустройство, соотношение сторон, частота кадров, Битрейт…
• Аудио： кодированиеустройство, частота дискретизации, количество каналов, язык, Битрейт…
• текст： Язык и субтитры
• абзац： абзацчисло, список

② Какие форматы файлов поддерживает MediaInfo?

• видео：MKV,OGM,AVI,DivX,WMV,QuickTime,Real,MPEG-1,MPEG-2,MPEG-4,DVD (VOB)…
• (кодированиеустройство：DivX,XviD,MSMPEG4,ASP,H.264,AVC…)
• Аудио：OGG,MP3,WAV,RA,AC3,DTS,AAC,M4A,AU,AIFF…
• субтитры：SRT,SSA,ASS,SAMI…

2. Скачать

Официальный адрес загрузки с сайта:https://mediaarea.net/en/MediaInfo

Или вы можете загрузить его из магазина приложений вашего компьютера.

3、MediaInfo

①.Основной интерфейс

Главная страница показана ниже:

② Основные функциональные особенности.

Поддерживает множество форматов видео и аудио файлов.

Несколько способов просмотра: текст, таблица, древовидная диаграмма, веб-страница...

Настроить просмотр

Экспорт информации: текст, CSV, HTML…

③. Как использовать.

в случае Проверять少число СМИдокументизинформация, Перетащите файл прямо в Mediainfo Просто примените интерфейс, и соответствующая информация о файле будет отображаться напрямую.

Mediainfo Вы также можете напрямую Проверять всю информацию о документе в папке Внизиз СМИ, Вы можете нажать на значок в центре левой части интерфейса.

Mediainfo может просматривать информацию о формате видео, аудио и изображений.

④ Знакомство с параметрами и значениями, связанными с Mediainfo.

подготовить один mp4 Перетащите видеофайл файла в основной интерфейс и используйте HTML режим просмотра, здесь сначала переключите вид на HTML（View меню -> HTML）

Видно, что он в основном включает в себя три части параметров, а именно: «Общие», «Видео» и «Аудио».

General В основном информация о формате упаковки видео, включая: размер файла, продолжительность файла, битрейт, время кодирования и т. д.

Video В основном информация, связанная с кодированием видео, включая: кодировщик, профиль. & Уровень: использовать ли арифметическое энтропийное кодирование, скорость передачи данных, размер видеофайла, размер видео, режим частоты кадров, частоту кадров, цветовое пространство, тип сканирования (прогрессивное/чересстрочное), настройки кодирования и т. д.

Audio В основном информация, связанная с кодированием звука, включая: формат, количество каналов, формат кодирования, профиль, продолжительность, скорость передачи данных, сжатие с потерями, частоту кадров звука и другую информацию.

3. Флв Анализатор

1. Введение

Необходимо использовать при прямой трансляции потоковиз RTMP формат видеоданных. RTMP форматы видео и FLV Аналогично, просмотрев FLV Документ формата можно проанализировать с помощью FLV соформат для анализа RTMP Формат.

RTMP Данные состоят из FLV из TAG серединаизданные Состав округа。FLV — формат упаковки потока СМИ.,Вы можете думать об этом как о потоке двоичных байтов.

В целом, FLV Включите заголовок файла (File Заголовок) и тело файла (File Тело) две части, в которых тело документа состоит из ряда из Tag и Tag Size Состав такой, как показано на рисунке ниже.

2. Скачать

Внизссылка для скачивания：flvAnalyser v0.1.2.005

3. Основные функциональные возможности

FlvAnalyser Является мощным из flv Инструменты анализа файлов включают в себя следующие основные функции:

• анализ формата документа
• Анализ данных: Tag список, 16 Базовый анализ
• Анализ временных меток
• Анализ скорости кода
• Анализ синхронизации звука и видео
• регистрация
• Грамматическое руководство (базовая грамматика FLV)
• видео、 Аудио ES снять депозитдокумент；
• Документ извлечения и хранения информации о времени;

4、FlvAnalyzer

①.Основной интерфейс

②.Анализ формата

file -> open file

Рассказанное здесь и выше из Mediainfo очень похоже

③、Анализ данных

④ Временной анализ.

⑤ Анализ скорости кода.

⑥ Синхронный анализ.

Наиболее часто используемыми из вышеперечисленных являются анализ формата и анализ данных.

4. Инструмент анализа потока кода Elecard Stream Analyser.

1. Введение

Elecard Stream Analyser — простой и компактный инструмент для анализа кода.,через это программное обеспечение,Пользователи могут быстро анализировать поток кода последовательности видео; пользователям нужно только импортировать видеодокумент в программное обеспечение;,Система автоматически поможет вам проанализировать документ,После анализа будетпоказыватьвидеокодиздокументразмер、Код типа потока、номер пакета данных и другое содержимое

2. Скачать

Связь：https://pan.baidu.com/s/1hMGBTPB58xYTmYysPwlrCA Код извлечения: ykhf

3. Поток кода

Поток кода (скорость передачи данных) обозначает количество использованных видеодокументов в единицу времени.,Также называется скоростью кода,Это важнейшая часть контроля качества изображения при видеокодировании.

То же разрешение Вниз,видеодокументизкодпоток Чем больше,Степень сжатия меньше,Качество изображения будет лучше.

4. Используйте

Откройте файл AAC и просмотрите соответствующую информацию о кодеке.

5. Знакомство с функциями

• показывать и сохранять сводку потока и информацию об изображениях
• декодировать без показа,предсказывать и нефильтровать из кадров данные (YUV и автономный)
• Отображение остатка, коэффициентов преобразования и обратного квантования
• Сохранить из декодирования,предсказывать,Нефильтрованная и остаточная информация
• показывать VPS,SPS,PPS из Заголовок, смещение и битразмеринструктировать(Как в стандартном документе)
• показыватьизкодированиегруппа деревьевданные：Расположение,Сегментированный индекс,индекс плитки,размер,кодирование,предсказывать(MV,MVDи MV кандидат), преобразовать информацию о единице
• Границы фрагментов и плиток,Раздел,вектор движения,тип,битыразмер,Количественная оценка и визуализация
• Навигация с помощью панели диаграммы или миниатюр
• показать внутреннее распределение битов видеопоток. возможность выбораизбитового потока элемента изпоказывать
• потокнавигация ипоказывать I,P,B,IP и режим ключевых кадров
• показывать参考рамкаиз
• Шестигранник Проверять
• Браузер потока — содержимое документа (слой заголовка) отображается в текстовом режиме.
• Проверять Справочный оригиналданные
• Расчет индикатора
• Визуальное сравнение с исходными данными (режимы температуры, вычитания, сравнения, блокировки PSNR)

6. Несколько потоков

Технология мультикодового потока одновременно генерирует несколько кодовых потоков с различным разрешением и зпоток СМИ в процессе кодирования и автоматически распределяет относительно лучшее качество декодируемого изображения из решения в соответствии с фактическими условиями пропускной способности сети пользователя.

пять、FFmpeg

Это лишь краткое введение в FFmepg. Поскольку он очень обширен, конкретные части будут объяснены позже.

1. Введение

ffmpeg Это кроссплатформенная библиотека обработки звука. Чтобы быть кроссплатформенным, вам необходимо скомпилировать программу, подходящую для каждой платформы. ffmpeg библиотека.

FFmpeg Это набор, который можно использовать для записи, конвертировать цифровой звук, видео, И может преобразовать его в компьютерную программу с открытым исходным кодом. Он обеспечивает запись, Полное решение для конвертации в ипоток звуковых видеоиз. Он содержит очень продвинутую библиотеку аудио/видео кодеков. libavcodec, Чтобы обеспечить высокую переносимость и качество кодека, libavcodec Есть много code Все они разрабатываются по заголовкам.

2. Состав проекта FFmpeg

• libavformat: используется для создания и анализа различных форматов упаковки аудио.,В том числе получение информации, необходимой для декодирования, для формирования структуры декодированного текста.
• libavcodec: используется для различных типов кодирования и декодирования звука/изображения;
• libavutil: Содержит некоторые общедоступные функции инструмента;
• libswscale: используется для масштабирования сцены и преобразования цветов;
• libpostproc: используется для пост-эффектной обработки;

①、ffmpeg: этот проект предоставляет инструмент, который можно использовать для преобразования форматов.、解код或电视卡即时кодированиеждать ②, ffsever: один HTTP Сервер потоковой передачи строк Multi-SMI в реальном времени; ③, ffplay: Это простой изигрок, использовать ffmpeg Синтаксический анализ и декодирование библиотеки через SDL показывать;

3. Состав FFmpeg

Официальное представление сайта FFMPEG Это мульти-СМИ-фреймворк, содержащий несколько библиотек модулей: AVFormat, AVCodec, AVFilter, AVDevice, AVUtil. и т.д., и предоставляет три командные библиотеки на основе этих библиотек. строкаинструмент: ffmpeg, ffplay, ffprobe。

4. Используйте ffmpeg Есть два способа

• Один из способов — напрямую использовать ffmpeg Предложение из Эти три командные строковый инструмент для мультиобработки;
• Другой заключается в использовании ffmpeg Инкапсулируйте эти библиотеки для вторичной разработки.

5. Командная строка FFmpeg

• Список поддерживаемых форматов
• Вырезать часть медиадокумента
• извлечь видеодокумент в из Аудиодокумент
• от MP4 документ в извлеченном видеопоток экспортирован как голый из H264 данные
• видеонемой, то есть только сохранять видео -an,-vn
• использовать AAC Аудиоданныеи H264 видео生成 MP4 документ
• Преобразование аудиоформата
• от WAV Экспорт в аудиодокумент PCM 裸данные
• будет MP4 издокумент конвертировать в GIF гифка
• использовать набор картинок для создания gif
• Эффект постепенного исчезновенияиспользовать
• Объедините два звука, например добавьте фоновую музыку.
• Добавить эффект водяного знака к видео
• видео Осветляющий эффектор
• видео поворотный эффектор изиспользовать
• эффектор обрезки видео изиспользовать
• Закинуть фрагмент видео на сервер поток СМИ
• дамп изпоток сервера поток СМИ появился
• Инкапсулируйте два аудиодокумента в один документ в виде двустороннего потока.

6. Загрузка и установка FFmpeg

① загрузка FFmpeg.

чиновник Вниз Скачать адрес：https://ffmpeg.org/download.html

Выберите сборку Windows с сайта gyan.dev.

Выберите один для загрузки

②、Установка

<1>、Вниз Загрузить и распаковать локальный каталог D:\FFmpeg Вниз

<2>、настраиватьпеременные среды этот компьютер -> свойство -> Расширенные настройки системы -> переменные среды -> системапеременные среды -> PATH -> редактировать

Новый D:\FFmpeg\ffmpeg-6.0-essentials_build\bin приезжатьпеременные средысередина

③、Тест

<1>、 Проверять FFmpeg из версии cmd Войти ffmpeg -version Проверьте, прошла ли установка успешно

Это эхо указывает на то, что установка прошла успешно.

<2>、тест преобразования формата видео Давайте проведем еще один тест: mp4 формат файла, преобразованный в flv форматировать файл D:\Work\test В каталоге Вниз есть mp4 документ

Введите команду Вниз

ffmpeg -i SampleVideo_1280x720_20mb.mp4 -c copy -f flv SampleVideo_1280x720_20mb.flv

Полная информация об эхо

D:\Work\test>ffmpeg -i SampleVideo_1280x720_20mb.mp4 -c copy -f flv SampleVideo_1280x720_20mb.flv
ffmpeg version 6.0-essentials_build-www.gyan.dev Copyright (c) 2000-2023 the FFmpeg developers
  built with gcc 12.2.0 (Rev10, Built by MSYS2 project)
  configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-zlib --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-sdl2 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxvid --enable-libaom --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-libfreetype --enable-libfribidi --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-ffnvcodec --enable-nvdec --enable-nvenc --enable-d3d11va --enable-dxva2 --enable-libvpl --enable-libgme --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libtheora --enable-libvo-amrwbenc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-librubberband
  libavutil      58.  2.100 / 58.  2.100
  libavcodec     60.  3.100 / 60.  3.100
  libavformat    60.  3.100 / 60.  3.100
  libavdevice    60.  1.100 / 60.  1.100
  libavfilter     9.  3.100 /  9.  3.100
  libswscale      7.  1.100 /  7.  1.100
  libswresample   4. 10.100 /  4. 10.100
  libpostproc    57.  1.100 / 57.  1.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'SampleVideo_1280x720_20mb.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    creation_time   : 1970-01-01T00:00:00.000000Z
    encoder         : Lavf53.24.2
  Duration: 00:01:57.31, start: 0.000000, bitrate: 1436 kb/s
  Stream #0:0[0x1](und): Video: h264 (Main) (avc1 / 0x31637661), yuv420p(progressive), 1280x720 [SAR 1:1 DAR 16:9], 1048 kb/s, 25 fps, 25 tbr, 12800 tbn (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : VideoHandler
      vendor_id       : [0][0][0][0]
  Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, 5.1, fltp, 383 kb/s (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : SoundHandler
      vendor_id       : [0][0][0][0]
Output #0, flv, to 'SampleVideo_1280x720_20mb.flv':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf60.3.100
  Stream #0:0(und): Video: h264 (Main) ([7][0][0][0] / 0x0007), yuv420p(progressive), 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 1048 kb/s, 25 fps, 25 tbr, 1k tbn (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : VideoHandler
      vendor_id       : [0][0][0][0]
  Stream #0:1(und): Audio: aac (LC) ([10][0][0][0] / 0x000A), 48000 Hz, 5.1, fltp, 383 kb/s (default)
    Metadata:
      creation_time   : 1970-01-01T00:00:00.000000Z
      handler_name    : SoundHandler
      vendor_id       : [0][0][0][0]
Stream mapping:
  Stream #0:0 -> #0:0 (copy)
  Stream #0:1 -> #0:1 (copy)
Press [q] to stop, [?] for help
frame= 2932 fps=0.0 q=-1.0 Lsize=   20659kB time=00:01:57.29 bitrate=1442.9kbits/s speed=1.27e+03x
video:15013kB audio:5497kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 0.726677%

D:\Work\test>

Посмотрите еще раз сейчас D:\Work\test В каталоге Вниз есть дополнительный элемент с именем SampleVideo_1280x720_20mb.flv издокумент

Скачать тестовый видеоматериал

Различные форматы, MP4, flv, mkv, 3gp В видеониз Адрес: https://www.sample-videos.com/index.php#sample-mp4-video https://docs.espressif.com/projects/esp-adf/en/latest/design-guide/audio-samples.html