Разработка клиента протокола национального стандарта GB28181 (4) Передача видеоданных в реальном времени
Разработка клиента протокола национального стандарта GB28181 (4) Передача видеоданных в реальном времени

Разработка клиента протокола национального стандарта GB28181 (4) Передача видеоданных в реальном времени

Эта статья является четвертой в серии «Разработка устройства на основе протокола национального стандарта GB28181» и знакомит с процессом передачи видеоданных в реальном времени. Функция передачи видео на стороне устройства протокола GB28181 реализуется путем интерпретации информации SDP в сообщении INVITE, чтения и анализа видеофайлов или файлов изображений, кодирования данных, инкапсуляции h264 в формат PS и, наконец, отправки их через данные RTP. В этой статье постепенно будут подробно представлены этапы реализации и соответствующие технические моменты каждого модуля, чтобы помочь читателям понять и применить протокол GB28181 для передачи видео в реальном времени.

1. Интерпретация информации SDP сообщения INVITE.

В протоколе GB28181 во время процесса передачи аудио и видео в реальном времени сообщения INVITE используются для передачи информации SDP (протокол описания сеанса). Информация SDP описывает атрибуты и параметры сеанса, включая тип носителя, транспортный протокол, кодек, сетевой адрес и т. д. Ниже приведено содержимое SDP примера сообщения INVITE с подробным объяснением каждого элемента:

Язык кода:txt
копировать
v=0
o=34020000002000000001 0 0 IN IP4 192.168.1.10
s=Play
c=IN IP4 192.168.1.10
t=0 0
m=video 40052 RTP/AVP 96
a=recvonly
a=rtpmap:96 PS/90000
y=0358902090
f=
  1. v=0

Указывает номер версии протокола SDP, здесь он равен 0.

  1. o=34020000002000000001 0 0 IN 192.168.1.10

Поле o идентифицирует инициатора сеанса и уникальный идентификатор сеанса.

«34020000002000000001» указывает SIP ID инициатора данной сессии.

0 0 представляет временные метки начала и окончания сеанса.

В IP4 192.168.1.10 представляет собой сетевой адрес сеанса, здесь это адрес IPv4.

  1. Поле s — название или описание сеанса, здесь «Play» означает Аудио. и видео в реальном времени
  2. c=IN IP4 192.168.1.10

Поле c указывает информацию о соединении сеанса.

IN указывает, что тип сети — Интернет.

IP4 192.168.1.10 представляет IPv4-адрес сеанса.

  1. t=0 0

Поле t указывает информацию о времени сеанса.

0 0 означает, что время начала и окончания сеанса равно 0, то есть продолжительность не определена.

  1. m=video 40052 RTP/AVP 96

Поле m определяет тип носителя и связанные с ним параметры сеанса.

video указывает, что тип носителя — видео.

40052 представляет номер порта передачи медиапотока.

RTP/AVP означает, что протокол передачи — RTP и настроен с использованием AVP (аудиовизуальный профиль).

96 указывает, что медиапоток представлен номером 96.

  1. a=rtpmap:96 PS/90000

Поле a содержит свойства медиапотока.

rtpmap:96 означает, что тип полезной нагрузки будет иметь номер 96.

PS означает использование формата MPEG-PS для инкапсуляции данных.

90000 представляет тактовую частоту, то есть количество тактов в секунду.

  1. y=0358902090

Поле y представляет собой строку десятичных целых чисел, представляющую значение SSRC.

  1. f=

Поле f: f= v/формат кодирования/разрешение/частота кадров/тип скорости передачи данных/размер скорости передачи данных a/формат кодирования/размер скорости передачи данных/частота дискретизации

Поле f здесь не задано и заполняется отправителем данных.

2. Чтение, анализ и кодирование видеофайлов или файлов изображений.

Чтобы передать видеоданные, нам сначала нужно прочитать и проанализировать видеофайл или файл изображения. Нам необходимо использовать соответствующие библиотеки или инструменты для чтения данных видео или изображения из файла и их анализа для получения ключевых видеокадров или данных изображения для подготовки к последующему кодированию и упаковке.

3. пакет h264 PS

В протоколе GB28181 видеоданные обычно инкапсулируются в формате MPEG-PS (программный поток MPEG). Закодированные видеоданные необходимо инкапсулировать в формате PS, включая добавление заголовков упаковки и начальных кодов, а затем дальнейшую инкапсуляцию RTP.

Ниже приведен основной процесс использования C++ для инкапсуляции H.264 NALU в формат MPEG-PS (показана только часть кода):

Язык кода:txt
копировать
// Инкапсулировать список NALU H.264 в формат MPEG-PS
void MakeMPEGPS(unsigned char* h264Data, int h264Length,
    unsigned char* psData)
{
    int totalPES = (h264Length + MAX_PES_LENGTH - 1) / MAX_PES_LENGTH; // Подсчитать общее количество PES-пакетов
    int remainingBytes = h264Length; // Количество байт, оставшихся для обработки

    // заголовок MPEG-PS
    unsigned char mpegPSHeader[] = {0x00, 0x00, 0x01, 0xBA};

    // Разделение и инкапсуляция данных H.264
    for (int i = 0; i < totalPES; i++)
    {
        unsigned char* pbuf = psData;

        int pesLength = (remainingBytes > MAX_PES_LENGTH) ? MAX_PES_LENGTH : remainingBytes; // Длина текущего пакета PES
        remainingBytes -= pesLength; // 更新Количество байт, оставшихся для обработки

        // PES Баотоу
        unsigned char pesHeader[] = {0x00, 0x00, 0x01, 0xE0, 0x00, 0x00, 0x80, 0x00};

        // Установить длину пакета PES
        pesHeader[4] = (pesLength + 8) >> 8; // Старшие 8 бит
        pesHeader[5] = (pesLength + 8) & 0xFF; // Младшие 8 бит

        // выходзаголовок MPEG-PS и текущий PES Баотоу
        memcpy(pbuf, mpegPSHeader, sizeof(mpegPSHeader));
        pbuf += sizeof(mpegPSHeader);

        memcpy(pbuf, pesHeader, sizeof(pesHeader));
        pbuf += sizeof(pesHeader);

        // Вывод данных H.264 текущего пакета PES.
        memcpy(pbuf, h264Data + (i * MAX_PES_LENGTH), pesLength);
        pbuf += pesLength;

        int payload_len = (pbuf - psData);

        // Инкапсулировать пакет RTP и отправить
        MakeAndSendRTP(psData, payload_len);
    }
}

Следует отметить, что когда кадр h264 относительно велик, он будет превышать длину, которую может выразить PES. В это время кадр h264 должен быть сегментирован, инкапсулирован в несколько PES, а затем синтезирован в пакет PS.

4. Отправка данных RTP

Логика отправки данных RTP относительно проста. Ниже приведена принципиальная схема кода программы.

Ниже приведен демонстрационный код инкапсуляции RTP (показана только часть кода):

Язык кода:txt
копировать
struct RTPHeader
{
    uint8_t version; // Номер версии протокола RTP, фиксированный — 2.
    uint8_t padding: 1; // биты заполнения
    uint8_t extension: 1; // бит расширения
    uint8_t csrcCount: 4; // Счетчик CSRC, указывающий количество идентификаторов CSRC.
    uint8_t marker: 1; // Отметить бит
    uint8_t payloadType: 7; // Тип нагрузки
    uint16_t sequenceNumber; // серийный номер
    uint32_t timestamp; // Временная метка
    uint32_t ssrc; // Идентификатор источника синхронизации
};

void MakeRTPHeader(struct RTPHeader* header, uint16_t sequenceNumber, uint32_t timestamp, uint32_t ssrc, bool isMark)
{
    // Установите номер версии протокола RTP на 2.
    header->version = 2;
    // биты заполнения、бит расширение, счетчик CSRC и другие поля могут быть установлены в соответствии с конкретными потребностями.
    header->padding = 0;
    header->extension = 0;
    header->csrcCount = 0;
    // настраивать Отметить бит равен 0 (при необходимости установите его в 1),Затем измените его там, где вам нужно его установить)
    header->marker = isMark ? 1 : 0;
    // Настройки нагрузки(payload тип), устанавливается в соответствии с конкретными потребностями
    header->payloadType = 96;
    // настраиватьсерийный номери Временная метка
    header->sequenceNumber = htons(sequenceNumber); // Требуется преобразование Endian (сетевой порядок байтов)
    header->timestamp = htonl(timestamp); // Требуется преобразование Endian (сетевой порядок байтов)

    // настраивать Идентификатор источника синхронизации
    header->ssrc = htonl(ssrc); // Требуется преобразование Endian (сетевой порядок байтов)
}

void sendRTPPacket(const uint8_t* mpegPSData, int mpegPSLength, uint16_t sequenceNumber, uint32_t timestamp, uint32_t ssrc)
{
    int offset = 0; // Смещение, используемое для прохождения пакетных данных MPEG-PS.
    int remainingLength = mpegPSLength; // Оставшаяся длина используется для определения необходимости разделения сообщения RTP.
    uint8_t rtpbuf[RTP_PAYLOAD_MAX_SIZE]; // Буфер данных полезной нагрузки RTP
    struct RTPHeader rtpHeader; // Заголовок сообщения RTP

    while (remainingLength > 0)
    {
        // Вычислить текущую длину полезных данных RTP (не превышающую максимальный размер полезных данных RTP)
        bool is_mark = false;
        int data_len = RTP_PAYLOAD_MAX_SIZE;
        if (remainingLength <= RTP_PAYLOAD_MAX_SIZE)
        {
            data_len = remainingLength;
            is_mark = true;
        }

        // заполнять Заголовок сообщения RTP
        MakeRTPHeader(&rtpHeader, sequenceNumber, timestamp, ssrc);

        // копировать заголовок RTP в буфер полезной нагрузки RTP
        memcpy(rtpbuf, &rtpHeader, sizeof(RTPHeader));

        // копировать данные MPEG-PS в буфер полезной нагрузки RTP
        memcpy(rtpbuf + RTP_HEADER_LEN, mpegPSData + offset, data_len);

        // Отправьте полный пакет RTP
        if (udp_channel_)
        {
            udp_channel_->PostSendBuf(rtpbuf, RTP_HEADER_LEN + data_len);
        }

        // Обновление смещения, оставшаяся длина、серийный номер и другая информация
        offset += data_len;
        remainingLength -= data_len;
        sequenceNumber++;
    }
}

По вопросам сотрудничества просьба добавить автора hbstream (http://haibindev.cnblogs.com), при перепечатке просьба указывать автора и источник

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose