[JS] Пример построения сервера потокового мультимедиа на базе node-media-server
[JS] Пример построения сервера потокового мультимедиа на базе node-media-server

😏1. Введение в узел-медиа-сервер.

node-media-server основан на Node.js Сервер потокового мультимедиа, предоставляющий функциональные возможности, необходимые для создания приложений потоковой передачи аудио и видео в реальном времени и управления ими. Это проект с открытым исходным кодом, обладающий гибкостью и масштабируемостью, подходящий для различных сценариев приложений потокового мультимедиа.

Вот некоторые node-media-server Особенности и функции:

1. Поддержка RTMP: узел-медиа-сервер поддерживает протокол RTMP (протокол обмена сообщениями в реальном времени), который используется для приема и передачи аудио- и видеопотоков в реальном времени. RTMP подходит для таких сценариев, как прямая трансляция в реальном времени и интерактивные приложения.

2. Поддержка многоканального одновременного потока: узел-медиа-сервер имеет несколько возможностей одновременной обработки потоков и может выполнять такие операции, как прием, транскодирование, потоковая передача и запись нескольких потоковых мультимедиа одновременно.

3. Высокая производительность и низкая задержка. Конструкция узла-медиа-сервера ориентирована на высокую производительность и низкую задержку, что делает его пригодным для сценариев приложений в реальном времени, таких как прямая трансляция в реальном времени, интерактивная прямая трансляция и видеочат.

4. Поддержка нескольких форматов кодирования: узел-медиа-сервер поддерживает множество часто используемых форматов кодирования аудио и видео, таких как H.264, AAC, VP8 и т. д., что позволяет ему обрабатывать различные типы потоковых медиаданных.

5. API с богатым набором функций: node-media-server предоставляет богатый API для облегчения настройки и управления разработчиками. Вы можете настроить и расширить функциональность сервера, написав код.

6. Широкие возможности настройки: узел-медиа-сервер имеет гибкие параметры конфигурации, позволяющие настроить его в соответствии с конкретными потребностями. Вы можете настроить порт сервера, путь потоковой передачи, метод аутентификации и т. д.

😊2. Установка и настройка среды.

Язык кода:javascript
копировать
# Установите nodejs и ffmpeg.
sudo apt install nodejs ffmpeg
# Установите узел-медиа-сервер
npm install node-media-server

😆3. Примеры приложений.

создаватьapp.js,Писать:

Язык кода:javascript
копировать
const NodeMediaServer= require('node-media-server');
const config = {
    rtmp: {
        port: 1935,
        chunk_size: 60000,
        gop_cache: true,
        ping: 60,
        ping_timeout: 30
    },
    http: {
        port: 8000,
        allow_origin: '*',
    }
};
 
var nms = new NodeMediaServer(config)
nms.run();

Запустите программу:node app.js

Подготовьте видео в формате mp4.,использоватьffmpegНажатие командной строки(Вы также можете написать свою собственную программу):

Язык кода:javascript
копировать
ffmpeg -re -i input.mp4 -c:v copy -c:a copy -f flv rtmp://localhost:1935/live/stream_name

Пример финального эффекта,Адрес находится по адресуhttp://localhost:8000/admin/

Кроме того, вы также можете использовать программы C++ для реализации потокового видео. Вот пример:

Язык кода:javascript
копировать
// defer.h
#ifndef FFMPEG_EXAMPLES_DEFER_H
#define FFMPEG_EXAMPLES_DEFER_H

#include <utility>

template<typename F> class defer_raii
{
public:
    // copy/move construction and any kind of assignment would lead to the cleanup function getting
    // called twice. We can't have that.
    defer_raii(defer_raii&&)                 = delete;
    defer_raii(const defer_raii&)            = delete;
    defer_raii& operator=(const defer_raii&) = delete;
    defer_raii& operator=(defer_raii&&)      = delete;

    // construct the object from the given callable
    template<typename FF> defer_raii(FF&& f) : cleanup_function(std::forward<FF>(f)) {}

    // when the object goes out of scope call the cleanup function
    ~defer_raii() { cleanup_function(); }

private:
    F cleanup_function;
};

template<typename F> defer_raii<F> defer_func(F&& f) { return { std::forward<F>(f) }; }

#define DEFER_ACTUALLY_JOIN(x, y) x##y
#define DEFER_JOIN(x, y)          DEFER_ACTUALLY_JOIN(x, y)
#ifdef __COUNTER__
#define DEFER_UNIQUE_VARNAME(x) DEFER_JOIN(x, __COUNTER__)
#else
#define DEFER_UNIQUE_VARNAME(x) DEFER_JOIN(x, __LINE__)
#endif

#define defer(lambda__)                                                                                    \
    [[maybe_unused]] const auto& DEFER_UNIQUE_VARNAME(_defer_) = defer_func([&]() { lambda__; })

#endif // !FFMPEG_EXAMPLES_DEFER_H
Язык кода:javascript
копировать
// main.cpp
extern "C" {
#include <libavutil/avutil.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavutil/time.h>
}

#define __STDC_CONSTANT_MACROS
#include <stdint.h>

#include "defer.h"
// #include "logging.h"
#include <iostream>
#include <chrono>
#include <thread>
#include "fmt/format.h"

int main(int argc, char* argv[])
{
    // Logger::init(argv[0]);

    if (argc < 3) {
        std::cout << "pushing <input_video> <rtmp_name>" << std::endl;
        return -1;
    }

    const char * in_filename = argv[1];
    const char * rtmp_name = argv[2];

    AVFormatContext * decoder_fmt_ctx = nullptr;
    avformat_open_input(&decoder_fmt_ctx, in_filename, nullptr, nullptr);
    avformat_find_stream_info(decoder_fmt_ctx, nullptr);

    int video_stream_idx = av_find_best_stream(decoder_fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
    // CHECK(video_stream_idx >= 0);

    // decoder
    auto decoder = avcodec_find_decoder(decoder_fmt_ctx->streams[video_stream_idx]->codecpar->codec_id);
    // CHECK_NOTNULL(decoder);

    // decoder context
    AVCodecContext * decoder_ctx = avcodec_alloc_context3(decoder);
    // CHECK_NOTNULL(decoder_ctx);

    avcodec_parameters_to_context(decoder_ctx, decoder_fmt_ctx->streams[video_stream_idx]->codecpar);
    avcodec_open2(decoder_ctx, decoder, nullptr);

    av_dump_format(decoder_fmt_ctx, 0, in_filename, 0);

    //
    // output
    //
    AVFormatContext * encoder_fmt_ctx = nullptr;
    avformat_alloc_output_context2(&encoder_fmt_ctx, nullptr, "flv", nullptr);
    avformat_new_stream(encoder_fmt_ctx, nullptr);

    // encoder
    auto encoder = avcodec_find_encoder_by_name("libx264");
    // CHECK_NOTNULL(encoder);

    AVCodecContext *encoder_ctx = avcodec_alloc_context3(encoder);
    // CHECK_NOTNULL(encoder_ctx);

    AVDictionary* encoder_options = nullptr;
    av_dict_set(&encoder_options, "crf", "23", AV_DICT_DONT_OVERWRITE);
    av_dict_set(&encoder_options, "threads", "auto", AV_DICT_DONT_OVERWRITE);
    defer(av_dict_free(&encoder_options));

    // encoder codec params
    encoder_ctx->height = decoder_ctx->height;
    encoder_ctx->width = decoder_ctx->width;
    encoder_ctx->pix_fmt = decoder_ctx->pix_fmt;
    encoder_ctx->sample_aspect_ratio = decoder_ctx->sample_aspect_ratio;
    encoder_ctx->framerate = av_guess_frame_rate(decoder_fmt_ctx, decoder_fmt_ctx->streams[video_stream_idx], nullptr);

    // time base
    encoder_ctx->time_base = av_inv_q(encoder_ctx->framerate);
    encoder_fmt_ctx->streams[0]->time_base = encoder_ctx->time_base;

    avcodec_open2(encoder_ctx, encoder, &encoder_options);
    avcodec_parameters_from_context(encoder_fmt_ctx->streams[0]->codecpar, encoder_ctx);

    if (!(encoder_fmt_ctx->oformat->flags & AVFMT_NOFILE)) {
        avio_open(&encoder_fmt_ctx->pb, rtmp_name, AVIO_FLAG_WRITE);
    }

    avformat_write_header(encoder_fmt_ctx, nullptr);

    av_dump_format(encoder_fmt_ctx, 0, rtmp_name, 1);

    AVPacket * in_packet = av_packet_alloc();
    defer(av_packet_free(&in_packet));
    AVPacket * out_packet = av_packet_alloc();
    defer(av_packet_free(&out_packet));
    AVFrame * in_frame = av_frame_alloc();
    defer(av_frame_free(&in_frame));

    int64_t first_pts = AV_NOPTS_VALUE;

    while(av_read_frame(decoder_fmt_ctx, in_packet) >= 0) {
        if (in_packet->stream_index != video_stream_idx) {
            continue;
        }

        int ret = avcodec_send_packet(decoder_ctx, in_packet);
        while(ret >= 0) {
            av_frame_unref(in_frame);
            ret = avcodec_receive_frame(decoder_ctx, in_frame);
            if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
                break;
            } else if (ret < 0) {
                std::cout << "[PUSHING] avcodec_receive_frame()";
                return ret;
            }

            in_frame->pict_type = AV_PICTURE_TYPE_NONE;

            // sleep @{
            first_pts = first_pts == AV_NOPTS_VALUE ? av_gettime_relative() : first_pts;

            int64_t ts = av_gettime_relative() - first_pts;

            int64_t pts_us = av_rescale_q(in_frame->pts, encoder_fmt_ctx->streams[0]->time_base, { 1, AV_TIME_BASE });
            int64_t sleep_us = std::max<int64_t>(0, pts_us - ts);

            std::cout << fmt::format("[PUSHING] pts = {:>6.3f}s, ts = {:>6.3f}s, sleep = {:>4d}ms, frame = {:>5d}, fps = {:>5.2f}",
                                     pts_us / 1000000.0, ts / 1000000.0, sleep_us / 1000,
                                     encoder_ctx->frame_number, encoder_ctx->frame_number / (ts / 1000000.0));
            av_usleep(sleep_us);
            std::this_thread::sleep_for(std::chrono::milliseconds(10));
            // @}

            ret = avcodec_send_frame(encoder_ctx, in_frame);
            while(ret >= 0) {
                av_packet_unref(out_packet);
                ret = avcodec_receive_packet(encoder_ctx, out_packet);

                if(ret == AVERROR(EAGAIN)) {
                    break;
                } else if(ret == AVERROR_EOF) {
                    std::cout << "[PUSHING] EOF";
                    break;
                } else if(ret < 0) {
                    std::cout << "[PUSHING] avcodec_receive_packet()";
                    return ret;
                }

                out_packet->stream_index = 0;
                av_packet_rescale_ts(out_packet, decoder_fmt_ctx->streams[video_stream_idx]->time_base, encoder_fmt_ctx->streams[0]->time_base);

                if (av_interleaved_write_frame(encoder_fmt_ctx, out_packet) != 0) {
                    std::cout <<"[PUSHING] av_interleaved_write_frame()";
                    return -1;
                }
            }
        }
        av_packet_unref(in_packet);
    }

    avformat_close_input(&decoder_fmt_ctx);
    avformat_free_context(encoder_fmt_ctx);

    avcodec_free_context(&decoder_ctx);
    avcodec_free_context(&encoder_ctx);

    return 0;
}

Скомпилируйте и запустите:

Язык кода:javascript
копировать
g++ -o main main.cpp -lavformat -lavcodec -lavutil -lfmt -D__STDC_CONSTANT_MACROS
./main test.mp4 rtmp://127.0.0.1:1935/live/test
# Еще не идеально, можно улучшить
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose