Freeswitch пересылает видеопоток rtsp на сервер записи в режиме реального времени
Freeswitch пересылает видеопоток rtsp на сервер записи в режиме реального времени

Сценарий применения: после подключения терминала SIP FS пересылает видеопоток терминала SIP в поток RTSP и предоставляет NVR для записи;

Вопрос 1. Как настроить запись на Freeswitch?

Язык кода:javascript
копировать
<action application=“record” data="xxx.wav">  ->Режим синхронной блокировки

<action application="export" data="nolocal:execute_on_answer=record_session xxx.wav"/>
nolocal означает нелокальное выполнение

В Интернете много информации. Первый вопрос:

1 В чем разница между записью с помощью Record и Record_session?

запись синхронна, запись_сессия асинхронна;

Наиболее интуитивное ощущение состоит в том, что после выполнения действия записи, если за планом набора есть другие действия, они не будут выполнены;

Record_session запускает поток для выполнения записи и не влияет на выполнение других действий, связанных с планом нумерации;

2. Если Record и Record_session настроены на запись узла, почему они всегда терпят неудачу после завершения настройки?

Ошибка связана с тем, что следующий метод не работает:

Во-первых, он должен быть настроен как режим без прокси (CF_PROXY_MODE) и непрозрачный режим передачи;

Во-вторых, если это запись a-leg, вы должны сначала ответить, в противном случае статус канала не готов. Если вы записываете b-leg, вы можете использовать Execute_on_ответ;

Язык кода:javascript
копировать
SWITCH_DECLARE(int) switch_channel_test_ready(switch_channel_t *channel, switch_bool_t check_ready, switch_bool_t check_media)
{
	int ret = 0;

	switch_assert(channel != NULL);

	switch_channel_check_signal(channel, SWITCH_TRUE);

	if (check_media) {
		ret = ((switch_channel_test_flag(channel, CF_ANSWERED) ||
				switch_channel_test_flag(channel, CF_EARLY_MEDIA)) && !switch_channel_test_flag(channel, CF_PROXY_MODE) &&
			   switch_core_session_get_read_codec(channel->session) && switch_core_session_get_write_codec(channel->session));


		if (!ret)
			return ret;
	}

	if (!check_ready)
		return ret;

	ret = 0;

	if (!channel->hangup_cause && channel->state > CS_ROUTING && channel->state < CS_HANGUP && channel->state != CS_RESET &&
		!switch_channel_test_flag(channel, CF_TRANSFER) && !switch_channel_test_flag(channel, CF_NOT_READY) &&
		!switch_channel_state_change_pending(channel)) {
		ret++;
	}



	return ret;
}

Вопрос 2. Могу ли я записывать на Freeswitch?

Предполагается, что решение в порядке, но не рекомендуется использовать Freeswitch для записи;

Причина в том, что Freeswitch хорошо справляется с переключением носителей, а запись снижает производительность программного переключения. Рекомендуется, чтобы Freeswitch передавал все потоки службам, специализирующимся на записи и по требованию;

Поэтому моя идея — завершить запись через freeswitch и передать ее на rtsp-сервер. rtsp-сервер использует ZLMediaKit;

Конфигурация свободного переключателя:

Язык кода:javascript
копировать
<action application=\"set\" data=\"execute_on_answer=record_session rtsp://192.168.16.83/live/" . $this->account_id . "_". $destination_number." \"/>

Стек функций во время записи Freeswitch и лог, передаваемый на rtsp-сервер:

Язык кода:javascript
копировать
#0  av_file_open (handle=0x7f955c0831a0, path=0x7f95780942b8 "192.168.16.83/live/4444_4002") at avformat.c:1595
#1  0x00007f958b4b622b in switch_core_perform_file_open (file=file@entry=0x7f958b805728 "src/switch_ivr_async.c",
    func=func@entry=0x7f958b806b40 <__func__.30857> "switch_ivr_record_session_event", line=line@entry=2819, fh=fh@entry=0x7f955c0831a0,
    file_path=0x7f95780942b8 "192.168.16.83/live/4444_4002", file_path@entry=0x7f955c083178 "rtsp://192.168.16.83/live/4444_4002",
    channels=channels@entry=2, rate=8000, flags=524298, pool=0x0) at src/switch_core_file.c:356
#2  0x00007f958b5682b0 in switch_ivr_record_session_event (session=session@entry=0x1680628,
    file=file@entry=0x7f955c083178 "rtsp://192.168.16.83/live/4444_4002", limit=limit@entry=0, fh=0x7f955c0831a0, fh@entry=0x0, vars=0x0)
    at src/switch_ivr_async.c:2819
#3  0x00007f956d4efea4 in record_session_function (session=0x1680628, data=<optimized out>) at mod_dptools.c:3348
#4  0x00007f958b4c9b5f in switch_core_session_exec (session=0x1680628, application_interface=application_interface@entry=0x12ee208,
    arg=arg@entry=0x7f955c0830f7 "rtsp://192.168.16.83/live/4444_4002 ") at src/switch_core_session.c:2891
#5  0x00007f958b4ca1ef in switch_core_session_execute_application_get_flags (session=<optimized out>, app=0x7f955c0830e8 "record_session",
    arg=0x7f955c0830f7 "rtsp://192.168.16.83/live/4444_4002 ", flags=flags@entry=0x0) at src/switch_core_session.c:2756
#6  0x00007f958b49a684 in do_execute_on (variable=<optimized out>, channel=<optimized out>) at src/switch_channel.c:3730
#7  0x00007f958b49f03f in switch_channel_execute_on (channel=channel@entry=0x149b000,
    variable_prefix=variable_prefix@entry=0x7f958b7e3f67 "execute_on_answer") at src/switch_channel.c:3757
#8  0x00007f958b4a5b05 in switch_channel_perform_mark_answered (line=3748, func=0x7f958b805620 <__func__.21860> "switch_ivr_originate",
    file=0x7f958b804345 "src/switch_ivr_originate.c", channel=0x149b000) at src/switch_channel.c:3851
#9  switch_channel_perform_mark_answered (channel=0x149b000, file=0x7f958b804345 "src/switch_ivr_originate.c",
    func=0x7f958b805620 <__func__.21860> "switch_ivr_originate", line=3748) at src/switch_channel.c:3768
#10 0x00007f958b4a5d90 in switch_channel_perform_answer (channel=channel@entry=0x149b000,
    file=file@entry=0x7f958b804345 "src/switch_ivr_originate.c", func=func@entry=0x7f958b805620 <__func__.21860> "switch_ivr_originate",
    line=line@entry=3748) at src/switch_channel.c:3904
#11 0x00007f958b55d65c in switch_ivr_originate (session=session@entry=0x1680628, bleg=bleg@entry=0x7f956ddfc1d0,
    cause=cause@entry=0x7f956ddfbd84, bridgeto=<optimized out>
Язык кода:javascript
копировать
2022-04-28 15:58:05.440843 [DEBUG] sofia.c:7289 Channel sofia/internal/4444@192.168.16.83 entering state [completed][200]
nua.c:366 nua_handle_magic() nua: nua_handle_magic: entering
2022-04-28 15:58:05.440843 [NOTICE] switch_ivr_originate.c:3748 Channel [sofia/internal/4444@192.168.16.83] has been answered
EXECUTE [depth=0] sofia/internal/4444@192.168.16.83 record_session(rtsp://192.168.16.83/live/4444_4002 )
2022-04-28 15:58:05.440843 [DEBUG] avformat.c:1766 sample rate: 8000, channels: 2
2022-04-28 15:58:05.440843 [DEBUG] avformat.c:1914 use video codec: [27] h264 (H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10)
2022-04-28 15:58:05.440843 [NOTICE] avformat.c:723 sample_rate: 44100 nb_samples: 1024
2022-04-28 15:58:05.440843 [NOTICE] avformat.c:726 sample_fmt 8 != AV_SAMPLE_FMT_S16, start resampler
Output #0, rtsp, to 'rtsp://192.168.16.83/live/4444_4002':
    Stream #0:0: Unknown: none (aac)
2022-04-28 15:58:05.440843 [INFO] avformat.c:1972 Opening File [rtsp://192.168.16.83/live/4444_4002] 44100hz
2022-04-28 15:58:05.440843 [DEBUG] switch_core_file.c:391 File 192.168.16.83/live/4444_4002 sample rate 44100 doesn't match requested rate 8000
tport.c:2753 tport_wakeup_pri() tport_wakeup_pri(0x7ff19800d3c0): events IN



2022-04-28 15:58:10.460907 [DEBUG] avformat.c:615 colorspace = 1
using cpu capabilities: MMX2 SSE2Fast LZCNT SSSE3 SSE4.2 AVX
profile Constrained Baseline, level 4.1, 4:2:0, 8-bit
264 - core 164 - H.264/MPEG-4 AVC codec - Copyleft 2003-2022 - http://www.videolan.org/x264.html - options: cabac=0 ref=1 deblock=0:0:0 analyse=0x1:0x111 me=hex subme=2 psy=1 psy_rd=1.00:0.00 mixed_ref=0 me_range=16 chroma_me=1 trellis=0 8x8dct=0 cqm=0 deadzone=21,11 fast_pskip=1 chroma_qp_offset=0 threads=1 lookahead_threads=1 sliced_threads=0 nr=0 decimate=1 interlaced=0 bluray_compat=0 constrained_intra=0 bframes=0 weightp=0 keyint=60 keyint_min=30 scenecut=40 intra_refresh=0 rc_lookahead=10 rc=crf mbtree=1 crf=23.0 qcomp=0.00 qpmin=0 qpmax=69 qpstep=4 ip_ratio=1.40 aq=1:1.00
2022-04-28 15:58:10.460907 [INFO] avformat.c:2776 use video codec implementation Video: h264 (libx264), yuv420p(pc, bt709/unknown/unknown), 352x288, q=-1--1
Starting connection attempt to 192.168.16.83 port 554
Successfully connected to 192.168.16.83 port 554
SDP:
v=0
o=- 0 0 IN IP4 127.0.0.1
s=Recording 400244442022-04-28 15:58
c=IN IP4 192.168.16.83
t=0 0
a=tool:libavformat 58.20.100
m=audio 0 RTP/AVP 96
b=AS:131
a=rtpmap:96 MPEG4-GENERIC/44100/2
a=fmtp:96 profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3; config=121056E500
a=control:streamid=0
m=video 0 RTP/AVP 97
a=rtpmap:97 H264/90000
a=fmtp:97 packetization-mode=1; sprop-parameter-sets=Z0LAKdoFglpuBAQCgAAAAwCAAV+QB4wZUA==,aM4PyA==; profile-level-id=42C029
a=control:streamid=1

2022-04-28 15:58:10.481031 [NOTICE] avformat.c:815 video thread start
tport.c:2753 tport_wakeup_pri() tport_wakeup_pri(0x7ff19800d3c0): events IN

Наконец, давайте посмотрим на требования: Как записывать? Поскольку поток, передаваемый Freeswitch, имеет только одну ногу, он не может передавать медиапотоки двух ног одновременно. Поэтому функция записи может записывать только одну сторону. Здесь необходимо настроить требования:

    Голос, смешанная запись  ->aac

    Видео, односторонняя запись  ->h264?

Наконец, синтезируется файл mp4, записывается только один конец, видео одного конца микшируется, а звук обоих концов микшируется и записывается вместе;

Затем измените mod_av, чтобы реализовать потоковую передачу свободного переключения на rtsp-сервер, и rtsp-сервер будет реализовывать функции записи и по требованию!

----Обновление: 20221008---

Как записать конференцию на RTSP Вам нужно всего лишь настроить адрес записи на RTSP сервере?

/home/OV500/LB/freeswitch/etc/freeswitch/autoload_configs

[root@abc-VirtualBox autoload_configs]# vim conference.conf.xml

Язык кода:javascript
копировать
  <!-- Profiles are collections of settings you can reference by name. -->
  <profiles>
    <!--If no profile is specified it will default to "default"-->
    <profile name="default">
      <!-- <param name="auto-record" value="$${recordings_dir}/${conference_name}_${strftime(%Y-%m-%d-%H-%M-%S)}.wav"/> -->
      <param name="auto-record" value="rtsp://192.168.16.83/live/${conference_name}" />
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose