Сегодня я увидел сообщение в блоге о «Небольшом инструменте, который автоматически добавляет субтитры к видео, как заработать 20 000 юаней в месяц» (с субтитрами заинтересованные студенты могут опробовать его, практические способности автора действительно сильны!), и Я подумывал о внедрении этого небольшого инструмента. Весьма завидно, что вы можете добиться такого дохода, используя только инструменты! Учитывая нынешнюю популярность искусственного интеллекта и машинного обучения, теоретически несложно реализовать подобное приложение, опираясь на зрелые сторонние сервисы или реализации с открытым исходным кодом. Однако основные технические трудности также очевидны, в основном в распознавании речи и машинах. С точки зрения точности перевода, учитывая коммерческое использование, я считаю, что, скорее всего, будет использоваться зрелый API от третьей стороны!

Ключевой момент функции — автоматическое добавление к видео многоязычных субтитров. Примерный процесс реализации:

1. Извлеките аудио часть из видео! -> Измените исходный код ffmpeg или напрямую командуйте извлечением. Большинство сторонних платформ распознавания распознают только PCM, поэтому для извлечения и перекодирования вы можете обратиться к: https://www.zhihu.com/question/389948583.

ffmpeg -i input.mp4
Stream #0:2(chi): Audio: ac3, 48000 Hz, stereo, fltp, 448 kb/s

Конвертировать файлы mp4 в файлы pcmАудио. Параметры команды: -i входной файл
-an Удалить поток аудио
-vn Удалить видеопоток
-acodec настраивать Аудиокодирование
-f Принудительное кодирование указанного входного или выходного файла
-ac Установите количество аудиодорожек,
-ar Установить частоту внедрения аудио
-y Непосредственно перезаписывать файлы с тем же именем без подтверждения.
# Например,Ниже приведен файл t1801.mp4.,Удалить видеопоток и аудиокодирование с помощью pcm_s16le,Выходной файл также использует s16лекодирование.,При этом звуковая дорожка равна 1 и частота дискретизации 16000:
ffmpeg -i t1801.mp4 -vn -acodec pcm_s16le -f s16le -ac 1 -ar 16000 t1801.pcm

ffmpeg -i input.mp4 -vn -ar 44100 -ac 2 -f s16le out.pcm

2. Распознавание речи, аудиочасть преобразуется в текст! ->  Используйте iFlytek для распознавания речи в формате PCM? или Библиотека распознавания речи Python или речевой модуль, autosub_app?

В текстовую часть необходимо добавить информацию о временной метке. Возможно, для этой части потребуется ручной анализ пакета PCM?

3. Перевод текста, например с китайского на английский! ->  Используйте коммерческие API-интерфейсы. Поставщики облачных услуг, такие как Baidu и Tencent, предоставляют API-интерфейсы машинного перевода;

4. Сгенерируйте текст + метку времени в подключаемый файл субтитров SRT, а затем обработайте его с помощью программы фонового обслуживания!

Типичный файл SRT выглядит следующим образом (взято из китайских и английских субтитров «Аватара»):

3
00:00:39,770 --> 00:00:41,880
После больших перемен в жизни
When I was lying there in the VA hospital ...

4
00:00:42,550 --> 00:00:44,690
Меня положили в госпиталь Управления по делам ветеранов.
... with a big hole blown through the middle of my life,

5
00:00:45,590 --> 00:00:48,120
В то время мне часто снилось, что я лечу
... I started having these dreams of flying.

6
00:00:49,740 --> 00:00:51,520
наконец-то свободен
I was free.

7
00:00:54,620 --> 00:00:55,830
И к сожалению
Sooner or later though, ...
2 Настройки формата SRT
Большинство SRT поддерживают определенное форматирование, например курсив, жирный шрифт, подчеркивание и цвет шрифта. Для использования требуются теги на основе HTML. Конкретное использование заключается в следующем:

<font color=red>цвет</font>
<i>шрифт курсив</i>
<u>Подчеркнутый шрифт</u>
<br>новая строка
<b>Жирный шрифт</b>
Этот HTML-код может быть вложенным.
Конечно, некоторые игроки также расширили SRT для поддержки некоторых кодов форматирования в ASS/SSA.

Ссылка на формат файла SRT: https://www.cnblogs.com/tocy/p/subtitle-format-srt.html.

http://ale5000.altervista.org/subtitles.htm

5. Субтитры и синтез видео!

ffmpeg -i infile.mp4 -i infile.srt -c copy -c:s mov_text outfile.mp4

-c:v копировать -c:a копировать -c:s mov_text не работает с -c копировать

-c:v copy -c:a copy -c:s Порядок mov_text важен. Вы говорите FFmpeg:

Видео: копировать, Аудио: копировать, Субтитры: копировать

Подзаголовок: mov_text

ffmpeg -i 01.mkv -vf subtitles=01.ass 01_out.mkv

Непроверенный метод добавления потока субтитров:

ffmpeg -i video.avi -i sub.ass -map 0:0 -map 0:1 -map 1 -c:a copy -c:v copy -c:s copy video.mkv