От игр, образования, электронной коммерции до развлечений — сценарии применения технологий прямого вещания повсюду. Поскольку скорость Интернета мобильных терминалов становится все выше и выше, популярность и развитие технологии прямого вещания будут еще быстрее.

В этой статье подробно представлена ​​вся картина технологии прямого вещания, охватывающая все аспекты: от сбора аудио и видео в реальном времени, кодирования, передачи до декодирования и воспроизведения. В статье также обсуждаются такие ключевые вопросы, как синхронизация аудио и видео во время прямой трансляции, выбор кодека, протокол передачи и оптимизация задержки прямой трансляции. Я надеюсь, что эта статья предоставит вам более глубокое понимание и практические рекомендации по технологии прямого вещания.

1. Сбор аудио и видео в реальном времени.

1.1 Оборудование для сбора аудио и видео и API

В устройствах Android сбор аудио и видео в основном зависит от двух аппаратных устройств: камеры и микрофона. Камера отвечает за сбор изображений, а микрофон — за сбор звука. Для вызова этих двух устройств Android предоставляет API камеры и API AudioRecord. С помощью этих двух API мы можем легко управлять устройством и получать аудио- и видеоданные. Ниже приведены конкретные практические шаги:

1. использовать Camera или Camera2 API Чтобы вызвать камеру:

// Camera API
Camera camera = Camera.open();
Camera.Parameters parameters = camera.getParameters();
parameters.setPreviewSize(width, height);
camera.setParameters(parameters);
camera.setPreviewCallback(previewCallback);
camera.startPreview();

// Camera2 API
CameraManager cameraManager = (CameraManager) getSystemService(Context.CAMERA_SERVICE);
String cameraId = cameraManager.getCameraIdList()[0];
CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId);
StreamConfigurationMap map = characteristics.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);
Size[] previewSizes = map.getOutputSizes(SurfaceTexture.class);
// Выберите подходящий размер предварительного просмотра
cameraManager.openCamera(cameraId, stateCallback, null);

1. использовать AudioRecord API Чтобы вызвать микрофон:

int bufferSize = AudioRecord.getMinBufferSize(sampleRate, channelConfig, audioFormat);
AudioRecord audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, sampleRate, channelConfig, audioFormat, bufferSize);
audioRecord.startRecording();

1.2 Настройки параметров аудио и видео коллекции

Качество и плавность сбора аудио и видео во многом зависят от настроек параметров сбора. К этим параметрам относятся разрешение, частота кадров, битрейт и т. д.

• Разрешение определяет четкость изображения. Высокое разрешение позволяет получить более четкие изображения.,Но это также увеличит объем данных.,Может вызвать сетевые передачи инфекции Повышенное давление。
• Частота кадров определяет плавность видео. Высокая частота кадров может обеспечить более плавное видео, но также повысит его качество.
• Скорость кода определяет аудио и видеоданныеиз Степень сжатия. Высокая скорость передачи данных может обеспечить более высокое качество аудио. и видео,Но это также увеличит объем данных.。

При настройке параметров сбора аудио и видео необходимо идти на соответствующие компромиссы с учетом условий сети и производительности устройства. Ниже приведены конкретные практические шаги:

1. настройки Камеры Разрешение и Частота кадров:

Camera.Parameters parameters = camera.getParameters();
parameters.setPreviewSize(width, height);
parameters.setPreviewFrameRate(frameRate);
camera.setParameters(parameters);

1. настройки AudioRecord по частоте дискретизации, количеству каналов и аудиоформату:

int sampleRate = 44100;
int channelConfig = AudioFormat.CHANNEL_IN_MONO;
int audioFormat = AudioFormat.ENCODING_PCM_16BIT;

1.3 Синхронизация аудио и видео и обработка временных меток

В прямом эфире синхронизация аудио и видео является важной проблемой. Чтобы добиться синхронизации, нам нужно добавить метку времени к каждому кадру аудио- и видеоданных. Временная метка записывает время сбора данных и может использоваться для настройки последовательности воспроизведения для обеспечения синхронизации аудио и видео. При декодировании и воспроизведении плеер правильно расположит и воспроизведет аудио- и видеоданные в соответствии с меткой времени.

Чтобы обработать данные и временные метки видеокадра, нам необходимо инкапсулировать собранные данные аудио- и видеокадров и соответствующие временные метки в структуру данных, а затем передать эту структуру кодировщику и модулю передачи. Вот простой способ сделать это:

1. Сначала определите структуру данных для хранения временной метки данных кадров аудио и видео:

public class FrameData {
    public byte[] data;
    public long timestamp;

    public FrameData(byte[] data, long timestamp) {
        this.data = data;
        this.timestamp = timestamp;
    }
}

1. Добавить временную метку в обратный вызов предварительного просмотра камеры:

camera.setPreviewCallback(new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] data, Camera camera) {
        long timestamp = System.nanoTime();
        // Обработка данных и временных меток видеокадров
        FrameData frameData = new FrameData(data, timestamp);
        // Воля frameData Передано в модуль кодирования и передачи
    }
});

1. существуют AudioRecord из Добавить временные метки в цикл записи:

while (isRecording) {
    long timestamp = System.nanoTime();
    int bytesRead = audioRecord.read(buffer, 0, bufferSize);
    // Обработка временной метки данных аудиокадра
    FrameData frameData = new FrameData(Arrays.copyOf(buffer, bytesRead), timestamp);
    // Воля frameData Передано в модуль кодирования и передачи
}

1. В модуле передачи существованиякодирования аудио обрабатывается на основе объекта FrameData из метки времени. и видеорамкаданные。Например,существоватькодированиечас,Волячас Временная метка каккодированиеназадиз Аудио и видеоданныеизпоказыватьчасмежду；существоватьпередача инфекциичас,Настройте порядок и скорость отправки в соответствии с меткой времени.

Таким образом, при декодировании и воспроизведении проигрыватель может правильно упорядочивать и воспроизводить аудио- и видеоданные в соответствии с отметкой времени для достижения синхронизации.

2. Кодирование аудио и видео.

2.1 Формат кодирования звука (AAC, Opus и т. д.)

2.1.1 Сравнение форматов кодирования звука

Общие форматы кодирования звука включают AAC и Opus. AAC имеет более высокую эффективность кодирования, а Opus лучше работает при общении в реальном времени.

• Формат кодирования AAC: подходит для областей связи, не работающих в режиме реального времени.,Например, музыка, радио, видео и т. д.,Высокая эффективность и широкая совместимость устройств,Но существующая оптимизация задержки слаба при общении в реальном времени.
• Формат опускодирования: подходит для сферы общения в реальном времени.,Такие как VoIP, существуют онлайн-конференции, голосовая игра и т. д.,Он имеет высокое качество звука и высокую адаптируемость.,Но совместимость устройств относительно уступает AAC.

2.1.2 Реализация кодирования звука в Android

существовать Android Чтобы реализовать кодирование звука в Android предоставил MediaCodec добрый。MediaCodec поддерживать Различный Формат кодирования аудио, нравиться AAC и Opus ждать. Чтобы выбрать подходящий формат кодирования, вы можете выполнить следующие шаги:

1. Создайте MediaCodec кодирование Экземпляр сервера：

MediaCodec audioEncoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_AUDIO_AAC);

1. Настройте параметры устройства кодирования:

MediaFormat audioFormat = MediaFormat.createAudioFormat(MediaFormat.MIMETYPE_AUDIO_AAC, sampleRate, channelCount);
audioFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
audioFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);
audioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

1. начинатькодирование：

audioEncoder.start();

2.2 Формат кодирования видео (H.264, H.265, VP8 и т. д.)

2.2.1 Сравнение форматов кодирования видео

Распространенные форматы кодирования видео: H.264、H.265 и VP8 ждать. H.264 в настоящее время является наиболее часто используемым форматом кодирования, и H.265 и VP8 носуществовать Лучше в определенных сценарияхизпроизводительность。

• Формат кодирования H.264: подходит для видеоконференций, прямых трансляций, обмена видео и других сценариев.,Высокая эффективность сжатия и широкая совместимость с устройствами.,Однако эффективность сжатия ниже, чем у H.265.
• Формат кодирования H.265: подходит для 4K、Видео сверхвысокой четкости 8K, виртуальная реальность и т. д. требуют сцен высокого разрешения и высокого качества изображения.,Имеет чрезвычайно высокую эффективность сжатия.,Но сложность кодирования и декодирования высока,Нужно больше вычислительной мощности,А совместимость устройств относительно уступает H.264.
• Формат кодирования VP8: подходит для сетевых видеозвонков, существующих онлайн-видеосервисов и т. д., требующих открытого исходного кода и бесплатных сценариев.,Низкая задержка,Подходит для общения в режиме реального времени,Но эффективность сжатия и качество видео не так хороши, как H.264 и H.265.,и Совместимость устройств плохая.

2.2.2 Реализация кодирования видео в Android

существовать Android Чтобы реализовать кодирование видео в , вы также можете использовать MediaCodec добрый. Чтобы выбрать подходящий формат кодирования, вы можете выполнить следующие шаги:

1. Создайте MediaCodec кодирование Экземпляр сервера：

MediaCodec videoEncoder = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);

1. Настройте параметры устройства кодирования:

MediaFormat videoFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, width, height);
videoFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitRate);
videoFormat.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate);
videoFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval);
videoEncoder.configure(videoFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

1. начинатькодирование：

videoEncoder.start();

2.3 Выбор, преимущества и недостатки аппаратного и программного кодирования

Эксплойт аппаратного кодирования GPU руководитькодирование,более высокая производительность,Но совместимость плохая, программное кодирование имеет лучшую совместимость;,Но производительность ниже. существуют в практическом применении,Его необходимо выбирать исходя из характеристик оборудования и потребностей.

существовать Android середина,MediaCodec Класс автоматически выберет аппаратное и программное устройство кодирования в зависимости от производительности и требований устройства. Чтобы принудительно использовать устройство аппаратного кодирования или устройство программного кодирования, вы можете создать существующее MediaCodec экземпляр, укажите имя кодировщика. Например, для использования аппаратного обеспечения H.264 Кодировщик, вы можете использовать следующий код:

MediaCodec videoEncoder = MediaCodec.createByCodecName("OMX.google.h264.encoder");

3. Протокол передачи

4. Декодирование и воспроизведение аудио и видео.

4.1 Выбор и оптимизация производительности аудио- и видеодекодеров

декодериз Выбор влияет на качество воспроизведенияипроизводительность。в целом,аппаратное обеспечениедекодерболее высокая производительность,Но совместимость плохая, у программного декодера совместимость лучше;,Но производительность ниже. существуют в практическом применении,Его необходимо выбирать исходя из характеристик оборудования и потребностей.

существовать Android , выбор декодера можно сделать через MediaCodec добрый来Реальность现。MediaCodec поддерживатьаппаратное обеспечениедекодированиеипрограммное обеспечениедекодирование,Обычно,это будет зависеть от устройствапроизводительностьи Автоматический выбор требованийдекодер。

4.2 Стратегия рендеринга и синхронизации аудио и видео

существоватьрендеринг Аудио и видео, вам необходимо гарантировать аудио и синхронизация видео. Синхронизация может быть достигнута путем калибровки отметки времени или регулировки скорости воспроизведения.

существовать Android рендеринг аудио и видео может осуществляться с помощью SurfaceView или TextureView добиться. Чтобы обеспечить аудио и видеосинхронный,Могут рендерить данные каждого кадра,Отрегулируйте скорость рендеринга на основе временной метки. Ниже приведены конкретные практические шаги:

1. Создайте SurfaceView или TextureView：

SurfaceView surfaceView = new SurfaceView(context);
// или
TextureView textureView = new TextureView(context);

1. существуют При декодировании данных каждого кадра настройте скорость рендеринга на основе временной метки:

long presentationTimeUs = bufferInfo.presentationTimeUs;
long delayUs = presentationTimeUs - System.nanoTime() / 1000;
if (delayUs > 0) {
    Thread.sleep(delayUs / 1000);
}
decoder.releaseOutputBuffer(outputBufferIndex, true);

4.3 Буферизация проигрывателя и адаптивная регулировка скорости передачи данных

Чтобы справиться с колебаниями сети, игроку необходимо настроить соответствующую стратегию буферизации. Адаптивная регулировка скорости передачи данных может динамически регулировать качество видео в соответствии с условиями сети, чтобы обеспечить плавность.

существовать Android , стратегия буферизации игрока может быть передана MediaPlayer или ExoPlayer из API установить. Адаптивная регулировка скорости передачи данных может быть достигнута за счет ExoPlayer из TrackSelection API добиться. Ниже приведены конкретные практические шаги:

1. настраиватьигрокизбуферная стратегия：

MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setBufferingUpdateListener(new MediaPlayer.OnBufferingUpdateListener() {
    @Override
    public void onBufferingUpdate(MediaPlayer mp, int percent) {
        // Обновление прогресса буфера
    }
});
// или
ExoPlayer exoPlayer = new SimpleExoPlayer.Builder(context).build();
exoPlayer.setBufferedPositionUpdateListener(new ExoPlayer.BufferedPositionUpdateListener() {
    @Override
    public void onBufferedPositionUpdate(long bufferedPosition) {
        // Обновление прогресса буфера
    }
});

1. настройки адаптивной регулировки битрейта:

TrackSelection.Factory trackSelectionFactory = new AdaptiveTrackSelection.Factory();
DefaultTrackSelector trackSelector = new DefaultTrackSelector(context, trackSelectionFactory);
ExoPlayer exoPlayer = new SimpleExoPlayer.Builder(context).setTrackSelector(trackSelector).build();

5. Обзор архитектуры прямого вещания

5.1 Схема архитектуры прямой трансляции

Ниже представлена ​​схема архитектуры прямой трансляции:

Нажмите конец:
+----------------+    +----------------+    +----------------+
| Модуль сбора данных       | -> | кодированиеустройство         | -> | Модуль передачи       |
| (Аудио и видео подборка)   |    | (Аудио и видеокодирование)   |    | (Аудио и видеопередача)   |
+----------------+    +----------------+    +----------------+

Серверная часть:
+----------------+    +----------------+    +----------------+
| балансировка нагрузки       | -> | Перекодировать           | -> | Записывать           |
| (Прием и распределение потоков) |    | (конвертировать формат кодирования) |    | (Хранилище Аудио и видеоданные)|
+----------------+    +----------------+    +----------------+

Конец трансляции:
+----------------+    +----------------+    +----------------+
| декодер         | -> | модуль рендеринга       | -> | игрок         |
| (Аудио и декодирование видео)   |    | (Аудио и видеорендеринг)   |    | (Аудио и видеоигра)   |
+----------------+    +----------------+    +----------------+

• Нажимной конец должен реализовать Audio и видеоколлекция、кодирование、передача инфекции и другие функции. Ключевые компоненты включают Модуль сбора данных、кодированиеустройство、Модуль передачиждать。
• сервер Конец отвечает за получение、Переслать и сохранить аудио и видеоданные. Ключевые компоненты включают балансировку нагрузки、Перекодировать、Записыватьждать Функциональный модуль。
• На стороне потоковой передачи необходимо реализовать аудио и видеодекодирование、рендерингиигратьждать Функция。Ключевые компоненты включают в себядекодер、модуль рендеринга、игрокждать。

5.2 Задержка прямой трансляции и стратегия оптимизации

Задержка прямой трансляции повлияет на удобство использования. Привлечение через оптимизацию、кодирование、передача инфекции、декодированиеждатьсвязь,Можно уменьшитьнизкая задержка, улучшение производительности в режиме реального времени. Стратегии оптимизации задержки прямой трансляции включают в себя:

1. оптимизация Модуль сбора данных：улучшатьколлекцияэффективность,Сократите время обработки данных.
2. оптимизациякодированиеустройство：выбиратьболее высокая производительностьизкодированиеустройство,Сократите время кодирования.
3. оптимизация Модуль передачи：оптимизациясетьпередача инфекции Стратегия,нравитьсяиспользовать Быстрееизтранспортный протокол, улучшить пропускную способность сети и т. д.
4. оптимизациядекодер：выбиратьболее высокая производительностьиздекодер,Сократите время декодирования.
5. оптимизациямодуль рендерингаиигрок：улучшатьрендерингэффективность,Уменьшите задержки воспроизведения.

6. Резюме

В этой статье представлена ​​вся картина технологии прямого вещания.,От коллекции аудио и видео в реальном времени до воспроизведения каждой ссылки.,Ниже приведена упрощенная блок-схема прямой трансляции:

+-------------+      +-------------+      +-------------+
| Модуль сбора данных     | ---> | кодированиеустройство       | ---> | Модуль передачи     |
+-------------+      +-------------+      +-------------+
                                   |
                                   v
                              +-------------+
                              | сервер       |
                              +-------------+
                                   |
                                   v
                              +-------------+      +-------------+      +-------------+
                              | декодер       | ---> | модуль рендеринга     | ---> | игрок       |
                              +-------------+      +-------------+      +-------------+

Процесс прямой трансляции включает в себя следующие ключевые звенья:

1. Аудио в реальном времени и коллекция видео: собирайте аудио через камеру и микрофон и видеоданные и выполнить синхронизацию параметров настройки.
2. Аудио и видеокодирование：Воляколлекцияприезжатьиз Аудио и видеоданныеруководитькодирование,для передачи. Выберите подходящий инструмент для изкодирования. Формат икодирования.,Такие как AAC, Opus, H.264, H.265иVP8 и т. д.
3. транспортный протокол：выбиратьподходящийизтранспортный протокол, такой как RTMP, HLSиWebRTC и т. д. для обеспечения аудио и видеоданныеиз Реальностьчаспередача инфекции。
4. сервериметь дело с：серверперенимать、Переслать и сохранить аудио и видеоданные,руководитьбалансировка нагрузки、Перекодироватьи Записыватьждатьиметь дело с。
5. Аудио и видеодекодирование与играть：Воляперениматьприезжатьиз Аудио и видеоданные декодируют, рендерят и воспроизводят для достижения аудио и синхронизация видео и оптимизация задержки.

существуют в практическом применении,Необходимо выбрать подходящую технологию и стратегию в соответствии с потребностями и сценариями.,для достижения высокого качества、низкая задержкаиз живого опыта.