фон:

На платформе редактирования необходимо обработать большое количество видео. Понимание видеоконтента неотделимо от операции уменьшения размерности видео. Общий процесс заключается в извлечении кадров. Операция извлечения кадра является первым шагом во многих процессах обработки видео, а также этапом обработки базовых данных. Большое количество моделей алгоритмов неотделимо от обучения данных кадра, а видео высокого качества имеют высокую частоту кадров (количество кадров в секунду). ), что приводит к тому, что для обработки видео высокой четкости скорость извлечения кадров станет узким местом всей обработки видео. В этой статье будут сравниваться две текущие библиотеки чтения видео: openCV и Decord.

процесс:

Для тестирования мы используем поток файлов m3u8. Видеопоток m3u8 состоит из нескольких непрерывных файлов ts. Браузер загружает последовательность ts. Каждый ts воспроизводится непрерывно в течение определенного периода времени. Обрежьте и, наконец, сохраните изображение. Процесс выглядит следующим образом:

1. Используйте opecv для извлечения кадров

cap = cv2.VideoCapture(ts_url)
    fra_num = cap.get(cv2.CAP_PROP_FRAME_COUNT)  # Получить номер кадра
    rate = cap.get(cv2.CAP_PROP_FPS)  # Получить частоту кадров
    logger.info(номер f'frame {fra_num}')
    logger.info(f'частота кадров {rate}')
    duration = fra_num / rate
    logger.info(f'длительность {duration}')
    logger.info('file_basename is {}'.format(file_basename))
    for j in range(0, int(fra_num)):
        if j % archive_fps == 0:
            start_time = time.time()
            cap.set(1, int(j))
            rval, frame = cap.read()
            if rval:
            	cv2.imwrite(os.path.join(pic_folder, image_name), frame)

2. Используйте декор для извлечения кадров.

vr = VideoReader(BytesIO(res.content), ctx=cpu(0))
fra_num = len(vr)
try:
    frames = vr.get_batch(list(range(fra_num))[::archive_fps]).asnumpy()
except Exception as exc:
    logger.error('{} decord stream err {}'.format(req_id, exc))
for frame in frames:
    frame = resize_image(frame)
    image_name = file_basename + '-' + str(prefix) + '-' + str(count) + config.PIC_SUFFIX
    cv2.imwrite(os.path.join(pic_folder, image_name), frame)
    logger.info('{} get frame and save {} done!'.format(req_id, image_name))

3. Сравнение производительности:

в декоре githubДомашняя страница(https://github.com/dmlc/decord),выложил расшифровку эталон Сравнение производительности

Вы можете видеть, что декор в 10 раз больше, чем opcv.

4. Вырезание кода

def resize_image(image):
    """
        Сжатие размера больших изображений
        :param image:
        :return:
        """
    height, width = image.shape[0], image.shape[1]

    if height > width:
        n_width = 256
        n_height = (height / width) * 256
    else:
        n_height = 256
        n_width = (width / height) * 256

    img_new = cv2.resize(image, (int(n_width), int(n_height)))

    return img_new

5. Сравнение результатов

Для стандартных жестко закодированных потоков m3u8 обрабатывается 25 кадров в секунду. Для 5-минутного видеоклипа использование opecv для извлечения кадров, обрезки и сохранения изображения занимает около 20 минут, тогда как использование декорда для обработки этого процесса занимает всего 2 минуты, что в основном соответствует официальному порядку величины в 10 раз. .

Встаньте на яму:

Базовый интерпретатор Python, который я использую на своем компьютере, — это python3.9, поэтому pip виртуальной среды также имеет версию 3.9. Когда я использую внутренний склад компании для установки Decord, подсказка всегда выглядит следующим образом:

Я пробовал много раз, но это не сработало, поэтому я пошел на склад пакетов Python компании.

Вы можете видеть, что декодирование есть, но почему оно всегда выдает указанную выше ошибку? После поиска в Google было сказано, что переустановка Python или удаление venv не очень надежны. Также предлагалось установить его из исходного кода. Я не хотел особо беспокоиться, я всегда чувствовал, что это проблема. небольшая проблема, поэтому я успокоился и взглянул на нее еще раз и обнаружил, что в библиотеке компании нет пакета cp39. Неудивительно, что я не могу его установить, потому что я Python3.9.

Потом решительно перешел на python 3.7, и разовая установка прошла успешно.

pip install --index-url https://mirrors.aliyun.com/pypi/simple/ decord==0.6.0

Судя по скриншоту, установка пакета Decord Python, полученная с центрального склада, на данный момент поддерживает только 3.6 3.7 3.8.