Улучшения в рендеринге пользовательских видеокадров в Qt6 QML Обновление 30 мая 2023 г.
Улучшения в рендеринге пользовательских видеокадров в Qt6 QML Обновление 30 мая 2023 г.

Недавно я обновляю Qt-версию аудио- и видеопроекта с 5.15.0 до 6.4.3 (то же самое относится и к 6.5). Помимо удаления некоторых элементов управления Qt Quick Controls 1 в некоторых QML, самое главное — это удаление некоторых элементов управления Qt Quick Controls 1 в некоторых QML. улучшение пользовательского рендеринга видео.

QAbstractVideoSurface становится QVideoSink

Qt5 Чжунцзай QML При рендеринге пользовательских видеокадров на C++ Layer реализует слой, полученный из QObject Подкласс, используемый внутри QAbstractVideoSurface Приди и отдай VideoOutput Предоставьте данные. Конкретный метод здесь обсуждаться не будет. Вы можете обратиться к статье,которую я написал ранее. Qt QML VideoOutput Показать индивидуальные YUV420P поток данных существовать Qt6 середина,QAbstractVideoSurface одеяло QVideoSink альтернатива, обеспечивающая более простой способ доставки QVideoFrame, пример кода выглядит следующим образом:

Язык кода:javascript
копировать
class FrameProvider : public QObject {
    Q_OBJECT
    Q_PROPERTY(QVideoSink* videoSink READ videoSink WRITE setVideoSink NOTIFY videoSinkChanged)

public:
    explicit FrameProvider(QObject* parent = nullptr);
    ~FrameProvider();

    QVideoSink* videoSink() const { return m_videoSink; }
    void setVideoSink(QVideoSink* videoSink);

signals:
    void videoSinkChanged();

public slots:
    void deliverFrame(const QVideoFrame& frame);

private:
    QPointer<QVideoSink> m_videoSink;
};

Класс объявляет функцию слота deliverFrame Предоставить видеокадр. Предоставить данные привязки модуля и кадра доставки. существовать cpp В реализации только при наличии нового видеопотока он вызывается напрямую m_videoSink из setVideoFrame Метод будет делать:

Язык кода:javascript
копировать
void FrameProvider::deliverFrame(const QVideoFrame& frame) {
    if (!m_videoSink)
        return;
    m_videoSink->setVideoFrame(frame);
}

Воля FrameProvider Следуйте тому же методу, который указан в статье выше, и зарегистрируйтесь, чтобы QML конец, с VideoOutput При совместном использовании есть некоторые небольшие изменения:

Язык кода:javascript
копировать
FrameProvider {
    id: frameProvider
    videoSink: videoContainer.videoSink
}
VideoOutput {
    id: videoContainer
    anchors.fill: parent
    fillMode: VideoOutput.PreserveAspectFit
}

так VideoOutput с новымиз FrameProvider Это делается при совместном использовании. Давайте поговорим об этом дальше. QVideoFrame изизменять:

Изменения в методе копирования данных QVideoFrame

существовать Qt5 например, копирование YUV данные поступают QVideoFrame очень жестокий, по videoFrame.bits() Получите адрес, вычислите местоположение и скопируйте его, не задумываясь:

Язык кода:javascript
копировать
int frameSize = static_cast<int>(frame.width * frame.height * frame.count / 2);
QVideoFrame videoFrame(frameSize, QSize(static_cast<int>(rotationWidth), static_cast<int>(rotationHeight)), static_cast<int>(rotationWidth),
                       QVideoFrame::Format_YUV420P);

if (videoFrame.map(QAbstractVideoBuffer::WriteOnly)) {
    auto src = reinterpret_cast<uint8_t*>(frame.data);
    auto dest = reinterpret_cast<uint8_t*>(videoFrame.bits());

    libyuv::I420Rotate(src + frame.offset[0], static_cast<int>(frame.stride[0]),
                       src + frame.offset[1], static_cast<int>(frame.stride[1]),
                       src + frame.offset[2], static_cast<int>(frame.stride[2]),
                       dest, static_cast<int>(rotationWidth),
                       dest + rotationWidth * rotationHeight, rotationWidth / 2,
                       dest + rotationWidth * rotationHeight + rotationWidth * rotationHeight / 4, rotationWidth / 2,
                       static_cast<int>(frame.width), static_cast<int>(frame.height), rotate_mode);

    videoFrame.setStartTime(0);
    videoFrame.unmap();

    QSize size = QSize(static_cast<int>(rotationWidth), static_cast<int>(rotationHeight));
    emit VideoManager::m_videoFrameDelegate->receivedVideoFrame(QString::fromStdString(accountId), videoFrame, size, bSub);
}

но Qt6 Серьезные изменения произошли, прежде всего, в bits Функция требует передачи целевых данныхиз самолет, например Y plane для 0,U и V В свою очередь для 1 и 2. Это похоже на Qt5 Нет большой разницы, но если нажать bits(0)、bits(1)、bits(1) Когда адрес скопирован в соответствии с логикой оригинала, будет обнаружено, что изображение с некоторым разрешением будет рендериться. Это в основном потому, что для оригинала. YUV Ширина данных не 16 из кратных. и QVideoFrame Однажды позвонили map функция, то каждая plane из stride(существовать Qt второе имя для bytesPerLine) Волявстречада 16 из кратных, если вы скопируете исходные данные по ширине, изображение будет испорчено. Правильный способ сделать это — через QVideoFrame Предоставить из bytesPerLine() метод расчета конкретного plane изширина,Копирование по требованию,Реализация следующая:

Язык кода:javascript
копировать
QVideoFrameFormat format(QSize(rotationWidth, rotationHeight), QVideoFrameFormat::Format_YUV420P);
format.setViewport(QRect(0, 0, rotationWidth, rotationHeight));
QVideoFrame videoFrame(format);
if (videoFrame.map(QVideoFrame::WriteOnly)) {
    auto src = reinterpret_cast<uint8_t*>(frame.data);
    // If the aspect ratio of the original data is not a multiple of 16,
    // when mappedBytes(n) is called after frame mapping, the returned size will be expanded to the nearest multiple of 16.
    // When copying the data, bytesPerLine(n) should be used to get the actual stride that needs to be copied.
    libyuv::I420Rotate(src + frame.offset[0], frame.stride[0],
                       src + frame.offset[1], frame.stride[1],
                       src + frame.offset[2], frame.stride[2],
                       videoFrame.bits(0), videoFrame.bytesPerLine(0),
                       videoFrame.bits(1), videoFrame.bytesPerLine(1),
                       videoFrame.bits(2), videoFrame.bytesPerLine(2),
                       frame.width, frame.height, rotate_mode);
    videoFrame.setStartTime(0);
    videoFrame.unmap();
    QSize size = QSize(static_cast<int>(rotationWidth), static_cast<int>(rotationHeight));
    emit VideoManager::m_videoFrameDelegate->receivedVideoFrame(QString::fromStdString(accountId), videoFrame, size, bSub);
}

в frame.data да YUV из исходных данных. После прохождения изменений QVideoFrame API Мы видим, что Qt верновидеоиметь дело сданныеиз Требования ужесточаются,Хотя много времени было потрачено на решение проблемы,но Наконец-то подытожил ценный опыт.

Обновление 30 мая 2023 г.

Вышеупомянутый метод копирования следует использовать, когда Qt 6.x Если в версии по умолчанию используется механизм рендеринга (OpenGL), некоторые странные разрешения могут вызвать проблемы с размытием экрана. Исправлять Qt изрендеринг Engine для Каждый движок, специфичный для платформы, решает:

Язык кода:javascript
копировать
int main(int argc, char* argv[]) {
    QGuiApplication app(argc, argv);

#if defined(Q_OS_MACX)
    QQuickWindow::setGraphicsApi(QSGRendererInterface::Metal);
#else
    QQuickWindow::setGraphicsApi(QSGRendererInterface::Direct3D11);
#endif
    ..... other code
}
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose