Описание случая

В этой статье в основном представлен корпус для сбора 6-канального видео высокой четкости на основе оценочной платы Chuanglong Technology TL3588-EVM (на базе RK3588J). Среда разработки следующая.

Среда разработки Windows: Windows 7 64-битная, Windows 10 64-битная.

Виртуальная машина: VMware15.5.5

Среда разработки: Ubuntu20.04.6 64бит.

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.160

LinuxSDK：rk3588_linux_release_v1.2.1

Модель модуля камеры: TL13850 и модуль камеры v2.

Разрешение видео: 1920x1080 при 30 кадрах в секунду

Рисунок 1. Рендеринг 6-канальной видеоколлекции.

Примечание. Поскольку корпус собирает изображения посредством пропорционального сращивания и частота кадров камеры должна быть унифицирована, разрешение камеры и частота кадров составляют 1920x1080 при 30 кадрах в секунду.

Введение в MIPI CSI RK3588J

Интерфейс MIPI CSI RK3588J представлен следующим образом.

(1) Поддерживает несколько форматов видео: RAW8, RAW10, RAW12, RAW14, YUV422.

(2) Содержит 4 интерфейса MIPI CSI DPHY, поддерживает стандарт MIPI DPHY V1.2, каждый интерфейс поддерживает 2 канала, а каждый канал поддерживает скорость до 2,5 Гбит/с; поддерживает комбинацию 2 интерфейсов MIPI CSI DPHY в 4-полосный интерфейс канала данных.

(3) Содержит 2 интерфейса MIPI CSI DCPHY (мультиплексирование MIPI CSI DPHY/CPHY), поддерживающие стандарт MIPI CPHY V1.1. Каждый MIPI CSI DCPHY поддерживает 4 канала передачи данных со скоростью до 2,5 Гбит/с для каждого канала.

(4) Поддерживаемые схемы комбинации интерфейсов камеры:

Конфигурация интерфейса 6 камер: 2 интерфейса MIPI CSI DCPHY (4 канала) + 4 интерфейса MIPI CSI DPHY (2 канала);

Конфигурация интерфейса 5 камер: 2 интерфейса MIPI CSI DCPHY (4 канала) + 1 интерфейс MIPI CSI DPHY (4 канала) + 2 интерфейса MIPI CSI DPHY (2 канала);

Конфигурация интерфейса 4 камер: 2 интерфейса MIPI CSI DCPHY (4Lane) + 2 интерфейса MIPI CSI DPHY (4Lane).

Таблица 1

(5) Теоретическая пропускная способность общего объема входных видеоданных и требования к количеству полос MIPI CSI показаны в следующей таблице:

Примечание. Следующие соответствующие оценки объема данных не включают накладные расходы, связанные с протоколом передачи данных, и предназначены только для справки.

поверхность 2

Описание функции корпуса

Инструкции по обработке изображений интернет-провайдера

Модуль ISP30 RK3588J поддерживает стандартную обработку данных изображения датчика, включая базовые функции, такие как автоматический баланс белого, автоматическая экспозиция, демозаика, коррекция плохих пикселей и коррекция теней объектива. Он также поддерживает расширенные функции обработки, такие как HDR, удаление дымки и шумоподавление. .

Функциональная структурная схема ISP30 показана на рисунке ниже.

картина 2

Обработка изображений RK3588J основана на инструменте отладки параметров изображения ISP RKISP2.

Rkisp2.x Tuner предоставляет набор инструментов, которые облегчают пользователям отладку параметров ISP. Пользователи могут выполнять калибровку, отладку и другие работы на всех модулях ISP в Rkisp2.x Tuner. Пользователи могут использовать инструмент захвата, предоставляемый RKISP2.x Tuner, для получения изображений в формате RAW, выполнения калибровки базового модуля в калибровочном инструменте, подключения устройства к RKISP2.x Tuner и отладки параметров интернет-провайдера в режиме онлайн.

Блок-схема тюнера выглядит следующим образом:

картина 3

Описание функции сшивания с масштабированием

В этом случае используется V4L2 на базе Linux для сбора изображений с камеры 1080P, выполнения масштабирования и обработки изображений с помощью RGA и, наконец, использования инфраструктуры DRM для отображения всего обработанного изображения.

(1) Сбор изображений: V4L2 (Видео для Linux 2) — это платформа для поддержки камер и видеоустройств. Она предоставляет набор API и интерфейсов драйверов для захвата видео, обработки видеопотока и воспроизведения в системах Linux и других операций. .

(2) Масштабирование и сращивание: RGA (Raster Graphic Acceleration Unit) — это независимый аппаратный 2D-ускоритель, который можно использовать для ускорения рисования точек/линий и выполнения общих операций 2D-графики, таких как масштабирование изображения, вращение, BitBlt и альфа-смешение.

(3) Отображение изображения: DRM (Direct Rendering Manager) — это подсистема ядра Linux, отвечающая за взаимодействие с графическим процессором. Программы пользовательского пространства могут использовать API DRM для отправки команд и данных на графический процессор и выполнения таких операций, как настройка параметров режима отображения.

Типичные области применения RK3588J

картина5

Демонстрация кейса для сбора 6-канального видео

Описание случая

В этом случае осуществляется сбор изображений с 6-канальных камер, масштабирование и сращивание изображений и, наконец, отображение их на дисплее HDMI. Все камеры настроены на захват изображений с разрешением 1920x1080 при 30 кадрах в секунду, масштабируются и объединяются с помощью аппаратного сопроцессора перед выводом на дисплей HDMI с разрешением 1920x1080 при 30 кадрах в секунду.

картина 5

В зависимости от количества камер отображаемая структура экрана выглядит следующим образом:

картина 6

кейс-тест

Используйте гибкий кабель FFC для подключения модуля камеры MIPI (TL13850) к интерфейсам CAMERA1 и CAMERA2 оценочной платы; подключите модуль камеры MIPI (модуль камеры v2) к интерфейсам CAMERA3~CAMERA6 оценочной платы, а затем подключите Интерфейс HDMI OUT оценочной платы к дисплею HDMI.

поверхность 3

картина 7

Скопируйте исполняемую программу multi_camera_display из каталога bin в любой каталог файловой системы оценочной платы, войдите в каталог, в котором находится исполняемая программа, и выполните следующую команду, чтобы захватить видео и вывести его на устройство отображения. Параметр команды «-o 208:71:1920x1080» означает вывод терминала на дисплей HDMI. Информация о печати «usec» означает затраченное время, единицу измерения, а «fps» означает частоту кадров. Нажмите «Ctrl + C», чтобы остановить бег.

Target# ./multi_camera_display -M rockchip -i 84,66,75,93,102,111 -S 1920x1080 -f NV12 -F NV12 -b 4 -o 208:71:1920x1080

картина 8

картина 9

Используйте камеру для получения изображения онлайн-секундомера на экране дисплея ПК, а затем отобразите изображение после обработки ARM. Разница во времени между экраном ПК и экраном оценочной платы является задержкой. Проведите тесты задержки сбора одноканального видео и 6-канального сбора видео. Полученные результаты задержки показаны в таблице ниже.

поверхность 4

картина 10 Интерфейс тестирования задержки захвата одноканального видео

картина 11 6-канальный интерфейс тестирования задержки захвата видео