Знакомство с НПУ RK3588

Производительность NPU RK3588 очень мощная,6TOPSРазработан для обеспечения эффективных вычислений вывода нейронной сети.。Это делаетRK3588существоватьРаспознавание изображений, распознавание речи, обработка естественного языкаОн имеет чрезвычайно высокую производительность в областях искусственного интеллекта, таких как。

Кроме того, NPU RK3588 также поддерживает различные среды обучения, включая TensorFlow, PyTorch, Caffe, MXNet и другие среды глубокого обучения, популярные в разработке искусственного интеллекта, которые могут предоставить разработчикам множество инструментов и библиотек, чтобы они могли легко Моделирование выполнения и вывод позволяют легко обрабатывать различные сценарии вычислений с большими данными.

RK3588 NPU, типичное промышленное применение

Рисунок 1

Идентификация и отслеживание цели:существовать Видеонаблюдение и беспилотные поля,RK3588 может обеспечить высокопроизводительную вычислительную мощность NPU 6TOPS.,Обрабатывает потоковое видео высокой четкости, обнаружение, распознавание и отслеживание объектов в режиме реального времени. Его мощные вычислительные возможности могут удовлетворить потребности обработки в реальном времени в сложных сценариях.,Повысьте точность и скорость реагирования систем мониторинга.

АГВ-робот:RK3588изNPUМожет обеспечить мощныйизспособность визуальной обработки,Может помочь роботам AGV эффективно планировать путь и избегать препятствий.,Повышение эффективности и безопасности перевозок.

Медицинский эндоскоп:RK3588изNPUДоступныйкартина Как признание и анализизспособность,Помогите врачам быстро и точно диагностировать заболевания. Его возможности глубокого обучения могут помочь врачам в распознавании изображений и обнаружении поражений.,Повышение точности и эффективности диагностики.

Высокоскоростной платный терминал:RK3588изNPUДоступный车牌识别和计费из处理способность,Реализация беспилотного взимания платы за проезд на автомагистралях,Повышение эффективности и безопасности перевозок.

Система кругового обзора автомобиля：RK3588изNPUМожет обрабатывать приобретение нескольких камеризкартинакак данные,Реализуйте 360-градусный мониторинг окружающей среды автомобиля.,Помогите транспортным средствам выполнять обнаружение препятствий, предупреждение о столкновении, автоматическую парковку и другие функции.

Процесс разработки НПУ RK3588

Шаг первый: обучение модели

Во-первых, вам необходимо собрать и подготовить данные для обучения, выбрать подходящую среду глубокого обучения (например, TensorFlow, PyTorch, Keras и т. д.) для обучения модели или использовать официально предоставленную модель.

Шаг 2: Преобразование модели

После завершения обучения модели используйте RKNN-Toolkit2, чтобы преобразовать предварительно обученную модель в модель RKNN, которую может использовать NPU RK3588. Обычно это включает в себя соответствующее изменение и оптимизацию вычислительного графа в модели для адаптации к аппаратной архитектуре и набору команд NPU.

Шаг третий: Разработка приложения

Разрабатывать приложения на базе API РКНН. Этап разработки включает в себя интеграцию преобразованной модели в приложение на основе конкретных требований.

картина2 Процесс разработки НПУкоробкакартина

Обмен опытом разработки NPU RK3588

Описание случая

В этом случае API РКНН используется для реализации распознавания целевых объектов на изображениях, добавляет результаты распознавания к изображению в виде водяного знака и сохраняет его как файл изображения. Тест случайного цикла выполняется 10 раз и рассчитывается среднее время обработки вывода. Тест проводился на базе промышленной оценочной платы Chuanglong Technology RK3588 TL3588-EVM.

Примечание. Этот случай основан на официальной реализации программы Rockchip. Каталог был реконструирован, а компиляция упрощена. Функциональная логика не была изменена. Официальные процедуры расположены в каталоге исходного кода LinuxSDK «external/rknpu2/examples/rknn_yolov5_demo/».

Рисунок 3

Схема обработки программы выглядит следующим образом:

Рисунок 4

кейс-тест

Подключите порт Gigabit Ethernet ETH0 оценочной платы к маршрутизатору через сетевой кабель.

Рисунок 5

Скопируйте все файлы из каталога bin в любой каталог файловой системы оценочной платы.

Рисунок 6

В каталоге, где находится исполняемый файл, выполните следующую команду, чтобы выполнить вывод модели для целевого объекта изображения.

Примечание. Во время работы модели будет наблюдаться дрожание.

Target#./yolov5_object_detect yolov5s-640-640_rm_transpose_rk3588.rknn bus.jpg

Рисунок 7

Из выходной информации мы видим, что эта программа распознала, что тестовое изображение содержит 4 человека и 1 объект-автобус. Для однократного запуска модели потребовалось 23,905000 мс; среднее время, необходимое для запуска модели 10 раз в цикле, составило. 21,356800 мс.

После того, как программа случая успешно отметит целевой объект тестового изображения, она выведет отмеченное изображение с именем out.jpg в текущий каталог. Скопируйте файл out.jpg в Windows и используйте соответствующее программное обеспечение на стороне ПК для сравнения шин. jpg и out. jpg, результаты теста показаны ниже.

Рисунок 8

Рисунок 9.bus.jpg

Рисунок 10 out.jpg

На изображении out.jpg видно, что программа дела может правильно выбрать 4 человека и 1 автомобиль. Она также отображает текстовые метки людей и автобусов, а также уровни достоверности. Количество и информация помеченных объектов соответствуют информации, напечатанной программой. программа.

Описание типа целевого набора данных, идентификацию которого может поддерживать эта программа, находится в файле coco_80_labels_list.txt в каталоге bin. Пользователи могут проводить тестирование и проверку на основе соответствующих целевых типов.

Рисунок 11