Изображение: Гибридная система трехмерного картографирования от грубого до мелкого с откалиброванной всенаправленной камерой и неповторяющимся LiDAR.

Авторы: Цзилян Мяо1, Бувэй Хэ1, Вэня Се1, Вэньцюань Чжао1, Сяо Хуан1, Цзянь Бай2 и Сяопин Хун

Редактор: Облако точек PCL

краткое содержание

В этой статье представлен новый мобильный робот 3D SLAM, оснащенный набором датчиков со всенаправленным полем зрения (FoV), включая LiDAR необычного обзора и всенаправленные камеры. Из-за необычных характеристик сканирования LiDAR с общим обзором предлагается метод автоматической бесцелевой совместной калибровки для одновременной калибровки внутренних параметров всенаправленной камеры и внешних параметров камеры и LiDAR, что полезно для объединения цветов. Крайне важно ввести информацию о текстуре в облака точек. Внутренняя калибровка на основе целевой цели и калибровка внешних параметров на основе взаимной информации (MI) сравнивались и анализировались соответственно. Благодаря этому набору откалиброванных датчиков гибридный мобильный робот SLAM объединяет режим SLAM на основе одометрии и стационарный режим SLAM. В то же время предлагается новый рабочий процесс для достижения грубого и точного SLAM, включая эффективный грубый SLAM с использованием режима SLAM на основе одометрии в глобальной среде с точки зрения планирования областей интереса (ROI) на основе грубых карт; с каждой точки зрения, а также выполнять более точное и точное сканирование и картографирование областей интереса. Сшивание точных карт с глобальными грубыми картами обеспечивает более эффективные и точные результаты, чем традиционные стационарные методы и новые методы, основанные на одометрии.

Основные вклады

• Представлен первый гибридный 3D SLAMроботсистема объединяет режимы одометрического и стационарного картографирования. Через единый всенаправленный необщий обзор Livox Mid-360 LiDAR может обеспечить согласованность облаков точек в двух режимах.
• Всенаправленные камеры были представлены в дополнение к всенаправленному LiDAR. Предлагается новый метод автоматической бесцелевой совместной калибровки для одновременной калибровки внутренних и внешних параметров.
• Демонстрируется автоматизированный рабочий процесс гибридного SLAM от грубого к точному, включая грубое картографирование на основе одометра в глобальной среде, планирование точек обзора в ROI и более точное неподвижное картографирование в точке обзора. Весь проект был выложен в открытый доступ на GitHub, чтобы способствовать развитию этой новой области.

Рисунок 1. Система 3D SLAM: (а) существующая система лазерного сканирования и мобильная система лазерного сканирования (б) предлагаемая гибридная роботизированная система;

Обзор контента

Стандартно калибруемый комплекс всенаправленных датчиков

Livox Mid-360 LiDAR имеет поле зрения (FoV) 360° × 55°, с неповторяющимся шаблоном сканирования, а облако точек со временем становится все более плотным (охват поля зрения близок к 100%), как показано на рисунке. на рисунке Как показано на 2б. Эта уникальная функция особенно полезна для режимов картографии на основе одометрии и стационарных режимов. Всенаправленная камера предоставляет информацию о цвете окружающей среды с соответствующим полем зрения 360° × 70° (рис. 2а). Два датчика синхронизированы и установлены на двухосном поворотно-наклонном устройстве (рис. 1b), расширяющем поле обзора до 360×300°.

Рисунок 2. Конфигурация датчика: (а) всенаправленная камера и Livox Mid-360 LiDAR, оба установлены на подвесе; (b) облако точек, накопленное с течением времени из-за неповторяющегося характера сканирования Livox LiDAR;

Благодаря неповторяющимся характеристикам сканирования LiDAR всегда можно получить чрезвычайно плотные облака точек, предоставляя реальную трехмерную наземную информацию для окружающей среды. Это облако точек с высоким разрешением можно проецировать на плоскость 2D-изображения с помощью значений пикселей отражения LiDAR, из которых можно извлечь четкие контуры. Чтобы выровнять края LiDAR и камер, совместная калибровка итеративно максимизирует соответствие проецируемых краевых точек LiDAR всенаправленным пикселям краев камеры. Оценка плотности ядра (KDE) используется для оценки распределения границ камеры с различной гладкостью распределения (путем регулировки коэффициента полосы пропускания) для получения глобального оптимального решения. Весь процесс совместной калибровки можно разделить на следующие два этапа (см. рисунок 3):

Рисунок 3. Предлагаемый процесс совместной калибровки. Значение серого представляет собой средний коэффициент отражения проецируемой точки LiDAR внутри пикселя.

Извлечение края:

1. Извлечение краев выполняется для камеры и LiDAR соответственно, объединение экспозиции и извлечение краев Canny используются для обработки изображения камеры, а алгоритм GICP используется для сшивания облака точек LiDAR.
2. Использование LiDAR для создания изображений в оттенках серого,Выполните извлечение ребер Canny еще раз.,Наконец, краевые пиксели идентифицируются в исходном трехмерном облаке точек.

Итеративная оптимизация:

1. Итерация по оптимизации всенаправленного пространства изображений,Преобразование краевых точек LiDAR в координаты изображения посредством проекции,Метод Левенберга-Марквардта и оценка плотности ядра используются для достижения максимизации вероятности.
2. Через несколько раундов итерации оптимизации,Постепенно уменьшайте пропускную способность,Достижение плавной аппроксимации общих параметров калибровки,Убедитесь, что в конечном итоге получены точные калибровочные значения.

Гибридный рабочий процесс SLAM от грубого до мелкого

Благодаря совместной калибровке и синхронизации полученные точки LiDAR представлены в координатах и ​​цветах. На этапе грубого картографирования метод одометра/SLAM используется для получения результатов собственной позы и движения робота, а отсканированные точки преобразуются и регистрируются. глобальная карта. На основе грубой карты планируются точки обзора для статического картографирования целевой территории. Робот последовательно перемещается к этим точкам обзора с помощью одометрии/SLAM и выполняет точное картографирование. В каждой точке обзора выполняется статическое сканирование, а затем все результаты позиционирования, состояние подвеса и статическое сканирование оптимизируются с помощью алгоритма GICP для формирования точной карты. Окончательная оптимизация GICP достаточно точна, чтобы обеспечить лучшие результаты локализации онтологии, что позволяет этому методу достичь удовлетворительных результатов при точном картографировании. Схема рабочего процесса представлена ​​на рисунке 5.

Рисунок 5. Предлагаемый рабочий процесс гибридного картографирования от грубого до мелкого

эксперимент

Предложенный метод совместной калибровки хорошо работает в трех естественных сценах. Ошибка проекции (в пикселях) определяется как расстояние от точки проекции LiDAR до ближайшей точки в целевом наборе. После оценки было обнаружено, что во всех сценах ошибка проекции находилась в пределах 3 пикселей или меньше, что свидетельствует об общей калибровке. эффективности. Цветные облака точек после обычной калибровки демонстрируют лучшую согласованность. Производительность этого метода лучше, чем традиционная целевая калибровка внутренних параметров и современная калибровка внешних параметров на основе взаимной информации. Рисунок 6 демонстрирует эффективность предложенного метода совместной калибровки в трех природных сценах.

Рисунок 6. Результаты совместной калибровки в трех сценариях: (a) краевые точки LiDAR, выровненные на изображении камеры (красный); (b) сравнение цветных облаков точек до и после совместной калибровки, показывающая среднюю ошибку проекции в пикселях;

Анализ результатов внутренней эталонной калибровки：существовать Анализ результатов внутренней эталонной калибровкисередина,Мы провели сравнение целевой калибровки внутренних параметров.,В качестве эталонного набора были выбраны 30 выбранных вручную шахматных досок. Результаты показывают,По мере увеличения количества шахматных досок,Калибровка более точная и стабильная. Однако,Для целевых методов требуется множество шахматных досок, равномерно и плотно расположенных вокруг датчика.,и вручную выберите подходящую шахматную доску,Это может оказаться неосуществимым и отнять много времени при проведении полевых операций. Вопреки этому,Метод совместной калибровки использует плотные точки LiDAR как богатые, комплексные и точные функции.,Устраняет искусственные цели и участие человека,Результатом является точный, эффективный и применимый в полевых условиях метод. По сравнению с традиционными методами,Результаты совместной калибровки показывают значительное улучшение производительности на том же эталонном наборе.

Рисунок 7. Сравнение с методом целевой калибровки внутренних параметров: (а) Тридцать позиций шахматной доски; (б) Графики ошибок проекции целевой калибровки (синий) и предлагаемой совместной калибровки (оранжевый).

Анализ результатов калибровки внешних параметров：На основе взаимной информации（MI）的外参标定方法存существовать准确性不足的问题,К основным причинам относятся условия освещения, свойства поверхности объекта и спектральные различия. Этот метод использует скорость отражения точек LiDAR и значение интенсивности серого пикселей камеры для калибровки.,Однако из-за различий в освещении и свойствах поверхности,И спектры разных цветовых материалов различны,Это привело к значительным различиям в интенсивности ответов. В сравнении,Предложенный метод совместной калибровки показывает более чувствительные и надежные градиенты функции стоимости, близкие к оптимальному решению.,Используя плотные точки LiDAR в качестве богатых, всеобъемлющих и точных функций.,Устраняет искусственные цели и участие человека,Обеспечивает более точное, эффективное и подходящее решение для калибровки для полевых операций.

Рисунок 8. Сравнение нормализованной функции стоимости предлагаемого метода и метода, основанного на взаимной информации. Оптимальное значение должно лежать в серой зоне, исходя из производственных оценок.

Результаты смешанного картографирования от грубого к точному:существовать南方科技大学校园的一座学术楼середина演示了提出的粗到精混合建图方法。Глобальная грубая карта имеет видFast-LIOсуществовать十分钟内生成,Область интереса (ROI) была выбрана на основе этой глобальной грубой карты (рис. 10а). в этом случае,В этой рентабельности инвестиций разумно запланировано пять точек зрения (рис. 10b).,И в каждой точке обзора было выполнено трехминутное сканирование с фиксированной точкой (рис. 10в).

Рисунок 10. Гибридное картографирование от грубого к точному: (a) глобальное грубое картирование на основе одометрии; (b) грубое картирование выбранной области интереса, маркеры, показывающие запланированные точки обзора; (c) точное картирование области интереса, цвет. Представляет сканирование соответствующей области; точка зрения

Глобальное черновое картографирование: с помощью Fast-LIO глобальное черновое картографирование было создано за десять минут. Это обеспечивает основу для всего процесса картирования и играет ключевую роль в последующем детальном картировании.

Планирование области интереса (ROI): на основе глобального грубого картографирования выбирается область интереса, которая содержит области, требующие более точного картирования. В выбранной области интереса было разумно запланировано пять точек обзора, чтобы предоставить информацию о местоположении для последующего сканирования с фиксированной точкой.

Сканирование с фиксированной точкой: в каждой запланированной точке обзора выполнялось трехминутное сканирование с фиксированной точкой с использованием LiDAR и камер для сбора богатого облака точек и информации о цвете. Этот шаг предоставляет точную информацию об изображении для раскраски облака точек при построении точной карты.

Рисунок 11. Сравнение грубого и точного картографирования: (а) Грубое и точное картографирование в трех сценах. В левом столбце показана крупномасштабная приблизительная карта, а в правом столбце — увеличенный вид сверху (для визуализации толщины стены), подробная карта (для визуализации толщины стены) и вид от третьего лица (для визуализации сцены). (b) Построение трех сцен. Точность картографирования; (c) Точность картографирования трех сцен; (d) Вид сверху точного картографирования, обработанный цвет; (e) Вид от третьего лица для точного картографирования ROI.

Оценка толщины плоскости. Количественная оценка грубого и точного картирования выполнялась путем выбора локальной плоскости с небольшим третьим собственным значением λ3 и предположения, что точки вдоль направления нормали к плоскости подчиняются распределению Гаусса. Результаты показывают, что точное картографирование значительно лучше грубого картографирования по точности.

Цветное картографирование. Используя точные результаты совместной калибровки, точки LiDAR успешно окрашиваются на основе информации изображения, создавая гибридное картографирование с информацией о цвете. Это помогает улучшить визуализацию и интерпретируемость картографии.

Сравнение с традиционными системами: по сравнению с широко используемыми в настоящее время системами TLS и MLS предлагаемая система демонстрирует более высокую гибкость и эффективность и является первой гибридной картографической роботизированной системой, способной автоматически планировать точки обзора. Предлагаемая система сравнивается с широко используемыми в настоящее время системами TLS и MLS в таблице I.

Подвести итог

В этой статье предлагается гибридная роботизированная система трехмерного картографирования грубого и мелкого картирования, основанная на всенаправленных камерах и неповторяющемся сканировании Livox LiDAR. Этот гибридный метод картографирования одновременно объединяет режимы одометрического и статического сканирования в мобильном картографическом роботе для достижения эффективного, точного и точного рабочего процесса картографии. В то же время предлагаемый метод автоматической и безцелевой совместной калибровки обеспечивает точные параметры для создания цветных карт. В частности, калибровка основана на краях, извлеченных из изображений камеры и отражений LiDAR, по сравнению с методами калибровки, основанными на взаимной информации, что может быть связано со свойствами отражения в источнике света, свойствами отражения поверхности объекта и спектральным отражением. в методе взаимной информации непоследовательны и неэффективны.