Источник: NV-LIO: LiDAR-инерциальная одометрия с использованием нормальных векторов для обеспечения надежного SLAM в многоэтажных средах

Автор: Донха Чунг и Джинван Ким

Редактор: Облако точек PCL

Публичный аккаунт предназначен для обработки облаков точек.,SLAM,3D видение,Обмен полезным контентом, связанным с высокоточными изображениями земли и другими областями.,Приветствую всех желающих присоединиться,Если интересно, обращайтесьdianyunpcl@163.com。Пожалуйста, не воспроизводите без разрешения автора,Все студенты приглашаются к активному обмену информацией и общению.

краткое содержание

За последние несколько десятилетий было разработано множество алгоритмов лидарно-инерциальной одометрии (ЛИО), демонстрирующих удовлетворительную работу в различных средах. Большинство этих алгоритмов были проверены в первую очередь на открытом воздухе, но часто сталкиваются с проблемами в стесненных помещениях. В таких помещениях надежная регистрация облаков точек становится сложной задачей из-за быстрых изменений результатов лидарного сканирования и повторяющихся структурных элементов, таких как стены и лестницы, особенно в многоэтажных зданиях. В этом документе предлагается NV-LIO, обычная векторная структура LIO, предназначенная для достижения одновременной локализации и картографии (SLAM) в помещениях с многоэтажными конструкциями. Этот метод извлекает векторы нормалей из лидарных сканирований и использует их для поиска соответствия, чтобы повысить производительность регистрации облака точек. Чтобы обеспечить надежную регистрацию, было проанализировано распределение нормальных векторных направлений и исследована деградация, чтобы скорректировать неопределенность сопоставления. Кроме того, реализован модуль замкнутого контура на основе точки зрения, чтобы избежать неправильных соответствий, заблокированных стенами. Предлагаемый метод проверен на общедоступных наборах данных и нашем собственном наборе данных. Код будет опубликован по адресу https://github.com/dhchung/nv_lio.

Основные вклады

В этой статье предлагается NV-LIO.,Сильно связанная ЛИОрамка, основанная на векторах нормалей.,Предназначен для многоэтажных закрытых помещений SLAM. Рамка использует способность проецировать плотные механические 3D-лидарные сканы в диапазон изображений.,Извлечь нормальный вектор из,При регистрации между отсканированными кадрами учитываются не только точки ближайших соседей.,Также учитывается угловая разница нормалей.,Повышена точность переписки при регистрации. В процессе согласования,Анализ распределения нормальных векторных направлений для оценки возникновения деградации.,Отрегулируйте неопределенность соответствия. Для обеспечения точного закрытия петли,Анализ видимости используется в процессе сопоставления отсканированных кадров и субкартины.,Предотвратите некорректное соответствие между разными помещениями или этажами. Основное для этой статьи вклады Может Подвести Итог таков:

• Представлена ​​тесно связанная структура LIO, которая использует векторы нормалей в плотных облаках точек механического лидара для достижения надежной регистрации в стесненных помещениях.

• Для решения проблемы ухудшения ситуации при регистрации облака точек, особенно в сценариях длинных коридоров или лестничных клеток, предложен алгоритм обнаружения ухудшения и соответствующий метод расчета ковариационной матрицы неопределенности регистрации.

• Предложенный алгоритм полностью проверен на различных наборах данных, включая оценку общедоступных наборов данных и наших собственных наборов данных, как показано на рисунке 1. Результаты валидации демонстрируют эффективность и разнообразие предлагаемого метода.

Рисунок 1: Результаты картирования здания KI KAIST (пятиэтажного здания) с использованием NV-LIO. (а) показаны общие результаты картографирования и лидарные траектории. (б) показано сравнение фотографии, сделанной внутри здания, с результатами картографирования.

Основное содержание

Обзор системы

На рисунке 2 показан обзор предлагаемого алгоритма. Компенсируйте движение при сканировании путем интеграции измерений гироскопа IMU. Обычные облака извлекаются путем проецирования облака точек с компенсацией движения с использованием сферической проекции. После выравнивания извлеченных нормальных облаков с использованием инерционных измерений относительное положение определяется посредством регистрации обычных облаков между фрагментами ключевых кадров. Кроме того, скорректированные измерения получаются посредством обнаружения с обратной связью на основе точки обзора. Эти результаты регистрации включаются в график как коэффициенты относительного положения, а измерения IMU также добавляются к графику посредством предварительной интеграции IMU. Посредством этой оптимизации графа поз оцениваются текущая поза и смещение IMU.

Рисунок 2: Структура предлагаемого алгоритма

предварительная обработка

Для получения точных векторов нормалей и результатов регистрации решающее значение имеет компенсация движения лидарных сканирований. Для этого используется угловая скорость, полученная ИИМ, в сочетании с расчетным смещением, принимая во внимание, что частота приема точек лидара (более 10000 Гц) значительно превышает частоту ИМУ (100 Гц), исходя из временная метка первоначально полученной точки с использованием IMU. Предполагаемое вращение интерполируется во времени. Этот процесс выполняется в системе координат лидара, чтобы облегчить последующий этап сферической проекции.

Сферическая проекция и извлечение нормальных векторов

Сначала облако точек лидара с компенсацией движения сферически проецируется для создания изображения глубины. Размер изображения глубины выбирается вручную на основе характеристик облака точек лидара, включая такие параметры, как количество каналов, горизонтальное разрешение и разрешение. поле зрения. Вектор нормали получается путем вычисления горизонтальных и вертикальных дифференциалов точек изображения глубины. Чтобы уменьшить влияние шума измерения расстояния, простое дифференцирование соседних пикселей не используется, а используется метод усреднения производной внутри окна. Результирующий вектор нормали преобразуется из сферических координат в декартовы координаты и при необходимости корректируется обратно. его направленная последовательность. Наконец, проверьте, образует ли вектор нормали консенсус с соседними точками в окне. Если расстояние между точками в окне и плоскостью меньше определенного порога и точек недостаточно, вектор нормали считается недействительным. В результате этого процесса извлекается обычное облако, содержащее нормальные точки. На рисунке 3 показан общий процесс извлечения векторов нормалей из входного облака точек.

Рисунок 3: Обычный процесс извлечения векторов

Обнаружение замыкания петли

В многоуровневых помещениях,Из-за повторяющихся структурных особенностей,Обнаружение глобальной обратной петли часто бывает трудно эффективно работать. Эта проблема особенно очевидна на лестничных клетках.,Повторяющиеся элементы на лестничных клетках могут привести к ложным ассоциациям между разными этажами. Поэтому в этом исследовании используется метод обнаружения петель, основанный на локальном сопоставлении на основе информации о текущем местоположении.,Вместо глобального поиска. Хотя такие методы, как ICP или GICP, часто используются в методах обнаружения локальной петли.,Они находят ближайшую точку по радиусу поиска как соответствующую точку,Но в узком помещении,Эти методы часто приводят к несовпадению. Это происходит главным образом потому, что внутренние помещения обычно состоят из нескольких разделенных зон.,Даже если положение лидара немного изменится,Результаты сканирования также могут существенно различаться. Чтобы решить эту проблему,Здесь представлено Обнаружение, основанное на точке зрения. замыкания Метод петель основан на проекционной технологии, описанной в литературе [15], для лучшего выполнения поиска соответствующих точек. На картинке 4 показан пример обнаружения замыкания цикла на основе точки обзора. Сначала постройте kd-дерево, используя положение каждого ключевого кадра, затем выберите ключевой кадр, ближайший к текущему кадру. Во время этого процесса ключевые кадры перед текущим кадром исключаются из дерева kd. Как только ключевой кадр-кандидат замыкания цикла идентифицирован, обычное облако ключевого кадра-кандидата преобразуется в лидарную позу текущего кадра. Затем он проецируется в соответствии с текущей точкой обзора лидара, как показано на снимке 4c. Среди точек, назначенных одному и тому же пикселю во время сферической проекции, сохраняется только ближайшая точка.

картина 4. Использование обнаружения петель на основе точки обзора для обнаружения между этажами замыкания пример петли

Обнаружение деградации

в помещении,Многие поверхности обычно располагаются параллельно друг другу.,приводящие к деградации. Например,В таких помещениях, как лестничные клетки или коридоры (как показано на рисунке 5),Вектор нормали к поверхности распространяется только в двух направлениях,В результате возникает трансляционная неоднозначность в остальных направлениях. Например,В случае лестничной клетки,Векторы нормалей стен, образующих лестничную клетку, распределены горизонтально.,Это обеспечивает высокую точность позиционирования в горизонтальном направлении.,Но в вертикальном направлении может быть неясность. Чтобы обнаружить это ухудшение и определить соответствующую неопределенность согласования,Авторы использовали анализ главных компонент нормальных векторов. Конкретный метод включает в себя вычисление ковариационной матрицы линейного алгоритма-вектора.,А о распределении вектора нормали судить по его собственным значениям. Размер наименьшего собственного значения может указывать на наличие деградации. В процессе согласования,Установите ковариацию измерения на основе нормального векторного распределения,для корректировки коэффициента соответствия в ухудшенных ситуациях,Обеспечьте точность позиционирования и стабильность системы.

Картина 5: Деградация лестничных клеток и коридоров.

позакартина

Картина позы включает в себя априорные факторы, заданные исходной позе.,Относительный коэффициент ориентации, полученный путем обычной регистрации облаков.,Коэффициент замыкания петли при обнаружении замыкания петли,и коэффициент IMU и постоянный коэффициент смещения от предварительной интеграции IMU. Измерения смещения IMU, отраженные в результатах оптимизации последнего положения, интегрированы.,для непрерывной оценки текущего кадра на частоте IMU. Если разница поз между текущим кадром и предыдущим кадром превышает определенный порог,Будет вставлен новый ключевой кадр. Изображение позы было построено и оптимизировано с помощью iSAM2рамка.

Детали реализации

В сферической проекции изображения изображения,Количество используемых пикселей устанавливается равным числу каналов, умноженному на 1024. Чтобы стабильно извлечь вектор нормали,Использование окон 3x3 в LiDAR с 32 или менее каналами,В LiDAR с более чем 32 каналами для расчета линейных векторов используется окно 5х5. Порог расстояния для нормальной регистрации облаков установлен на уровне 0,5 метра.,Размер вокселя понижающей дискретизации устанавливается равным 0,4 метра или 0,2 метра в зависимости от конкретного сценария. для ключевых кадров,Если разница углов относительно предыдущей позы ключевого кадра превышает 30 градусов или разница расстояний превышает пороговое значение.,Затем добавьте новый ключевой кадр. Этот порог расстояния устанавливается на уровне 1,0 метра или 0,5 метра в зависимости от характеристик здания. Порог расстояния для обнаружения с обратной связью установлен на 10 метров.

эксперимент

Чтобы оценить производительность предложенного алгоритма, мы использовали для тестирования различные наборы данных, которые были получены с помощью различных типов вращательного LiDAR в разных средах, включая набор данных SubT-MRS, Newer. Набор данных колледжа, а также наш собственный набор данных. Чтобы оценить эффективность предлагаемого метода в многослойных помещениях, мы используем для оценки многослойный набор данных SubT-MRS. Набор данных включает в себя данные, полученные четвероногим роботом, оснащенным 16-канальным LiDAR и IMU, который обследовал внутреннюю и внешнюю часть здания, с первого по третий этаж. Новее Набор данных колледжа был собран с помощью портативного устройства в кампусе и оценен с помощью LiDAR и его встроенного IMU. Что касается нашего собственного набора данных, то он был получен с помощью портативного устройства в нескольких зданиях кампуса Корейского института науки и технологий, как показано на снимке 6. Наш алгоритм сравнивается с общедоступными современными алгоритмами, такими как LIOSAM, Fast-LIO2, Faster-LIOиDLIO. Все тесты проводятся онлайн с использованием Intel. i7-12700 ЦП и 12-ядерные компьютеры.

картина 6: Система сбора данных для собственного набора данных этой статьи.

SubT-MRS Многослойные наборы данных: из-за SubT-MRS В концентрации данных отсутствует локус гнозиса, поэтому качественные результаты представлены, как показано на рисунке 7. Учитывая узкие коридоры и лестницы, размер вокселей всех алгоритмов установлен на 0,2 метра, а расстояние до ключевого кадра алгоритма на основе ключевых кадров (например, LIO-SAM, DLIO и NV-LIO) установлено на 0,5 м. Во время оценки Fast-LIO2 и LIO-SAM не удалось и поэтому не включено в результаты. Быстрее-ЛИО При каждом проходе по лестнице наблюдается значительный снос, из-за чего изображение земли формируется неправильно, как показано на изображении 7b. ДЛИО На лестнице сгенерировано неверное построение изображения, наблюдалось несовпадение ключевых кадров с разных этажей (картина7c). В отличие от этого, как показано на картинке7d, НВ-ЛИО Границы каждого этажа четко очерчены, что обеспечивает хорошую оценку состояния даже на лестничной площадке, что приводит к общему хорошему результату.

Изображение7:Последовательность данных SubT MRS и результаты набора

Newer College Набор данных: более новый College Результаты для набора данных показаны в Таблице I и Таблице II. Размер уменьшенного воксела для всех алгоритмов фиксирован и составляет 0,4 метра, NV-LIO. Для оценки расстояние вставки ключевого кадра установлено равным 1,0 метра.

Результаты показывают, что NV-LIO Нужна дополнительная предварительная обработка,Это приводит к увеличению среднего времени вычислений. Однако,в открытой среде,Он демонстрирует аналогичные или меньшие ошибки, чем современные методы.,демонстрируя при этом большую надежность в помещении. Особенно в очень узких помещениях (например, при наборе данных на лестнице) или в ситуациях быстрого движения.,Как наблюдалось в подземной концентрации жестких данных,Он работает хорошо.

Набор данных KAIST Architecture: на изображении 8 показаны результаты набора данных по лестнице в 5-этажном здании, представленном на изображении 1. Быстрый-LIO2 и Faster-LIO Хотя сбоя не было, постепенно накапливались ошибки, в результате чего форма лестницы стала кривой (картина8bи8c). ДЛИО В начале было обнаружено неправильное совпадение ключевого кадра, в результате чего на всей лестнице отсутствовал один этаж. Также есть проблемы с кривыми сборками из-за накопления ошибок (картина8d). С другой стороны, используйте NV-LIO Результат построения изображения (картина8e) демонстрирует вертикальную конструкцию, сохраняющую реальную форму лестницы. картина8fи8g показывает из Faster-LIO и NV-LIO Увеличенное изображение полученных результатов. Как указано стрелкой, из-за неправильного соответствия нижнего потолка верхнему этажу Фастер-ЛИО Не удалось правильно построить изображение при использовании NV-LIO. Учитывается направление вектора нормали, что позволяет избежать несоответствий и привести к правильным результатам.

изображение8: Результаты для создания собственного набора данных (лестничная клетка)

Кроме того, НВ-ЛИО Оценка проводилась в зданиях с разными характеристиками. На картине9а представлено здание стадионной формы с подземной парковкой и трехэтажным строением. На картине9б представлено здание, состоящее из пяти и шести этажей учебных комнат и учебных аудиторий, соединенных с трехэтажным зданием. Картина 9c описывает исследовательский центр, состоящий из подземного гаража и девяти надземных этажей. НВ-ЛИО Был успешно проведен онлайн-SLAM каждого эпизода данных продолжительностью около часа, что позволило качественно оценить результаты строительства. Все результаты последовательности построения набора данных доступны в нашем репозитории кода.

картина9: Результаты обследования зданий с разными характеристиками

Подвести итог

В этой статье представлен NV-LIO.,Это тесно связанная LiDAR-инерциальная одометрия, основанная на нормальной векторной системе координат.,Разработан специально для использования в помещении SLAM.,NV-LIOИспользовать изLiDARРегистрация облака точек с использованием нормальных векторов, извлеченных из сканирований.、Обнаружение деградации. Обнаружение с обратной связью для обеспечения надежной работы SLAM в узких помещениях. Предлагаемый метод оценивается на общедоступном наборе данных и нашем собственном наборе данных, содержащем различные типы зданий. эксперимент Результаты показывают, что NV-LIO превосходит существующие методы с точки зрения точности и надежности, особенно в сложных условиях внутри помещений, таких как узкие коридоры и лестницы.