Источник: Как NeRF и 3D Gaussian Splatting меняют SLAM: опрос

В ролях: Фабио Тоси, Юмин Чжан, Зирен Гонг, Эрик Сандстрем, Маттео Поджи, Стефано Матточча, Мартин Р. Освальд

Редактор: Облако точек PCL

Публичный аккаунт предназначен для обработки облаков точек.,SLAM,3D видение,Обмен полезным контентом, связанным с высокоточными картами и другими областями.,Приветствую всех желающих присоединиться,Если интересно, обращайтесьdianyunpcl@163.com。Статья не претендовала на оригинальность,В случае нарушения прав или копирования обращайтесь в WeChat Cloudpoint9527.

краткое содержание

За последние два десятилетия исследования в области одновременной локализации и картографии (SLAM) претерпели значительную эволюцию, подчеркивая ее решающую роль в обеспечении автономного исследования неизвестной среды. Эта эволюция простирается от ручных методов через эпоху глубокого обучения до недавних разработок, сосредоточенных на нейронных излучаемых полях (NeRF) и трехмерных гауссовых точечных представлениях (3DGS). Учитывая рост исследований в этой области и отсутствие полных обзоров, эта статья призвана предоставить первый всесторонний обзор прогресса SLAM через призму развития новейших технологий радиационного поля. В этой статье объясняются предыстория, путь эволюции, присущие преимущества и ограничения SLAM, а также она служит основным справочником для освещения динамичного прогресса и конкретных проблем в этой области.

Рисунок 1: Хронология развития SLAM. На этой временной шкале впервые показан переход от ручных методов к методам глубокого обучения и перечислены ключевые обзоры обеих эпох. В 2021 году ключевой сдвиг будет сосредоточен на системах SLAM на основе радиационного поля, символом которых является iMap [1]. Круг в правой части рисунка представляет ключевые статьи каждого года, а размер круга представляет количество публикаций. Внешнее кольцо 2024 года предвещает ожидаемый всплеск, подчеркивая растущий интерес к NeRF и SLAM, вдохновленному 3DGS.

Основные вклады

1. Первый обширный обзор разработки SLAM с особым акцентом на методы, основанные на NeRF и 3DGS.

2. Историческая справка и эволюция: представлен подробный график перехода от ручных методов к современным современным методам.

3. Углубленный анализ: 73 современные системы SLAM были тщательно исследованы, классифицированы и проанализированы на предмет их методологии.

4. Будущие направления: Подчеркните ограничения существующих методов и предложите будущие направления исследований для преодоления этих проблем.

Обзор контента

Эволюция технологии SLAM

Раннее развитие технологии SLAM в основном основывалось на искусственно созданных алгоритмах с использованием таких датчиков, как гидролокатор и LiDAR, для восприятия окружающей среды и построения карт. Хотя эти методы хорошо работают с точки зрения производительности и масштабируемости в реальном времени, они часто плохо работают в динамических средах и сценах с плохими текстурами. С развитием глубокого обучения технология SLAM открыла новые возможности. Глубокое обучение повышает точность позиционирования и построения карт благодаря мощным возможностям извлечения признаков. Тем не менее, эти методы полагаются на большие объемы обучающих данных и по-прежнему сталкиваются с проблемами при работе с невидимыми сценами. Поля нейронного излучения (NeRF) и технология 3D Gaussian Point (3DGS) представляют собой новейшие достижения в исследованиях SLAM. Эти методы обеспечивают более эффективное восприятие окружающей среды и построение карт за счет непрерывного моделирования поверхности и снижения требований к памяти. NeRF и 3DGS могут не только обрабатывать шум и окклюзию, но также создавать 3D-сетки высокого разрешения, что значительно повышает производительность систем SLAM.

Рисунок 3. NeRF и 3DGS концептуально различны. (Слева) NeRF запрашивает многослойный перцептрон (MLP) вдоль луча, а (справа) 3DGS смешивает гауссианы для данного луча.

Применение NeRF и 3DGS в SLAM

NeRFs — это метод трехмерного представления на основе нейронных сетей, который способен генерировать высококачественные трехмерные реконструкции путем изучения поля излучения сцены с разных точек зрения. NeRF хорошо справляется со сложной геометрией и сценами с высокой детализацией, предоставляя системам SLAM более точные возможности восприятия окружающей среды. 3DGS позволяет более эффективно создавать и обновлять карты, используя распределение Гаусса для представления облаков точек в трехмерном пространстве. 3DGS не только снижает требования к памяти, но также улучшает обработку шума и окклюзии, делая систему SLAM более стабильной в динамичных и сложных средах.

Набор данных

Этот раздел Подвести Итог Набор, обычно используемый в последних методах SLAM данные, охватывающие множество атрибутов, таких как датчики, точность истинного значения и другие ключевые факторы, подходящие для внутренней и наружной среды. На рис. 4 показаны результаты различных наборов. Качественные примеры данных, данный Набор данные будут представлены в следующих разделах.

Рисунок 4. Основной набор SLAM Качественное сравнение данных. Изображение RGB-D: (а) ETH3D-SLAM,(b) ScanNet ,(c) TUM RGB-D и (г) Replica。

Одновременная локализация и картографирование (SLAM)

Здесь мы представляем системы SLAM, которые используют последние достижения в представлении поля излучения. Статьи организованы в соответствии с таксономией, основанной на методах, и классифицируются в соответствии с их методами, чтобы предоставить читателям четкое и упорядоченное представление. Этот раздел начинается с базовой классификации, разделяющей статьи на методологии RGB-D, RGB и LiDAR, что закладывает основу для разработки конкретных подкатегорий. В каждой категории перечислены статьи, официально опубликованные на конференциях/журналах, по дате публикации, а затем ранжированы статьи, опубликованные на arXiv, по дате подачи первого черновика. Для всестороннего понимания в Таблице 1 представлен подробный обзор исследованных методов. Различные методы разделены на основные структуры на основе RGB-D, RGB и LiDAR.

Рисунок 5: Обзор iMap, новаторского метода нейронного неявного SLAM. (Слева) Иллюстрация двух параллельных процессов: отслеживания, оптимизирующего положение текущего кадра в заблокированной сети, и построения карты, которое совместно оптимизирует положение сети и камеры для выбранных ключевых кадров. (Справа) Дифференцируемые функции рендеринга используются для совместной оптимизации параметров сети сцены и положения камеры в ключевых кадрах.

Рисунок 6: Обзор GS-SLAM. Эта платформа использует трехмерные гауссовы представления сцен и визуализированные изображения RGB-D для обратного отслеживания камеры. Благодаря новой стратегии гауссовского расширения GS-SLAM обеспечивает отслеживание, построение карт и рендеринг в реальном времени на графическом процессоре, расширяя возможности реконструкции сцены.

Рисунок 7: 3D-визуализация по Гауссу. (Слева) Растровое распределение Гаусса, (справа) Распределение Гаусса раскрашено, чтобы выделить основную геометрию.

Рисунок 8: Визуализация подкарты. Нейронные подкарты постепенно распределяются по траектории сканирования, кодируя точную геометрию и цвет сцены в выделенных локальных системах координат.

Рисунок 9: Семантическая визуализация. 3D-семантическая сетка двух сцен из набора данных Replica (внизу) и их визуализация с использованием цветов RGB (вверху)

картина10：DEV-IndoorsНабор данных Обзор。(a) Изображения RGB, показывающие нормальные, размытые в движении и темные сцены, соответствующие (b) Ход событий и (c) Сетка основной истины.

Рисунок 11: Обзор PIN-SLAM. Вверху: (а) сканирование LiDAR, (б) неявная SDF, (c) сетка, восстановленная из SDF. Внизу: (d) Визуализация точечных неявных нейронных карт (PIN).

Рисунок 12: В ScanNet Набор Сравнение методов SLAM на данных - Реконструкция поверхности и точность локализации. Истинная траектория обозначена синим цветом, а предполагаемая траектория — оранжевым. Средняя ошибка траектории (ATE) отображается с помощью цветных полос.

Рисунок 13: В наборе реплики Сравнение методов SLAM на данных - Построение карты.

Три сцены Таблица 2 для ТУМ RGB-DНабор данных провел тщательный анализ результатов слежения камеры,Эти сцены имеют сложные условия, такие как скудная информация датчика глубины и сильное размытие изображения в изображениях RGB. Ключевые тесты включают такие признанные методы, как Kintinous, BAD-SLAM и ORB-SLAM2.,Представляет традиционную искусственную базовую линию.

В Таблице 3 показаны результаты в ScanNet Набор. Оценка методов слежения камеры по шести сценам данных. В области RGB-D выдающимися являются покадровые модели MoD-SLAM и GO-SLAM. Оба используют тщательно разработанную визуальную одометрию (например, DROID-SLAM) и стратегии замкнутого цикла, а GO-SLAM также включает глобальную настройку пакета (Global BA）。

Таблица 4 оценивает Реплику Набор Отслеживание камерой восьми сцен в данных с использованием лучших технологий, чем ScanNet и TUM. RGB-D и другие сложные соперники для изображений более высокого качества. Оценка включает ATE для каждого отдельного сценария. Сообщаются результаты RMSE, а также средние результаты.

В таблице 5,Основное внимание уделяется производительности 3D-реконструкции и 2D-оценке глубины на основе набора реплик данных. Проверьте форму,Значительные улучшения в показателях 3D-реконструкции и 2D-оценки глубины от iMap до последних методов, таких как NID-SLAM и ADFP, очевидны.

В таблице 6 показано качество рендеринга в представлении входных данных обучения реплики с использованием стандартных методов оценки Point-SLAM и NICE-SLAM.

Из таблицы 7 видно, что в Реплика Набор Сравнительный анализ современных методов семантического SLAM RGB-D на данных с использованием метрики mIoU для оценки производительности семантической сегментации входных представлений в соответствии с протоколом оценки SemGauss-SLAM. Сравнительные методы включают NIDS-SLAM, DNS SLAM、SNI-SLAM、NEDS-SLAM и SemGauss-SLAM. В таблице показано использование внешних априорных данных некоторыми методами для улучшения их возможностей семантического понимания. Среди сравниваемых методов в Replica Set используется SemGauss-SLAM. data набрала наивысшие баллы mioU во всех восьми сценах, продемонстрировав превосходную производительность в семантической сегментации.

поверхность8оценивается вKITTIНабор данныхначальствоLiDAR Эффективность стратегии SLAM с подробным описанием точности одометрии вверху и показателей эффективности SLAM внизу. В разделе одометрии сообщается средняя относительная ошибка поступательного дрейфа (%) и освещаются характеристики варианта PIN-SLAM PIN-LO с отключенными модулями коррекции обнаружения замыкания цикла и оптимизации графа положения. PIN-LO превосходит несколько систем одометрии LiDAR, использующих различные представления карты (характерные точки, более плотные точки с пониженной дискретизацией вокселей, преобразование нормального распределения, элементы поверхности и треугольные сетки), достигая улучшения ошибки перевода на 0,5%, конкурирует с KISS-ICP и CT- ICP и превосходит нейронный неявный метод Nerf-LOAM благодаря улучшенному обучению SDF и надежной регистрации «точка-SDF».

Таблица 9: отчеты Новее CollegeНабор Отслеживание точности данных в ATE RMSE [см] среднее среднеквадратическое отклонение PIN-SLAM для полного набора последовательностей составляет 0,19. см, что в 5 раз ниже, чем у PIN-LO, что еще раз подтверждает превосходство PIN-SLAM в глобальном отслеживании траектории.

В Таблице 10 суммированы новые CollegeНабор Результаты качества 3D-реконструкции данных — особенно в Quad и Math Институтская последовательность, баллы точности и полноты использовались для оценки эффективности Nerf-LOAM и PIN-SLAM, что еще раз было подтверждено в Наборе Все LiDAR оцениваются по данным Наилучшая производительность в системах SLAM. Особенно на Quad мы видим значительный разрыв в полноте между PIN-SLAM и Nerf-LOAM — около 7. cm。

В Таблице 11 приведены результаты тестов для систем RGB-D и RGB, работающих на реплике, в порядке возрастания среднего значения FPS. Во-первых, мы рассмотрим структуру RGB-D: хотя SlaTAM эффективен при рендеринге изображений, он намного медленнее при одновременной обработке отслеживания и сопоставления. Гибридный подход с использованием иерархических сеток объектов имеет аналогичную ситуацию, но требует гораздо меньше памяти графического процессора — в 4–5 раз меньше, чем SlaTAM. Наконец, использование представлений более высокого уровня позволяет ускорить обработку. Это подтверждается исследованием методов, использующих только RGB: средняя часть показывает, что NeRF-SLAM в 6 раз быстрее, чем DIM-SLAM. Наконец, что касается системы LiDAR SLAM, мы видим, что PIN-SLAM более эффективен, чем Nerf-LOAM, требуя всего 7 ГБ памяти графического процессора при работе со скоростью около 7 кадров в секунду, тогда как Nerf-LOAM требует около 12 ГБ и 4 секунды. за кадр.

обсуждать

представление сцены

представление Выбор сцен имеет решающее значение в текущих решениях SLAM и оказывает существенное влияние на точность картографирования/отслеживания, качество рендеринга и вычислительную мощность. Ранние методы, такие как iMAP, используют сетевые методы для неявного моделирования сцены с помощью многослойных перцептронов на основе координат (MLP). Хотя эти методы обеспечивают компактное, непрерывное моделирование сцен, они с трудом достигают реконструкции в реальном времени и часто создают слишком плавные реконструкции сцен из-за проблем обновления локальных регионов и масштабирования больших сцен. Последующие исследования изучали представления на основе сеток, такие как иерархические сетки с несколькими разрешениями и разреженные октодеревья, которые были популярны для быстрого поиска соседей, но требовали предварительного указания разрешения сетки, что приводило к низкой производительности на открытых пространствах. Память неэффективно использовать. и его способность захватывать детали ограничена разрешением. Недавние достижения, такие как Point-SLAM и Loopy-SLAM, имеют тенденцию к гибридному представлению точек нейронами. В отличие от сетки, плотность точек меняется естественным образом и ее не нужно указывать заранее. Точки концентрируются вокруг поверхности, а деталям присваивается более высокая плотность, что упрощает масштабирование и обновление локально, чем сетевые методы. В настоящее время точечные методы хорошо работают при 3D-реконструкции, как показано в наборе реплик. Эксперименты с данными показали, что они могут генерировать высокоточные 3D-поверхности. Однако, как и в случае с другими методами в стиле NeRF, объемная выборка лучей значительно ограничивает ее эффективность. К перспективным методам относятся методы, основанные на трехмерном гауссовском рассеянии (3D Gaussian Сплаттинг, явное представление парадигмы 3DGS. Явное представление на основе 3DGS обеспечивает высочайшую точность рендеринга, а также демонстрирует более высокую скорость рендеринга. Однако эти методы страдают от многочисленных ограничений, включая сильную зависимость от инициализации и отсутствие контроля над примитивным ростом в ненаблюдаемых регионах. Кроме того, оригинальное представление 3DGS сцены требует большого количества 3D-гауссовских примитивов для достижения высокоточной реконструкции, что приводит к значительному потреблению Память. Несмотря на значительный прогресс за последние три года, исследования по-прежнему активно преодолевают существующие представления. ограничения сцен и искать более эффективные альтернативы для повышения точности SLAM и производительности в реальном времени.

Забывание исторической информации.

Существующие методы часто демонстрируют тенденцию забывать ранее изученную информацию в больших сценах или длинных видеопоследовательностях. Для сетевых методов это объясняется тем, что они полагаются на одну нейронную сеть или глобальную модель с фиксированной емкостью, которая подвержена глобальным изменениям в процессе оптимизации. Распространенный подход заключается в обучении сети с использованием разреженной выборки лучей текущего наблюдения при воспроизведении ключевых кадров из исторических данных. Однако при крупномасштабном инкрементном отображении эта стратегия приводит к увеличению накопления данных, что требует сложных процедур повторной выборки для повышения эффективности памяти. Проблема забывания распространяется и на методы, основанные на сетке. Несмотря на усилия по решению этой проблемы, проблемы масштабируемости остаются из-за сложности квадратичного или кубического пространства. Хотя явные представления, такие как решения в стиле 3DGS, обеспечивают практические решения проблемы катастрофического забывания, они являются сложными, особенно в больших сценах, из-за повышенных требований к памяти и низкой скорости обработки. Некоторые методы пытаются облегчить эти ограничения за счет выборки разреженных кадров, но это приводит к неэффективной выборке информации в трехмерном пространстве, что приводит к более медленному и неравномерному обновлению модели по сравнению с методами, которые интегрируют выборку разреженных лучей. В конечном итоге некоторые стратегии предлагают разделить среду на подграфы и назначить локальные задачи SLAM разным агентам. Однако это порождает новые проблемы, связанные с обработкой нескольких распределенных моделей и разработкой эффективных стратегий управления перекрывающимися областями и предотвращения артефактов слияния карт.

ограничения в реальном времени

Многие технологии сталкиваются с проблемами при обработке данных в реальном времени, часто не достигая частоты кадров датчика. Это ограничение в основном связано с выбранной структурой данных карты или оптимизацией рендеринга на основе лучей с интенсивными вычислениями, что особенно очевидно в методах SLAM в стиле NeRF. В частности, гибридные методы, использующие слоистые сетки, требуют меньше памяти графического процессора, но работают медленнее. С другой стороны, расширенные представления, такие как хеш-сетки или разреженные вокселы, позволяют выполнять более быстрые вычисления, но требуют более высоких требований к памяти. Несмотря на это, современные методы в стиле 3DGS имеют преимущества в быстром рендеринге изображений, но по-прежнему трудно эффективно справляться с одновременной обработкой отслеживания и картографирования, что ограничивает их эффективное использование в приложениях реального времени.

глобальная оптимизация

Достижение замкнутого цикла и глобальных настроек пакета требует значительных вычислительных ресурсов, особенно в приложениях реального времени, где существует риск снижения производительности. Многие из рассмотренных методов преобразования кадра в модель сталкиваются с проблемами замыкания цикла и глобальной настройки пакета, поскольку вычислительная сложность обновления всей 3D-модели очень высока. Напротив, покадровые методы облегчают глобальную коррекцию, выполняя глобальные настройки пакета в фоновом потоке, что значительно повышает точность отслеживания, как показано в опубликованных экспериментах, но медленнее по сравнению с режимом реального времени. Для обоих методов вычислительные затраты значительно возрастают из-за отсутствия гибкости сетки скрытых признаков для корректировки позы для коррекции с обратной связью. На практике для этого требуется перераспределить сетку объектов и переобучить всю карту после исправления замыкания цикла и обновления позы. Однако эта проблема становится более очевидной по мере увеличения количества обрабатываемых кадров, что приводит к накоплению ошибок дрейфа камеры, что в конечном итоге приводит к противоречивым 3D-реконструкциям или быстрому срыву процесса реконструкции. В целом, разделение процессов картирования и отслеживания часто приводит к повышению эффективности отслеживания, чем совмещенные подходы. Отдельные подходы обеспечивают более точное и надежное отслеживание, позволяя модулю отслеживания сосредоточиться на оценке положения камеры без необходимости одновременного обновления представления карты. Однако эта повышенная точность и надежность достигается за счет увеличения вычислительных затрат, поскольку независимые этапы отображения и отслеживания требуют отдельных потоков обработки и выделения памяти, что может повлиять на общую эффективность системы SLAM.

Сравнение NeRF и 3DGS в SLAM

SLAM в стиле NeRF в основном опирается на MLP.,Подходит для новой композиции представлений, картографирования и отслеживания.,Но он сталкивается с такими проблемами, как чрезмерное сглаживание, забывание исторической информации и вычислительная неэффективность из-за использования попиксельного перемещения лучей. 3DGS обходит попиксельное марширование лучей,Использование разреженности посредством дифференцируемой растеризации на основе примитивов. Это обеспечивает SLAM явным объемным представлением, быстрым рендерингом, богатой оптимизацией, прямым градиентным потоком, увеличенной емкостью карты и явным контролем пространственных размеров. Хотя NeRF преуспевает в синтезе новых взглядов,Его медленная скорость обучения и трудности с адаптацией к SLAM являются существенными недостатками. 3DGS известен своим эффективным рендерингом, явным представлением и богатыми возможностями оптимизации.,Станьте мощной альтернативой. несмотря на это,Текущие методы SLAM в стиле 3DGS также имеют некоторые ограничения.,К ним относятся проблемы масштабируемости для больших сцен, отсутствие алгоритмов прямого извлечения сетки, неспособность точно кодировать точную геометрию и т. д. также,Вычислительная сложность 3DGS стиля SLAMсистемы существенно выше, чем метода NeRF.,Это может затруднить производительность в реальном времени и практическое развертывание.,Особенно на устройствах с ограниченными ресурсами. Чтобы облегчить эти проблемы,Недавние исследования, такие как Compact-GSSLAM,Сосредоточьтесь на разработке компактных 3D-гауссовских сцен.,для оптимизации эффективности хранения,При сохранении высококачественной реконструкции, быстрой сходимости обучения и возможностей рендеринга в реальном времени.

Подвести итог

Таким образом, этот обзор представляет собой новаторское исследование методов SLAM, на которое повлияли последние достижения в представлении полей излучения. В обзоре рассматривается обширная литература, появившаяся всего за три года, от новаторского iMap до недавних достижений. С помощью структурированной классификации и анализа выявляются ключевые ограничения и инновации, что дает сравнительные результаты и ценную информацию об отслеживании, картировании и рендеринге. Он также определяет текущие открытые проблемы и предлагает интересные направления для будущих исследований.