Пожалуйста, не перепечатывайте без разрешения автора. Все студенты могут активно делиться информацией и общаться.

краткое содержание

За последнее десятилетие 3D-сенсоры стали одними из самых универсальных и распространенных датчиков в робототехнике. Во многих приложениях робототехники 3D-датчики стали лучшим выбором для таких задач, как обнаружение объектов ближнего поля и обход препятствий, обнаружение поверхностей и объектов, а также создание карт. В этой статье основное внимание будет уделено трем наиболее распространенным технологиям 3D-зондирования: бинокулярному CMOS-зрению (активному и пассивному), структурированному свету и методам времени пролета. Хотя данные LiDAR также являются трехмерными, в этой статье LiDAR не рассматривается.

стерео сенсор

Эти вездесущие датчики сочетают в себе хорошие общие характеристики и низкую стоимость. Существует два основных типа стереоскопических 3D-датчиков: пассивные и активные.

Пассивный стерео 3D-сенсорэто все3DСамый дешевый датчик,Потому что они используют готовые компоненты, которые легко доступны и дешевы в производстве.,также,Они доступны в различных базовых версиях.,Позволяет пользователям выбирать наиболее подходящий диапазон восприятия в зависимости от ситуации использования.,Однако,Большинство пассивных стерео 3D-сенсоров для эффективной работы полагаются на видимый свет.,Это означает, что они хуже работают в условиях низкой освещенности или ее отсутствия.

Активный стерео 3D-сенсорДобавлен инфракрасный порт.（IR）проектор узоров,Это повышает точность захвата 3D-данных.,Также повышает надежность в условиях низкой освещенности.。Однако,ИК-проекторы на этих датчиках имеют ограниченный радиус действия.,так что независимо от базовой линии эти датчики,Подходит только для работы на коротких и средних расстояниях. После добавления ИК-проектора,Эти датчики фактически становятся гибридным стерео/Структурированный датчик освещенности.

Что такое стереоскопические 3D-сенсоры:

1. Stereolabs Zed — Доступны в больших и маленьких размерах стерео 3D-сенсор с возможностью широкой и узкой базовой линии. Зед Мини японский Зед 2 имеет встроенный блок инерциальных измерений (IMU), который предоставляет данные о динамическом расходе.
2. Ensenso — стереоскопический 3D-датчик промышленного уровня с прочной конструкцией и возможностью подключения Gigabit Ethernet.
3. Occipital Structure Core — Активный со специальным ИК-проектором и встроенным IMU стерео 3D-сенсор для получения динамических данных. Доступны в виде встраиваемых модулей или датчиков в индивидуальной упаковке.
4. Intel RealSense — Серия D (D415, D435, D435i, D455) — это серия недорогих Геометрических стерео 3D-сенсор. В D435i добавлен встроенный IMU для динамической навигации, а в последней модели D455 расширен диапазон навигации среднего радиуса действия.

Структурированный датчик освещенности

Структурированный свет — наиболее распространенная форма трехмерного восприятия в робототехнике благодаря популярности оригинальных 3D-сенсоров PrimeSense, в число которых входил Microsoft Kinect первого поколения.

3D-датчик структурированного света сочетает в себе низкую стоимость и высокую точность получения 3D-изображений.,демонстрируя при этом хорошие характеристики в различных условиях освещения,Но есть одно заметное исключение: прямые солнечные лучи или яркий солнечный свет. Это потому, что Структурированный датчик Источник инфракрасного света, используемый силой освещенности, подавляется естественным инфракрасным светом солнечного света в той же полосе частот инфракрасного света. Аналогичен 3D-датчику стереовидения, Структурированный. датчик Сила также обеспечивает различные варианты длины базовой линии, подходящие для задач обнаружения на разных расстояниях между датчиком и целью.

Структурированный датчик освещенности Что там：

1. Orbbec Astra — недорогой 3D-сенсор со структурированной подсветкой, часто используемый в качестве замены оригинальному Microsoft Kinect.
2. Occipital Structure Датчик (новинок больше нет) — Первый автономный 3D-сенсор, разработанный специально для работы с Apple. Используется с мобильными устройствами, такими как iPad и iPhone. Совместимость с OpenNI для углубленной разработки приложений. Теперь на базе Occipital Structure Sensor Mark IIинициативастерео сенсорзаменять。
3. Microsoft Kinect V1 (новых продуктов больше нет) — Самый распространенный 3D-датчик потребительского уровня. Первоначально выпущенный для поддержки игр Xbox, Kinect первого поколения стал популярен среди ученых-роботов и хакеров, поскольку он добавил мощное 3D-распознавание для роботов, дронов и других платформ по низкой цене. Совместимость с OpenNI для углубленной разработки приложений.
4. PrimeSense Carmine (уже не новинка) — серия Carmine по своим характеристикам почти идентична оригинальному Microsoft Kinect, предлагая модели ближнего и среднего класса. В отличие от оригинального Microsoft Kinect, Carmine не включает в себя микрофонную решетку. Совместимость с OpenNI для углубленной разработки приложений.
5. Photoneo — Прочные 3D-датчики для промышленного применения, серия Photoneo phoXi доступна с различной базовой длиной.
6. Zivid — это серия структурированных световых 3D-датчиков с различной базовой длиной. В серии Zivid One используется соединение USB3, а в Zivid Two — соединение Ethernet CAT 6A.

Время полета (ToF)

Датчики ToF по сути являются датчиками LiDAR.,Также известен как LiDAR,Они излучают пакеты инфракрасных световых сигналов.,И запишите время, необходимое для возвращения инфракрасного светового сигнала. Хотя так же, как и Структурированный датчик освещенности, используется инфракрасный свет.,Но способ, которым датчики ToF отправляют и принимают световые сигналы, делает их менее чувствительными к помехам от яркого света и непрямого солнечного света. При использовании камеры ToF,Наличие источника света, освещающего всю сцену, позволяет датчику определять глубину во всех точках. Результатом может быть диаграмма диапазона,Каждый пиксель кодирует расстояние до соответствующей точки сцены. Вот пример диаграммы области действия ToF:

Время полета (ToF) датчики обычно имеют лучшую производительность, чем Структурированный. датчик освещенности Более широкий диапазон возможностей,и может работать точно на больших расстояниях。Однако,Они не могут обеспечить высококачественные 3D-изображения, такие как структурированный свет или стерео 3D-датчики.,поэтому,Они лучше подходят для таких задач, как помощь в навигации.,а не такие задачи, как осмотр поверхности.

Что такое TOF-сенсоры?

1. MicrosoftAzure Kinect - Последний представитель серии Kinect от Microsoft представляет собой компактный модуль ToF, оснащенный 12-мегапиксельной видеокамерой RGB, которая регистрируется в потоке глубины для достижения высококачественного цветного изображения и текстур. Лазурный Kinect также имеет встроенный IMU для динамического просмотра.
2. PMD Pico — простой и компактный 3D-датчик ToF, доступный как встроенный модуль или как отдельно упакованный датчик.
3. ASUS Xtion 2 – найти становится все труднее и труднее. Однако, как и оригинальный Microsoft Kinect, PrimeSense Carmine и оригинальный 3D-сенсор Occipital Structure Sensor, Xtion 2 совместим с OpenNI и может использоваться для разработки приложений, ориентированных на глубину.

Сравнение датчиков

При сравнении стереосенсорных датчиков со структурированным светом и сенсорами ToF основные факторы, которые следует учитывать при выборе 3D-сенсора, включают в себя:

• Производительность датчика
• Влияние на хостов
• экологические ограничения

Давайте подробно рассмотрим каждый фактор, а затем посмотрим на различия между каждым типом датчиков.

Производительность датчика

Основными параметрами, которые следует изучить здесь, являются дальность действия, разрешение и надежность.

Диапазон восприятияПожалуй, самый важный параметр,Потому что различные задачи роботов определяются областью, в которой они выполняются. Например,для Автономное Высокоскоростное создание карт окружающей среды для движения транспортных средств, обычно с использованием вращающихся блоков LiDAR, поскольку дальность их обнаружения может превышать 100 метров, что позволяет использовать их в автономном режиме. вождение Транспортное средство имеет хороший обзор удаленных препятствий еще до того, как достигнет их.。Однако,Эти же устройства LiDAR менее эффективны при визуальном осмотре с близкого расстояния.,Потому что для этих задач нужны датчики субметрового диапазона.,для обеспечения более высокой детализации и точности.

Для стерео- и структурированных световых 3D-датчиков,Диапазон является функцией базовой линии между оптикой самого датчика.,Эмпирическое правило,Чем шире базовая линия, тем дальше диапазон。такой же,Более узкая базовая линия приводит к более короткому Диапазон восприятие, Диапазон для датчиков с широкой базовой линией восприятие Начните с позиции, расположенной дальше от датчика. Это означает, что датчик с широкой базовой линией может игнорировать объекты, находящиеся на расстоянии менее 2 метров от датчика.,Датчики с более короткими базовыми линиями могут не иметь такого дальнего радиуса действия.,Но он может начать считывать в пределах 0,25 метра от датчика.,поэтому,Базовый уровень и результирующий диапазон становятся компромиссом между тем, насколько близко вас нужно, чтобы вас воспринимали, и насколько далеко вы должны, чтобы вас воспринимали, и вы можете получить только одно или другое, но не оба.

Радиус действия большинства 3D-датчиков начинается от 0,5–1 метра поперек датчика и достигает 3–6 метров. Обратите внимание, что в дальнем конце диапазона датчика разрешение и точность могут быстро падать. 3D-сенсоры ToF обычно имеют больший радиус действия, чем структурированные световые или стереоскопические 3D-сенсоры, и часто могут принимать надежные сигналы от объектов на расстоянии до 25 метров от датчика. Однако датчики ToF часто имеют чрезмерный шум и могут иметь более низкое разрешение, чем другие 3D-технологии аналогичной цены.

Когда дело доходит до разрешения, это зависит от обоих Восприятие также зависит от характера оптики, используемой датчиком. Структурированный датчик Разрешение освещенности ограничено плотностью проецируемого ими рисунка (который становится разреженным с расстоянием) и разрешением инфракрасной камеры, которая считывает узор, когда он падает на объекты и окружающую среду, которые необходимо обнаружить. стерео Разрешение сенсора ограничено собственным разрешением камеры, используемой в качестве сенсора. Для таких задач, как навигация, высокое разрешение не требуется, за исключением случаев, когда объекты, которые могут создавать препятствия, очень малы (например, для некоторых 3D-датчиков с низким разрешением удлинительные кабели могут находиться на грани обнаружения). Для таких задач, как проверка поверхности и 3D-моделирование, более желательно высокое разрешение. Поскольку эти задачи обычно выполняются на близком расстоянии, много структурированного света и стереоскопических изображений. сенсор идеально подходит для такого рода задач. Датчики ToF лучше всего подходят для задач навигации средней дальности или отслеживания скелета. Эти задачи не требуют восприятия с высоким разрешением, но могут выиграть от дальности и скорости работы датчиков ToF.

наконец,Поговорим о надежности. Для датчика,Это происходит в двух формах：данные Надежность сбора данных и механическая надежность。Надежность сбора данных зависит от ограничений, присущих каждому режиму датчика.。Например сенсор Для правильной работы требуется достаточное окружающее освещение в видимом спектре.。Напротив,Инфракрасные датчики, такие как структурированный свет и ToF, могут столкнуться с проблемами при воздействии слишком большого количества окружающего света.,Вызывает переэкспонирование выходного сигнала датчика и проблемы с целостностью данных.。Эти датчики также испытывают трудности с обработкой черных поверхностей.（Они поглощают инфракрасные волны.）и блестящая поверхность（Они рассеивают проецируемый инфракрасный свет.）。具有红外проектор узоров的инициативастерео Сенсор предлагает «лучшее из обоих миров» подход к надежности датчиков в различных условиях окружающей среды и освещения.

Механическая надежность часто является компромиссом, присущим конкретной модели датчика, или результатом снижения стоимости производителем. Многие датчики потребительского класса используют USB для передачи данных и питания; это приемлемо в лабораторных или испытательных условиях. Однако в реальных приложениях USB может работать нестабильно и подвержено ошибкам, что приводит к периодическим сбоям датчиков и повреждению данных. Ethernet более стабилен, но редко встречается в датчиках потребительского класса. Его чаще можно встретить на более дорогих датчиках промышленного класса, и это обязательное условие при принятии решения о покупке.

Влияние на хостов

Здесь мы обсудим энергопотребление、Рассчитайте ресурс, используя、Тепловыделение、данные Ключевые параметры, такие как передача и форм-фактор。всеробот Хозяинимеют ограниченные вычисления и энергопотреблениересурс,Роботы, дроны и другие устройства с возможностью машинного зрения часто представляют собой процесс балансировки ресурсов.,Когда несколько датчиков, двигателей, исполнительных механизмов и других компонентов конкурируют за ограниченный ресурс системы. Различные датчики по-разному влияют на систему. Например,По сравнению с пассивными стерео 3D-сенсорами,Датчики с активными инфракрасными (ИК) элементами требуют более высокой мощности. но,Пассивный стереосенсор с камерой с высоким динамическим диапазоном (HDR) может потребовать больше вычислений, чем Структурированный датчик освещенностиресурса.,Потому что изображения, которые они снимают, содержат более богатые данные. поэтому,При выборе датчика необходимо учитывать другие компоненты, необходимые для системы. Сходным образом,Для роботов и дронов,Передача и хранение данных обычно ограничены. Приведите другой пример,Используйте 3D-сенсор с поддержкой HDR.,Учитывая огромный размер потоков данных, захватываемых и передаваемых,Может даже создать нагрузку на сильные сети Wi-Fi.

Наконец, соображения промышленного дизайна могут ограничить доступные варианты датчиков. Эти соображения включают размер и вес датчика (особенно важно для легких устройств, таких как дроны), а также способность датчика рассеивать тепло. Последнее особенно важно для датчиков, оснащенных инфракрасным портом. Лазерные инфракрасные элементы в этих датчиках работают в определенном температурном диапазоне, чтобы поддерживать свою рабочую полосу пропускания. Температуры, отклоняющиеся даже на несколько градусов по Фаренгейту от диапазона рабочих температур, могут вызвать значительные изменения в показаниях датчиков, искажая генерируемые данные и делая их бесполезными. Поэтому необходимо учитывать вентиляцию или изоляцию этих датчиков в среде, в которой они используются.

экологические ограничения

Обсуждая здесь два основных параметра окружающего освещения и возможности подключения, ранее уже упоминалось, что многие датчики чувствительны к окружающему освещению, но это стоит подчеркнуть еще раз. Для роботов проблемы с освещением являются одной из наиболее частых причин выхода из строя 3D-датчика. Робот, который хорошо работает в лабораторной среде с постоянными условиями освещения, внезапно начнет испытывать серьезные и периодические сбои, если его поместить в реальную среду и столкнуться с изменяющимися и непостоянными условиями освещения, поэтому при выборе датчиков следует понимать их развертывание. Очень важно учтите все варианты освещения, которые могут присутствовать в датчике, и учтите их при выборе датчика.

Возможность подключения также является важным фактором. Если данные датчиков должны обрабатываться и использоваться локально, то подключение не является проблемой, однако для роботов, которые будут развернуты в средах с более низкой пропускной способностью, данные датчиков должны быть сжаты или отфильтрованы на хосте перед передачей, или необходимо использовать варианты с низкой пропускной способностью. быть выбрана полоса пропускания типа датчика (например, ToF). Опять же, важно протестировать пороговые значения размера пакета при реалистичных ограничениях пропускной способности, поскольку лабораторная среда может не полностью выявить проблему. Была создана удобная диаграмма, показывающая различные роботизированные задачи и 3D-датчики, подходящие для этих сценариев.

Ссылки

https://hackernoon.com/3-common-types-of-3d-sensors-stereo-structured-light-and-tof-194033f0

https://www.seeedstudio.com/blog/2020/07/03/3d-imaging-technology-comparison-tof-time-of-flight-vs-stereo-vision-m/

ресурс

Совместное использование автономного вождения и позиционирования

[Быстрое чтение документов об облаках точек] Одометр на основе лидара и метода позиционирования на трехмерной карте облака точек

Обнаружение движущихся объектов на основе оптического потока при автономном вождении

Калибровка внешних параметров камеры на основе семантической сегментации

Обзор: Введение в теоретические модели и восприятие панорамных камер «рыбий глаз» для автономного вождения

Обзор методов автономного позиционирования транспортных средств в условиях высоких скоростей

Patchwork++: быстрый и надежный метод сегментации земли на основе облаков точек.

PaGO-LOAM: наземная оптимизированная лидарная одометрия

Мультимодальный метод обнаружения и фильтрации края дороги

Платформа для одновременной калибровки, позиционирования и картографирования нескольких лидаров.

Извлечение, картографирование и долгосрочное позиционирование стержней в динамичной городской среде.

Коррекция искажений движения лидара непериодического сканирования

Быстрая и тесно связанная разреженная прямая радиолокационная инерционно-визуальная одометрия

3D-обнаружение транспортных средств на основе камер и лидара низкого разрешения

Инструменты аннотаций и наборы городских данных для семантической сегментации трехмерного облака точек.

Базовое введение в начало работы с ROS2

Автоматическая калибровка твердотельных лидаров и систем камер

Решение для позиционирования датчиков с помощью лидара+GPS+IMU+колесного спидометра

Отображение и позиционирование дорожных сцен на основе скудных семантических визуальных особенностей.

Обнаружение транспортных средств на дорогах и тротуарах в режиме реального времени на основе лидара при автономном вождении (код с открытым исходным кодом)

Инструменты аннотаций и наборы городских данных для семантической сегментации трехмерного облака точек.

Больше статей можно посмотреть：Краткое изложение статей по истории обучения облакам точек

Обмен, связанный с SLAM и AR

Введение в принципы TOF-камеры

Введение в времяпролетную камеру глубины TOF

Структурированный PLP-SLAM: эффективное решение для разреженного картографирования и позиционирования для монокулярных, RGB-D и бинокулярных камер с использованием точек, линий и поверхностей.

Оптимизированное решение F-LOAM с открытым исходным кодом: на основе оптимизированного SC-F-LOAM.

[Обмен решениями с открытым исходным кодом] ORB-SLAM3 имеет открытый исходный код!

[Быстрое чтение статьи] AVP-SLAM: Семантический SLAM в автоматических парковочных системах

[Краткое чтение статей об облаках точек] StructSLAM: SLAM структурированных линейных объектов

Обзор SLAM и AR

Часто используемые 3D-камеры глубины

Обзор и оценка алгоритма монокулярной визуальной инерциальной навигации SLAM для AR-оборудования

Обзор SLAM (4) Laser and Vision Fusion SLAM

Система Semantic SLAM для реконструкции в реальном времени от Kimera

Обзор SLAM (3) — Vision и инерциальная навигация, Vision и глубокое обучение SLAM

Легко расширяемая платформа SLAM — OpenVSLAM

Гао Сян: Проблемы неструктурированного дорожного лазерного SLAM

Введение в метод SLAM на основе камеры «рыбий глаз».

Если в приведенном выше содержании есть какие-либо ошибки, пожалуйста, оставьте комментарий. Исправления и обмен приветствуются. Если есть какие-либо нарушения, пожалуйста, свяжитесь с нами, чтобы удалить их.