оригинал:Прогресс и тенденции исследований по сжатию облаков точек

Оборудование для активного сбора данных, представленное лазерным сканированием, становится все более зрелым с точки зрения простоты эксплуатации, маневренности, интеллекта и эффективности. Оно использует технологию трехмерной визуализации для сбора такой информации, как пространственные координаты, цветовая текстура и интенсивность отражения плотных точек. может достичь высокой точности. А быстрая реконструкция трехмерного объекта измеряемой цели играет очень важную роль в научных и инженерных исследованиях, таких как инженерные изыскания, биомедицина, умные города, виртуальная реальность (VR) и дополненная реальность (AR). ) [1-4].

Благодаря постепенному улучшению производительности многоплатформенного оборудования для сбора данных с разными разрешениями датчики 3D-изображений могут получать массивные наборы точек с пространственным местоположением и информацией об атрибутах из 3D-сцен, а также получать многоуровневые модели облаков точек, предоставляя пользователям яркие и реалистичные изображения. Визуальный опыт с чрезвычайно интерактивными и захватывающими эффектами. Модели облака точек обычно содержат от сотен тысяч до десятков миллионов точек в пространственной области. Без сжатия для модели облака точек с 1 миллионом точек на кадр скорость передачи 30 кадров/с занимает общую полосу пропускания 1 секунду. 3600 мегабит, что создает нагрузку и проблемы для емкости хранилища и пропускной способности сети [5], поэтому исследования по кодированию сжатия данных облака точек имеют большое значение.

В прошлом из-за ограничений вычислительной мощности компьютера и эффективности сбора облаков точек метод построения сетки или выборки по требованию в основном использовался для сжатия и передачи модели облака точек, что приводило к низкой производительности пространственно-временного сжатия и потере геометрических данных. информация об атрибутивном объекте.

В настоящее время исследователи в основном используют компьютерную графику и цифровую обработку сигналов в качестве отправной точки для оптимизации методов сжатия облака точек путем реализации блочных операций над данными облака точек [6-10] или комбинирования технологии видеокодирования [11-13]. Группа экспертов по движущимся изображениям (MPEG) объявила конкурс предложений по сжатию облаков точек в 2017 году, а в 2018 году выпустила единую исследовательскую систему кодирования сжатия моделей облаков точек.

В настоящее время не существует метода, который мог бы адаптироваться к экспоненциальному увеличению емкости данных облака точек и достичь баланса между высокой степенью сжатия, низкой степенью искажений и вычислительными затратами. Таким образом, он эффективно повышает эффективность сжатия и кодирования геометрической информации и атрибутивной информации облака точек, что позволяет не только эффективно справляться с хранением и передачей массивных данных облаков точек, но также сохранять макроинформацию и подробные характеристики по требованию на протяжении всего процесса. обработка и применение данных облака точек.

В этой статье основное внимание уделяется сжатию. облака Ядро кодирования точек с упором на прогресс исследований геометрии облаков точек и сжатия атрибутов, Набор общедоступных данных о сжатии облака точек、сжатие облака точкираскрывает три аспекта, включая оценку производительности эталонного алгоритма, и проводит исследование по сжатию. облака Рассмотрены важные направления развития точек.

01  Прогресс в исследованиях сжатия облаков точек

Спрос на решения для кодирования сжатия облаков точек растет с каждым днем. Самые влиятельные в мире специалисты в области MPEG, а также отечественные и зарубежные ученые работают вместе над изучением стандартной структуры сжатия облаков точек, стремясь создать полноценную систему сжатия облаков точек для эффективной работы с множеством изображений. -Исходная и многомасштабная задача сжатия облаков точек сцены. В литературе [15-16] проводится обзор и обзор современных методов сжатия облаков точек с точки зрения технологии сжатия пространственных измерений и структуры стандартизации MPEG соответственно.

1.1 Классификация методов сжатия облака точек

Задачи сжатия облака точек можно разделить на разные типы в соответствии с различными стандартами: (1) Классификация по качеству восстановления (2) Классификация по пространственным размерам; 4) Классификация на основе классификации типов информации. В таблице 1 обобщены современные методы сжатия облаков точек в соответствии с различными критериями классификации.

поверхность1 Классификация методов сжатия облака точек Краткое содержание

По качеству восстановления информации сжатие облака точек подразделяется на сжатие без потерь и сжатие с потерями. Сжатие без потерь делает структуру данных более компактной за счет выявления и устранения статистической избыточности. Декодированное облако точек такое же, как и исходное облако точек, включая количество точек и атрибутивную информацию, связанную с каждой точкой. Этот метод максимально сохраняет характеристики исходных данных, поэтому производительность сжатия ограничена. Сжатие с потерями уменьшает объем данных за счет удаления ненужной, визуально бесполезной информации посредством квантования, оставляя некоторые различия между исходными данными облака точек и декодированными данными облака точек. Этот подход использует соответствующий контроль искажений скорости, тем самым балансируя воспринимаемое качество данных и скорость передачи данных.

В соответствии с различными методами обработки сжатие облака точек делится на традиционные методы сжатия и методы сжатия на основе глубокого обучения. Сначала традиционный метод выполняет серию прогнозирующего кодирования на основе структурного разделения облака точек для удаления части избыточности, затем посредством преобразования и квантования облако точек в пространственной области преобразуется в частотную область и преобразование; коэффициенты сжимаются; наконец, дальнейшее сжатие осуществляется посредством энтропийного кодирования. Этот тип метода по-прежнему скрывает большое количество избыточной информации в процессе представления, такой как повторяющиеся локальные структуры и категории объектов с очевидными характеристиками формы. Ожидается, что эта избыточная информация будет использоваться для дальнейшего снижения скорости передачи данных во время процесса сжатия. Метод глубокого обучения кодирует данные облака точек в скрытые представления с помощью сверточных нейронных сетей, а затем количественно определяет скрытые функции. На основе модели энтропии обучения и энтропийного кодирования вероятность появления каждого символа во входном контексте сжимается и генерируется в виде. поток битов, что требует обучения. Для получения нелинейных преобразований на стороне кодера и декодера получается большое количество выборок данных облака точек. Методы сжатия облаков точек на основе глубокого обучения могут лучше адаптироваться к локальной структурной сложности и, следовательно, имеют потенциал в качестве будущих эталонных инструментов кодирования.

В соответствии с характеристиками пространственных измерений сжатие облака точек делится на одномерное сжатие обхода, сжатие двумерного отображения и трехмерное декорреляционное сжатие. Метод разделения на основе измерений напрямую определяет простоту доступа к точечным данным, тем самым влияя на удобство доступа к точечным данным. эффективность сжатия. Во-первых, метод одномерного сжатия создает соединение на основе дерева, используя отношения соседства на расстоянии между каждой точкой, затем последовательно обходит каждый узел связующего дерева, чтобы преобразовать геометрические данные в одно измерение для адаптации к прогнозируемому сигналу; Этот метод обеспечивает относительно простую реализацию, но не полностью учитывает трехмерную пространственную корреляцию, что сильно ограничивает производительность сжатия. Метод двумерного сжатия интерпретирует облако точек как двумерное дискретное многообразие в трехмерном пространстве и кодирует облако точек посредством сопоставления, построения сетки и кодирования изображений. Этот метод сжатия включает процесс сопоставления, что приводит к частичному искажению информации. . Метод трехмерного сжатия использует стабильную структуру для разложения пространства, в котором расположено облако точек, а затем прогнозирует и преобразует структуру для уменьшения избыточности. Приведенные выше результаты дополнительно кодируются для сжатия облака точек. облако точек во внимание. Характеристики, приобретение и применение стали основными направлениями исследований методов сжатия.

В зависимости от типа информации сжатие облака точек делится на сжатие геометрической информации и сжатие атрибутивной информации. Последнее обычно включает предварительную обработку и требует установления соответствующей связи с геометрической информацией. Сначала облако точек структурируется на основе различных структур данных, таких как деревья, линейные элементы, элементы поверхности и блоки, затем выполняется серия операций прогнозирующего кодирования, кодирования с преобразованием, квантования и энтропийного кодирования и, наконец, битовый поток; получается.

1.2 Сжатие геометрической информации

Методы геометрического сжатия облаков точек в основном основаны на древовидной структуре или организации блочной структуры и разделении облаков точек. Путем описания и кодирования структурированных облаков точек в литературе [24] предложен метод геометрического кодирования, основанный сначала на операции XOR. выполняется между соседними кадрами, затем результат операции кодируется с использованием октодерева; Этот метод позволяет не только достичь высокой эффективности сжатия, но и эффективно снизить сложность вычислений при кодировании. Это рекомендуемый алгоритм сжатия облака точек в Библиотеке облаков точек (PCL). В литературе [50] используется бинарная древовидная структура для разделения неупорядоченных облаков точек на подпространства, алгоритм коммивояжера для предсказания геометрической информации внутри каждого подпространства и алгоритм сжатия без потерь PAQ мелкой нейронной сети для завершения кодирования остатка предсказания. Однако сжатие с использованием только методов кодирования древовидной структуры или блочной структуры не полностью использует пространственную корреляцию между облаками точек, что приводит к кодированию большого количества избыточной информации, что значительно ограничивает производительность сжатия.

Улучшенный метод следует основной идее аппроксимации древовидной структуры или блочной структуры и добавляет модель треугольной поверхности [77], модель планарной поверхности [51, 70] или алгоритм кластеризации [71] для управления межуровневым прогнозированием и вычислением остатков. . Чтобы повысить эффективность вычислений сжатия, в литературе [69] предложена концепция иерархического сжатия. Сначала структура октодерева используется для реализации грубого кодирования и выражения облаков точек, а затем, на уровне улучшения, графического Фурье; Преобразование используется для реализации деталей облака точек. Сжатие и реконструкция в настоящее время являются наиболее эффективным методом сжатия геометрической информации облака точек. Кроме того, в литературе [33] предлагается структура сжатия облака точек для больших городских сцен. Сначала итеративно обнаруживается самая большая плоскость во всем облаке точек, затем используется метод триангуляции Делоне для разложения плоскости, наконец, треугольники и плоскости; разложенный Кодируется площадь и количество точек.

В литературе [66] геометрические фигуры неявно представляются как наборы уровней функций расстояния со знаком, используется меньше коэффициентов для представления почти плоских поверхностей, резервируется больше коэффициентов для сложных изогнутых поверхностей и выполняется квантование и энтропийное кодирование базовых коэффициентов.

Ссылаясь на прогресс, достигнутый глубокими нейронными сетями в сжатии изображений и видео, теоретически избыточная информация, основанная на сверхприоритетном руководстве и выражении скрытого пространства, может использоваться в процессе сжатия для дальнейшего снижения скорости передачи данных. В литературе [75, 84] предложен метод геометрического сжатия облака точек, основанный на глубоком обучении. Сначала используется кодер нейронной сети для изучения неявных векторов высокого порядка облака точек, затем арифметическое кодирование, кодирование длины серии и другая энтропия; методы кодирования используются для кодирования неявных векторов. Наконец, декодер нейронной сети используется для восстановления трехмерного облака точек. Основанный на сверточных нейронных сетях (CNN), он широко используется для извлечения признаков, обнаружения целей, кодирования изображений и т. д. В литературе [86] предложен метод сжатия, сочетающий CNN с автокодировщиками, который может эффективно использовать избыточность между соседними точками и Указывает на адаптируемость к кодированию данных. Чтобы улучшить степень сжатия скрытого векторного кодирования, в литературе [86] предложен метод сжатия облака точек, основанный на вариационном кодировщике (VAE). Путем изучения суперприора скрытых векторов вероятность кодирования энтропийной модели согласуется с вероятностью кодирования. скрытый вектор. Предельные вероятности более согласованы, что снижает потребление памяти при арифметическом кодировании.

1.3 Сжатие атрибутивной информации

Сжатие атрибутов направлено на уменьшение избыточности между атрибутами облака точек и в основном основано на восстановленной геометрической информации. Сначала оно иерархически разделяется на трехмерное пространство на основе геометрической информации, затем достигается баланс между производительностью сжатия и точностью выполнения последующего прогнозирования. трансформировать кодирование. При сжатии очень важно выбрать соответствующие алгоритмы прогнозирования и преобразования в соответствии с реальными потребностями. Направления исследований ученых условно делятся на две категории: операции декорреляции над облаками точек на основе технологии обработки сигналов и в сочетании с технологией кодирования изображений и видео. ; на основе преобразования графов. Идея состоит в том, чтобы обрабатывать данные облака точек в блоках и слоях.

Сжатие атрибутов облака точек, в котором преобладает обработка сигналов, обычно относится к методам обработки сигналов и технологии кодирования видеоизображений для достижения прогнозирующего кодирования и кодирования преобразования данных облака точек. В литературе [37] кодирование атрибутов облака точек выполняется на основе плоского режима внутрикадрового предсказания при видеокодировании. Сначала пространство облака точек разделяется на базовые единичные блоки, затем находятся соседние блоки вдоль трех ортогональных базовых направлений; прогнозируемый блок, на основе атрибутов облака точек в соседнем блоке в сочетании с алгоритмом ближайшего соседа, наконец, получают значение атрибута на соседней поверхности прогнозируемого блока, значение прогнозирования атрибута каждой точки в прогнозируемом блоке; блок получается путем обращения к плоскому режиму. В литературе [41] представлен метод сжатия, основанный на предположении геометрического кодирования, сначала значения атрибутов облака точек сопоставляются со структурированной сеткой в ​​порядке обхода по глубине, а затем прогнозирования атрибутов; кодирование, дискретное косинусное преобразование и энтропийное кодирование.

Чтобы улучшить производительность сжатия моделей облаков точек обработки сигналов, ученые предложили использовать графические методы для дальнейшего использования корреляции данных облака точек для кодирования. Содержание исследования на основе преобразования графов включает в себя рациональность разделения пространства и равномерность размеров каждого подграфа. В литературе [32] предложен метод сжатия атрибутов облака точек, основанный на преобразовании графа (GT). объемно-кодированное через древовидную структуру. Воксели разделяются, и соседние отношения вокселов используются для построения матрицы Лапласа графа, затем выполняется разложение матрицы Лапласа по собственным значениям для получения матрицы преобразования графа GT и GT; используется для декорреляции избыточной информации атрибута. Реализация сжатия атрибутов облака точек. Чтобы снизить сложность метода GT, в литературе [40] предложен регионально-адаптивный алгоритм сжатия послойного преобразования, который достигает пикового отношения сигнал/шум, сравнимого с GT, за счет сжатия и кодирования коэффициентов в поддиапазонах, при этом значительно снижение вычислительной сложности. Для дальнейшего изучения статистических свойств атрибутов облака точек в литературе [44] используется стационарный гауссов процесс для моделирования атрибутов облака точек, что значительно повышает производительность сжатия атрибутов облака точек. Чтобы уменьшить остаточную ошибку прогнозирования атрибутов, в литературе [56-57] использовались алгоритм кластеризации K-средних и алгоритм среднего сдвига соответственно для кластеризации данных облака точек, поскольку точки со схожей информацией об атрибутах собираются вместе во время кластеризации, тем самым оптимизируясь. остаточный размер прогнозирования атрибутов и повышение точности прогнозирования.

Быстрое развитие глубокого обучения привело к развитию технологии сжатия данных, и некоторые эффекты производительности намного превосходят традиционные методы сжатия изображений и видео, что придает большое справочное значение сжатию облаков точек. В литературе [92] предложен метод атрибутов облака точек, основанный на сети глубокого обучения. Сначала атрибуты облака точек отображаются в свернутом двумерном многообразии, затем для сжатия используется традиционный алгоритм энтропийного кодирования; используется для декодирования. Инструмент восстанавливает трехмерные облака точек. Методы сжатия атрибутов облака точек на основе глубокого обучения могут лучше адаптироваться к локальной геометрической сложности и, следовательно, имеют потенциал в качестве будущих инструментов эталонного кодирования.

02  Набор общедоступных данных о сжатии облака точек

Стандартная структура сжатия облаков точек MPEG анонсировала три основных набора тестовых данных для облаков точек [100]: статические облака точек для представления статических объектов и сцен, динамические облака точек для иммерсивного видео и приложений виртуальной реальности, а также автоматическое вождение. Динамическое получение облаков точек с навигацией. Все тестовые последовательности можно загрузить с официального сайта MPEG.

Для статических и динамических облаков точек компании Microsoft и 8i в основном используют лазерные сканеры, инфракрасные камеры глубины и другие средства для получения геометрической информации о цели. Несколько датчиков или камер формирования изображения получают цель со скоростью передачи 30 кадров в секунду. Информация об атрибутах, включая сбор информации о цвете и вычисление стереоскопической глубины. Статическое облако точек и данные динамического облака точек показаны на рисунке 1.

Рисунок 1. Схематическая диаграмма статического облака точек и данных динамического облака точек.

Для динамического получения облаков точек используется мобильная картографическая система, оснащенная инерциальным датчиком (IMU), глобальной навигационной спутниковой системой (GNSS), лидаром и камерой цветового пространства RGB. Среди них GNSS и IMU используются для определения положения транспортного средства в реальном времени, лидар используется для захвата геометрической информации о цели, а камера RGB с цветовым пространством получает атрибутивную информацию о цели путем съемки изображений или видеопоследовательностей. . Благодаря этапам предварительной обработки, таким как объединение данных из нескольких источников, удаление избыточных точек и точек-выбросов, полученные данные облака точек включают геометрическую информацию, представленную трехмерными координатами, и информацию об атрибутах, такую ​​​​как цвет и отражательная способность, связанную с каждой точкой, и динамически получаются. точки. Облачные данные показаны на рисунке 2.

картина2 Динамическое получение данных облака точеккартина

03  Индекс оценки сжатия облака точек

Эффективность сжатия и качество реконструкции являются двумя важными показателями для оценки производительности алгоритмов сжатия облаков точек. Что касается эффективности сжатия, она измеряется на основе количества бит сжатого файла. Для данных облака точек для сравнения обычно используется количество битов, занимаемых каждой точкой (BPP). Чем ниже BPP, тем выше. эффективность сжатия.

С точки зрения оценки качества реконструкции координаты (x, y, z) и атрибуты цвета (цвет RGB или пространство YUV) облака точек в трехмерном пространстве и другие дополнительные атрибуты используются для оценки геометрического положения между исходными облако точек и декодированное облако точек или подобие выражений атрибутов. Среди них субъективная оценка в основном относится к визуальной оценке, а объективная оценка включает оценку геометрической информации и оценку атрибутивной информации. Субъективная оценка в основном использует пиковый шум сигнала, полученный от точки к точке (C2C), для оценки геометрического качества декодированного облака точек [101]. Объективная оценка основана на значениях атрибутов исходного облака точек и значения атрибутов ближайшей точки в декодированном облаке точек сравнивают и получают соответствующее пиковое отношение сигнал/шум [102].

1) Симметричное среднеквадратичное (RMS) расстояние. Используя исходное облако точек в качестве эталона, рассчитайте максимальное значение ошибки среднего расстояния декодированного облака точек на основе геометрического расстояния:

в формуле,V_o иV_r соответственноповерхность Показать исходное облако точеки Декодирование облака точек；v_{o(i)} иv_{r(k)} соответственноповерхность Показать исходное облако точеки对应的最邻近Декодирование облака точек；K количество точек в исходном облаке точек；||⋅||поверхностьпредставляет евклидово расстояние между двумя значениями；D_{RMS} среднее расстояние между ближайшими точками。D_{RMS} Рассчитано для всех точек исходного облака точек.,Также рассчитывается для всех точек в соответствующем декодированном облаке точек.,Поэтому необходимо вычислить расстояние симметрииs_{RMS} 。

2) Симметричное расстояние Хаусдорфа. Представляет максимальное геометрическое расстояние между двумя взаимно соседними облаками точек, подлежащие оценке:

3) Геометрическое информационное пиковое отношение сигнал/шум (PSNR). Принимая исходное облако точек в качестве эталона, принимая во внимание максимальную ширину ограничивающей рамки и симметричное среднеквадратичное расстояние исходного облака точек, рассчитывается отклонение положения на основе геометрии:

в формуле,B_{width} — максимальная ширина ограничивающей рамки исходного облака точек.；\text{g}_{PSNR} - отношение пикового сигнала к шуму геометрической информации.。\text{g}_{PSNR} Чем больше значение, тем меньше искажения сжатия. Кроме того, при оценке геометрической информации также будет использоваться индекс оценки качества «точка-поверхность» (C2S) и индекс оценки качества «точка-плоскость» (C2P). Первый оценивает качество декодированного облака точек с учетом некоторых эталонов. поверхности, связанные с исходным облаком точек. Последний оценивает качество декодированного облака точек, рассматривая некоторые опорные поверхности, связанные с исходным облаком точек. Метрики оценки качества C2S и C2P учитывают корреляцию сравниваемых пар точек с соответствующей поверхностью. Основным недостатком является то, что они зависят от конкретного используемого алгоритма реконструкции поверхности.

4) Пиковое отношение сигнал/шум атрибутивной информации. На примере цвета каждый цветовой компонент исходного облака точек сравнивается с цветом ближайшей точки в декодированном облаке, тем самым получая пиковое отношение сигнал/шум каждого компонента в цветовом пространстве YUV:

в формуле,По умолчанию используется 8-битное представление цвета.,Режим(4)использовать255как пиковый сигнал；d_y поверхность Показать исходное облакои Разница в средней ошибке цвета между декодированными облаками；переменнаяy(·) — значение яркости каждой точки; чем больше пиковое отношение сигнал/шум атрибутивной информации, тем меньше искажение сжатия.

При оценке качества сжатия изображений в качестве показателей оценки будут использоваться критерий точности информации (IFC) [103], точность визуальной информации (VIF) [104] и структурное сходство (SSIM) [105], где IFC и VIF — Fidelity, вводит связь между изображение и человеческий глаз. SSIM оценивает искажение распакованного изображения по трем аспектам: полная яркость, контрастность и структура. Это стандарт объективной оценки, соответствующий характеристикам зрительной системы человека.

04  Тест производительности алгоритма сжатия облака точек

4.1 Экспериментальные данные

Чтобы проверить производительность трех алгоритмов сжатия облака точек с открытым исходным кодом: PCL, MPEG и Draco, в этом эксперименте были выбраны 4 однокадровые модели облака точек с цветовыми атрибутами из тестовой последовательности облака точек, предоставленной MPEG для тестирования, в том числе: Эндрю (http://plenodb.jpeg.org/pc/microsoft), солдат, дама в красно-черной юбке и дама в длинной юбке (http://plenodb.jpeg.org/pc/8ilabs), выбранные модели сохранены в формате файла .ply. На рисунке 3 показаны некоторые из использованных последовательностей испытаний. Различные модели имеют разные характеристики сбора данных и характеристики поверхности. Данные облака точек имеют гладкие поверхности и однородные области без явных областей с отверстиями.

картина 3 MPEGДиаграмма последовательности испытаний облака точек с одним кадромкартина

4.2 Введение в алгоритмы тестирования производительности

В настоящее время алгоритмы сжатия облаков точек с открытым исходным кодом в стране и за рубежом в основном включают структуру сжатия облаков точек на основе окта-дерева в библиотеке PCL [55], библиотеку сжатия 3D-графики с открытым исходным кодом Draco команды Chrome Media [107] и G-PCC. сжатие облака точек, предложенное платформой MPEG[68].

4.2.1 Структура сжатия облака точек PCL

Библиотека PCL предоставляет схему сжатия облаков точек, которая позволяет кодировать сжатие облаков точек во всех форматах файлов. Как показано на рисунке 4, процесс сжатия PCL включает в себя чтение, выборку, кодирование, декодирование, сохранение и т. д. Во-первых, метод использует структуру данных октодерева для пространственного разделения облака точек для инициализации; во-вторых, выполняет корреляционный анализ данных между единичными блоками и сериализует структуру через двоичный поток, затем использует кодирование положения точки для получения дополнительной информации о кодировании; точки, такие как цвет, нормаль и т. д., наконец, энтропийное кодирование используется для дальнейшего сжатия для получения битового потока.

картина4 Процесс кодирования статического облака точек PCL

4.2.2 Платформа сжатия облака точек Draco

Команда Google Chrome Media выпустила библиотеку сжатия с открытым исходным кодом Draco в 2017–2001 годах с целью улучшить хранение и передачу трехмерной графики. Draco предлагает решения для сжатия двух форматов данных: формата файла .ply, содержащего только информацию о вершинах, и формата файла .obj, содержащего информацию о вершинах и лице. Среди них информация о вершинах относится к координатам объекта, вектору нормали, координатам текстуры и т. д. информации о поверхности относится к поверхности, окруженной вершинами, то есть к набору серий индексов вершин, включая каждую вершину и соединение. информация, координаты текстуры и информация о цвете, нормали и любые другие общие свойства, связанные с геометрией.

Как показано на рисунке 5, общая идея Драко состоит в том, чтобы закодировать информацию о соединении сетки и информацию о геометрических атрибутах вершин отдельно, использовать алгоритм Edge Breaker для сжатия информации о соединении для информации о поверхности [106] и написать базовый код. информация каждой вершины помещается в буфер. Геометрическая информация организуется и сериализуется с использованием K-мерной древовидной структуры, а атрибутивная информация сжимается с использованием дифференциального метода параллелограмма. Прогнозирующее кодирование, кодирование с преобразованием, квантование и энтропийное кодирование выполняются над геометрической информацией, информацией об атрибутах и ​​информацией о поверхности вершин. Энтропийное кодирование использует вариант диапазона алгоритма асимметричной системы счисления (rANS) [107].

4.2.3 Структура сжатия облака точек G-PCC

MPEG предложил стандартную структуру G-PCC в 2019 году. Этот метод разделен на две части: геометрическое сжатие и сжатие атрибутов. Среди них сжатие атрибутов основано на восстановленной геометрической информации, поэтому сжатие облака точек на основе структуры G-PCC является во-первых. выполняется геометрическое сжатие, включая преобразование координат, вокселизацию, анализ геометрической структуры на основе окта-дерева и арифметическое кодирование полученной структуры, затем выполняется атрибутное сжатие, включая регионально-адаптируемое иерархическое преобразование, прогнозирующее преобразование и подъемное преобразование; Как показано на рисунке 6, сжатие G-PCC включает три части операций: предварительную обработку, сжатие геометрии и сжатие атрибутов.

картина6 Процесс кодирования облака точек G-PCC

4.3 Сравнение и анализ производительности

В эксперименте в этой статье используются 4 тестовые последовательности статического облака точек с атрибутами цвета в формате MPEG, а также ноутбук с тактовой частотой 2,20 ГГц, процессором i7-8750 и 8 ГБ оперативной памяти для реализации статических точек библиотеки PCL, графической библиотеки Draco 3D и G- Платформа PCC соответственно. Облачный метод сжатия.

1) В этой статье предпринята попытка выполнить сжатие без потерь тестовой последовательности облака точек, предоставленной MPEG, то есть не выполняется аппроксимация или количественная оценка геометрической информации и атрибутивной информации. Конкретные характеристики следующие:

(1) Выберите режим детального кодирования при сжатии PCL и не квантовайте атрибутивную информацию;

(2) Выберите режим Octree-Predictive в режиме сжатия G-PCC и установите для параметров значения по умолчанию для геометрии без потерь – атрибутов без потерь;

(3) Выберите самый высокий уровень сжатия и режим сжатия без квантования в сжатии Draco. В качестве показателей измерения производительности кодирования используются временные затраты и количество битов, занимаемых каждой точкой. Результаты анализа представлены в таблице 2.

Результаты визуализации Эндрю показаны на рисунке 7.

Таблица 2. Сравнение производительности алгоритмов сжатия трех облаков точек без потерь

картина7 Субъективное сравнение сжатых без потерь реконструированных облаков точеккартина

2) Чтобы проверить производительность трех методов с открытым исходным кодом в различных условиях потери геометрической информации, в этой статье предпринята попытка провести эксперименты с методами PCL, G-PCC и Draco в аналогичном диапазоне скоростей передачи данных, как показано ниже:

(1) При сжатии PCL подробное кодирование не выполняется и атрибутивная информация не квантуется, а параметр разрешения октодерева устанавливается на 2~16;

(2) Выберите режим Octree-Predictive в режиме сжатия G-PCC, установите коэффициент квантования позиции на 0,5–0,05 и установите для других параметров значения по умолчанию;

(3) Количество зарезервированных битов для квантования координат в Draco установлено на уровне 8~14.

Результаты кривой производительности «скорость-искажение» для тестовой последовательности облака точек по геометрической форме и положению получены, как показано на рисунке 8. Горизонтальная ось представляет собой среднюю скорость передачи данных при кодировании геометрической информации каждого облака точек, а вертикальная ось представляет собой геометрический пиковый сигнал каждого сжатия облака точек.

картина8 Кривая скорости-искажения облака точек после геометрического сжатия с потерями

3) Чтобы проверить производительность трех методов с открытым исходным кодом в условиях различных потерь атрибутивной информации, в этой статье предпринята попытка провести эксперименты с методами PCL, G-PCC и Draco в аналогичном диапазоне скоростей передачи данных.

1) Выполните подробное кодирование при сжатии PCL и установите количество зарезервированных битов для квантования атрибутов на 3–6.

2) Выберите режим Octree-Predictive в режиме сжатия G-PCC, установите размер шага квантования на 10–40 и установите для других параметров значения по умолчанию.

3) В Draco количество зарезервированных битов для квантования атрибутов установлено на уровне 3~6.

Результаты кривой производительности «скорость-искажение» тестовой последовательности облака точек по каналу Y получены, как показано на рисунке 9. Горизонтальная ось представляет среднюю скорость передачи данных при кодировании атрибутивной информации для каждого облака точек, а вертикальная ось представляет собой Атрибут пикового сигнала-шума каждого сжатия облака точек.

картина9 Кривая скорости искажения облака точек после сжатия атрибутов с потерями

Из результатов эксперимента можно сделать следующие выводы: С точки зрения эффективности сжатия G-PCC демонстрирует очевидные преимущества в трех экспериментальных условиях. В условиях сжатия с потерями эффективность сжатия Draco выше, чем у PCL, а при сжатии без потерь. условиях сжатия PCL имеет более высокую эффективность сжатия, чем Draco Better с точки зрения искажения информации, G-PCC и Dra; CO также может поддерживать определенную точность реконструкции в различных условиях сжатия с потерями. Они демонстрируют лучшую точность, чем PCL, с точки зрения геометрической информации и атрибутивной информации с точки зрения времени сжатия и распаковки. Из двух других методов сжатия Draco лучше. PCL занимает второе место, а G-PCC имеет больше возможностей для совершенствования.

Подводя итог, можно сказать, что метод сжатия облака точек G-PCC имеет превосходную производительность по соотношению коэффициента искажения. По сравнению со сжатием облака точек G-PCC эффективность сжатия Draco ниже, но скорость сжатия и распаковки более эффективна. Видно, что G-PCC и Draco могут предоставить конкурентоспособные решения для различных задач, отвечающих различным требованиям приложений. Среди них G-PCC больше подходит для использования, когда пространство для хранения ограничено и требуется высокая точность, а Draco больше подходит. . Может решать задачи с высокими требованиями в режиме реального времени.

05  Перспективы сжатия облака точек

В контексте интеграции и диверсификации технологий получения 3D-изображений, сенсорных технологий и технологий компьютерной обработки эффективность и качество сбора данных облаков точек постепенно улучшаются, а стоимость получения постоянно снижается, что позволяет осуществлять точную оцифровку 3D-сцен. который широко используется в расширенной реальности, удаленной связи, интеллектуальном транспорте, цифровой земле и других развивающихся отраслях. С одной стороны, емкость данных облака точек увеличивается в геометрической прогрессии, с другой стороны, неструктурированная, неравномерная плотность облаков точек и сходство между целевыми объектами в реальных сценах делают управление хранением, вычисление и анализ больших данных облака точек; Сталкиваться с более серьезными проблемами и способствовать совершенствованию и инновациям алгоритмов кодирования сжатия облаков точек.

Ввиду таких проблем, как высокая вычислительная сложность процесса сжатия облака точек, невозможность точно описать распределение данных, сложность использования предшествующей информации о сцене для целевого сжатия, а также потеря деталей и глобальная деформация в реконструированных облаках точек, Есть несколько тенденций развития в будущем:

(1) Метод генерации супервокселей облака точек, который учитывает однородность признаков и информационный баланс. В соответствии с ограничениями функции потерь однородности признаков и информационного баланса завершите деление супервокселей облака точек и другой информационной энтропии и используйте его для замены. равный размер. Единичный воксель используется в качестве базовой единицы сжатия облака точек, что не только повышает эффективность сжатия облака точек, но также снижает уровень искажений при сжатии облака точек.

(2) Создать метод прогрессивного сжатия облака точек на основе локальных различий в деталях и ограничений глобального сходства, адаптивно разделить пространственную область облака точек в соответствии с пространственным распределением облака точек и улучшить способность реконструкции деталей с помощью иерархических структур различного разрешения. Эффективно снизить уровень искажений декодированных данных.

(3) Разработать метод выражения неявного пространства облака точек, который сочетает в себе сверхаприорное руководство и разреженное кодирование, использовать разреженное кодирование неявных векторов многомерного пространства для выражения облаков точек и использовать сверхаприорные знания для управления процессом кодирования облака точек для сделать энтропийную модель. Вероятность кодирования более соответствует вероятности края скрытого вектора, тем самым уменьшая потребление памяти при арифметическом кодировании и тем самым улучшая степень сжатия данных.

(4) Создайте выражение облака точек и метод сжатия на основе пространственных непрерывных функций, используйте соответствующие функции объема для выражения геометрической и атрибутивной информации облака точек, а также квантовайте и энтропийно кодируйте ее, чтобы полностью объединить геометрическую информацию данных облака точек. . и атрибутивную информацию для достижения совместного сжатия, учитывающего геометрию и атрибуты облака точек.

(5) Предложить более разумный индекс оценки качества облака точек и рассчитать потерю геометрической информации и атрибутивной информации, вызванную сжатием облака точек. Это может не только субъективно оценить влияние сжатия на визуализацию облака точек, но также отразить влияние сжатия. на последующих пользователей с объективной точки зрения. Влияние задач (таких как понимание сцены, реконструкция модели и т. д.).

(6) Обогатить наборы данных испытаний на сжатие облака точек (например, портативные, наземные базовые станции, автомобильные измерительные системы, системы измерения БПЛА и т. д.) и улучшить алгоритмы сжатия облака точек в иммерсивных удаленных коммуникациях в реальном времени, интерактивной виртуальной реальности, демонстрация культурного наследия и прикладные исследования в таких случаях, как научные и инженерные исследования, такие как реставрация, динамические карты и интеллектуальный транспорт.

(7) Улучшить прогнозирующее кодирование, технические решения по преобразованию кодирования и энтропийного кодирования, а также рационально выбрать параметры квантования и режимы управления скоростью кода для достижения стандартной структуры сжатия облаков точек, оптимизированной по скорости искажений, эффективно заполняя пробелы в национальных и отраслевых стандартах.

(8) Методы и теории глубокого обучения облаков точек все еще находятся на стадии разработки. Как бороться с мелкомасштабными наборами данных и неструктурированной природой облаков точек, повысить эффективность свертки сети, разделить высокочастотную и низкочастотную информацию. и т. д. также являются будущим направлением развития сжатия данных облака.

Считается, что в обозримом будущем, благодаря поддержке искусственного интеллекта, облачных вычислений, связи 5G и других технологий, сжатие облаков точек сможет не только обеспечить высокую степень сжатия и низкую скорость искажений, но также сочетаться с возможностями параллельных вычислений графического процессора для ускорения Выбор точек, что делает его высокоэффективным, становится возможным визуализировать и передавать плотные облака точек в реальном времени, тем самым обеспечивая более мощную поддержку данных для геодезических и картографических приложений, исследований в области наук о Земле, умных городов, цифровой Земли, AR/VR и т. д.

06 Заключение

Быстрое развитие технологий 3D-изображения позволяет быстро создавать модели облаков точек с высокой точностью и высокой плотностью, что оказывает огромное давление на ограниченное пространство для хранения и пропускную способность передачи. В научных кругах растет спрос на стандартные решения для сжатия облаков точек. и промышленность.

Как повысить эффективность сжатия и кодирования облаков точек, обеспечивая при этом низкую степень искажений и высокую степень сжатия, стало текущей целью исследования кодирования сжатия моделей облаков точек.

В этой статье основное внимание уделяется основам сжатия облаков точек, обобщению и объяснению исследовательской работы по алгоритмам сжатия облаков точек в стране и за рубежом, а также проводится сравнительный анализ трех платформ сжатия облаков точек с открытым исходным кодом на часто используемых тестовых данных, а также обсуждаются Предусмотрено важное развитие сжатия облаков точек.