«Спросите канал, насколько он чист, и появится источник проточной воды». Приобретение знаний в передовых областях, получение вдохновения из других областей исследований и более четкое понимание природы исследовательских проблем являются неисчерпаемым источником. самосовершенствования. Для этого мы специально подобрали конспекты для чтения и создали рубрику «Источник живой воды», которая поможет вам широко и глубоко читать научно-исследовательскую литературу, так что следите за обновлениями!

Описание:CityGaussian: высококачественный рендеринг крупномасштабных сцен в реальном времени с использованием гауссиан.

Имя автора: Лю Ян、Гуань Хэ、Ло Чуанчен、Фан Лю、Ван Найян, Пэн Цзюньрань (автор-корреспондент)、Чжан Чжаосян（Автор-корреспондент）

Ссылка на документ: https://arxiv.org/pdf/2404.01133.

Сайт проекта: https://dekuliutesla.github.io/citygs/

Крупномасштабная реконструкция городской сцены и рендеринг в реальном времени имеют большое значение для многих областей национальной экономики и жизнедеятельности людей, включая ситуационную осведомленность, воздушный поиск, моделирование автономного вождения, защиту культурных реликвий и живописных мест, навигацию по онлайн-картам и т. д. . Недавно моя лаборатория представила новую работу на ECCV 2024, ведущей конференции в области искусственного интеллекта, исследующей технологии трехмерной городской реконструкции. В этой работе предлагается алгоритм CityGaussian, который может проводить реалистичную трехмерную реконструкцию городов размером со здания и площадью до 2,5 квадратных километров на основе данных аэрофотосъемки с дронов и сокращает время обучения на видеокартах потребительского уровня почти с 20 часов. до часов. В то же время, на основе предложенной нами технологии LoD (Уровень детализации), туры в реальном времени могут проводиться по реконструированному городу с разрешением высокой четкости 1080P или выше, что привнесет новый опыт в картографическую сцену. предварительный просмотр, VR и AR. Наш метод был протестирован и оценен в нескольких сложных сценариях, включая MatrxiCity, Mill19 и т. д. Результаты показывают, что наш метод значительно лучше существующих алгоритмов реконструкции с точки зрения качества рендеринга и производительности в реальном времени.

Обзор метода

Предложенный нами алгоритм CityGaussian основан на технологии 3D Gaussian Splatting (3DGS) и предлагает эффективный алгоритм параллельного обучения и быстрый алгоритм многоуровневого рендеринга (LoD) для реконструкции крупномасштабных сцен. Традиционный алгоритм неявного представления, основанный на Neural Radiation Field (NeRF), имеет низкую степень восстановления деталей в крупномасштабных сценах, а скорость обучения и рендеринга низкая, что серьезно влияет на впечатления от тура по реконструированной сцене. Недавно предложенный алгоритм явного представления 3D Gaussian Splatting (3DGS) открывает новые возможности для реконструкции сцены благодаря возможности редактирования и эффективному рендерингу. Однако представление крупномасштабных сцен с явным 3DGS часто означает генерацию миллионов гауссовских точек, что не только вызывает переполнение памяти во время обучения, но и сильно замедляет скорость рендеринга, особенно в надежде использовать большое поле зрения с видом на город. .

Для решения этих проблем, с одной стороны, предлагается эффективная структура блочного параллельного обучения, которая делит гауссовы точки на разные подблоки в соответствии с пространственным распределением и адаптивно распределяет необходимые обучающие данные для каждого подблока. Каждый подблок можно обучать параллельно на разных графических процессорах с гораздо меньшими затратами на обучение, а после завершения обучения его также можно объединить в единое трехмерное представление всей сцены, используя простую стратегию. С другой стороны, для обученного крупномасштабного представления 3DGS используются разные степени сжатия для получения представлений сцен с разными уровнями детализации. При фактическом рендеринге мы используем высокие уровни детализации для сцен с близкого расстояния и более грубые уровни детализации для удаленных областей, тем самым значительно уменьшая количество точек Гаусса, фактически необходимых для рендеринга, и значительно снижая стоимость крупномасштабного рендеринга. задерживать.

(1) Этап обучения

Сначала для сцены априори обучается 3DGS-представление с меньшим объемом и более грубым качеством рендеринга. Исходя из этого, мы разобьем гауссовы точки на ряд непересекающихся блоков в сжатом координатном пространстве. Каждый блок определяет, какие данные выделить для обучения, на основе своей проекционной связи и взаимосвязи пространственных координат с обучающей выборкой. Затем каждый подблок можно обучать параллельно, а результаты параллельного обучения можно объединить для получения 3DGS-представления всей сцены. Процесс обучения показан на рисунке ниже.

Рисунок 1. Блок-схема обучения

(2) Этап рендеринга

Используйте LightGaussian для сжатия результатов обучения, а разные степени сжатия соответствуют разным уровням детализации. Во время фактического рендеринга блоки, разделенные на этапе обучения, используются как единицы для быстрого определения того, какие блоки находятся в пределах усеченной пирамиды обзора, а также расстояния между блоками и центром камеры. Чем ближе блок к центру камеры, тем алгоритм будет использовать для характеристики точки GS с более подробной детализацией и меньшей степенью сжатия, тем самым уменьшая количество точек GS, необходимых для рендеринга, и повышая производительность в реальном времени. Процесс рендеринга показан на рисунке ниже.

Рисунок 2. Блок-схема рендеринга

Результаты экспериментов

Сравнение эффектов визуального рендеринга показано на рисунке ниже. Видно, что наш алгоритм может значительно улучшить качество рендеринга и восстановить детали независимо от фактически собранных данных дрона или данных, собранных в среде моделирования. опыт гастролей.

Рисунок 3. Сравнение с методами SOTA на разных наборах данных

Кроме того, мы также проверили эффективность LoD на крупномасштабном наборе данных MatrixCity. Как видно из таблицы 2, представленная технология LoD увеличивает скорость рендеринга с 21,6 кадров в секунду до 53,7 кадров в секунду, обеспечивая при этом реалистичные эффекты рендеринга и хорошо балансируя качество рендеринга и производительность в реальном времени. На рис. 6 показана зависимость изменения скорости при обзоре камеры реконструированного города с разных высот. Видно, что даже в худшем случае наш алгоритм LoD может поддерживать скорость рендеринга более 25FPS, обеспечивая плавное переключение между различными диапазонами углов обзора.

Рисунок 4. Уровень детализации проверки

Демонстрация видеоэффекта

Резюме и перспективы

3DGS в значительной степени способствовал развитию реконструкции 3D-сцен в реальном времени и синтезу новых изображений. Предлагаемый нами алгоритм CityGaussian использует новый метод параллельного обучения и стратегии нескольких уровней детализации (LoD) для эффективного крупномасштабного обучения и рендеринга 3DGS, достижения современного качества рендеринга и может выполнять крупномасштабный рендеринг с различными масштабы. Сцена визуализируется в реальном времени.