Паркет и ORC: высокопроизводительное столбчатое хранилище

Хранилище столбцов, хранилище строк

Обзор уровня формата данных

Вычислительный уровень: различные вычислительные механизмы.

Уровень хранения: постоянное хранилище, в котором хранятся данные.

Уровень формата данных: определяет организационный формат в файле уровня хранения. Вычислительный механизм считывает и записывает файлы посредством поддержки уровня формата с точки зрения формы данных с многоуровневой точки зрения.

С иерархической точки зрения форма данных,Механизм вычислений ведет себя какRows+Columns,хранилищеслоистыйданные ФормаfileиBlocks、Слой форматаФайл внутреннийиз Расположение данных （Layout+Schema）

данные Сценарий анализа запроса：OLTP vs. OLAP

OLTP: формат хранения строк (хранилище строк)

Данные каждой строки представляют собой последовательное хранилище в файле.,Чтение всей строки данных эффективно,ОдинокийIOПросто читайте последовательно。Типичные системы являются реляционными.данные Библиотека、key-valueданные Библиотека

OLAP: столбчатый формат хранения (столбцовое хранилище)

Данные каждого столбца в файле представляют собой непрерывное хранилище.,Чтение всего столбца более эффективно,данные в одном столбце имеют один и тот же тип,Кодирование со сжатием более эффективно. Общие крупномасштабные системы анализа данных, такие как SQL-on-Hadoop.,Анализ озера данныхждатьили者ClickHouse,Greenplum,Алибаба ОблакоMaxComputeждатьданные仓Библиотека就是这种Формат

Резюме: Уровень формата определяет расположение данных.,连接计算引擎ихранилище Служить。OLTPиOLAPРазница в сценах очевидна。Бизнес-сценарии определяют техническую реализацию,банковский депозит Применимо кOLTP,Список Применимо кOLAP

Parquet

Parquetбольшойданные分析领域使用最广из Список Формат；Sparkрекомендоватьхранилище Формат

Dremelмодель данных

Protocol Bufferопределение、Поддерживает необязательные и повторяющиеся поля.、Поддержка вложенных типов (вложенные типы сохраняют только данные конечных узлов)

Расположение данных

RowGroup: каждая группа строк содержит определенное количество строк фиксированного размера.

ColumnChunk：RowGroupРазделить на несколько столбцовColumnChunk

Страница: ColumnChunk по-прежнему внутренне делится на страницы.,общий совет8KBразмер。сжатиеикодированиеиз基本单元。根据保存изданные Типы делятся наData Page、Dictionary Page、Index Page

FooterСохранение метаинформации файла：Schema、Config、Metadata（Rowgroup Meta、Column Meta）

кодированиеEncoding

Plainпрямойхранилищеоригинальныйданные

Кодирование длины прогона (RLE) подходит для сценариев, в которых база столбцов небольшая и имеется много повторяющихся значений, таких как перечисления, логические значения, фиксированные параметры и т. д.

Bit-Pack Encoding：СотрудничатьRLEкодирование使用,Сделайте хранилище пластиковых номеров более компактным

Кодировка словаря Словарь Кодирование в основном используется для кодирования строк.,Подходит для случаев, когда основание колонны невелико.,Построить словарную таблицу,написатьDictionary Page；Пучокданныеиспользовать словарьindexзаменять,Затем используйтеRLEкодирование

默认场景下parquet-mrбудет автоматически основываться наданные Выбор функции。在业务自определение场景下,Можно использоватьorg.apache.parquet.column.values.factory.ValuesWriteFactory

сжатиеcompression

pageЗаканчиватьencodingпосле,Компресс

Поддерживает несколько алгоритмов сжатия.

snappy: блок скорости сжатия, низкая степень сжатия, подходит для горячих данных.

gzip: медленная скорость сжатия, высокая степень сжатия, подходит для холодных данных.

zstd: новый алгоритм сжатия.,сжатие比иgzipпочти,而且сжатие速度比肩snappy

Рекомендуемый выборsnappyилиzstd,Полностью протестируйте эффект сжатия в зависимости от типа бизнеса.,и влияние на производительность запросов

индексIndex

По сравнению с традиционными базами данных поддержка индексов очень грубая.

Min-Max Index：Записыватьpageвнутреннийcolumnизmin_valueиmax_value

Column Index：footer里изcolumn metadataВключатьcolumnChunkиз全部pageизMin-Max value

Offset Index：Записыватьpage在文件中изoffsetиpageизrow range

bloom filter

• parquet.bloom.filter.enabled
• Для сценариев, когда основание колонны относительно велико,Или фильтрация неотсортированных столбцов,Min-Max Index很难发挥作用
• 引入bloom filter加速过滤匹配判定
• 每个ColumnChunkиз头部保存изbloom filterданные
• footerЗаписыватьbloom filterизpage offset

сортироватьOrdering

• Концепция аналогична кластерному индексу
• Сортировка помогает лучше отфильтровывать ненужные группы строк или страницы.,на небольшие суммыданныеseekОчень полезно
• parquet FormatподдерживатьsortingColumns
• parquet Library目前没有поддерживать
• Положитесь на бизнес-сторону, чтобы обеспечить порядок на основе характеристик запроса

фильтр с понижениемPredicate PushDown

• parquet mrБиблиотекавыполнить,Внедрить эффективный механизм фильтрации
• Входящее со стороны двигателяfilter expression
• parquet mrпревратить в бетонcolumnиз条件匹配
• 查询footer里изcolumn index,Найдите конкретный номер строки
• Возвращает действительные данные на сторону движка

векторизованное чтение искровой интеграции

• Векторизованное чтение реализовано на базе класса parquetFileFormat.
• Переключатель векторизованного чтенияspark.sql.parquet.ebableVectorizeReader
• Векторизованное чтение является стандартной практикой для основных механизмов анализа больших данных и может значительно повысить производительность запросов.
• sparkкbatchиз方式从parquetчитатьданные,下推из逻辑也会适配batchиз方式

ORCПодробное объяснение

ORC — один из наиболее широко используемых форматов в области крупномасштабного анализа.,отhiveпроект

модель данных

• ORC会给包括根节点在内из中间节点都创建一个column
• 嵌套类型или者集合类型поддерживатьиparquetбольшая разница
• необязательный и повторяющийся字段依赖父节点Записывать额外信息来重新assemblyданные

Расположение данных

• похожийparquet
• rooter+stripe+column+page(row group) структура
• encoding/compression/indexподдерживать上иparquetпочти единогласно

ACID特性简介

• поддерживатьHive Transactionsвыполнить,В настоящее время существуют толькоhive本身集成
• похожийdelta lake/hudi/iceberg
• на основеBase+Delta+Compactionиз设计

паркет против ORC

• С принципиального уровня,最大из差别就是对于nestedTypeи复杂类型из处理上
• parquetиз算法上要复杂很多,带来изcpuиз开销比orcнемного больше
• orcиз算法相对简单,Но читать далееданные
• Следовательно, влияние этой разницы на бизнес-результаты зависит от фактического бизнес-сценария.

Эволюция списка

Хранение столбцов в хранилище данных

• clickhouseизmergeTree引擎也是на основе Список构建из
• 默认情况下列按照columnРасколоть
• Поддержка более богатых индексов
• Общая тенденция интеграции озер и складов

Сторона хранения, опускающаяся вниз

• Больше работы по передаче данных на сторону обслуживания хранилища
• Чем ближе это к данным, тем выше эффективность фильтрации с понижением.
• НапримерAWS S3 SelectФункция

испытание：хранилищебоковое восприятиеschema、Совместимость и интеграция вычислительной экосистемы、column family