Привет всем! Я хотел бы подвести итоги некоторых событий и уроков и предоставить вам возможность воспользоваться ими.

индекс префикса

В отличие от традиционных баз данных, Doris не поддерживает создание индексов по произвольным столбцам. Базы данных OLAP с архитектурой MPP, такие как Doris, обычно обрабатывают большие объемы данных за счет улучшения параллелизма.

По сути, данные Дорис хранятся в структуре данных, аналогичной SSTable (таблица отсортированных строк). Эта структура представляет собой упорядоченную структуру данных, которую можно сортировать и хранить по указанным столбцам. В такой структуре данных поиск по отсортированным столбцам будет очень эффективным.

существовать Aggregate、Uniq и Duplicate в трех моделях данных. Базовое хранилище данных основано на соответствующих операторах создания таблиц AGGREGATE. KEY、UNIQ KEY и DUPLICATE KEY сортировать хранится в указанном столбце. И индекс префикса,Прямо сейчассуществоватьсортироватьна основе,Реализация столбца на основе заданного префикса,Быстро найдите индексный путь для данных.

Итак: когда условиеwhere содержит столбец префикса Key,Может вызвать префикс индекса,Ускорить фильтрацию.

Например: порядок ваших ключей: (k1,k2,k3,v1,v2).

Так:

where k1 = and k2, может попасть в индекс префикса where k1 = and k3, только k1 может попасть в индекс префикса where k3, не могу попасть в индекс префикса

раздел ведра

• Раздел

Вообще говоря, масштаб онлайн-данных велик, поэтому секционирование используется в максимально возможной степени. Импорт данных Дорис осуществляется на уровне детализации раздела. Один импорт обновит все планшеты в одном разделе. Разделение может снизить нагрузку на сжатие после завершения импорта данных. Более того, мы обычно используем столбцы времени в качестве столбцов разделов. Когда условиеwhere включает фильтрацию столбцов времени, может быть активировано сокращение разделов. Это очень важный метод оптимизации.

• ведро

Три основных вывода: количество сегментов не должно быть слишком большим, достаточно 64; объем данных в одном сегменте не должен быть слишком большим, официальная рекомендация — 1G-10G, но реальная ситуация другая, вы можете проверить. рекомендуется 1G; размер сегментированных данных не должен быть слишком большим, оптимальны миллионы уровней;

Флинк пишет Дорис

Есть сценарий, когда Флинк пишет Дорис, требующий особого внимания.,Потому что Флинк пишет, что Дорис пишет пакетно.,Теоретически порядок данных в одном пакете не может быть гарантирован. То есть, если существование обновляет определенное поле в том же столбце за очень короткое время,существование Отправить Дорис одним пакетом,Будет риск беспорядков.

Чтобы решить эту проблему,Doris поддерживает столбцы последовательности,Укажите столбец последовательности при импорте через пользователя.,В том же ключевом столбце,Столбцы типа агрегации REPLACE будут заменены в соответствии со значением столбца последовательности.,Большие значения могут заменить меньшие значения,В противном случае его невозможно заменить. Этот метод оставляет определение заказа пользователю.,Порядок замены контролируется пользователем.

Однако столбец «Последовательность» можно использовать только в модели «Уникальные».

Ладно, все, выход из класса окончен.