При использовании Broker Load для импорта данных после того, как пользователь отправит задачу импорта, FE сгенерирует соответствующий план и распространит его среди нескольких BE для выполнения на основе текущего количества BE и размера файла, и каждый BE будет выполняться. часть импортированных данных. В процессе выполнения BE будет получать данные от брокера и импортировать их в систему после преобразования данных. Все BE завершили импорт, и FE в конечном итоге решает, был ли импорт успешным.

2. Синтаксис загрузки брокера

LOAD LABEL load_label 
( data_desc1[, data_desc2, ...] ) 
WITH BROKER broker_name 
[broker_properties] 
[load_properties] 
[COMMENT "comments"];

• load_label:

Каждому импорту необходимо присвоить уникальную метку. Позже вы сможете проверить ход выполнения задания с помощью этой метки, формат: [база данных.]имя_метки.

• data_desc1：

Используется для описания набора файлов, которые необходимо импортировать.

[MERGE|APPEND|DELETE]
DATA INFILE("file_path1"[, file_path2, ...])
[NEGATIVE]
INTO TABLE `table_name`
[PARTITION (p1, p2, ...)]
[COLUMNS TERMINATED BY "column_separator"]
[FORMAT AS "file_type"]
[(column_list)]
[COLUMNS FROM PATH AS (c1, c2, ...)]
[SET (column_mapping)]
[PRECEDING FILTER predicate]
[WHERE predicate]
[DELETE ON expr]
[ORDER BY source_sequence]
[PROPERTIES ("key1"="value1", ...)]

1、[MERGE|APPEND|DELETE]

Тип объединения данных, по умолчанию — APPEND, что указывает на то, что этот импорт представляет собой обычную операцию добавления записи. Типы MERGE и DELETE применимы только к таблицам модели с уникальным ключом. Тип MERGE необходимо использовать с оператором [DELETE ON] для пометки столбца флага удаления, а тип DELETE означает, что все данные, импортированные на этот раз, являются удаленными данными.

2、DATA INFILE

Укажите путь к импортируемому файлу. Файлов может быть несколько, можно использовать подстановочные знаки. Путь должен в конечном итоге совпадать с файлом, Если совпадают только каталоги, импорт не удастся. 。

3、NEGATIVE

Это ключевое слово используется для обозначения того, что этот импорт представляет собой пакет «отрицательного» импорта. Этот метод доступен только для таблиц агрегатных данных с типом агрегата Integer SUM. Этот метод инвертирует целочисленное значение, соответствующее агрегированному столбцу SUM в импортированных данных. В основном используется для компенсации ранее импортированных неверных данных.

4、PARTITION(p1, p2, ...)

Вы можете указать, что следует импортировать только определенные разделы таблицы. Данные, которые больше не входят в диапазон раздела, будут игнорироваться.

5、COLUMNS TERMINATED BY

Укажите разделитель столбцов. Действует только в формате CSV. Можно указать только однобайтовые разделители.

6、FORMAT AS

Укажите тип файла, поддерживающий форматы CSV, PARQUET и ORC. По умолчанию — CSV.

7、column list

Используется для указания порядка столбцов в исходном файле. Например: (к1, к2, тмпк1).

8、COLUMNS FROM PATH AS

Указывает столбцы, которые необходимо извлечь из пути к файлу импорта.

9、SET (column_mapping)

Функция преобразования для указанного столбца.

10、PRECEDING FILTER predicate

Условия предварительной фильтрации. Данные сначала объединяются в исходные строки данных в соответствии со списком столбцов и КОЛОННАМИ ИЗ ПУТИ AS. Затем фильтруют в соответствии с условиями предварительной фильтрации.

11、WHERE predicate

Фильтруйте импортированные данные по условиям.

12、DELETE ON expr

Его необходимо использовать вместе с режимом импорта MEREGE, только для таблиц модели Уникальный ключ. Используется для указания столбца и взаимосвязи вычислений, представляющих флаг удаления в импортированных данных.

13、ORDER BY

Таблицы только для моделей с уникальным ключом. Используется для указания столбца, представляющего столбец последовательности в импортированных данных. В основном используется для обеспечения порядка данных при импорте.

14、PROPERTIES ("key1"="value1", ...)

Укажите некоторые параметры импортируемого формата. Если импортируемый файл имеет формат json, вы можете указать здесь json_root, jsonpaths, fuzzy_parse и другие параметры.

• WITH BROKER broker_name

Укажите имя службы брокера, которое будет использоваться. Обычно пользователям необходимо указать существующее имя брокера с помощью предложения AND BROKER «broker_name» в команде операции. Имя брокера — это имя, указанное пользователем при добавлении процесса брокера с помощью команды ALTER SYSTEM ADD BROKER. Имя обычно соответствует одному или нескольким процессам брокера. Дорис выберет доступный процесс-брокер по его имени. Пользователи могут просматривать существующие брокеры в текущем кластере с помощью команды SHOW BROKER.

Примечание. Имя брокера — это просто имя, определяемое пользователем, которое не отражает тип брокера. В общедоступном облаке Doris имя брокерской службы — bos.

• broker_properties

Укажите информацию, необходимую брокеру. Эта информация обычно используется брокером для доступа к удаленной системе хранения. Формат следующий:

(
"key1" = "val1",
"key2" = "val2",
...
)

Его можно настроить следующим образом:

1. таймаут: таймаут импорта. По умолчанию — 4 часа. Единица секунды.
2. max_filter_ratio: максимально допустимое фильтруемое соотношение данных (из-за нарушений в данных и т. д.). По умолчанию — нулевая терпимость. Диапазон значений: 0ть приезжать 1.
3. exec_mem_limit: ограничение памяти импорта. По умолчанию — 2 ГБ. Единица измерения — байты.
4. strict_mode: налагать ли строгие ограничения на данные. По умолчанию — ложь. Если строгий режим включен, данные с ошибками преобразования типов будут отфильтрованы.
5. часовой пояс: укажите часовой пояс некоторых функций, на которые влияет часовой пояс, например strftime/alignment_timestamp/from_unixtime и т. д. Подробную информацию см. в документации по часовому поясу: https://doris.apache.org/zh-CN/docs. /dev/advanced/часовой пояс/. Если не указано, используется часовой пояс «Азия/Шанхай».
6. load_parallelism: параллелизм импорта, значение по умолчанию — 1. Увеличение параллелизма импорта запустит несколько планов выполнения для одновременного выполнения задач импорта, что ускорит импорт.
7. send_batch_parallelism: используется для установки параллелизма отправки пакетной обработки, если значение параллелизма превышает BE в конфигурации max_send_batch_parallelism_per_job (максимальный параллелизм отправки пакетной обработки, по умолчанию 5), затем как точка координации BE буду использовать max_send_batch_parallelism_per_job ценить.
8. load_to_single_tablet: логический тип,Если true, это означает, что поддерживается одна задача по импорту только одного планшета из соответствующего раздела данныхприезжать.,Значение по умолчанию — ложь,Количество задач для задания зависит от общего параллелизма. Этот параметр разрешено устанавливать только при получении производной таблицы olap со случайными разделами.

• comment

Укажите информацию примечания к задаче импорта. Необязательные параметры.