Введение в развертывание Apache Doris

1. Требования к программному и аппаратному обеспечению

Doris работает в среде Linux. Рекомендуется использовать CentOS 7.x или Ubuntu 16.04 или выше. В то же время вам необходимо установить среду выполнения Java. Минимальная версия JDK — 8. Здесь мы используем версию Linux Centos7.9, jdk — 1.8.

2. Предложения по настройке узла для производственной/тестовой среды.

Apache Doris официально рекомендует конфигурировать узлы тестовой среды разработки и производственной среды следующим образом:

• Среда разработки и тестирования:

• Производственная среда:

• развертывать FE Необходимо отметить следующие моменты:
• FE Дисковое пространство в основном используется для хранения метаданных, в том числе журналов. изображение. Обычно от нескольких сотен MB до скольких GB Нет, подожди.
• Часы серверов, на которых расположены несколько FE, должны быть согласованы (допускаются отклонения часов до 5 секунд).
• Роли FE делятся на «Лидер», «Следователь» и «Наблюдатель». Лидер — это роль, выбираемая из группы «Следователь», и вместе она будет называться «Следователь».
• Количество узлов FE не менее 1 Follower, причем Follower является лидером. Follower Число должно быть нечетным числом（Из-за голосования за лидера）,Количество наблюдателей произвольное.。
• когдаFEсерединаразвертывать 1 индивидуальный Follower и 1 индивидуальный Observer , может быть достигнута высокая доступность чтения. Когда развернуть 3 индивидуальный Follower В это время может быть достигнута высокая доступность чтения и записи (HA).
• По опыту,Когда требования к доступности кластера высоки (например, предоставление онлайн-сервисов),Можно развернуть3индивидуальный Follower и1-3индивидуальныйObserver. Если это оффлайн бизнес,предположениеразвертывать1индивидуальныйFollowerи1-3индивидуальныйObserver。
• развертыватьBEНеобходимо отметить следующие моменты:
• BE Дисковое пространство в основном используется для хранения пользовательских данных. Общее дисковое пространство зависит от общего объема пользовательских данных. * 3 (3 копии) учитываются перед резервированием дополнительных 40% пространство, используемое в качестве серверной части compaction И хранение каких-то промежуточных данных.
• На одной машине может быть много развертываний BE Пример,Но толькоразвертыватьодининдивидуальный FE。если необходимо 3 скопируйте данные, то хотя бы 3 башня Каждая машинаразвертыватьодининдивидуальный BE экземпляр (вместо 1 машины развернуть3индивидуальный экземпляр BE).
• В тестовой среде также может использоваться только один индивидуальный BE Чтобы протестировать. Фактическая производственная среда, BE Количество экземпляров напрямую определяет общую задержку запроса.

Производительность Apache Doris положительно связана с количеством и конфигурацией узлов.,Официальные лица рекомендуют для развертывания Doris использовать от 10 до 100 компьютеров в производственной среде, чтобы полностью использовать производительность Doris.,Чтосередина3башняразвертыватьFE(HA),Оставшееся развернуть BE. Если смешанное отделение FEиBE,Необходимо обратить внимание на вопросы конкуренции за ресурсы,И убедитесь, что каталог метаданных и каталог данных принадлежат разным файлам.

3. Введение в развертывание брокера

Брокер — это процесс, используемый для доступа к внешним источникам данных (например, HDFS). Обычно на каждом компьютере развертывается один экземпляр брокера.

4. Требования к установке операционной системы

• файловая система Linux

Официальные рекомендации — использовать файловую систему ext4 при установке операционной системы. Другие форматы также доступны. Просмотрите команду файловой системы cat /etc/fstab в Centos7:

Или используйте команду df -Th:

• Установите количество дескрипторов файлов

Количество дескрипторов файлов в операционной системе Linux показывает, сколько «файлов» процесс может держать открытыми одновременно, не закрывая их. Открытый «файл» соответствует дескриптору файла. Упомянутый здесь «файл» не является файлом в том смысле, в каком мы его обычно понимаем. В Linux все операции ввода-вывода являются «файлом», то есть файл, открытый на жестком диске, является «файлом», а незакрытый TCP-сокет. также является «файлом». Даже консольный ввод/вывод являются «файлами».

Число дескрипторов файлов по умолчанию в системе Linux составляет 1024, что далеко не достаточно в системе производственной среды, поэтому нам необходимо увеличить количество открытых дескрипторов файлов в операционной системе Linux.

• Синхронизация часов

Метаданные Дорис требуют точности времени менее 5000 мс, поэтому все машины во всех кластерах должны синхронизировать свои часы, чтобы избежать аномалий обслуживания, вызванных несогласованностью метаданных, вызванной проблемами с часами.

• Закройте раздел подкачки (своп)

Раздел подкачки Linux вызовет серьезные проблемы с производительностью Doris, и перед установкой его необходимо отключить. Чтобы закрыть раздел Swap, необходимо закомментировать строку с типом файла «swap» в файле /etc/fstab, а затем перезапустить узел.

• Включи этоvm.max_map_countценить

Развертывание Apache Дорис, начиная с версии 1.2.0 и далее нужно Включить на узле развертывание BE это Единая индивидуальная виртуальная машина процесса JVM Память количество регионов ценить для поддержки большего количества потоков, BE Сценарий запуска передаст /proc/sys/vm/max_map_count. Проверьте, превышает ли значение 200 Вт, в противном случае запуск не удастся. Значение по умолчанию — 65530, которое можно передать «sysctl -w vm.max_map_count=2000000" для увеличения этого параметра. Вышеуказанные параметры являются лишь временными настройками. Они станут недействительными при перезапуске компьютера. Для постоянных настроек вы можете добавить параметр "vm.max_map_count=2000000" в файл /etc. файл /sysctl.conf.

5. Требования к сети

Индивидуальные экземпляры Дорис общаются напрямую через сеть. В следующей таблице показаны все необходимые порты:

При развертывании нескольких экземпляров FE убедитесь, что конфигурация http_port FE одинакова.