Примечания к исследованию Pyspark (2) --- Введение в развертывание искры и команду искровой отправки.

Оглавление

Примечания к исследованию Pyspark (2) --- Введение в развертывание искры и команду искровой отправки.

1. Режим развертывания Spark

1.1 Локальный режим

1.2 Независимый кластер Spark (автономный режим развертывания)

1.3 Развертывание на основе Hadoop YARN

1.4 Развертывание на основе Kubernetes (т. е. k8s)

2. команда искровой отправки

1. Режим развертывания Spark

Ссылка на официальную документацию：https://spark.apache.org/docs/latest/cluster-overview.html#cluster-mode-overview

Распространенные шаблоны развертывания:

● локальный режим ● Независимый кластер Spark (автономный) Deploy Mode) ● На основе Hadoop YARN развертывать ● На основе Апача Mesosразвертывание (включена последняя версия Spark) ● на основеKubernetes(Прямо сейчасk8s)развертывать

Основное различие между различными режимами развертывания заключается в способе управления ресурсами между одним или несколькими узлами вычислительного кластера. Каждый режим развертывания Spark можно использовать в интерактивных (оболочках) и неинтерактивных (пакетных) приложениях. Ниже приводится краткое описание различныхразвертыватьрежим,Отправка задачи Заказ；Ссылки：Submitting Applications - Spark 3.3.0 Documentation

1.1 Локальный режим

Этот режим запускает процесс Spark на локальном компьютере и ограничен ресурсами локального компьютера. Обычно он используется для тестирования.

 Как видите, локальный, заполненный мастером, предназначен для выбора локального режиме и может быть записано как local[n] выбрать использование n ядер процессора;

1.2  Sparkнезависимый кластер(Standalone Deploy Mode)

Независимый кластер Spark — это встроенный («независимый») планировщик Spark, который не требует внешнего планировщика.

Заполните адрес и порт, где запускается основной процесс на мастере.

1.3 Развертывание на основе Hadoop YARN

Наиболее часто используемый режим развертывания — это использование инфраструктуры управления ресурсами YARN, предоставляемой Hadoop.,При использовании YARN в качестве планировщика,Предусмотрено два режима развертывания кластера.,Один из них — кластерный режим, Один из них — клиентский режим.

1.4 Развертывание на основе Kubernetes (т. е. k8s)

можно увидеть,Эти режимы развертывания имеют фиксированные форматы отправки заданий.,Можно сказать, что они похожи,Ниже будут представлены методы и параметры для отправки задач.

2. spark-submit Заказ

неинтерактивное приложение,проходитьspark-submitЗаказ Отправить задачу,Официальное объяснение показано по следующей ссылке:

Submitting Applications - Spark 3.2.1 Documentation

Сценарий искровой отправки находится в папке bin под инсталляцией искры.,В Заказе используются многоразовые модули в виде скриптов.,

Программная отправка задач в Spark,и может поддержатьРазличные менеджеры кластеров и режимы развертывания, поддерживаемые Spark.

Общий искровой заказ Заказ：

${SPARK_HOME}/bin/spark-submit \

  --class <main-class> \

  --master <master-url> \

  --deploy-mode <deploy-mode> \

  --conf <key>=<value> \

  ... # other options

  <application-jar> \

  [application-arguments]

Параметры строки заказа

Эти параметры представлены один за другим ниже:

Следующие четыре параметра, возможно, потребуется отладить в соответствии с реальной ситуацией при выполнении задач для улучшения использования ресурсов. На них можно сосредоточиться:

Существует также официальное объяснение значения этих профессиональных терминов: Cluster Mode Overview - Spark 3.3.0 Documentation Я взял несколько отрывков и написал их здесь. Для более подробного объяснения, пожалуйста, обратитесь к справочной документации:

#############################################################################

Для получения дополнительных параметров вы можете использовать --help для просмотра: