${kyport}по умолчанию 10009
kyuubi-beeline -u "jdbc:hive2://kyuubiserver:kyport/;user=hadoop"
${zkport}
По умолчанию 2181,Рекомендуемое использование
kyuubi-beeline -u "jdbc:hive2://zkserver:zkport/;user=hadoop?serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi"
${kyuubiserver}:${kyport}
Видеть kyuubi-defaults.conf из kyuubi.frontend.bind.port конфигурация.
${zkserver}:${zkport}
Видеть kyuubi-defaults.conf из kyuubi.ha.zookeeper.quorum конфигурация.
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop" -f 1.sql
jdbc:hive2://ip:port> create table kyuubi_test(code int,name string);
+---------+
| Result |
+---------+
+---------+
No rows selected (0.302 seconds)
jdbc:hive2://ip:port> show tables;
+-----------+----------------+--------------+
| database | tableName | isTemporary |
+-----------+----------------+--------------+
| default | kyuubi_test | false |
+-----------+----------------+--------------+
1 row selected (0.101 seconds)
существоватьkyuubi-defaults.conf
серединанастраиватьkyuubi.engine.share.level
(Системное значение по умолчаниюUSER,Можетнастраиватьпараметрподробный Видеть Таблица 1.1), этот параметр является уровнем кластера по умолчанию. общего доступа。
Пользователи могут отправлять собственные уровни общего доступа(Прикрыть серверизпо умолчаниюнастраивать),существоватьJdbcUrlсерединанастраиватьkyuubi.engine.share.level
(Можно задать параметр Видеть Таблица 1.1),Примеры команд следующие:
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level=CONNECTION"
Уровень общего доступа | Семантика | Применимые сценарии | степень изоляции | Уровень общего доступа |
---|---|---|---|---|
CONNECTION | Запуск двигателя для каждого сеанса | Крупномасштабный ETL | высокий | Низкий |
USER | Один движок на пользователя | Специальный запрос | середина | середина |
GROUP | Один механизм на группу ресурсов | Специальный запрос | Низкий | высокий |
SERVER | Один двигатель на кластер | Не рекомендуется для производства. | Не рекомендуется для производства. |
Таблица 1.1
После запуска двигателя,При активированном двигателе,Другие вновь отправленные задачи можно быстро отправить в движок и выполнить задачи.,Когда двигатель превышает время простоя,Система восстановит ресурсы двигателя,Для повторной отправки требуется перезапуск двигателя.。время простояпараметрkyuubi.session.engine.idle.timeout
по умолчаниюPT30M (30 min)
существоватьkyuubi-defaults.conf
серединанастраиватьkyuubi.session.engine.idle.timeout
,Этот параметр является тайм-аутом кластера по умолчанию.
Пользователи могут отправлять собственные движки тайм-аут (переопределяя настройки по умолчанию на стороне сервера),существоватьJdbcUrlсерединанастраиватьkyuubi.session.engine.idle.timeout
,Примеры команд следующие:
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.session.engine.idle.timeout=PT10M"
параметр | значение по умолчанию | Семантика | Эффективная версия |
---|---|---|---|
kyuubi.session.engine.check.interval | PT5M | Проверить время | 1.0.0 |
kyuubi.session.engine.idle.timeout | PT30M | тайм-аут | 1.0.0 |
Когда уровень двигателя ПОЛЬЗОВАТЕЛЬСКИЙ、GROUP、СЕРВЕР, пользователь может настроить один (USER、GROUP、SERVER)Несколько независимых экземпляров движка под экземпляром。Напримерkyuubi.engine.share.level=USER
,Тот же пользователь проходит механизм бизнес-изоляции,существоватьJdbcUrlсерединанастраиватьkyuubi.engine.share.level.subdomain
,Примеры следующие:
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level.subdomain=sd1"
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level.subdomain=sd2"
Настройки параметров разделены на 3 уровня, настройки искрового двигателя $SPARK_HOME/conf/spark-defaults.conf
;kyuubiдвигательнастраивать$KYUUBI_HOME/conf/kyuubi-defaults.conf
,Его настройки серединакьюби могут переопределять настройки искры. Примеры следующие:
Настройте уровень обслуживания Spark в параметре среды.
spark.dynamicAllocation.enabled=false
spark.executor.memory=3g
spark.executor.cores=2
spark.executor.instances=10
Настройте уровень пользователя в параметре среды
# For a user named hadoop
___hadoop___.spark.dynamicAllocation.enabled=false
___hadoop___.spark.executor.memory=5g
___hadoop___.spark.executor.cores=2
___hadoop___.spark.executor.instances=10
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?spark.dynamicAllocation.enabled=false;spark.executor.cores=2;spark.executor.memory=4g;spark.executor.instances=4"
Настройки параметров разделены на 3 уровня, настройки искрового двигателя $SPARK_HOME/conf/spark-defaults.conf
;kyuubiдвигательнастраивать$KYUUBI_HOME/conf/kyuubi-defaults.conf
,Его настройки серединакьюби могут переопределять настройки искры. Примеры следующие:
sparkуровень обслуживанияРекомендуемая конфигурация,Настроить адрес$SPARK_HOME/conf/spark-defaults.conf
spark.dynamicAllocation.enabled=true
##false if perfer shuffle tracking than ESS
spark.shuffle.service.enabled=true
spark.dynamicAllocation.initialExecutors=10
spark.dynamicAllocation.minExecutors=10
spark.dynamicAllocation.maxExecutors=500
spark.dynamicAllocation.executorAllocationRatio=0.5
spark.dynamicAllocation.executorIdleTimeout=60s
spark.dynamicAllocation.cachedExecutorIdleTimeout=30min
# true if perfer shuffle tracking than ESS
spark.dynamicAllocation.shuffleTracking.enabled=false
spark.dynamicAllocation.shuffleTracking.timeout=30min
spark.dynamicAllocation.schedulerBacklogTimeout=1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1s
spark.cleaner.periodicGC.interval=5min
Конфигурация уровня пользователя Kyuubi,Настроить адрес$KYUUBI_HOME/conf/kyuubi-defaults.conf
# For a user named hadoop
___hadoop___.spark.dynamicAllocation.maxExecutors=20
# For a user named hive
___hive___.spark.dynamicAllocation.maxExecutors=600
Как указано выше,Hadoop можно распараллелить, а количество исполнителей не может превышать 20.,улей можно распараллелить, а количество исполнителей не может превышать 600.
kyuubi-beeline -u "jdbc:hive2://zkhost:2181/;user=hadoop?spark.sql.shuffle.partitions=2;spark.executor.memory=5g"
Настройки клиента Эффективный объем:
Runtime SQL Configuration:Эффективен в режиме реального времени
Static SQL and Spark Core Configuration: Если текущая заявка запускает новый движок, он действителен. Если существующий движок продолжается, он недействителен.