Кьюби интегрированный сценарий искры
Кьюби интегрированный сценарий искры

Метод запуска клиента

Старт на базе кьюби-сервера

${kyport}по умолчанию 10009

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://kyuubiserver:kyport/;user=hadoop"

Старт на базе zk-сервера

${zkport} По умолчанию 2181,Рекомендуемое использование

Язык кода:javascript
копировать
kyuubi-beeline -u "jdbc:hive2://zkserver:zkport/;user=hadoop?serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=kyuubi"

${kyuubiserver}:${kyport}Видеть kyuubi-defaults.conf из kyuubi.frontend.bind.port конфигурация.

${zkserver}:${zkport} Видеть kyuubi-defaults.conf из kyuubi.ha.zookeeper.quorum конфигурация.

Выполнить SQL

Выполнить SQLдокумент

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop" -f 1.sql

интерактивное исполнение

Язык кода:javascript
копировать
jdbc:hive2://ip:port> create table kyuubi_test(code int,name string);
+---------+
| Result  |
+---------+
+---------+
No rows selected (0.302 seconds)
jdbc:hive2://ip:port> show tables;
+-----------+----------------+--------------+
| database  |   tableName    | isTemporary  |
+-----------+----------------+--------------+
| default   | kyuubi_test    | false        |
+-----------+----------------+--------------+
1 row selected (0.101 seconds)

Уровень совместного использования двигателя

Уровень сервера

существоватьkyuubi-defaults.confсерединанастраиватьkyuubi.engine.share.level(Системное значение по умолчаниюUSER,Можетнастраиватьпараметрподробный Видеть Таблица 1.1), этот параметр является уровнем кластера по умолчанию. общего доступа。

уровень клиента

Пользователи могут отправлять собственные уровни общего доступа(Прикрыть серверизпо умолчаниюнастраивать),существоватьJdbcUrlсерединанастраиватьkyuubi.engine.share.level(Можно задать параметр Видеть Таблица 1.1),Примеры команд следующие:

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level=CONNECTION"

Справочник по параметрам конфигурации

Уровень общего доступа

Семантика

Применимые сценарии

степень изоляции

Уровень общего доступа

CONNECTION

Запуск двигателя для каждого сеанса

Крупномасштабный ETL

высокий

Низкий

USER

Один движок на пользователя

Специальный запрос

середина

середина

GROUP

Один механизм на группу ресурсов

Специальный запрос

Низкий

высокий

SERVER

Один двигатель на кластер

Не рекомендуется для производства.

Не рекомендуется для производства.

Таблица 1.1

Настройки тайм-аута двигателя

После запуска двигателя,При активированном двигателе,Другие вновь отправленные задачи можно быстро отправить в движок и выполнить задачи.,Когда двигатель превышает время простоя,Система восстановит ресурсы двигателя,Для повторной отправки требуется перезапуск двигателя.。время простояпараметрkyuubi.session.engine.idle.timeoutпо умолчаниюPT30M (30 min)

Настройки сервера

существоватьkyuubi-defaults.confсерединанастраиватьkyuubi.session.engine.idle.timeout,Этот параметр является тайм-аутом кластера по умолчанию.

Настройки клиента

Пользователи могут отправлять собственные движки тайм-аут (переопределяя настройки по умолчанию на стороне сервера),существоватьJdbcUrlсерединанастраиватьkyuubi.session.engine.idle.timeout,Примеры команд следующие:

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.session.engine.idle.timeout=PT10M"

Справочник по параметрам конфигурации

параметр

значение по умолчанию

Семантика

Эффективная версия

kyuubi.session.engine.check.interval

PT5M

Проверить время

1.0.0

kyuubi.session.engine.idle.timeout

PT30M

тайм-аут

1.0.0

Настройки клиентского поддомена

Когда уровень двигателя ПОЛЬЗОВАТЕЛЬСКИЙ、GROUP、СЕРВЕР, пользователь может настроить один (USER、GROUP、SERVER)Несколько независимых экземпляров движка под экземпляром。Напримерkyuubi.engine.share.level=USER,Тот же пользователь проходит механизм бизнес-изоляции,существоватьJdbcUrlсерединанастраиватьkyuubi.engine.share.level.subdomain,Примеры следующие:

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level.subdomain=sd1"
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?kyuubi.engine.share.level.subdomain=sd2"

Параметры ресурса Spark

Настройки параметров разделены на 3 уровня, настройки искрового двигателя $SPARK_HOME/conf/spark-defaults.conf ;kyuubiдвигательнастраивать$KYUUBI_HOME/conf/kyuubi-defaults.conf,Его настройки серединакьюби могут переопределять настройки искры. Примеры следующие:

Настройки сервера

Настройте уровень обслуживания Spark в параметре среды.

Язык кода:javascript
копировать
spark.dynamicAllocation.enabled=false
spark.executor.memory=3g
spark.executor.cores=2
spark.executor.instances=10

Настройте уровень пользователя в параметре среды

Язык кода:javascript
копировать
# For a user named hadoop
___hadoop___.spark.dynamicAllocation.enabled=false
___hadoop___.spark.executor.memory=5g
___hadoop___.spark.executor.cores=2
___hadoop___.spark.executor.instances=10

Настройки клиента

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?spark.dynamicAllocation.enabled=false;spark.executor.cores=2;spark.executor.memory=4g;spark.executor.instances=4"

Конфигурация SparkDRA

Настройки параметров разделены на 3 уровня, настройки искрового двигателя $SPARK_HOME/conf/spark-defaults.conf ;kyuubiдвигательнастраивать$KYUUBI_HOME/conf/kyuubi-defaults.conf,Его настройки серединакьюби могут переопределять настройки искры. Примеры следующие:

Настройки сервера

sparkуровень обслуживанияРекомендуемая конфигурация,Настроить адрес$SPARK_HOME/conf/spark-defaults.conf

Язык кода:javascript
копировать
spark.dynamicAllocation.enabled=true
##false if perfer shuffle tracking than ESS
spark.shuffle.service.enabled=true
spark.dynamicAllocation.initialExecutors=10
spark.dynamicAllocation.minExecutors=10
spark.dynamicAllocation.maxExecutors=500
spark.dynamicAllocation.executorAllocationRatio=0.5
spark.dynamicAllocation.executorIdleTimeout=60s
spark.dynamicAllocation.cachedExecutorIdleTimeout=30min
# true if perfer shuffle tracking than ESS
spark.dynamicAllocation.shuffleTracking.enabled=false
spark.dynamicAllocation.shuffleTracking.timeout=30min
spark.dynamicAllocation.schedulerBacklogTimeout=1s
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=1s
spark.cleaner.periodicGC.interval=5min

Конфигурация уровня пользователя Kyuubi,Настроить адрес$KYUUBI_HOME/conf/kyuubi-defaults.conf

Язык кода:javascript
копировать
# For a user named hadoop
___hadoop___.spark.dynamicAllocation.maxExecutors=20
# For a user named hive
___hive___.spark.dynamicAllocation.maxExecutors=600

Как указано выше,Hadoop можно распараллелить, а количество исполнителей не может превышать 20.,улей можно распараллелить, а количество исполнителей не может превышать 600.

Настройки клиента

Язык кода:javascript
копировать
kyuubi-beeline  -u "jdbc:hive2://zkhost:2181/;user=hadoop?spark.sql.shuffle.partitions=2;spark.executor.memory=5g"

Настройки клиента Эффективный объем:

Runtime SQL Configuration:Эффективен в режиме реального времени

Static SQL and Spark Core Configuration: Если текущая заявка запускает новый движок, он действителен. Если существующий движок продолжается, он недействителен.

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose