Планировщик Dolphin DolphinScheduler (версии 2.x и 3.x) создает локальную среду для облегчения локальной отладки кода.

💡 Эта серия статей представляет собой пошаговое руководство по DolphinScheduler, охватывающее такие темы, как конструкция, итерация второго поколения, интерпретация основных принципов, эксплуатация и обслуживание, а также управление. Он подходит для читателей, которые хотят узнать больше о DolphinScheduler или хотят углубить свое понимание.

Желаю вам полезного чтения.

Руководство по изучению больших данных

DolphinScheduler Существует множество версий с открытым исходным кодом. ОШИБКА, поэтому, если он используется в производстве компании, его необходимо оптимизировать во второй итерации. Во время второго процесса разработки необходима локальная отладка. Сегодня я запишу процесс построения локальной среды разработки, подходящей для 2.x и 3.x Версия,Между этими двумя основными версиями нет большой разницы.,иллюстрировать будет выполнено ниже.

Зависимости

• Mysql
• ZooKeeper

иллюстрировать

Другие Git, Maven, JDK, Node и другие инструменты я не буду здесь вдаваться в подробности.

Обратите внимание, что DolphinScheduler 2.x использует узел v12.20, а DolphinScheduler 3.x использует узел v16.13+.

Локальная разработка и построение больше предназначены для удобства отладки кода, для отладки существующей логики, поиска проблем, изучения исходного кода и т. д. При наличии готовой тестовой среды рекомендуется не устанавливать дополнительные Mysql и другие среды локально, и используйте тест непосредственно в окружающей среде Mysql、ZK Среда ожидания,Затемпропустить этот шаг,Посмотрите прямо

Если у вас нет тестовой среды, вам все равно придется собрать ее локально. Mysql и ZooKeeper Это также очень просто.

Установить ZooKeeper

https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/

① После загрузки извлеките его в каталог и создайте в этом каталоге новые папки zkData и zkLog.

② Воля conf в каталоге zoo_sample.cfg Сделайте копию файла и переименуйте его в zoo.cfg,Исправьте данные и войдите в конфигурацию,нравиться:

dataDir=/data/zookeeper/data ## Используйте здесь абсолютный путь, конкретный путь зависит от реальной ситуации. dataLogDir=/data/zookeeper/журнал данных

③ Запустите ./bin/zkServer.sh.

Mysql

доступ https://dev.mysql.com/downloads/mysql/

Пользователи Mac:

Пользователи Windows:

Другие, просто нажмите «Далее».

После установки Mysql вам необходимо инициализировать данные.

① Создайте новую библиотеку в MySQL для вызова dolphinscheduler.

CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

② Создайте нового пользователя dolphinscheduler и предоставьте разрешения библиотеке dolphinscheduler.

CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler'; GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%'; CREATE USER 'dolphinscheduler'@'localhost' IDENTIFIED BY 'dolphinscheduler'; GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'localhost'; FLUSH PRIVILEGES;

③ Выполнить SQL

существовать Mysql из dolphinscheduler Выполнить в библиотеке исходный код dolphinscheduler в каталогеdolphinscheduler/dolphinscheduler-dao/src/main/resources/sql/dolphinscheduler_mysql.sql издокумент, чтобы завершить инициализацию данных.

Настроить центр регистрации

Исправлять Zookepper из Конфигурацияинформация：

Если вы используете локальный из ЗК, изменение по умолчанию 127.0.0.1:2181, этот шаг можно пропустить и Исправлять не требуется.

Если вы используете другое устройство Служить из ZK, исправьте расположение на рисунке ниже, это информация о соединениях.

Запустить серверную часть

иллюстрировать

Вот он, 2.x Версия и 3.x Версия будет немного другая. Как показано на рисунке:

Исправляя время, Уведомление находит соответствующее из положения.

Запустить службу API

① 2.X Версия и 3.X Версия Такой же,существовать dolphinscheduler-api Модуль из resources Ниже добавьте yaml документ application-mysql.yaml

Содержание следующее：Уведомление Исправлятьстать самим собойиз Mysql информация о соединении

spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://тыизIP:3306/база данных?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false username: ты пользователь password: ваш пароль hikari: connection-test-query: select 1 minimum-idle: 5 auto-commit: true validation-timeout: 3000 pool-name: DolphinScheduler maximum-pool-size: 50 connection-timeout: 30000 idle-timeout: 600000 leak-detection-threshold: 0 initialization-fail-timeout: 1

Иллюстрация:

② Исправить вывод логов на консоль, существуют dolphinscheduler-api Модуль из resources под,Исправлять logback-api.xml документ。

<root level="INFO"> <appender-ref ref="STDOUT"/> <appender-ref ref="APILOGFILE"/> </root>

Иллюстрация:

③ Запустить службу API

Порт по умолчанию: 7080.

Конфигурация VM Options ： -Dlogging.config=classpath:logback-api.xml -Dspring.profiles.active=mysql,api

Скопируйте красную часть ниже 👇.

Иллюстрация:

Запустить мастер-сервис

Обратите внимание, здесь 2.X Версия и 3.X Существуют различия в версиях, пожалуйста, проверьте их.

① существовать 2.X Версиясередина,существовать dolphinscheduler-server Модуль из resources Ниже добавьте yaml документ application-mysql.yaml существовать 3.X Версиясередина,существовать dolphinscheduler-master Модуль из resources Ниже добавьте yaml документ application-mysql.yaml, содержимое следующее:

spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://тыизIP:3306/база данных?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false username: ты пользователь password: ваш пароль hikari: connection-test-query: select 1 minimum-idle: 5 auto-commit: true validation-timeout: 3000 pool-name: DolphinScheduler maximum-pool-size: 50 connection-timeout: 30000 idle-timeout: 600000 leak-detection-threshold: 0 initialization-fail-timeout: 1

② Исправить вывод логов на консоль, существуют dolphinscheduler-server Модуль из resources под,Исправлять logback-master.xml документ。

<root level="INFO"> <appender-ref ref="STDOUT"/> <appender-ref ref="APILOGFILE"/> </root>

Иллюстрация:

③ запускать Master

Конфигурация VM Options：--Dlogging.config=classpath:logback-master.xml-Dspring.profiles.active=mysql,master

Скопируйте красную часть ниже 👇.

Запустите службу Worker

Обратите внимание, здесь 2.X Версия и 3.X Существуют различия в версиях, пожалуйста, проверьте их.

① существовать 2.X Версиясередина,masterиworkerсуществовать внутри модуля,существует Уже Конфигурация на предыдущем шаге изMasterСлужить,Прыгай прямо сюдазапускать Служитьэтот шаг(Посмотрите прямо③)。

Если вы используете версию 3.X.,Пожалуйста, продолжайте читать: существует версия 3.X,существовать dolphinscheduler-worker Модуль из resources Ниже добавьте yaml документ application-mysql.yaml, содержимое следующее:

spring: datasource: driver-class-name: com.mysql.cj.jdbc.Driver url: jdbc:mysql://тыизIP:3306/база данных?characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false username: ты пользователь password: ваш пароль hikari: connection-test-query: select 1 minimum-idle: 5 auto-commit: true validation-timeout: 3000 pool-name: DolphinScheduler maximum-pool-size: 50 connection-timeout: 30000 idle-timeout: 600000 leak-detection-threshold: 0 initialization-fail-timeout: 1

② Исправить вывод логов на консоль, существуют dolphinscheduler-server Модуль из resources под,Исправлять logback-master.xml документ。

<root level="INFO"> <appender-ref ref="STDOUT"/> <appender-ref ref="APILOGFILE"/> </root>

Иллюстрация:

③ запускать Worker

Конфигурация VM Options：--Dlogging.config=classpath:logback-worker.xml-Dspring.profiles.active=mysql,worker

Скопируйте красную часть ниже 👇.

Запустить интерфейс

Обратите внимание, что версия DolphinScheduler 2.x использует узел v12.20.2, а версия DolphinScheduler 3.x использует узел v16.13+.

① Можно использовать nvm управлятьnodeВерсия。доступ：https://nvm.uihtm.com/

② Согласно сайту из руководства Установка завершена nvm После этого используйте следующую команду, чтобы продолжить установку. node

nvm install 12.20.2

③ подтверждать .env Конфигурация порта API_BASEиз с API Служитьиз порта последовательно. .

④ Запустить интерфейс。

cd dolphinscheduler-ui nvm use v12.20.2 npm install npm run dev

⑤ Дождавшись завершения запуска, вы можете получить доступ localhost:8888

Пароль учетной записи по умолчанию admin/dolphinsch