Случай пользователя | Исследование происхождения таблицы данных Shuhai Supply Chain и опыт обновления кросс-версий на основе Apache DolphinScheduler
Случай пользователя | Исследование происхождения таблицы данных Shuhai Supply Chain и опыт обновления кросс-версий на основе Apache DolphinScheduler

Случай пользователя | Цепочка поставок Шухай

Shuhai Supply Chain - это предприятие, предоставляющее услуги в сфере цепочки поставок общественного питания, объединяющее продажи, исследования и разработки, закупки, производство, контроль качества, складирование, транспортировку, информацию и финансы. В начале 2021 года группа исследований и разработок в области больших данных Шухайского центра информационных технологий приступила к тестированию использования Apache DolphinScheduler в качестве системного инструмента планирования задач для центров обработки данных и различных проектов бизнес-продуктов. В этой статье в основном рассказывается об исследовании и инновациях Shuhai Supply Chain на ранней стадии внедрения старых версий Dolphin, а также об опыте процесса обновления и развертывания основных версий. Я надеюсь, что она будет вдохновлять и полезна для всех.

Об авторе

Ду Цюань, инженер по большим данным в цепочке поставок Шухай, участвовал в создании платформы больших данных Шухай и промежуточной платформы данных.

Введение в бизнес-историю

Основная деятельность нашей компании представлена ​​на рисунке ниже:

  • Кабина лидерства: анализ, предоставляемый высшим руководителям в квазиреальном времени.,Бизнес-анализ Т+1, Категория валовой прибыли по продукту、Рыночная цена и другие отчеты
  • Финансы: различные ежедневные отчеты, ежемесячные отчеты, годовые отчеты, отчеты о валовой прибыли, таблицы показателей и т. д.
  • Продажи клиентам: отчеты в режиме реального времени о закупках и продажах клиентов.、ежедневно、анализ данных различных аспектов ежемесячного отчета и запрос деталей продаж
  • Категория поставщика: анализ закупок, отчет о запросе, уровень поставщика, инструментальные средства поставщика, анализ сверки поставщиков, оптимизация стратегии закупок и т. д.
  • Складирование: ротация запасов、Место хранения、Индикаторы данных о запасах и других измерениях в режиме реального времени и требования к отчетности
  • Логистика и транспортировка: анализ пунктуальности, контроль температуры, транспортных расходов, составление графика и т. д.
  • Аналитик данных: быстрое реагирование на различные потребности в анализе данных.,и различные временные потребности высшего руководства,интеллектуальный анализ данных и различный интерактивный анализ в реальном времени
  • Каждая бизнес-операция/стратегия/ответственное лицо: в основном проверяется общая ситуация по каждой бизнес-операции и запрашивается агрегирование различных аспектов каждого бизнеса в режиме реального времени на платформе данных.
  • А также некоторые другие потребности в бизнес-отчетности и анализе.

Интегрированный опыт обновления

В процессе строительства центра обработки данных хорошие компоненты планирования больших данных часто позволяют добиться двойного результата с вдвое меньшими усилиями. Наша команда хорошо это понимает, поэтому мы выбрали Dolphin Scheduling в качестве системы планирования центра обработки данных цепочки поставок Шухай. после перехода от этапа трансформации развертывания связывающей интеграции версии 1.3.6 к этапу трансформации развертывания разъединенной интеграции v3.1.8. В ходе этого процесса возникали различные проблемы, и своевременно были предложены решения. Я поделюсь ими сейчас, надеясь, что это может помочь. . Всем моим друзьям.

01

Dolphin планирует интеграцию старой версии

Старой версией, интегрированной командой, была v1.3.6, которая стабильно работала в производственной среде более двух лет. Здесь мы кратко представляем детали интеграции в дата-центр и болевые точки, вызванные резким увеличением. объем бизнеса.

(1) Службы API и преобразование пользовательского интерфейса интегрированы в промежуточную платформу.

  • Трансформация внешнего пользовательского интерфейса

На основе вторичной разработки проекта dolphinscheduler-ui (с большим количеством изменений) адаптирован стиль средней платформы и различные меню планирования Dolphin (домашняя страница, управление проектом, центр ресурсов, центр источников данных, центр мониторинга). и центр безопасности) интегрированы в промежуточную платформу и объединены в шлюзе маршрутизации Тайваня.

  • Интерфейс API бэкенда Служить преобразованию

Основанный на вторичной разработке проекта dolphinscheduler-api, он интегрирует трансформацию системы пользователей среднего уровня. Основные точки трансформации заключаются в следующем:

① Пункт улучшения 1: Реконструкция метода preHandle() класса-перехватчика LoginHandlerInterceptor.

② точка трансформации2:каждыйControllerМетод интерфейса в классе уровня управления добавляет метод для получения вошедшего в систему пользователя.getLoginUser()метод

③ Пункт модификации 3: Изменение методов возвращаемых данных и пейджинговых данных.

(2) Преобразование сигналов тревоги для добавления сигналов DingTalk.

Версия v1.3.6 поддерживает только два типа групп тревог: электронную почту и SMS. Компания обычно получает информацию о тревогах через DingTalk, поэтому ей необходимо интегрировать типы тревог DingTalk. Основные точки трансформации заключаются в следующем:

①Шаг 1. Определите класс подключаемого модуля сигнализации DingAlertPlugin Dingding для реализации интерфейса AlertPlugin.,переписатьgetId()getName()иprocess()метод

②Шаг 2. Определите класс управления отправкой DingManager DingTalk.

③ Шаг 3. Напишите класс инструмента DingUtils для отправки сообщений в DingTalk.

④Шаг 4. Зарегистрируйте плагин оповещений DingTalk на AlertServer.

⑤ шаг5:Пакетирование, развертывание и изменениеdolphinscheduler-daemon.sh

Упакуйте и разверните логику в соответствии с конкретными модификациями.,Изменено здесьdolphinscheduler-alert-1.3.6.jarиdolphinscheduler-dao-1.3.6.jar Так что просто упакуйте эти два пакета. Кроме того, добавьте папку alertlib в путь установки и добавьте логику загрузки альтер-сервера в dolphinscheduler-daemon.sh.

(3) Отображение результатов интегрирования

Интегрированное меню центра обработки данных соответствует версии 1.3.6 Dolphin Scheduling, которая в основном включает в себя: домашнюю страницу, управление проектами, центр ресурсов, центр источников данных, центр мониторинга и центр безопасности. Эти меню интегрированы в наш центр обработки данных и. внешний интерфейс находится на платформе унифицированного шлюза маршрутизации.

(4) Болевые точки бизнеса старой версии v1.3.6.

  • Рабочий таблица определения процесса process_definition_jsonПоле большоеJSON Миссия и рабочий процесс Высокая степень сцепления,Разобрать JSON,Очень требовательно к производительности,И задачи нельзя использовать повторно; иначе это приведет к большой избыточности;,Плохая производительность,Серьезное потребление ресурсов
  • Сложность обновления,1.3.6 Интеграция в систему промежуточной платформы данных,Это эквивалент второй разработки API Служить.,Интегрированная пользовательская система среднего уровня и унифицированный шлюз маршрутизации.,Каждое обновление компонентов пользовательского интерфейса.,Планирование Dolphin вызовет различные проблемы со стилем интерфейса (SUB_PROCESS ребенок Рабочий процесс не могу зайти в подузел), меню отображается не полностью, журнал нельзя просмотреть в полноэкранном режиме, домашняя страница проекта не может скользить вверх и вниз и т. д. Ряд проблем взаимодействия с пользовательским интерфейсом.
  • Пользовательские параметры между задачами не могут зависеть от передачи параметров.
  • Рабочий Кросс-задача ProcessInstance не имеет политики выполнения задач , по умолчанию используется параллельная обработка, одноэлементный режим не гарантируется, например, при высокой частоте планирования. Предыдущий Рабочий процесс Экземпляр еще не выполнен,Следующий начинается снова,Вызывает путаницу и неточность данных.
  • Поставляется с качеством данных, начиная с 3.0.0.
  • Поддержка нескольких типов плагинов сигналов тревоги, групп сигналов тревоги и управления экземплярами (не ограничиваясь DingTalk), начиная с версии 3.0.0
  • Основные изменения и оптимизации пользовательского интерфейса.

Учитывая проблемы бизнеса первой версии интеграции v1.3.6 и выше, особенно важно обновить и реконструировать метод интеграции.

02

Dolphin отправляет обновление новой версии

Проблемы, с которыми сталкиваются аналитики данных в версии 1.3.6 в процессе переноса бизнес-анализа. В сочетании с лучшими функциями новой версии Dolphin Scheduling неизбежно произойдет обновление до более новой версии. интеграция Dolphin Scheduling в центр обработки данных и процесс обновления. Позвольте мне рассказать подробности. Я надеюсь, что это будет полезно для вас, когда вы столкнетесь с обновлением между версиями.

(1) Новая версия (v3.1.1) интегрирована в центр

  • Общая архитектура проекта среднего офиса Dolphin Scheduling Integration

В основном делится на: центр обработки данных — внешний интерфейс, центр обработки данных — серверная часть, служба API планирования Dolphin и кластер.

  • Процесс вызова интегрированной средней платформы Dolphin Scheduling

Основной процесс:данные Средняя платформа-Интерфейс запрашивает открытие меню планирования дельфина.->вызовданные Средняя платформаназад Получите логин пользователя диспетчера Dolphin на терминалеинформацияинтерфейс->Вернуть имя пользователя и пароль->Войдите в систему планирования Dolphin.->данные Средняя платформа-Внешний запрос на выход из учетной записи платформы->Интерфейс выхода из интерфейса планирования Dolphin->Выйти из системы

  • модель данных и детали конструкции

Разработка модели промежуточного пользователя для проекта интегрированного центра обработки данных Dolphin Scheduling

Целью разработки модели является, главным образом, установление связи между центром обработки данных и пользователями планирования Dolphin, чтобы после того, как пользователь центра обработки данных войдет в систему, когда он щелкнет меню планирования Dolphin, он мог получить соответствующую информацию для входа в систему планирования пользователя Dolphin и успешно авторизоваться.

(2) Последовательный переход на версию 1.3.6 и обновление до версии 3.1.8+.

Здесь я беру обновленную версию нашей производственной среды v1.3.6 в качестве отправной точки.,пройтиv2.0.0->2.0.9>3.0.0>3.1.0->3.18Эти версии итеративно обновляются.<Конечно, вы можете сделать шаг поменьше.,Может быть меньше проблем,Потому что ведь скрипт update_schema.sh, представленный на официальном сайте, подходит для небольших версий.,Для больших версий совместимость поддержки не идеальна.

В процессе обновления версии 2.0.0 в основном необходимо изменить часть исходного кода для совместимости с обновлением. В других версиях в основном необходимо изменить сценарий ddl, соответствующий схеме, для совместимости с обновлением. Кратко описан основной процесс обновления. следующее:

  • Загрузите целевой пакет установки обновления (требуется пакет исходного кода последовательного обновления и загрузка двоичного пакета)

Загрузите все бинарные установочные пакеты новой стабильной версии (версии, подлежащей обновлению) и поместите бинарные пакеты по пути, отличному от текущего старого сервиса DolphinScheduler. Действия по обновлению необходимо выполнить в каталоге новой версии.

Примечание. Если необходимо обновить основные версии, особенно версии 2.0.0, вам необходимо загрузить пакет исходного кода 2.0.0. Подробности изменения см. в (3).

  • Резервное копирование метаданных Dolphin Scheduler (получить SQL-скрипт старой версии)

Создайте дамп из производственной среды или используйте команду dump для резервного копирования файла сценария базы данных. Некоторые несущественные данные таблицы журнала можно опустить, но структуру таблицы необходимо создать резервную копию.

  • Измените файл конфигурации обновленной версии.

В зависимости от версии до версии 2.0.9 структура каталогов выглядит примерно следующим образом:

После версии v3.0.0 структура каталогов выглядит примерно следующим образом:

Обычно изменения следуют принципу: сначала настраиваются схемы обновления, а затем настраиваются базовые файлы развертывания.

Для ≤v2.0.9,Обновление конфигурацииschemaНеобходимо изменитьconf/datasource.propertiesфайл и будетданные Пакет драйверов библиотеки находится вlibПросто в каталоге;и Настройка базовых файлов развертывания Необходимо изменитьconf/common.propertiesconf/config/install_config.confconf/env/dolphinscheduler_env.sh

Для ≥v3.0.0,Обновление конфигурацииschemaно Необходимо изменитьbin/env/dolphinscheduler_env.shи будетданные Пакет драйверов библиотеки находится вtools/libsПросто в каталоге;и Настройка базовых файлов развертыванияно Необходимо изменитьbin/env/install_env.sh、alert/master/worker/api-server/confвнизcommon.propertiesapplication.yaml

  • Обновите библиотеку данных и выполните сценарий обновления библиотеки данных.

Объясните здесь,Если это старая версия до v2.0.0,Тогда вы столкнетесь со сложной проблемой: Рабочий таблица определения процессабольшойJSONне разделен。Сначала вам нужно пройти официальнуюupdate-schema.shрасколотьбольшойJSONИ в процессе внедрения будет много проблем.,Если только старая версия Рабочего вашей компании Идентификатор определения процесса не был удален и всегда увеличивался и непрерывно увеличивался, поскольку официальное определение рабочего процесс ОпределениеtasksЛогика разделения автоматически увеличивается.,Если его не удастся найти, будет сообщено об ошибке.,Поэтому исходный код версии 2.0.0 необходимо изменить для обеспечения совместимости.

  • Установите, разверните и включите последнюю версию Служить.

Здесь будет проблема,при выполненииbin/install.shназад,Это должно произойти после версии 3.1.x., существоватьinstall.shЧетвертый шаг<Прямо сейчас:4.delete zk node>Следующая ошибка появится в:

Примерно проанализировал это,После расследования и позиционирования было установлено, что упаковка с банкой пропала.,Я используюZookeeperВерсияv3.8.0。ирабочий-сервер/мастер-сервер/api-serverизlibsВнизcommons-cli-1.2.jarОн действительно не включен в исходный пакет.DefaultParserдобрый,Это потому, что версия 1.2 слишком низкая.

Решение:Внизнагрузка≥1.4изcommon-cliПоложите пакеты в каждый СлужитьпереписыватьсяизlibsВниз,Установите и разверните снова, и проблем не будет.,https://mvnrepository.com/artifact/commons-cli/commons-cli/1.4,Эффект следующий:

Будет заметноеизERRORинформация:ERROR org.apache.zookeeper.util.ServiceUtils - Exiting JVM with code 0,Хоть это и выглядит неудобно,Но не обращайте внимания на то, что это код выхода Zookeeper после нормального выполнения команды.,0 означает, что программа завершается нормально,если еще существуетсуществовать Если у вас есть какие-либо сомнения, вы можете открыть одинZookeeperклиент(bin/zkCli.sh)Ctrl+DПопробуйте Внизпокидать。

  • Инициализируйте данные и проверьте функции новой версии.

Данные инициализации в основном включают в себя: арендаторов, пользователей, группы и экземпляры тревог, центры ресурсов, центры источников данных, управление средой и другое обслуживание информации. Они должны поддерживаться самостоятельно в соответствии с конкретными бизнес-сценариями компании. Проверка функции не будет описываться. здесь.

(3) Краткое описание проблем, возникших при последовательном обновлении.

  • OutOfMemoryError:Java heap space (v1.3.6->v2.0.0)

Причина этой проблемы в том, что Рабочий необходимо разделить во время обновления до версии 2.0.0. таблица определения процессаprocess_definition_jsonПоле,А количество определений «Рабочий процесс» у нас составляет 6463 (поскольку объем бизнеса продолжает расти).,Разделение требует много памяти,Недостаточно места в куче Java,В результате невозможно выделить больше памяти.,Это необходимо соответствующим образом настроить в соответствии с конфигурацией Служить параметра -Xmx.,Здесь я настроил его на -Xmx4g,Тогда обновление не будет проблемой.

  • json split error && NullPointException:null (v1.3.6->v2.0.0)

Честно говоря, этот вопрос поначалу меня смутил. Он почти заставил меня отказаться от обновления до основных версий. Затем интуиция подсказала мне не паниковать, а сохранять спокойствие при возникновении проблем, поэтому я решительно скачал исходный код v2.0.0 и. Достигнув местоположения исходного кода, я изменил его после анализа, распечатал и записал журнал ошибок для последующего анализа. Во-первых, позвольте программе работать нормально. В процессе отладки я в основном изменил следующие моменты:

Первая модификация исходного кода направлена ​​главным образом на то, чтобы избежать исключения нулевого указателя, вызванного пустым полем процессаDefinitionMap, как показано на следующем рисунке:

Вторая модификация исходного кода предназначена главным образом для того, чтобы избежать исключения нулевого указателя, вызванного получением узлом объекта задачи пустой информации описания, как показано на следующем рисунке:

Третья модификация исходного кода направлена ​​главным образом на то, чтобы избежать исключения нулевого указателя, вызванного получением узлом объекта задачи preTasks, который пуст, как показано на следующем рисунке:

  • Data too long for column 'task_params' (v1.3.6->v2.0.0)

Эта проблема требует изменения официально предоставленного сценария DDL.,специфический Необходимо изменитьdolphinscheduler_ddl.sqlсерединаt_ds_task_definition_log изtask_paramsПоледлинаtext->longtextкиt_ds_task_instanceизtask_paramsПоледлинаtext->longtext,текст больше не может соответствовать требованиям к размеру хранилища параметров задачи.,Как показано ниже:

  • Duplicate column name 'alter_type' (v2.0.9->v3.0.0)

Эта проблема связана с тем, что она была добавлена ​​в v2.0.9 и предыдущих версиях, а официальный скрипт не закомментирован.

  • class path resource [sql/upgrade/2.0.0_schema/mysql/dolphinscheduler_dml.sql] cannot be opened because it does not exist (v2.0.0->v3.1.7 Это предварительная попытка исследования)

Мое личное описание этой проблемы заключается в том, что диапазон версий слишком велик. Это также доказывает, что сценарий обновления можно обновлять только небольшими шагами и нельзя обновлять большими шагами. Если вы также столкнулись с большим обновлением версии, вы можете обратиться к . моя скользящая версия обновления, чтобы избежать обходных путей.

  • Unknown column 'other_params_json' in 't_ds_worker_group' (v3.0.0->v3.1.0)

Измените официально предоставленный сценарий DDL.,Нужна корректировкаdolphinscheduler_ddl.sql,t_ds_worker_groupувеличение таблицыother_params_jsonПоле,t_ds_process_instanceувеличение таблицыstate_historyПоле,Как показано ниже:

  • Unknown column 'description' in 't_ds_worker_group' (v3.1.0->v3.1.8)

Измените официально предоставленный сценарий DDL.(существоватьv3.1.8середина3.1.1_schemaВниз),Нужна корректировкаdolphinscheduler_ddl.sql,t_ds_worker_groupувеличение таблицыdescriptionПоле,Как показано ниже:

  • Обновления без прямой совместимости

Эта совместимость в основном касается версий v3.0.0 и v3.1.1. Для v3.0.0 префикс копирования удален при копировании и импорте рабочих процессов; в качестве разделителя SQL по умолчанию используется точка с запятой; В версии 3.1.1 способ выполнения оболочки в Unix был изменен с sh на bash, и эти эффекты можно практически игнорировать.

(4) Отображение результатов интегрирования

Меню интеграции центра обработки данных определяется платформой. Меню входа только одно, а именно: Планирование Dolphin. Скриншот, встроенный в центр, представляет собой версию v3.1.8, которая будет быстро интегрирована позже. Статус и время Стили статуса Совсем неплохо.

Технический паспорт происхождения технологических инноваций

На основе расписания дельфинов определения процесса, мы также внедрили инновационную практику кровного родства таблицы данных, общая логика анализируется с помощью рабочего процессопределение,существоватьданныепроцесс циркуляциисередина基本都是кInsert...SelectЭтот синтаксис,Используйте входную таблицу (оператор Select) и выходную таблицу (оператор Insert) в качестве процесса потока для построения графа потока DAG родословной данных, чтобы расширить возможности нашего бизнеса.,Это эквивалентно вставке пары глаз в центр данных.,Реально визуализируйте процесс циркуляции таблицы данных.,Все они разработаны с учетом планирования дельфинов в качестве основного пункта.

Анализ происхождения данных и полный запрос

(1) Анализ происхождения данных

общая архитектура

  • Процесс анализа и отображение
  • Разобрать основной код SQL

Анализ происхождения таблицы SQL,Мы используем Druid от Alibaba.,Рекомендуемая версия (≥V1.2.6),Druid по-прежнему очень силен в анализе SQL.,Его типы TableStatпод контролемMerge, Insert, Update, Select, Delete, Drop, Create, Alter, CreateIndex, DropIndex и могут комбинироваться в соответствии с синтаксисом.,Например: Вставить Выбрать,насиз Анализ происхождения выполняет несколькоinsert...selectРазбор операторов,Используйте точку с запятой для разделения нескольких;

(2) Запрос происхождения данных

(3) Полный запрос родословной

Полный запрос родословной может интуитивно отображать определение рабочего процесса проекта Dolphin Scheduling Project в виде таблиц ввода и вывода, а также быстро запрашивать и находить определенную задачу, что очень удобно для наших аналитиков данных.

(4) Работа с аномальными кровными родственниками

В процессе анализа происхождения данных неизбежно возникают исключения при анализе операторов SQL. Мы также приняли это во внимание. Общий процесс обработки исключений выглядит следующим образом.

Преимущества пользователя

  • В дата-центре компании диспетчерской поддержки «Дельфин» ежедневно накапливается около 7000 рабочих. процесс определяет количество задач, 78 проектов в основном охватывают все бизнес-модули мидл-офиса данных;
  • На основе Рабочего процесси Задачаопределение Строитьизуровень стола Вниз Анализ родословнойи Запрос,Действительно обеспечивает единый поиск и визуальное управление кровными родствами.,Значительно повышена эффективность ежедневных таблиц поиска для разработчиков среднего уровня и аналитиков данных;
  • Обеспечивает настройку режима стратегии выполнения задач.,Когда задачи выполняются в одном и том же экземпляре Рабочего процесса,Обеспечивает точность данных, решает проблему восходящей и нисходящей передачи пользовательских параметров между задачами;
  • Последующие итеративные обновления позволяют быстро и эффективно реагировать на производственные потребности среднего офиса.

Резюме и благодарности

Надо сказать, что мощные интегрированные возможности подключаемых модулей расширений, предоставляемые Apache DolphinScheduler, значительно повысили эффективность обработки, интеграции и разработки корпоративных данных и действительно обеспечили эффективный поток анализа бизнес-данных предприятия.

В нашей первой версии развертывания интеграции центра обработки данных использовалась версия v1.3.6. В настоящее время сообщество выпустило версию 3.1.8, и на этот раз мы также периодически обновляемся до последней версии v3.1.8. Мы также следим за темпами развития сообщества. Официальное сообщество v3.2.0 также находится в стадии разработки. вверх. Высокая скорость итерации также отражает рост числа групп пользователей с каждым днем. Если ваша компания пытается выбрать компонент планирования больших данных, мы настоятельно рекомендуем использовать Dolphin Scheduling.

Присоединяйтесь к сообществу и присоединяйтесь к DS Group. DS также будет проводить еженедельные сеансы часто задаваемых вопросов, чтобы своевременно отвечать на ваши вопросы и предоставлять внимательное обслуживание. Вы этого заслуживаете.

Настоятельно рекомендуется использовать Apache DolphinScheduler. Если вы правильно выберете расписание, вы рано вернетесь домой с работы, если вы правильно выберете расписание, вы сможете спокойно спать посреди ночи! Я надеюсь, что каждый сможет извлечь из этого пользу и попрощаться с 996.

Наконец, я искренне желаю, чтобы экосистема Apache DolphinScheduler становилась все лучше и лучше!

Профиль пользователя

Шухай (Пекин) Компания по управлению цепочками поставок, ООО

Отрасль: Общая цепочка поставок продуктов питания

Компания Shuhai Supply Chain была основана в июне 2014 года. Это предприятие, предоставляющее услуги в сфере цепочки поставок общественного питания, объединяющее продажи, исследования и разработки, закупки, производство, обеспечение качества, складирование, транспортировку, информацию и финансы. В настоящее время оно предоставляет услуги большому количеству цепочек общественного питания. предприятия и розничные клиенты. Общие услуги по решению цепочки поставок продуктов питания.

В Шухае имеются современные логистические центры холодовой цепи, пищевые заводы, центры переработки овощей и фруктов, перерабатывающие предприятия по переработке основного сырья и другие базы по всей стране. Предоставляйте качественные услуги клиентам общественного питания с помощью безопасной и прозрачной системы цепочки поставок и решайте болевые точки, которые трудно стандартизировать в сфере общественного питания. Благодаря постоянным исследованиям и совершенствованию в области производства экологически чистых овощей, исследований и разработок блюд, а также индустриализации стандартов общественного питания, Shuhai получила признание отраслевых органов и клиентов и стала эталонным предприятием в области цепочки поставок.

Участвуйте и вносите свой вклад

В связи с быстрым ростом открытого исходного кода в Китае сообщество Apache DolphinScheduler переживает бум. Чтобы сделать планирование более полезным и простым в использовании, мы искренне приветствуем партнеров, которые любят открытый исходный код, присоединиться к сообществу открытого исходного кода и внести свой вклад в развитие. открытого исходного кода в Китае. Пусть местный открытый исходный код станет глобальным.

участвовать DolphinScheduler В сообществе много Участвуйте и вносите свой способы вклада, в том числе:

Мы также надеемся, что внести первый PR (документацию, код) будет несложно. Первый PR используется для ознакомления с процессом подачи заявок и сотрудничества с сообществом, а также для того, чтобы почувствовать дружелюбие сообщества.

Сообщество составило следующий список задач, подходящих для новичков: https://github.com/apache/dolphinscheduler/issues/5689

Список проблем для новичков: https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22.

как Участвуйте и вносите свой вклад Связь:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html

Еще больше интересных рекомендаций

☞Apache DolphinScheduler поддерживает использование OceanBase в качестве базы данных метаданных!

Практическое руководство | Реализация триггера Apache DolphinScheduler Автоматический сигнал тревоги при сбое DingTalk

☞Еще один раунд сбора призов за выдающиеся пользовательские кейсы. Приходите и отправляйте заявки!

☞В прошлом году я провела без вас очень много встреч, так что поторопитесь и готовьтесь к 2023 году!

3.2.0 Окончательный предварительный просмотр! Добавлена ​​встроенная поддержка облака. Spark on k8S поддерживать

3.2.0 Предварительный просмотр версии! Разрешение удаленного журнала Worker Проблема невозможности получения логов

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose