краткое содержание:В этой статье представлены Dinky Первая годовщина платформы вычислений реального времени с открытым исходным кодом. Содержание включает в себя:

1. Предисловие
2. Особенности проекта
3. История развития
4. Вопросник
5. Недавнее уведомление
6. Участвуйте и вносите свой вклад
7. Подвести итог

Адрес GitHub

https://github.com/DataLinkDC/dlink

https://gitee.com/DataLinkDC/Dinky

Приглашаем всех обратить внимание на развитие Динки~

1. Предисловие

Время летит, и, прежде чем вы это заметите, открытый исходный код Dinky достиг своей первой годовщины. В этом году, от зарождения идей до реализации и расширения различных компонентов и функций, это результат совместных усилий десятков участников. Я хотел бы поблагодарить всех участников и партнеров сообщества за их поддержку. Живите в ногу со временем и смотрите в будущее.

2. Характеристики проекта

один Готов из коробки 、легкий Расширять ,к Apache Flink в качестве основы соедините OLAP и озеро данных и многие другие фреймворки универсальный магазин Вычислительная платформа реального времени, предназначенная для Интегрированный поток и партия и Озеро и склад интегрированы строительство и практика. Его основные цели заключаются в следующем:

• Визуальный интерактив FlinkSQL и SQL изразработка платформа данных: автоматическое быстрое заполнение、подсветка синтаксиса、Отладка выполнения、Проверка грамматики、украшать предложения、Глобальная переменная ожидания
• Поддерживает комплексные методы отправки заданий FlinkSQL с несколькими версиями: локальный, автономный, сеанс Yarn, Yarn для каждого задания, приложение Yarn, сеанс Kubernetes, приложение Kubernetes.
• Поддерживает все соединители Apache Flink, UDF, CDC и т. д.
• Поддержка улучшения синтаксиса FlinkSQL: совместимость с Apache Flink SQL, агрегатными функциями с табличным значением, глобальными переменными, слиянием нескольких источников CDC, средой выполнения, слиянием операторов, общим сеансом и т. д.
• поддерживатьлегкий Расширятьиз SQL Способ отправки задания: ClickHouse, Doris, Hive, Mysql, Oracle, Phoenix, PostgreSql, SqlServer. ждать
• Поддержка FlinkCDC (Source merge) хранения всей базы данных в озере в режиме реального времени.
• Поддержка предварительного просмотра отладки в реальном времени Table и ChangeLog Данные и графическое отображение
• поддерживать проверку грамматики и логики、План выполнения работ、Анализ предков на уровне поляждать
• Поддержка метаданных Flink, запроса метаданных источника данных и управления ими.
• поддержка эксплуатации и обслуживания задач в реальном времени: начальство операции в автономном режиме、Информация о вакансии、Информация о кластере、Снимок задания、Информация об исключении、Журнал заданий、Карта данных、Специальный запрос、Историческая версия、Вызовите полицию Записыватьждать
• Поддерживает возможность быть многоверсионным FlinkSQL Server, а также OpenApi.
• поддерживатьлегкий Расширятьизработа в реальном времени Вызовите полициюигруппа тревога: прибивание、Ожидание корпоративного аккаунта WeChat
• Поддерживает полностью управляемый механизм запуска SavePoint: самый последний、самое раннее время、Укажите один раз ожидания
• Поддержка Управление несколькими ресурсами: экземпляр кластера、Конфигурация кластера、Jar、источник данных、группа тревог、Экземпляр тревоги、документ、пользователь、Конфигурация системыждать
• Еще больше скрытых функций ждут, когда друзья смогут их изучить.

3. Процесс разработки

Склад с открытым исходным кодом

• В это время 6 июня 2021 г. Flink Сообщество полным ходом развивается, но подходящего нет Flink SQL Добавлены инструменты для разработки интерфейса. Flink порог и стоимость. Хотя официально предусмотрено SQL Клиент, но есть еще много ограничений и неудобств. затем Dlink существуют личный склад с открытым исходным кодом, номер версии 0.1.0。
• 9 июня 2021 г.,Поскольку проект заставил многих пользователей, созданный для облегчения участия и управления проектами DataLinkDC （DataLink Data Центр) организация для управления dlink Знак проектов с открытым исходным кодом dlink Официальная совместная разработка с открытым исходным кодом.
• 17 января 2022, Длинк переименован Динки, английский перевод “ Маленький и изысканный ” , самое интуитивное указание на его характеристики: легкая, но сложная большая идея способность данных, отмеченная Dinky от FlinkSQL Платформа разработки трансформируется в вычислительную платформу реального времени.
• 25 марта 2022 года Динки был успешно выбран для участия в проекте Gitee GVP 2022 года.
• 20 мая 2022 года Динки присоединился к сообществу доверенного открытого исходного кода Китайской академии информационных и коммуникационных технологий в качестве предварительного члена.

Принцип реализации

• 0.1.0 ~ 0.3.2 Принцип следующий: Локальный и Remote Поддержка двух методов реализации Session сгруппированный FlinkSQL Разработка и подача задания.

• 0.4.0 расширенный YarnClient реализации, тем самым поддерживая Yarn Per-Job и Yarn Application Как отправлять задачи. Кроме того, также предусмотрено удаленное управление задачами, например Мониторинг показателей, SavePoint, остановки и других операций.

• 0.5.0 Он представляет новую архитектуру платформы для поддержки возможностей вычислительной платформы в реальном времени, таких как мониторинг, сигнализация и управление кровью. Кроме того, правительство имеет всеобъемлющее FlinkSQL Способы подачи, к и различные способы входа на склад в озеро Практика обмена。

разработка данных

• 0.1 Версия оригинальная иммерсивная разработка данныхстраницаиздизайн,относительно простой,Страницы закреплены и мало используются.

• впоследствиисуществовать 0.2 Макет страницы был скорректирован, чтобы сделать ее элементы более компактными.

• существования Версия 0.3 убирает границы страниц,и добавлены общие сеансы、кластерный процесс、источник данных、Функция ожидания метаданных.

• Версия 0.3.2 содержит практические вспомогательные функции, которые поддерживают настраиваемые автоматические подсказки и дополнения FlinkSQL.

• Версия 0.4 поддерживает перетаскивание макета страницы.

• 0.5 Поддержка версий ChangeLog и Table Два метода отображения запроса.

• Версия 0.5 также поддерживает отображение BI-диаграмм.

• Версия 0.6 добавляет новый центр эксплуатации и обслуживания и поддерживает анализ происхождения на уровне поля.

Практика обмена

Чтобы облегчить пользователям использование связанных функций или интеграцию других экосистем, многие партнеры сообщества провели Практика. обмена。

• 《Операция агрегирования значений таблицы Flink на практике в Dlink》автор：Конец статьи
• 《Платформа вычислений реального времени Dlink – развертывание》автор：Конец статьи
• 《Новая функция Dlink-0.3.2: автодополнение FlinkSQL》автор：Конец статьи
• 《Практика Длинка в Hive》автор：Конец статьи
• 《Dlink On Yarn Практика трех методов выполнения Flink》автор：Конец статьи
• 《Практика Длинка от Flink-mysql-cdc до Дорис》автор：Конец статьи
• 《Как отлаживать разработку в IDEA с помощью Dlink》автор：Конец статьи
• 《Dlink + FlinkSQLСтроить Интегрированный поток и партияданныеплатформа——Развертывание》автор：Хан Фейзи
• 《Dlink существовать FinkCDC Поток в озеро Hudi из Практика обмена》автор：zhumingye
• 《Flink CDC и kafka выполняют объединение нескольких источников и обновления нисходящей синхронизации.》автор：Се Банги
• 《DinkyсуществоватьIDEAудаленная отладка Практика обмена》автор：Тан Сюхун
• 《DinkyсуществоватьKubernetesиз Практика обмена》автор：mydq
• 《Dinky Расширять Phoenix Совместное использование соединителя》автор：плато
• 《Dinky создает Flink CDC и помещает всю базу данных в озеро.》автор：Конец статьи
• 《Dinky Расширять kudu Практика обмена》автор：roohom
• 《Dinky Расширять iceberg из Практика обмена》автор：wangyayuan

развитие сообщества

4. Анкетный опрос

31 марта 2022 года сообщество провело трехдневный анкетный опрос. Статистический анализ результатов опроса топ-100 выглядит следующим образом: (Данные представляют собой результаты опроса двухмесячной давности и предназначены только для справки).

Текущий уровень приложения Apache Flink

Степень применения FlinkSQL в будущем

Текущие методы отправки FlinkSQL

Текущий уровень применения Dinky

Степень применения Dinky в будущем

Самое привлекательное в Динки

5. Недавние объявления

Планирование по расписанию — DolphinScheduler расширяет тип заданий Dinky

• существовать Dinky средний щелчок API кнопка для запроса текущей задачи API руководство, чтобы получить его id。

• существовать DolphinScheduler Создано в DINKY тип Task Узел, заполните dinky Адрес и назначение ID。

• DolphinScheduler После успешного планирования задачи в экземпляре задачи можно запросить «Приехать». DINKY Узел выполнен успешно.

• Dinky Центр эксплуатации и технического обслуживания может запросить место проживания. DolphinScheduler Статус выполнения запланированной задачи узла: выполнено (пакетная задача).

Мультитенантность и пространства имен

Dinky обеспечит поддержку нескольких клиентов. Каждый арендатор имеет отдельную роль. В пространстве имен находятся существующие функциональные модули, такие как задачи, кластеры, сигналы тревоги и т. д.

6. Участвуйте и вносите свой вклад

продвижение сообщества

• Зарегистрироваться ISSUE #66 Who is using Dlink & Флинкскл? Помогите сообществусуществовать github Осуществить продвижение кейса на сайте.
• существовать github и gitee начальство star и fork исходный проект.
• Делитесь или пересылайте статьи, связанные с сообществом.

Распределение дел

• Опубликовано на основе Dinky Создание платформы данных, функция Расширять случай ожидания Практика Статья по обмену.
• существовать Совместное использование соответствующих технических конференций включает в себя Dinky производственный практический опыт.

Вклад кода

• Исправьте известные ошибки кода в ветке разработки.
• Оптимизируйте существующий функциональный код и внедрите его в ветку разработки.
• Расширить Новую реализацию функционального модуля в ветке разработчиков.
• добавить в FlinkSQL ждать Базовый вариант использованияк Инициализациябаза данных Скриптк dev ветвь.

Вклад документации

• Улучшить содержание функциональной документации
• Вклад Экология Расширить кейсовую статью
• Публикуйте статьи о производственных проектах предприятия

Благодарности участникам

aiwenmo、zhu-mingye、walkhan、coderTomato、JPengCheng、gaogao110、xiebanggui777、lewnn、yanchenyun、zackyoungh、qq314000558、gaopan-05、SlvaCoHan、chengyuan1029、wuhuiqiang2、roohom、hushenmin、liulian6、chengchuen、huzk8、fforever14、George-zqq、wmtbnbo、chaixiaoxue、fqyy365t、yqwoe‍、tgluon、Dkbei