Этот продукт основан на базовом компоненте интерфейса Kettle, разработанном Kettle с открытым исходным кодом. На самом деле, я хотел сделать это еще 5 лет назад. Это заняло много времени, и это было отложено до сих пор. все в порядке. Сейчас еще не поздно.

Первоначальная идея была вдохновлена ​​проектом платформы обмена данными, который был реализован для табачных изделий в том же году. Извлечение данных было основано на версии Kettle 5.x, а извлечение данных выполнялось с использованием клиента ложки Kettle.

Он решает сложные и важные проблемы ETL для предприятий, поэтому Kettle — отличный инструмент для извлечения данных с открытым исходным кодом.

В то же время сам чайник также имеет много проблем, таких как

• Вы можете использовать клиент только для настройки заданий, конверсий
• Сложности с кроссплатформенным портированием.
• Безопасность данных низкая. При сбое системы содержимое библиотеки файлов легко теряется.
• Клиент потребляет много памяти и процессора. Подходит только для настройки и не подходит для бизнеса.
• Веб-интерфейс чрезвычайно прост и уродлив, что делает его непригодным для использования в производственной среде.

Основываясь на вышеупомянутых болевых точках бизнеса, я решил каждый день после работы выделять немного времени для отдыха, медленно накапливать и упорствовать. Только тогда сегодня родилась платформа планирования Smart Kettle. Я также надеюсь, что ее можно будет эффективно внедрить. . Помогите предприятиям решить проблемы извлечения, планирования и мониторинга данных.

Болевые точки бизнеса

• Клиент Kettle's Spoon потребляет слишком много памяти, ненормально зависает и имеет очевидные узкие места в производительности.
• Kettle поставляется с собственным инструментом веб-управления, который чрезвычайно груб и сложен в использовании, и его нельзя внедрить в производственную среду.
• Клиентский инструмент чайника нельзя использовать в системах Linux.
• Клиент чайника не может быть по-настоящему кроссплатформенным, а переключение между сценариями bat и оболочки затруднено.
• Мигрировать клиент чайника хлопотно. Его приходится каждый раз устанавливать, а это энергозатратно.

Это сверхлегкая веб-платформа для планирования и мониторинга чайников.

• Поддерживает пользовательские настройки шаблонов для заданий и конверсий.
• Поддержка многозадачного копирования шаблонов для заданий и конверсий.
• Поддерживает синхронизацию конфигураций на стороне графического интерфейса для заданий и преобразований в веб-сторону.
• Поддерживает настройку пользовательского пути для заданий и журналов преобразований.
• Поддерживает управление загрузкой файлов журналов для заданий и конверсий.
• Поддержка конфигурации библиотеки ресурсов библиотеки файлов
• поддерживатьбаза данных Конфигурация библиотеки ресурсов
• Поддержка настройки библиотеки удаленных ресурсов SFTP/FTP/FTPS.
• Поддержка просмотра дерева каталогов библиотеки ресурсов.
• Поддерживает кластерное планирование заданий и преобразований (удаленные вызовы субсервера).
• Поддерживает синхронизацию конфигураций на стороне графического интерфейса для заданий и преобразований в веб-сторону.
• Поддерживает настройку планирования заданий и конверсий.
• Поддержка мониторинга и управления заданиями и конверсиями
• Поддержка локального выполнения заданий и преобразований
• Поддерживает удаленное выполнение заданий и преобразований.
• Поддерживает запланированную настройку заданий и преобразований.
• поддерживать Операция、Конвертированный мониторинг в реальном времени
• Поддержка управления библиотекой веб-ресурсов чайника.
• Поддерживает настройки пользовательского пула потоков и параллельную обработку задач.
• Поддержка мониторинга сигналов тревоги и управления журналами задач чайника.
• Предоставляет богатые пользовательские настройки для бизнес-библиотеки и библиотеки словарей.
• Обеспечить полный мониторинг рыночного планирования в режиме реального времени.
• Обеспечить управление пользователями системы, ролями и разрешениями.
• Предоставить Друидбазу скрипт dataquery для мониторинга в реальном времениспособность
• Поддерживает чайник 7.0.1+ и выше.
• Текущая версия Kettle — 9.2.0.0-179 (Примечание: необходимо настроить плагины teat-password-encoder. Эта система интегрирована и дальнейшая настройка не требуется)

• Maven3+
• Jdk1.8+
• Mysql5.7+

https://gitee.com/yaukie/x-smart-kettle-server

Пользователи сети могут продолжать изучать новые функции.