Привет, ребята, я Луга, и сегодня мы расскажем об инструменте управления платформой больших данных Kubernetes — CloudEon. CloudEon, платформа больших данных, основанная на Kubernetes, стремится предоставить более интуитивно понятный и наглядный способ управления ресурсами больших данных Kubernetes.

— 01 —

Что такое CloudEon?

С развитием облачных технологий все больше и больше бизнес-сценариев требуют использования контейнеров для развертывания приложений и управления ими, а Kubernetes, как фактический стандарт для платформ оркестрации контейнеров, естественно, получает все больше и больше внимания и использования.

Однако если вы хотите развернуть и использовать службы больших данных в Kubernetes, стоимость обучения будет относительно высокой, а для управления и обслуживания потребуется профессиональный персонал по эксплуатации и техническому обслуживанию. В этом случае мы разработали платформу CloudEon для упрощения различных развертываний. и управление сервисами больших данных в Kubernetes также может более эффективно использовать возможности Kubernetes по планированию и управлению ресурсами, что упрощает, делает удобным и более эффективным для пользователей создание кластеров больших данных и управление ими.

CloudEon — это платформа для больших данных с открытым исходным кодом, основанная на Kubernetes, цель которой — предоставить пользователям простое, эффективное и масштабируемое решение для больших данных. Платформа призвана упростить развертывание и управление несколькими сервисами больших данных в Kubernetes, такими как Hadoop, Doris, Spark, Flink, Hive и т. д., и может удовлетворить потребности обработки и анализа больших данных в различных масштабах и бизнес-потребностях. .

Для ознакомления с платформой CloudEon вы можете посмотреть следующее видео:

— 02 —

Возможности CloudEon

На основе платформы CloudEon мы можем добиться следующего:

1. Быстро создайте кластер больших данных

Быстро создавайте и развертывайте кластеры больших данных в кластере Kubernetes, устраняя утомительный процесс ручной установки и настройки.

2. Запускайте сервисы больших данных в контейнерах

Службы больших данных работают в контейнерах, что делает развертывание и управление службами более гибким и удобным, а также позволяет лучше использовать возможности планирования и управления ресурсами Kubernetes.

3. Функции поддержки, такие как мониторинг и сигнализация.

Основанный на платформе CloudEon, он может помочь пользователям отслеживать рабочее состояние кластера в режиме реального времени, а также своевременно обнаруживать и решать проблемы.

4. Поддержка изменения конфигурации и других функций.

Позволяет пользователям более гибко управлять и настраивать свои собственные кластеры больших данных.

5. Автоматизированная эксплуатация и обслуживание.

Сократите сложность и трудозатраты на управление кластером, а также улучшите доступность и стабильность кластера.

6. Визуальный интерфейс управления

Пользователи могут управлять и отслеживать свои кластеры больших данных более интуитивно.

7. Гибкая масштабируемость

Предоставляет механизм подключаемых модулей, позволяющий пользователям настраивать, расширять и устанавливать больше сервисов больших данных.

— 03 —

Модель эталонной архитектуры CloudEon

Общую архитектуру платформы CloudEon можно обозначить следующим образом:

Стек технологий, используемый в CloudEon, выглядит следующим образом:

1. Стек серверных технологий

springboot-v2.7.4

lombok-v1.18.12

hutool-v5.8.9

hibernate-v5.6.11

freemarker-v2.3.31

2. Стек интерфейсных технологий

react

ant-design

— 04 —

Установка и развертывание CloudEon

Прежде чем использовать платформу CloudEon, убедитесь, что следующие предварительные условия выполнены в первый раз:

1. Среду Kubernetes можно быстро собрать с помощью Kubekey/K3D/Minikube и т.п.

2. Службе SSH CloudEon необходим доступ к службе SSH узлов кластера Kubernetes.

Развертывание платформы CloudEon в основном делится на локальное развертывание и развертывание Docker. Для получения подробной информации см. следующее:

1. Развертывание на базе Docker

Публичный адрес изображения Cloudeon в dockerhub — peterpoker/cloudeon. Если вы установили Docker локально, вы можете установить его одним щелчком мыши, выполнив следующую команду:

docker run -p 7700:7700 peterpoker/cloudeon

Если внутренний доступ медленный, вы также можете использовать следующую операцию командной строки, а именно:

 docker run  -p 7700:7700  --name cloudeon --rm registry.cn-hangzhou.aliyuncs.com/udh/cloudeon:1.0.0

После успешного запуска образа посетите http://docker_ip:7700 в браузере, чтобы войти на страницу входа. Исходная учетная запись указана на изображении, имя пользователя — admin, пароль — admin.

После завершения установки приступаем к настройке базы данных приложения. По умолчанию Cloudeon использует встроенный H2 в качестве базы данных приложения. При использовании Cloudeon в производственной среде рекомендуется использовать MySQL в качестве базы данных приложения. Шаги настройки следующие: создайте новый пустой файл с именем application.properties, полностью заполните следующий контент, а затем вставьте его в файл, как показано ниже:

# Http server port
server.port=7700


spring.main.banner-mode=log


# db
spring.jpa.open-in-view=false
spring.jpa.hibernate.ddl-auto=none
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/cloudeon?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root




####### flyway properties #######
spring.flyway.enabled=true
spring.flyway.clean-disabled=true
spring.flyway.validate-on-migrate=true


# Configuration for uploading files.
spring.servlet.multipart.enabled=true
spring.servlet.multipart.file-size-threshold=0
spring.servlet.multipart.max-file-size=209715200
spring.servlet.multipart.max-request-size=209715200


# temporary skip circular references check
spring.main.allow-circular-references=true


####### cloudeon properties #######
cloudeon.stack.load.path=${cloudeon.home.path}/stack
cloudeon.remote.script.path=${cloudeon.home.path}/script
cloudeon.task.log=${cloudeon.home.path}/log
cloudeon.work.home=${cloudeon.home.path}/work


logging.config=${cloudeon.home.path}/conf/logback.xml

Затем мы подключаем файл конфигурации, запускаем следующую команду и используем вновь созданный файл application.properties для настройки загрузочного образа, как показано ниже:

docker run -d --name cloudeon -v your_path/application.properties:/usr/local/cloudeon/conf/application.properties -p 7700:7700 peterpoker/cloudeon

2. На основе местного развертывания

Обычно для локального развертывания необходимо соблюдать следующие условия, в частности:

• JDK 1.8+
• MySql5.7+ (опционально, встроенный H2)
• Cloudeon Установочный пакет (cloudeon-assembly-*-release.zip)
• Kubernetes 1.21 +

Локальное развертывание относительно просто. Загрузите сжатый пакет локально, затем распакуйте его и запустите. В частности:

unzip cloudeon-assembly-*-release.zip

├── bin               # Каталог выполнения скрипта
├── conf            # Каталог файлов конфигурации
├── script          # временный скрипт
├── lib               # Каталог зависимостей проекта
├── stack            # большие данные Служить плагин установочного пакета
└── LICENSE

На этом этапе просто запустите приложение. Для получения подробной информации см. следующее:

${CLOUDEON_HOME}/bin/server.sh start       # запускать
${CLOUDEON_HOME}/bin/server.sh stop        # останавливаться
${CLOUDEON_HOME}/bin/server.sh status      # Посмотреть статус
${CLOUDEON_HOME}/bin/server.sh restart     # Перезапуск

Подвести итог

CloudEon — это облачная платформа для больших данных, основанная на Kubernetes, целью которой является предоставление пользователям простого, эффективного и масштабируемого решения для больших данных. Если проект CloudEon вам полезен, найдите CloudEon на Github, чтобы поддержать его.

CloudEon следует протоколу с открытым исходным кодом Apache-2.0, и код является полностью открытым. Если вы хотите внести свой вклад в сообщество открытого исходного кода, вы можете присоединиться к проекту CloudEon и работать с другими разработчиками для содействия развитию проекта.

Github：https://github.com/dromara/CloudEon

Gitee：https://gitee.com/dromara/CloudEon