Создайте универсальную облачную платформу машинного обучения на основе kubesphere.
Создайте универсальную облачную платформу машинного обучения на основе kubesphere.

Построить кубосферу

Примечание. Минимальная спецификация машины: 8C16G; версия kubectl должна быть 1.24, если вы уже устанавливали KS, необходимо предварительно очистить среду;

Скачать KubeKey

1 2

export KKZONE=cn curl -sfL https://get-kk.kubesphere.io | VERSION=v3.0.2 sh -

Если он был установлен на машине ранее KubeSphere или KubeSphere Версия слишком высокая , Сначала удалите KubeSphere,k8s Версия слишком Есть проблема с высоким,вызовет некоторые CRD Не могу установить

1

./kk delete cluster

Очистите kubeconfig, иначе другие узлы не смогут использовать kubectl.

1

rm -rf /root/.kube/config

Установите версию 1.22 k8s

1

./kk create cluster --with-kubernetes v1.22.12 --with-kubesphere v3.3.1

Подробные инструкции по установке см. KubeSphere Официальная документация

Развертывание Cube-студии

Скачать исходный код Cube-Studio

1

git clone https://github.com/tencentmusic/cube-studio.git

Установить

Скопируйте файл kubeconfig кластера k8s в файл install/kubernetes/config, а затем выполните следующую команду, где xx.xx.xx.xx — IP-адрес интрасети машины.

1 2 3 4

cp $HOME/.kube/config install/kubernetes/config # Выполнить на рабочей машине k8s ш start.sh xx.xx.xx.xx

Рекомендации по развертыванию

Обратите внимание, является ли версия kubectl последней.

Если версия Kubectl слишком низкая, при развертывании CRD может появиться сообщение об ошибке, что приведет к неудачному созданию svc в системе istio.

1 2 3

customresourcedefinition.apiextensions.k8s.io/applications.app.k8s.io condition met error: json: cannot unmarshal object into Go struct field Kustomization.patchesStrategicMerge of type patch.StrategicMerge error: rawResources failed to read Resources: Load from path ../../base failed: '../../base' must be a file (got d='/home/zjlab/zyg/cube-studio-master/install/kubernetes/kubeflow/train-operator/manifests/base')

Kubesphere из kubectl По умолчанию в /usr/local/bin/kubectl В каталоге Cube-Studio из kubectl По умолчанию в /usr/bin под

1

cp /usr/bin/kubectl /usr/local/bin/

Подводные камни, с которыми сталкивается MySQL
  • Этикетка не была успешно напечатана

Просмотр тегов узла

1

kubectl get nodes --show-labels

Если обнаружено, что метка mysql=true отсутствует, повторно выполните команду маркировки.

1

kubectl label node $node train=true cpu=true notebook=true service=true org=public istio=true knative=true kubeflow=true kubeflow-dashboard=true mysql=true redis=true monitoring=true logging=true --overwrite

  • Ручная тяга busybox

Если MySQL сообщает об ошибке:

1

Warning Failed 34s kubelet Failed to pull image "busybox": rpc error: code = Unknown desc = Error response from daemon: Head "https://registry-1.docker.io/v2/library/busybox/manifests/latest": unauthorized: incorrect username or password

нуждаться docker login ,Затемdocker pull busybox Ручная тяга

  • PV Дождь ПВХ Несвязанный

kubectl get pv infra-mysql-pv Проверьте статус PV и добавьте его, если он не привязан. storageClassName: localи т. д. поля

kubectl edit pv infra-mysql-pv

1 2 3 4 5 6

claimRef: apiVersion: v1 kind: PersistentVolumeClaim name: infra-mysql-pvc namespace: infra storageClassName: local

  • Перезапустите MySQL

kubectl edit deploy -n infra mysql настраивать replicas=0

тогда приберись /data/k8s/infra/mysql Остаточные данные (используйте с осторожностью!!!)

наконец replicas=1 Сиди и жди infra Пространство имен подиз pod Все running

Подводные камни, с которыми сталкивается ноутбук
  • notebook Невозможно бежать, нуждаться очищено kubeconfig

kubectl edit configmap kubernetes-config -n infra

kubectl edit configmap kubernetes-config -n pipelinekubectl edit configmap kubernetes-config -n katib

Используйте куб-студию

Быстрый в использовании

  • добавить в группе проектов не помещать пользователя Все в существующие public Внутри проектной команды возникнут проблемы.
  • Добавить категорию шаблонов
  • Добавить склад
  • Если это тяга docker hub Выше иззеркалоиз слов обучение - склад - хабсекрет, модифицируйте вас из dockerhub из Имя пользователя и Пароль
  • Если это тяга Harbor зеркало, создать новый склад, заполнить Harbor Служить Название регионаили IP и имя пользователя и пароль

1 2 3 4 5 6 7 8

имя: гавань доменное имя: http://10.100.29.41:30080/ имя пользователя: администратор k8s хабсекрет: zjflab

в k8s HubSecret из команды создания:

1 2 3 4 5 6

kubectl create secret docker-registry zjflab \ --docker-server=10.100.29.41:30080 \ --docker-username=admin \ --docker-password=Harbor12345 \ --docker-email=zhuyaguang1368@163.com \ --namespace="pipeline"

  • Управление зеркалом, создай тебя из Задача зеркало

настройкизеркалоиз склада, полное наименование и номер версии.

Вы можете построить его на основе среды разработки существования, а затем загрузить в начальство Harbour.

  • добавить в Задачатрафарет

Заполните изображение, имя задачи и команду запуска.

  • Создать поток задач
  • развертывать Служить上Проволока
    1. Постройте его заранее web app иззеркало, может подвергаться воздействию внешнего мира http rest интерфейс
    2. использовать чиновник 模型Служитьизменять-deploy-service трафарет
  1. заполнять Тип Служить есть serving , зеркала выставлены из номера порта.
  1. Запустите поток задач, разверните производство, разверните производство, платформа сгенерирует EXTERNAL-IP Если вы выставите Служить внешнему миру, вы сможете пройти IP Адрес бара для доступа Служить.

Использовать графический процессор

Ярлык

1

kubectl label node worker-1 gpu=true gpu-type=V100 --overwrite

Установите Harbour и настройте сертификаты

Harborсуществовать Проволока Установить：3минут опытаHarbor!

How to install and use VMware Harbor private registry with Kubernetes

Pull an Image from a Private Registry

существовать развертыватьхорошийиз Harbor Добавить HTTPS Конфигурация сертификата

harborзеркалосклад-httpsдоступиз Конфигурация сертификата

x509: cannot validate certificate for 10.30.0.163 because it doesn’t contain any IP SANs

наконец Docker login $harborIP, просто docker pull Вытащить сервис.

Используйте BentoMl для быстрой публикации веб-изображения

Создание распределенного хранилища

проблемы наследия

Мониторинг конфликтов

Мониторинг с помощью kubesphere

Удалить Cube Studio

1 2 3 4 5

kubectl delete configmap grafana-config all-grafana-dashboards --namespace=monitoring kubectl delete -f ./grafana/grafana-dp.yml kubectl delete -f ./prometheus/prometheus-main.yml kubectl delete -f ./operator/operator-crd.yml

  1. удалить kubesphere и cube в№1из node-exporter из ds
  2. Воля kubesphere и cube в№1из prometheus-operator deploy replicas настраивать为 0

Справочная документация

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native｜Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose
©