2024 Практические документы по эксплуатации и обслуживанию Cloud Native, 2019 г. 99 оригинальный проект Нет. 010 Глава ｜Docker Серия лучших практик «2024» Нет. 009 Глава

Привет,добро пожаловать вКвалифицирован в эксплуатации и обслуживании。

Контент, которым сегодня поделились, Docker Лучшая практика «2024» в серии документов Docker Автономное развертывание Harbor Настоящий бой。

в производственной среде Harbor Существует два типа развертывания: онлайн- и офлайн-установка. Чаще используется офлайн-метод, поэтому поговорим сегодня о нем. Harbor из Автономное развертывание。

Карта контента

docker-harbor-offline-mindmap

Фактическая конфигурация сервера (копия архитектуры 1:1 мелкомасштабной производственной среды, конфигурация немного отличается)

Реальная боевая среда включает информацию о версии программного обеспечения.

• Операционная система：openEuler 22.03 LTS SP3
• Docker：24.0.9
• Docker Compose： v2.24.7
• Harbor：2.10.2

1. Предварительные условия

1.1 Требования к оборудованию

• Официально рекомендуемые требования к ресурсам

• фактическое распределение ресурсов

1.2 Требования к программному обеспечению Docker

• Официально рекомендуемые требования

• фактическое развертывание

• Документация по развертыванию

Подробный Docker и Docker Compose из Установка и развертываниепожалуйстассылкаDocker и Docker Compose Автономное развертывание Настоящий бой。

1.3 Требования к сети

• Сетевые порты, которые необходимо открыть брандмауэру

1.4 Пакет автономной установки Harbour

• существует Машина, которая может подключаться к Интернету, от Harbor releases page скачать Harbor Автономный установочный пакет.

wget https://github.com/goharbor/harbor/releases/download/v2.10.2/harbor-offline-installer-v2.10.2.tgz

• Загрузите пакет автономной установки на Harbor Сервера /srv Оглавление (личные привычки)

cd /srv

• Разархивируйте в /data/harbor Оглавление

tar zxvf harbor-offline-installer-v2.10.2.tgz -C /data

• Содержимое распакованного файла следующее:

[root@docker-node-1 srv]# ls /data/harbor
common.sh  harbor.v2.10.2.tar.gz  harbor.yml.tmpl  install.sh  LICENSE  prepare

2. Установите и разверните Harbour.

2.1 Настройте HTTPS для доступа к Harbour

Установка Harbor по умолчанию предоставляет услуги по протоколу HTTP без сертификата. Обязательно настройте HTTPS в производственной среде.

Чтобы настроить доступ по протоколу HTTPS, необходимо создать сертификат. Создать сертификат можно двумя способами:

• использовать доверенным лицом Нет. CA Подписанный сертификат (бесплатно, платно)
• Используйте самозаверяющие сертификаты

Оба способа создания сертификатов имеют плюсы и минусы:

• Самозаверяющие сертификаты требуют специальной настройки, прежде чем их можно будет использовать. Docker и K8S Хотя использование и настройка хоста не представляют хлопот, он не очень дружелюбен к новичкам.
• Нет.三方 CA Подписанный сертификат можно использовать без какой-либо дополнительной настройки. Docker и K8S Хост б/у, но плата слишком дорогая, покупать его лично я не рекомендую.
• Бесплатно Нет.Три стороны CA 签名из Сертификат Доступное время становится все короче и короче,Три луны нужно один раз заменить,К новичкам это тоже не очень дружелюбно.

сейчассуществовать Есть много доступных в Интернетекавтоматический Применятьзаменять Бесплатно Нет.Три стороны CA Инструмент «Сертификат подписи». Поэтому я лично рекомендую вам попробовать купить доменное имя и использовать его бесплатно. CA Сертификат подписи.

Решение, представленное в этой статье, также использует приобретенное доменное имя. opsxlab.cn Подайте заявку бесплатно в Tencent SSL Сертификат способом. Позже я расскажу, как использовать сторонние инструменты для автоматической замены Применять на Сертификат.

Мне посчастливилось подать заявку на бесплатный сертификат SSL в Tencent Cloud. В течение последнего периода подачи заявки, когда бесплатный период может составлять один год, я подал заявку на сертификат SSL, действительный в течение одного года.

2024 Год 4 луна 25 Срок действия бесплатных сертификатов, заявленных после того, как номер станет 90 Блин,Процесс Подробный Применять не будет описываться слишком подробно.,Ключевой процесс иллюстрирования заключается в следующем:

• Tencent Cloud (провайдер Илидругой услуги) Применять бесплатно SSL Сертификат
• Заполните Сертификат и способ проверки доменного имени (выберите проверку вручную)

apply-ssl-cert

• Консоль управления доменными именами настраивает доменное имя по мере необходимости.

ssl-dns-config

ssl-dns- confirm

• Страница Применять SSL Сертификат проверяет действительность доменного имени.

apply-ssl-confirm

• Отправьте Применять на рассмотрение (процесс быстрый)
• SSL Сертификат Применятьпосле успеха,скачать Nginx Илидругой类型из Сертификат.

ssl-nginx-download

Поместите загруженный файл сертификата в указанную директорию на сервере, например /srv,Разархивировать Сертификат到规划из Сертификатмагазин Оглавление /data/harbor-cert。

cd /srv
yum install unzip -y

unzip registry.opsxlab.cn_nginx.zip -d /data/harbor-cert

2.2 Настройка внутренней связи компонента Harbor для использования TLS

В этой статье описывается, как включить аутентификацию TLS для обеспечения безопасной связи между внутренними компонентами Harbour.

По умолчанию связь между внутренними компонентами службы Harbour (harbour-core, Harbour-JobService, Proxy, Harbour-Portal, Registry, Registry, Registry, trivy_adapter, Chartmuseum) использует протокол HTTP.

Эта конфигурация может не соответствовать требованиям безопасности для некоторых производственных сред. И в существующей производственной среде всегда используйте HTTPS. практика.

от Harbor v2.0 Старт, TLS Сертификацию можно использовать для Harbor Для внутренней сетевой связи между компонентами официалка также предоставляет собственную prepare Изображение инструмента.

• импортировать Harbor компонентзеркало

# Создать для использования TLS Инструмент сертификата требует сначала импортировать автономное зеркалирование.
docker load -i /data/harbor/harbor.v2.10.2.tar.gz

• Посмотреть зеркала импортировать

[root@docker-node-1 harbor]# docker images
REPOSITORY                      TAG       IMAGE ID       CREATED         SIZE
goharbor/harbor-exporter        v2.10.2   9befcab0cee2   2 weeks ago     111MB
goharbor/redis-photon           v2.10.2   9d1db211d49a   2 weeks ago     170MB
goharbor/trivy-adapter-photon   v2.10.2   8f9e0b6b43ce   2 weeks ago     509MB
goharbor/harbor-registryctl     v2.10.2   e5a807ba1f59   2 weeks ago     155MB
goharbor/registry-photon        v2.10.2   850d2b3f27f3   2 weeks ago     89MB
goharbor/nginx-photon           v2.10.2   9282c21c2fee   2 weeks ago     159MB
goharbor/harbor-log             v2.10.2   f288fe2baa96   2 weeks ago     168MB
goharbor/harbor-jobservice      v2.10.2   a3247b57a920   2 weeks ago     146MB
goharbor/harbor-core            v2.10.2   6cd434d62456   2 weeks ago     174MB
goharbor/harbor-portal          v2.10.2   7e5a522c7853   2 weeks ago     167MB
goharbor/harbor-db              v2.10.2   cd385df354d4   2 weeks ago     274MB
goharbor/prepare                v2.10.2   bf4632d26b65   2 weeks ago     214MB

• использовать prepare генерация инструмента TLS Certs документ

[root@docker-node-1 harbor]# docker run -v /data/harbor-cert:/hostfs goharbor/prepare:v2.10.2 gencert -p /internal/tls/cert -d 3650

Уведомление : -d 3650, сгенерируйте период действия 10 Сертификат года, по умолчанию: 365 небо. -p Путь хранения сертификата можно настроить так, чтобы он отражал внутреннее использование. tls Сертификат.

• Посмотреть созданный Сертификат

[root@docker-node-1 harbor]# ls /data/harbor-cert/internal/tls/cert/
core.crt       harbor_db.key           job_service.key  proxy.key        registry.key
core.csr       harbor_internal_ca.crt  portal.crt       registry.crt     trivy_adapter.crt
core.key       harbor_internal_ca.key  portal.csr       registry.csr     trivy_adapter.csr
extfile.cnf    harbor_internal_ca.srl  portal.key       registryctl.crt  trivy_adapter.key
harbor_db.crt  job_service.crt         proxy.crt        registryctl.csr
harbor_db.csr  job_service.csr         proxy.csr        registryctl.key

иллюстрировать : Создано много файлов. Обратите внимание на конкретную цель каждого файла. Harbor Официальная документация Internal TLS communication иллюстрировать

• Проверить срок действия сертификата

# к registy.crt Например
[root@docker-node-1 data]# openssl x509 -in /data/harbor-cert/internal/tls/cert/registry.crt -noout -dates
notBefore=Apr 26 14:03:43 2024 GMT
notAfter=Apr 24 14:03:43 2034 GMT

2.3 Редактирование YML-файла Harbour

В этой статье представлены только ключевые параметры, которые требуют Исправлять.,Более полные параметры иллюстрировать,пожалуйстассылка Официальная документацияConfigure the Harbor YML File。

Развернуто в этой статье Harbor Используйте индивидуальные https 8443 Порт, обеспечивающий прямой доступ к клиентам интрасети. При этом включите external_url Элемент конфигурации, значение настройки https://registry.opsxlab.cn:8433 Перенаправить доступ внешним пользователям через брандмауэр.

• редактировать Конфигурациядокумент

cd /data//harbor
cp harbor.yml.tmpl harbor.yml
vi harbor.yml

• Параметры, которые необходимо изменить

# Harbor Сервераимя хоста Или IP
hostname: registry.opsxlab.cn

# Производственная среда должна быть использована https
https:
  # https порт, по умолчанию 443, Его можно отрегулировать в соответствии с реальной средой. Но это должно быть с external_url Номера портов параметров совпадают
  port: 8443
  # Nginx использоватьиз cert и key документ (абсолютный путь)
  certificate: /data/harbor-cert/registry.opsxlab.cn_nginx/registry.opsxlab.cn_bundle.pem
  private_key: /data/harbor-cert/registry.opsxlab.cn_nginx/registry.opsxlab.cn.key

# давать Возможность внутренних компонентов TLS коммуникация
internal_tls:
  enabled: true
  dir: /data/harbor-cert/internal/tls/cert/

# Использование только в интрасети не требует настройки. если Harbor Его необходимо перенаправить на внешний доступ через метод межсетевого экрана Илидругой, и Конфигурация является обязательной. IP Или Внешнее доменное имя. Номер порта должен совпадать https.port Номер порта остается прежним.
external_url: https://registry.opsxlab.cn:8433

# Harbor admin 用户из初始密码,Конфигурациядокумент Рикок Нет необходимости менять,Но после развертывания оно должно быть завершено в короткие сроки., сменить пароль
harbor_admin_password: Harbor12345

# Harbor DB configuration
database:
  # Harbor DB root пароль пользователя, 必须Исправлять.  password: OpsXlab2024!

# Harbor Путь к хранилищу данных
data_volume: /data/harbor-storage

• Необязательные, но важные параметры

# Если это автономная интранет-среда и предоставление возможность trivy из场景,Все еще нужно Конфигурацияк Следующие два параметра
trivy:
  # skipUpdate The flag to enable or disable Trivy DB downloads from GitHub
  #
  # You might want to enable this flag in test or CI/CD environments to avoid GitHub rate limiting issues.
  # If the flag is enabled you have to download the `trivy-offline.tar.gz` archive manually, extract `trivy.db` and
  # `metadata.json` files and mount them in the `/home/scanner/.cache/trivy/db` path.
  skip_update: true
  #
  # The offline_scan option prevents Trivy from sending API requests to identify dependencies.
  # Scanning JAR files and pom.xml may require Internet access for better detection, but this option tries to avoid it.
  # For example, the offline mode will not try to resolve transitive dependencies in pom.xml when the dependency doesn't
  # exist in the local repositories. It means a number of detected vulnerabilities might be fewer in offline mode.
  # It would work if all the dependencies are in local.
  # This option doesn’t affect DB download. You need to specify "skip-update" as well as "offline-scan" in an air-gapped environment.
  offline_scan: true

2.4 Запускаем скрипт установки

Официальная команда установки по умолчанию не включает компонент сканирования уязвимостей контейнера. Trivy,生产средапредположениедавать возможность. Выполните следующую команду, чтобы начать установку Включено Trivy компонент Harbor Служить.

./install.sh --with-trivy

2.5 Правильные результаты установки

Когда вы увидите вывод, аналогичный показанному ниже, значит, иллюстрировать успешно установлено.

[Step 5]: starting Harbor ...
[+] Running 10/11
 ⠼ Network harbor_harbor        Created                                                                                                   2.5s 
 ✔ Container harbor-log         Started                                                                                                   0.4s 
 ✔ Container redis              Started                                                                                                   1.2s 
 ✔ Container harbor-db          Started                                                                                                   1.0s 
 ✔ Container harbor-portal      Started                                                                                                   0.9s 
 ✔ Container registryctl        Started                                                                                                   1.2s 
 ✔ Container registry           Started                                                                                                   0.9s 
 ✔ Container trivy-adapter      Started                                                                                                   1.7s 
 ✔ Container harbor-core        Started                                                                                                   1.7s 
 ✔ Container harbor-jobservice  Started                                                                                                   2.1s 
 ✔ Container nginx              Started                                                                                                   2.2s 
✔ ----Harbor has been installed and started successfully.---- 

Уведомление： Но на этот раз Harbor 并没有真正из启动成功,пожалуйста按下面изРазрешение исключенийобработка процесса。

2.6 Разрешение исключений

Содержимое этого раздела не является обязательным. Если в процессе развертывания вы столкнулись с той же проблемой, что и я, вы можете обратиться к следующему содержимому для ее решения.

• Проблемное явление

контейнер harbor-jobservice и nginx всегда внутри Restarting статус, и есть следующий журнал ошибок

nginx              | nginx: [emerg] SSL_CTX_load_verify_locations("/harbor_cust_cert/harbor_internal_ca.crt") failed (SSL: error:80000002:system library::No such file or directory:calling fopen(/harbor_cust_cert/harbor_internal_ca.crt, r) error:10000080:BIO routines::no such file error:05880002:x509 certificate routines::system lib)
nginx              | 2024/04/26 14:21:22 [emerg] 1#0: SSL_CTX_load_verify_locations("/harbor_cust_cert/harbor_internal_ca.crt") failed (SSL: error:80000002:system library::No such file or directory:calling fopen(/harbor_cust_cert/harbor_internal_ca.crt, r) error:10000080:BIO routines::no such file error:05880002:x509 certificate routines::system lib)

• решение

Вышеупомянутое исключение возникает потому,что Harbor из部署Включено TLS Аутентификация, если она не включена TLS Сценарий аутентификации после успешного выполнения сценария установки Harbor можно использовать нормально.

Я подозреваю, что это ошибка, но у меня нет никаких доказательств, поэтому я не буду вдаваться в подробности и приму временное решение.

cp /data/harbor-cert/internal/tls/cert/harbor_internal_ca.crt /data/harbor/common/config/shared/trust-certificates/
docker-compose stop
docker-compose start

3. Конфигурация инициализации гавани

3.1 Измените пароль администратора

При первом входе в систему необходимо изменить пароль администратора по умолчанию.

• использоватьсервер IP Через браузердоступ Harbor Консоль, пользователь по умолчанию администратор, пароль по умолчанию Harbor12345

docker-harbor-login

• Если вы успешно войдете в систему, страница проекта будет отображаться по умолчанию. Нажмите в правом верхнем углу. 「admin」-> 「Изменить пароль」

docker-harbor-project

docker-harbor-chagpass

• существовать弹出изИзменить парольдиалоговое окно,Введите текущий пароль и установите новый пароль,Затем нажмите кнопку «Подтвердить».

docker-harbor-newpwd

3.2 Создать пользователя-администратора

Создайте нового пользователя с правами администратора для ежедневного управления.

• 「Управление системой」-> 「Управление пользователями」->「Создать пользователя」,существовать弹出изСоздать пользователядиалоговое окно中按提示输入用户信息。

docker-harbor-users

docker-harbor-newuser

• После создания пользователя,автоматический返回Управление пользователямистраница,Выберите вновь созданного пользователя,НажмитеУстановить администратором。

docker-harbor-set-admin

docker-harbor-is-admin

3.3 Создать тестовый проект

Harbor После завершения развертывания появится файл с именем library публичный проект, который мы обычно используем для хранения Docker Hub Официальный публичный имидж.

Мы будем использовать его позже Harbor хранилище KubeSphere и Kubernetes Поэтому связанные изображения сначала создайте файл с именем kubesphere Тестирование и проверка частного проекта Harbor функция.

• Нажмите「проект」-> 「Новый проект」,существовать弹出изНовый проектдиалоговое окно中按提示输入проект信息（доступуровеньне хочу勾选 общественный）

docker-harbor-new-project

• После заполнения информации нажмите «Подтвердить» для создания проекта.

docker-harbor-project-ksp

4. Проверка гавани

После установки Harbor нам необходимо проверить, может ли Harbor нормально загружать и скачивать изображения.

Выбираем узел docker-node-1 В качестве проверочного теста клиента Harbor функция нормальная.

4.1 Настройка клиента

Поскольку мы являемся надежными третьими сторонами CA Подписано Сертификат Таким образом, Docker. и Containerd ждатьконтейнер运行时不需要做特殊из Конфигурация。如果是самоподписавшийсяиз Сертификаттогда необходимо Сертификат放到指定из Оглавлениеи особенный Конфигурация,Самоподписанная схема не рассматривается в этой статье.,Если вам нужно больше, вы можете сделать это позжек Напишите один конкретно Главасамоподписавшийся Сертификатиз Harbor Учебное пособие по развертыванию.

Однако, поскольку мы используем доменное имя для сервера интрасети registry.opsxlab.cn доступ Harbor Служить.поэтому,вседоступ Harbor Сервер требует ручной настройки /etc/hosts Разбор файлов.

echo "192.168.9.29 registry.opsxlab.cn" >> /etc/hosts

4.2 Проверочное тестирование

• Войти в гавань

[root@docker-node-1 ~]# docker login registry.opsxlab.cn:8443
Username: opsxlab
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded

• Загрузите тестовое изображение

# Посмотреть существующие image
[root@docker-node-1 ~]# docker images
REPOSITORY         TAG       IMAGE ID       CREATED         SIZE
kubesphere/pause   3.9       e6f181688397   18 months ago   744kB

# переименовывать
docker tag kubesphere/pause:3.9 registry.opsxlab.cn:8443/kubesphere/pause:3.9

# загрузить
[root@docker-node-1 ~]# docker push registry.opsxlab.cn:8443/kubesphere/pause:3.9
The push refers to repository [registry.opsxlab.cn:8443/kubesphere/pause]
e3e5579ddd43: Pushed
3.9: digest: sha256:0fc1f3b764be56f7c881a69cbd553ae25a2b5523c6901fbacb8270307c29d0c4 size: 526

• Посмотреть в гавани

docker-harbor-repositories

• скачатьзеркало

# Для лучшего тестирования,Сначала удалите локальныйзагрузитьиззеркало
[root@docker-node-1 ~]# docker rmi kubesphere/pause:3.9
Untagged: kubesphere/pause:3.9
Untagged: kubesphere/pause@sha256:7031c1b283388d2c2e09b57badb803c05ebed362dc88d84b480cc47f72a21097

[root@docker-node-1 ~]# docker rmi registry.opsxlab.cn:8443/kubesphere/pause:3.9
Untagged: registry.opsxlab.cn:8443/kubesphere/pause:3.9
Untagged: registry.opsxlab.cn:8443/kubesphere/pause@sha256:0fc1f3b764be56f7c881a69cbd553ae25a2b5523c6901fbacb8270307c29d0c4
Deleted: sha256:e6f1816883972d4be47bd48879a08919b96afcd344132622e4d444987919323c
Deleted: sha256:e3e5579ddd43c08e4b5c74dc12941a4ef656fab070b1087a1fd5a8a836b71e7d

[root@docker-node-1 ~]# docker images
REPOSITORY   TAG       IMAGE ID   CREATED   SIZE

# скачать зеркало
[root@docker-узел-1 ~]# docker pull registry.opsxlab.cn:8443/kubesphere/pause:3.9
3.9: Pulling from kubesphere/pause
61fec91190a0: Pull complete
Digest: sha256:0fc1f3b764be56f7c881a69cbd553ae25a2b5523c6901fbacb8270307c29d0c4
Status: Downloaded newer image for registry.opsxlab.cn:8443/kubesphere/pause:3.9
registry.opsxlab.cn:8443/kubesphere/pause:3.9

На данный момент мы завершили работу над зеркальным складом. Harbor из Установка и развертываниеи Тестовая проверка。

5. Резюме

В этой статье описывается подробный процесс и вопросы Уведомления службы автономного развертывания порта. Основное содержание резюмируется следующим образом:

• Предварительные условия для развертывания гавани
• Harbor Конфигурация HTTPS доступ
• Harbour включает аутентификацию TLS
• Harbor из Установка и развертываниеиинициализация Конфигурация
• Проверка порта

Отказ от ответственности:

• Уровень автора ограничен,Несмотря на многочисленные проверки и проверки,Мы прилагаем все усилия для обеспечения точности содержания.,Однако могут быть и пропуски。Пожалуйста, дайте свой совет экспертам отрасли.。
• Содержание, указанное в этой статье, предоставлено только Настоящим. бойсреда Проверочный тест,Читатели могут учиться и извлекать уроки из,ноКатегорически запрещено использовать непосредственно в производственной среде.。Автор не несет ответственности за любые проблемы, возникшие в связи с этим.！

Получить эту статью Настоящий бой видео（пожалуйста Уведомление,Асинхронный выпуск документального видео,пожалуйста先сосредоточиться на）

• B стоять｜Квалифицирован в эксплуатации и обслуживании

Если вам понравилась эта статья, поделитесь, добавьте в избранное, поставьте лайк и прокомментируйте! Пожалуйста, продолжайте обращать внимание @ Опытные в эксплуатации и обслуживании, вовремя смотрите больше хороших статей!

Добро пожаловать присоединиться «Планета знаний｜Навыки эксплуатации и технического обслуживания» , получи больше KubeSphere, Kubernetes, облачная эксплуатация и обслуживание, автоматизированная эксплуатация и обслуживание, искусственный интеллект Большие модели и т.п. бой Навык。В будущей карьере оператора и технического обслуживания я всегда буду сидеть на вашем пассажирском сиденье.。

Заявление об авторских правах

• Весь контент принадлежит оригиналу,Спасибо, что прочитали и собрали,Пожалуйста, свяжитесь с нами для получения разрешения на перепечатку. Воспроизведение без разрешения запрещено.。