Руководство по использованию инструмента ES_IndexPropertiesSync «Лучшая практика»
Руководство по использованию инструмента ES_IndexPropertiesSync «Лучшая практика»

иллюстрировать

Проблемы и решения, описанные в этой статье, также применимы к Тенсент Облако Elasticsearch Service（ES）。

История изменений

Номер версии

Дата редакции

Изменить описание

писать

V1.0

2024-02-23

Создать документ

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.1

2024-02-27

Обновление: поддержка обновления значения вложенных ключей.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.2

2024-03-26

Обновление: добавлена ​​совместимость с AWS Opensearch и по умолчанию удалены некоторые несовместимые с ES параметры.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.3

2024-04-10

Обновление: исправлены известные проблемы.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.4

2024-04-16

Обновление: добавлен параметр тайм-аута.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.5

2024-06-05

Обновление: добавлены параметры суффикса.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.6

2024-06-18

Обновление: исправлены известные проблемы.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.7

2024-06-27

Обновление: адаптировано к 8.x, параметр истории настроек по умолчанию удален.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.8

2024-11-13

Обновление: разрешить не указывать порт ● HTTP – 80. ● https — 443.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.9

2024-11-14

Обновление: совместимость с аутентификацией без пароля AWS Opensearch.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.10

2024-11-15

Обновление: исправлена ​​проблема с распознаванием типа AWS Opensearch.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

V1.11

2024-11-27

Обновление: исправлено AWS Opensearch носить более низкую версию ES 属性（< 7) Проблемы, вызывающие сбой синхронизации.

Тенсент Облако/Сообщество разработчиков/Юэ Тао

Связанныйиллюстрировать

использоватьиллюстрировать

● Этот инструмент подходит для es с версией сообщества 5.x/6.x/7.x/8.x и opensearch с версией 2.x. Другие версии сообщества еще не проверены.

● Этот инструмент подходит для синхронизации атрибутов индекса (настройка/сопоставление) одним щелчком мыши.

● Этот инструмент подходит для решения проблем совместимости атрибутов индекса и поддерживает изменение и удаление атрибутов во время синхронизации.

совместимыйиллюстрировать

● Если оба конца поддерживают ES 5.x, они совместимы с несколькими типами ES 5.x, в противном случае синхронизируется только один тип;

● Уровень типов ES 7.x и ниже и opensearch был скорректирован, чтобы сделать структуру сопоставления совместимой, не затрагивая последующие проблемы;

● Параметр Opensearch index.replication.type по умолчанию отброшен. Эта функция несовместима с ES, и ее удаление не повлияет на ее использование.

Применимые сценарии инструмента

● синхронизация атрибутов индекса elasticsearch.

1. Подготовка

● Подготовка сервера

Подготовьте сервер, который может получить доступ к экземпляру ES, и его сетевое окружение должно быть взаимосвязанным;

2. Метод исполнения

2.1. Установка в один клик

Установите ES_IndexPropertiesSync:

● Centos
Язык кода:javascript
копировать
rpm -vih https://tools-release-12345678.cos.ap-shanghai.myqcloud.com/elasticsearch/packages/es-index-properties-sync-xxxx.x86_64.rpm

Или скачайте, загрузите и затем установите с помощью rpm:

Язык кода:javascript
копировать
rpm -vih es-index-properties-sync-lastest.x86_64.rpm
● Ubuntu
Язык кода:javascript
копировать
wget https://tools-release-12345678.cos.ap-shanghai.myqcloud.com/elasticsearch/packages/es-index-properties-sync-xxxx.amd64.deb -O /tmp/eips.deb && sudo dpkg -i /tmp/eips.deb

Или скачайте, загрузите и затем используйте dpkg для установки:

Язык кода:javascript
копировать
dpkg -i es-index-properties-sync-lastest.amd64.deb

После завершения установки будет сгенерирована команда es-backup-progress, см. справку:

Язык кода:javascript
копировать
es-index-properties-sync --help

2.2. параметриллюстрировать

Язык кода:javascript
копировать
  --src_url             источник URL
  --src_user            пользователь поиска
  --src_password        найти пароль
  --dst_url DST_URL     Цель URL
  --dst_user DST_USER   Цельпользователь
  --dst_password        Главный пароль
  --indices             Необходимо синхронизировать из индекса
  --updates-settings    Необходимо обновить/добавить настройки
  --updates-mappings    Необходимо обновить/добавить отображение
  --index_suffix        Добавить суффикс индекса
  --timeout TIMEOUT     тайм-аутпараметр

2.3. Пример выполнения

Пример 1

● Экземпляры ES не имеют аутентификации по паролю.

● Синхронизировать все индексы (за исключением системных индексов, начинающихся с .)

Язык кода:javascript
копировать
es-index-properties-sync --src_url http://10.0.10.xx:9200 --dst_url http://10.0.10.xx:9200 --indices '*,-.*'

Пример 2

● Экземпляры ES имеют аутентификацию по паролю, а имя пользователя по умолчанию является гибким.

● Синхронизировать индекс подстановочного знака, начинающийся с указанного символа.

● Удалить параметр настройки.

Язык кода:javascript
копировать
es-index-properties-sync \
  --src_url http://10.0.10.xx:9200 \
  --dst_url http://10.0.10.xx:9200 \
  --src_password ****** \
  --dst_password ****** \
  --indices 'users-2022*' \
  --updates-settings '[{"action": "remove", "key": "index.bulk_routing.enabled"}]'

Пример 3

● Экземпляр ES имеет аутентификацию по паролю и указывает имя пользователя.

● Назначенный порт экземпляра ES.

● Синхронизировать указанные индексы.

● Удалять & Исправлять setting параметр

● Удалять & Исправлять mapping параметр

Язык кода:javascript
копировать
es-index-properties-sync \
  --src_url http://10.0.10.xx:9200 \
  --dst_url http://10.0.10.xx:9200 \
  --src_user elastic \
  --dst_user elastic \
  --src_password ****** \
  --dst_password ****** \
  --indices 'users-2024.02.27' \
  --updates-settings '[{"action": "remove", "key": "index.bulk_routing.enabled"}, {"action": "update", "key": "index.number_of_shards", "value": 10}]' \
  --updates-mappings '[{"action": "update", "key": "properties.job.type", "value": "keyword"},{"action": "remove", "key": "properties.job.fields"}]'

Пример 4

● Экземпляр ES имеет аутентификацию по паролю и указывает имя пользователя.

● Назначенный порт экземпляра ES.

● Синхронизировать указанные индексы.

● Исправлять mapping параметр и значение содержит одинарные кавычки

Язык кода:javascript
копировать
es-index-properties-sync \
  --src_url http://10.0.10.xx:9200 \
  --dst_url http://10.0.10.xx:9200 \
  --src_user elastic \
  --dst_user elastic \
  --src_password ****** \
  --dst_password ****** \
  --indices 'users-2024.02.27' \
  --updates-mappings '[{"action":"update","key":"properties.update_timestamp.format","value":"yyyy-MM-dd'\''T'\''HH:mm:ssZ||yyyy-MM-dd'\''T'\''HH:mm:ss||yyyy-MM-dd HH:mm||yyyy-MM-dd'\''T'\''HH:mm:ss'\''+0800'\''"}]'

Пример 5

● Экземпляр ES имеет аутентификацию по паролю и указывает имя пользователя.

● Назначенный порт экземпляра ES.

● Синхронизировать указанные индексы.

● Совместимость с 7–8 самостоятельно разработанными параметрами

Язык кода:javascript
копировать
es-index-properties-sync \
  --src_url http://10.0.10.xx:9200 \
  --dst_url http://10.0.10.xx:9200 \
  --src_user elastic \
  --dst_user elastic \
  --src_password ****** \
  --dst_password ****** \
  --indices 'users-2024.02.27' \
  --updates-settings '[{"action": "remove", "key": "index.merge.policy.auto_merge_enabled"},{"action": "remove", "key": "index.merge.policy.inactive_merge_enabled"},{"action": "remove", "key": "index.bulk_routing.enabled"},{"action": "remove", "key": "index.search.slowlog"},{"action": "remove", "key": "index.indexing.slowlog"}]' \
  --updates-mappings '[{"action": "remove", "key": "_all"}]'

Пример 6

● Экземпляр ES имеет аутентификацию по паролю и указывает имя пользователя.

● Назначенный порт экземпляра ES.

● Синхронизировать указанные индексы.

● Исправлять Шардингпараметр

●Укажите суффикс

Язык кода:javascript
копировать
es-index-properties-sync \
  --src_url http://10.0.10.xx:9200 \
  --dst_url http://10.0.10.xx:9200 \
  --src_user elastic \
  --dst_user elastic \
  --src_password ****** \
  --dst_password ****** \
  --indices '*2024.06*' \
  --updates-settings '[{"action": "update", "key": "index.number_of_shards", "value": 6}]' \
  --index_suffix _v2
boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native｜Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose
©