1. Предыстория

Однажды пользователи сообщили, что нагрузка на кластер очень высока, ресурсы ЦП постоянно заполняются, бизнес-запросы к кластеру elasticsearch часто истекают по тайм-ауту, а большое количество запросов завершается неудачей.

2. Процесс расследования

В ходе мониторинга мы обнаружили, что все важные задачи кластера — это задачи запросов. Благодаря журналу медленной работы кластера мы обнаружили, что кластер выполняет большое количество запросов с подстановочными знаками. Это занимает от десятков секунд до нескольких минут. При большом количестве запросов загрузка ЦП кластера и операции ввода-вывода на диске работают на высоком уровне.

Примеры заявлений следующие:

GET index/_search
{

  "query": {
    "wildcard": {
      "name_zh": {
        "wildcard": "*xx Технология*"
      }
    }
  },
  "from": 0,
  "size": 10
}

Проанализировав профиль медленных операторов запроса, мы обнаружили, что затраты времени в основном сосредоточены на этапе нечеткого сопоставления с подстановочными знаками.

3. Причина проблемы

Запрос нечеткого соответствия с подстановочными знаками требует использования прямого индекса, аналогично операции «like» в реляционной базе данных. В процессе сопоставления данных в запросе с подстановочными знаками необходимо сопоставить многие типы данных, поэтому общие затраты времени будут очень длительными. Фильтруйте и запрашивайте данные, сопоставляя строки. Это противоречит идее использования Elasticsearch инвертированных индексов для ускорения запросов. Хотя elasticsearch предоставляет возможности нечеткого сопоставления строк с подстановочными знаками, мы не рекомендуем использовать этот метод для запроса elasticsearch.

1. Потенциальные проблемы, которые могут возникнуть при использовании запроса с подстановочными знаками.

1. Проблемы с производительностью：Запросы с подстановочными знаками требуют сканирования всех документов.,Итак, для больших индексов,Это может привести к замедлению выполнения запросов.
2. Проблема с точностью：Поскольку запросы с подстановочными знаками будут соответствовать всем результатам, соответствующим критериям.,Поэтому может быть возвращено много нерелевантных результатов.
3. проблема с памятью：Запросы с подстановочными знаками требуют хранения регулярных выражений в памяти.,Если регулярное выражение слишком сложное,Может вызвать нехватку памяти.

Поэтому запросы с подстановочными знаками следует использовать с осторожностью, их следует избегать в больших индексах, а для повышения производительности запросов и точности результатов следует использовать более точные методы запросов.

public WildcardQueryBuilder(String fieldName, String value) {
 if (Strings.isEmpty(fieldName)) {
 throw new IllegalArgumentException("field name is null or empty");
 }
 if (value == null) {
 throw new IllegalArgumentException("value cannot be null");
 }
 this.fieldName = fieldName;
    this.value = value;
}

Определите подстановочный знак, переданный в конструктор Являются ли имя поля и ключевое слово поиска в запросе пустыми, если имя поля пусто, оно будет выдано IllegalArgumentExceptionаномальный。Если значениеnull ,тогда бросьIllegalArgumentExceptionаномальный。в противном случае,Присвойте имя и значение поля соответствующей переменной-члену. QueryBuilder.

public static WildcardQueryBuilder fromXContent(XContentParser parser) throws IOException {
        String fieldName = null;
        String rewrite = null;
        String value = null;
        float boost = AbstractQueryBuilder.DEFAULT_BOOST;
        boolean caseInsensitive = DEFAULT_CASE_INSENSITIVITY;
        String queryName = null;
        String currentFieldName = null;
        XContentParser.Token token;
        while ((token = parser.nextToken()) != XContentParser.Token.END_OBJECT) {
            if (token == XContentParser.Token.FIELD_NAME) {
                currentFieldName = parser.currentName();
            } else if (token == XContentParser.Token.START_OBJECT) {
                throwParsingExceptionOnMultipleFields(NAME, parser.getTokenLocation(), fieldName, currentFieldName);
                fieldName = currentFieldName;
                while ((token = parser.nextToken()) != XContentParser.Token.END_OBJECT) {
                    if (token == XContentParser.Token.FIELD_NAME) {
                        currentFieldName = parser.currentName();
                    } else {
                        if (WILDCARD_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            value = parser.text();
                        } else if (VALUE_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            value = parser.text();
                        } else if (AbstractQueryBuilder.BOOST_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            boost = parser.floatValue();
                        } else if (REWRITE_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            rewrite = parser.textOrNull();
                        } else if (CASE_INSENSITIVE_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            caseInsensitive = parser.booleanValue();
                        } else if (AbstractQueryBuilder.NAME_FIELD.match(currentFieldName, parser.getDeprecationHandler())) {
                            queryName = parser.text();
                        } else {
                            throw new ParsingException(
                                parser.getTokenLocation(),
                                "[wildcard] query does not support [" + currentFieldName + "]"
                            );
                        }
                    }
                }
            } else {
                throwParsingExceptionOnMultipleFields(NAME, parser.getTokenLocation(), fieldName, parser.currentName());
                fieldName = parser.currentName();
                value = parser.text();
            }
        }

В этом коде, создающем WildcardQueryBuilder, имена полей, значения и другие параметры WildcardQueryBuilder анализируются из XContentParser и используются для создания объекта WildcardQueryBuilder. Он сопоставляет соответствующие параметры на основе имен полей и присваивает их соответствующим переменным. Наконец, возвращается созданный объект WildcardQueryBuilder.

public WildcardQueryBuilder caseInsensitive(boolean caseInsensitive) {
    this.caseInsensitive = caseInsensitive;
    return this;
}

Используйте этот метод для управления чувствительностью сопоставления.,Если переданный параметрtrue,означает совпадение без учета регистра；Если переданный параметрfalse,Это означает выполнение сопоставления с учетом регистра.

4. Рекомендации по использованию

1. Используйте оператор запроса соответствия

GET company/_search
{
 "query": {
 "match": {
 "name_zh.word": {
 "query": «ХХ Технология»
 }
 }
 },
 "from": 0,
 "size": 10
}

2. Если требуется фразовое сопоставление, для запроса рекомендуется использовать метод фразового сопоставления match_phrase.

я участвуюНа третьем этапе специального тренировочного лагеря Tencent Technology Creation 2023 года будет проводиться конкурс сочинений. Соберите команду, чтобы выиграть приз!