Многомерный векторный поиск: практическое исследование использования Densent_vector в Elasticsearch 8.X
Многомерный векторный поиск: практическое исследование использования Densent_vector в Elasticsearch 8.X

В последние годы с развитием технологий глубокого обучения векторный поиск привлек всеобщее внимание. Еще в версии Elasticsearch 7.2.0 был введен тип поля Densent_vector для поддержки хранения многомерных векторных данных, таких как встраивания слов или встраивания документов, для таких операций, как поиск по сходству. В этой статье я покажу, как использовать Densent_vector для векторного поиска в версии Elasticsearch 8.X.

1. Общие сведения

Во-первых, нам нужно понять Density_vector. Density_vector — это тип поля, используемый Elasticsearch для хранения многомерных векторов, часто используемый в нейронном поиске для поиска похожего текста с использованием внедрений, созданных с помощью НЛП и моделей глубокого обучения. Более подробную информацию о плотном_векторе вы можете найти по этой ссылке.

В следующем разделе я покажу, как создать простой индекс Elasticsearch, содержащий возможности векторного поиска на основе встраивания текста.

2. Генерация векторов: используйте Python для обработки

Во-первых, нам нужно сгенерировать встраивание текста, используя Python и модель BERT. Вот пример того, как мы это делаем:

Язык кода:javascript
копировать
import torch
from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased")


def get_bert_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", max_length=128, truncation=True, padding="max_length")
    with torch.no_grad():
        outputs = model(**inputs)
    return outputs.last_hidden_state[:, :3, :].numpy()

def print_infos():
    docs = ["Город барбекю, занимающий площадь в 100 акров, был успешно построен в Цзыбо всего за 20 дней и теперь стал популярным местом, где тысячи людей соревнуются за "места для барбекю".",
            «Новый барбекю-город площадью 100 акров в Цзыбо был построен всего за 20 дней, что привлекло множество любителей барбекю. В настоящее время трудно найти «места для барбекю».»,
            «В Цзыбо город барбекю площадью 100 акров, построенный за 20 дней, стал центром всеобщего внимания. Тысячи людей соперничают за различные вкусные барбекю, которые трудно найти».
            «Цзыбо обычно относится к городу Цзыбо. Город Цзыбо, называемый «Цзы», является древней столицей государства Ци, городом префектурного уровня, находящимся под юрисдикцией провинции Шаньдун, и крупным городом типа II»]
    for doc in docs:
        print( f"Vector for '{doc}':", get_bert_embedding( doc ) )
    
if __name__ == '__main__':
    print_infos()

В приведенном выше сценарии мы определяем функцию get_bert_embedding для создания векторного представления каждого документа. Затем мы сгенерировали четыре разных вектора документа и вывели их выходные данные на консоль. Как показано ниже:

Ссылка на результат:

Язык кода:javascript
копировать
Vector for «Город барбекю», занимающий площадь в 100 акров, был успешно построен в Цзыбо всего за 20 дней и теперь стал популярным местом для тысяч людей, состязающихся за «места для барбекю». ': [[[-0.2703271   0.38279012 -0.29274252 ... -0.24937081  0.7212287
    0.0751707 ]
  [ 0.01726123  0.1450473   0.16286954 ... -0.20245396  1.1556625
   -0.112049  ]
  [ 0.51697373 -0.01454506  0.1063835  ... -0.2986216   0.69151103
    0.13124703]]]
Vector for «Новый город для барбекю площадью 100 акров в Цзыбо был построен всего за 20 дней, что привлекло множество любителей барбекю. В настоящее время трудно найти «места для барбекю». ': [[[-0.22879271  0.43286988 -0.21742335 ... -0.22972387  0.75263715
    0.03716223]
  [ 0.1252176  -0.02892866  0.17054333 ... -0.30524847  0.94903445
   -0.46865308]
  [ 0.42650488  0.34019586 -0.01442122 ... -0.17345914  0.6688627
   -0.75012964]]]

3. Практическое исследование: импорт и поиск векторов в Elasticsearch.

3.1 Создать индекс

Сначала нам нужно создать новый индекс в Elasticsearch для хранения наших документов и их векторных представлений. Вот вызовы API для создания индекса:

Язык кода:javascript
копировать
PUT /my_vector_index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "content_vector": {
        "type": "dense_vector",
        "dims": 3
      }
    }
  }
}

В приведенном выше коде мы создаем индекс с именем my_vector_index и определяем два поля: title и content_vector. Среди них тип поля content_vector установлен на Density_vector, а его размерность указана как 3, что соответствует размерности вектора BERT, который мы сгенерировали ранее.

3.2 Импорт данных

Далее мы можем импортировать наши документы и соответствующие им векторы в индекс. Ниже приведен пример вызова API массового импорта:

Язык кода:javascript
копировать
POST my_vector_index/_bulk
{"index":{"_id":1}}
{"title":"Город барбекю, занимающий площадь в 100 акров, был успешно построен в Цзыбо всего за 20 дней и теперь стал популярным местом для тысяч людей, соревнующихся за "места для барбекю."","content_vector" :[-0.2703271, 0.38279012, -0.29274252]}
{"index":{"_id":2}}
{"title":«Новый барбекю-город площадью 100 акров в Цзыбо был построен всего за 20 дней, что привлекло множество любителей барбекю. В настоящее время трудно найти «места для барбекю».»,"content_vector":[-0.22879271, 0.43286988, -0.21742335]}
{"index":{"_id":3}}
{"title":«В Цзыбо город барбекю площадью 100 акров, построенный за 20 дней, стал центром всеобщего внимания. Тысячи людей соперничают за различные вкусные барбекю, которые трудно найти»."content_vector":[-0.24912262, 0.40769795, -0.26663426]}
{"index":{"_id":4}}
{"title":«Цзыбо обычно относится к городу Цзыбо. Город Цзыбо, называемый «Цзы», является древней столицей государства Ци, городом префектурного уровня, находящимся под юрисдикцией провинции Шаньдун, и крупным городом типа II","content_vector":["0.32247472, 0.19048998, -0.36749798]}

В этом примере мы используем интерфейс _bulk Elasticsearch для пакетного импорта данных. Данные для каждого документа состоят из двух строк: одна строка содержит идентификатор документа, а другая строка содержит векторы заголовка и содержимого документа. Обратите внимание, что значения вектора такие же, как те, которые мы сгенерировали в коде Python.

3.3 Выполнить поиск

После создания и импорта данных мы можем выполнить поиск по сходству. Мы будем использовать сценарий для оценки запроса, где наш сценарий оценки будет вычислять косинусное сходство между вектором запроса и вектором содержимого каждого документа.

Ниже приведен пример вызова API:

Язык кода:javascript
копировать
GET my_vector_index/_search
{
  "query": {
    "script_score": {
      "query": {
        "match_all": {}
      },
      "script": {
        "source": "cosineSimilarity(params.query_vector, 'content_vector') + 1.0", 
        "params": {
          "query_vector": [-0.2703271, 0.38279012, -0.29274252]  
        }
      }
    }
  }
}

В приведенном выше запросе мы определили запрос оценки сценария script_score. Этот запрос сначала выполняет запрос, который соответствует всем документам (match_all), а затем оценивает каждый документ на основе нашего сценария.

Сценарий оценки cosineSimilarity(params.query_vector, 'content_vector') + 1.0 вычисляет косинусное сходство между вектором запроса и полем content_vector каждого документа и добавляет 1 к результату (поскольку косинусное сходство находится в диапазоне от -1 до 1, а Elasticsearch оценивает должно быть неотрицательным).

В качестве условия поиска возьмем вектор документа 1, и результаты выполнения будут следующими:

4. Заключение

Методы векторного поиска постоянно развиваются, и Elasticsearch постоянно совершенствует и расширяет свои возможности, чтобы идти в ногу с этой тенденцией.

Чтобы в полной мере воспользоваться возможностями Elasticsearch, обязательно следите за его официальной документацией и обновлениями, чтобы быть в курсе новейших функций и лучших практик. Используя поле Densent_vector и связанные с ним методы поиска, мы можем реализовать сложный векторный поиск в Elasticsearch, предоставляя пользователям более точный и персонализированный поиск.

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose