10-минутное введение в поиск подобных векторов
10-минутное введение в поиск подобных векторов

1. Знакомство с файсом

Полное имя Фейс Facebook AI Similarity Поиск, команда искусственного интеллекта FaceBook нацелена на крупномасштабные векторы руководить TopK аналогичный вектор Поиск инструмент,Написан на С++,Есть интерфейс Python,Он может достичь производительности на уровне миллисекунд для данных уровня 1 миллиарда.

Используйте Faiss В сочетании с соответствующей моделью и функциями внедрения это может помочь нам. строить Распознавание лиц, похожие картинки Поиск, база знаний LLM Вопросы и ответы, модуль отзыва рекомендательной системы и другие приложения.

faissГлавный принципстроитьbase Индекс векторных данных векторов, а затем использовать индекс для поиска vectors выполнить TopK аналогичный вектор Поиск。

Faiss поддерживает множество различных способов построения индекса.,Ниже приведены некоторые из наиболее рекомендуемыхтип。

1,Flat:жестокая точность Поиск,глобальный оптимальный,Подходит для сотен тысяч уровней.

2,IVF100,Flat:Обратное насилие Поиск(100Грубая сила после кластеризации Поиск),Нетглобальный оптимальный Но отзыв высокий,Подходит для миллионов уровней.

3, HNSW64: 图сеть Поиск,Hierarchical NSW(Navigable Small World), каждый узел имеет 64 ребра, журнал сложности поиска (logn), подходящий для графов масштаба в десятки миллионов и более крупных. Недостаток заключается в том, что процесс построения индекса медленный и занимает много памяти.

2. Установка Фаисса

Язык кода:javascript
копировать
pip install faiss-cpu # faiss-gpu (Как правило, процессор достаточно быстрый)

3. Примеры кода

Язык кода:javascript
копировать
import faiss
import numpy as np 

# 〇, настройки основных параметров
d = 64                                           # векторные размеры
nb = 100000                                      # Объем данных индексной векторной библиотеки
nq = 1000                                        # Количество ожидающих поисковых запросов
index_type = 'Flat'                              # index тип
metric_type = faiss.METRIC_INNER_PRODUCT         # Метрика (сходство/расстояние)тип


# 1. Подготовьте векторную библиотеку векторов.
print('============================== 1,base vector ==============================')
np.random.seed(1234)             
xb = np.random.random((nb, d)).astype('float32')
xb[:, 0] += np.arange(nb) / 1000.                # вектор индексной векторной библиотеки
faiss.normalize_L2(xb)
print('xb.shape = ',xb.shape,'\n')


# 2. Подготовьте вектор запроса
print('============================== 2,query vector ==============================')
xq = np.random.random((nq, d)).astype('float32')
xq[:, 0] += np.arange(nq) / 1000.                # Вектор запроса для поиска
faiss.normalize_L2(xq)
print('xq.shape = ',xq.shape,'\n')

# В-третьих, создайте индекс векторной библиотеки.
print('============================== 3,create&train ==============================')
index = faiss.index_factory(d,index_type,metric_type)    #Эквивалент faiss.IndexFlatIP(d)     
print('index.is_trained=',index.is_trained)    # Выходные данные имеют значение True, что означает, что этот тип индекса не требует обучения и требует только добавления векторов.
index.train(xb)
index.add(xb)                                      # Добавьте в индекс векторы из библиотеки векторов.
print('index.ntotal=',index.ntotal,'\n')           # Выведите общее количество векторов, содержащихся в индексе, равное 100000. 


# Четыре,аналогичный Векторзапрос
print('============================== 4, search ==============================')
k = 4                       # Значение K для topK
D, I = index.search(xq, k)  # xq — вектор ожидания поиска, возвращаемый I — это наиболее похожий индексный список TopK каждого ожидающего запроса поиска, а D — соответствующее ему расстояние.

print('nearest vector ids:\n',I[:5],'\n')
print('metric(distances/scores) to query:\n',D[-5:],'\n')

# 5. Добавляйте и удаляйте векторы индексов.
print('============================== 5, add&remove ==============================')
xa = np.random.random((10000, d)).astype('float32')
xa[:, 0] += np.arange(len(xa)) / 1000.                
faiss.normalize_L2(xa)
index.add(xa)
print('after add, index.ntotal=',index.ntotal) 
index.remove_ids(np.arange(1000,1111))
print('after remove, index.ntotal=',index.ntotal,'\n') 

# 6. Сохраните и загрузите индекс.
print('============================== 6, write&read ==============================')
faiss.write_index(index, "large.index")
index_loaded = faiss.read_index('large.index')
print('index_loaded.ntotal=', index_loaded.ntotal)

Вывод следующий:

Язык кода:javascript
копировать
============================== 1,base vector ==============================
xb.shape =  (100000, 64) 

============================== 2,query vector ==============================
xq.shape =  (1000, 64) 

============================== 3,create&train ==============================
index.is_trained= True
index.ntotal= 100000 

============================== 4, search ==============================
nearest vector ids:
 [[ 207  381 1394 1019]
 [ 300  911  142  526]
 [ 838 1541  527  148]
 [ 196  359  184  466]
 [ 526  120  917  765]] 

metric(distances/scores) to query:
 [[0.87687665 0.86128205 0.85667723 0.85451   ]
 [0.8702938  0.86668813 0.85934925 0.8523142 ]
 [0.862915   0.85807455 0.85384977 0.8499449 ]
 [0.8692     0.86600477 0.8647547  0.8634621 ]
 [0.8539625  0.84914947 0.84744585 0.8432568 ]] 

============================== 5, add&remove ==============================
after add, index.ntotal= 110000
after remove, index.ntotal= 109889 

============================== 6, write&read ==============================
index_loaded.ntotal= 109889

Справочная статья: 1. «Введение в Faiss и запись опыта применения» https://zhuanlan.zhihu.com/p/357414033

2. «Алгоритм восстановления ИНС HNSW» https://zhuanlan.zhihu.com/p/379372268

boy illustration
Неразрушающее увеличение изображений одним щелчком мыши, чтобы сделать их более четкими артефактами искусственного интеллекта, включая руководства по установке и использованию.
boy illustration
Копикодер: этот инструмент отлично работает с Cursor, Bolt и V0! Предоставьте более качественные подсказки для разработки интерфейса (создание навигационного веб-сайта с использованием искусственного интеллекта).
boy illustration
Новый бесплатный RooCline превосходит Cline v3.1? ! Быстрее, умнее и лучше вилка Cline! (Независимое программирование AI, порог 0)
boy illustration
Разработав более 10 проектов с помощью Cursor, я собрал 10 примеров и 60 подсказок.
boy illustration
Я потратил 72 часа на изучение курсорных агентов, и вот неоспоримые факты, которыми я должен поделиться!
boy illustration
Идеальная интеграция Cursor и DeepSeek API
boy illustration
DeepSeek V3 снижает затраты на обучение больших моделей
boy illustration
Артефакт, увеличивающий количество очков: на основе улучшения характеристик препятствия малым целям Yolov8 (SEAM, MultiSEAM).
boy illustration
DeepSeek V3 раскручивался уже три дня. Сегодня я попробовал самопровозглашенную модель «ChatGPT».
boy illustration
Open Devin — инженер-программист искусственного интеллекта с открытым исходным кодом, который меньше программирует и больше создает.
boy illustration
Эксклюзивное оригинальное улучшение YOLOv8: собственная разработка SPPF | SPPF сочетается с воспринимаемой большой сверткой ядра UniRepLK, а свертка с большим ядром + без расширения улучшает восприимчивое поле
boy illustration
Популярное и подробное объяснение DeepSeek-V3: от его появления до преимуществ и сравнения с GPT-4o.
boy illustration
9 основных словесных инструкций по доработке академических работ с помощью ChatGPT, эффективных и практичных, которые стоит собрать
boy illustration
Вызовите deepseek в vscode для реализации программирования с помощью искусственного интеллекта.
boy illustration
Познакомьтесь с принципами сверточных нейронных сетей (CNN) в одной статье (суперподробно)
boy illustration
50,3 тыс. звезд! Immich: автономное решение для резервного копирования фотографий и видео, которое экономит деньги и избавляет от беспокойства.
boy illustration
Cloud Native|Практика: установка Dashbaord для K8s, графика неплохая
boy illustration
Краткий обзор статьи — использование синтетических данных при обучении больших моделей и оптимизации производительности
boy illustration
MiniPerplx: новая поисковая система искусственного интеллекта с открытым исходным кодом, спонсируемая xAI и Vercel.
boy illustration
Конструкция сервиса Synology Drive сочетает проникновение в интрасеть и синхронизацию папок заметок Obsidian в облаке.
boy illustration
Центр конфигурации————Накос
boy illustration
Начинаем с нуля при разработке в облаке Copilot: начать разработку с минимальным использованием кода стало проще
boy illustration
[Серия Docker] Docker создает мультиплатформенные образы: практика архитектуры Arm64
boy illustration
Обновление новых возможностей coze | Я использовал coze для создания апплета помощника по исправлению домашних заданий по математике
boy illustration
Советы по развертыванию Nginx: практическое создание статических веб-сайтов на облачных серверах
boy illustration
Feiniu fnos использует Docker для развертывания личного блокнота Notepad
boy illustration
Сверточная нейронная сеть VGG реализует классификацию изображений Cifar10 — практический опыт Pytorch
boy illustration
Начало работы с EdgeonePages — новым недорогим решением для хостинга веб-сайтов
boy illustration
[Зона легкого облачного игрового сервера] Управление игровыми архивами
boy illustration
Развертывание SpringCloud-проекта на базе Docker и Docker-Compose