Некоторые читатели сообщили, что ранее написанный контент не был закончен. Эта статья дополнит и улучшит ранее написанный контент.

Генерация с расширенным поиском называется RAG (генерация с расширенным поиском). RAG устанавливает плагины знаний для больших языковых моделей, при этом базовую большую языковую модель не нужно обучать. Отвечая на вопросы, вы можете использовать внутреннюю базу знаний компании. Получайте актуальную и актуальную информацию для создания контента, повышающего точность, своевременность и актуальность ответов на вопросы.

01

—

Зачем использовать гибридный поиск?

Семантический векторный поиск

В интеллектуальной вопросно-ответной системе RAG метод поиска в поисковой ссылке RAG использует векторный поиск, то есть поиск осуществляется посредством семантического корреляционного сопоставления.

Технический принцип заключается в том, чтобы разбить документы внешней базы знаний на семантически полные абзацы или предложения и преобразовать их в векторное хранилище. Вопросы пользователя также векторизируются, а затем используется семантика между вопросами пользователя и предложениями, нахождение релевантности. текст с наивысшей степенью релевантности. Найдя его, система RAG предоставит большой модели вопрос пользователя и связанный с ним контент, а большая языковая модель выведет ответ на вопрос.

Помимо возможности осуществлять текстовый поиск со сложной семантикой, векторный поиск имеет и другие преимущества:

• Толерантность к ошибкам: обработка двусмысленных описаний и орфографических ошибок;
• Мультимодальное понимание: поддерживает одинаковое сопоставление текста, изображений, аудио и видео и т. д.;
• Многоязычное понимание: межъязыковое понимание, например, ввод китайского языка в соответствии с английским;
• Аналогичное смысловое понимание;

В некоторых случаях векторный поиск не работает должным образом, например:

• поиск Имя человека или предмета;
• поискаббревиатураили фраза；
• Сценарии типа searchID и эти сцены как раз и являются преимуществами традиционного поиска по ключевым словам.,Преимущества традиционного поиска по ключевым словам заключаются в точном поиске и небольшом количестве совпадений символов.

Поиск по ключевым словам крайне ограничен

В контексте поиска информации «традиционным» способом является поиск по ключевым словам. Общий процесс таков:

1. Извлекайте ключевые слова из исходного контента;
2. Чтобы установить связь между ключевыми словами и исходным корпусом, распространенные методы включают обратную индексацию, TF-IDF, BM25 и другие методы. Среди них TF-IDF и BM25 обычно используют «разреженный вектор» для представления частоты слов.
3. Во время поиска ключевые слова извлекаются из поисковых предложений, а исходный корпус TopK с наибольшей релевантностью вызывается через установленные отношения сопоставления.

Поиск по ключевым словам не может понять семантику. Например, поисковый запрос «Больница Пекинского университета» становится «Пекинский университет» и «больница» после сегментации слов. Ни одно из этих двух ключевых слов не может эффективно найти предполагаемую цель пользователя «Пекинский университет прежде всего». Больница» эта цель.

В сценариях текстового поиска сначала необходимо убедиться, что наиболее релевантные результаты могут появиться в полученных результатах. Векторный поиск и поиск по ключевым словам имеют свои преимущества, а внедрение гибридного поиска объединяет преимущества обеих технологий поиска и компенсирует их соответствующие недостатки.

02

—

Что такое гибридный поиск?

Гибридный поиск — это технология поиска, которая объединяет два или более поисковых алгоритма для повышения релевантности результатов поиска. В системе RAG гибридный поиск чаще всего представляет собой комбинацию векторного поиска и поиска по ключевым словам.

Различные поисковые системы имеют разные связи между своими сильными сторонами при поиске текста. Ни один режим поиска не может подходить для всех сценариев. Гибридный поиск объединяет несколько различных поисковых систем и сочетает в себе преимущества разных поисковых систем для достижения нескольких технологий поиска, которые напрямую дополняют друг друга.

03

—

Источник питания продукта

Проведите исследование методов поиска в системах вопросов и ответов на основе RAG для других продуктов, которые в настоящее время используются в отрасли.

Coze

• Смешанный поиск:объединить Полнотекстовый поиск и преимущества семантического поиска, а также комплексная сортировка результатов;
• Семантический поиск:Векторный запрос корреляции текста,Рекомендуется для использования в сценариях, где необходимо понимать семантическую релевантность и межъязыковые запросы;
• Полнотекстовый поиск:Полный текст в зависимости от ключевых словпоиск,Рекомендуется в поиске по конкретным именам, аббревиатура, Сценарное. использование фраз или идентификаторов;

betteryeah

• Смешанный запрос:Комплексный запрос с использованием семантики и ключевых слов,Эффект лучше;
• Ключевое слово запрос:Точный запрос,Запрашивайте конкретный контент по именам людей, мест и т. д.;
• Семантический запрос:подходит по описанию、Запрашивайте похожие ответы на вопросы;

Поиск Azure с использованием искусственного интеллекта

• Полнотекстовый поиск: сопоставление открытого текста, хранящегося в индексе, при поиске информации;
• Векторный поиск: хранит цифровое представление контента для выполнения поиска;
• Гибридный поиск: сочетание полнотекстового поиска и векторного поиска;

Подведите итог:

1. RAG Вопросы и ответы на основе документации и системы базы знаний,В исследовании продукта,Обычно поддерживают гибридный поиск, векторный поиск и полнотекстовый поиск. поиск. Как пользователь платформы, вы можете выбрать, какой метод поиска использовать;
2. Гибридный поиск в сочетании с Полнотекстовым Преимущества поиска и векторного поиска,Комплексная сортировка результатов отзыва,Улучшите результаты, полученные с помощью Big Model,Это также рекомендуется в первую очередь каждой платформой;