Предисловие

С появлением искусственного интеллекта возникла новая отрасль — оперативное машиностроение. Проще говоря, слова-подсказки — это то, что мы говорим ИИ. В режиме взаимодействия человека с компьютером хорошее слово-подсказка часто может дать вдвое больший результат, прилагая вдвое меньше усилий. В текстовом поле хорошие слова-подсказки часто могут превосходить возможности RAG/Агента; в визуальном поле, соответствующем изображениям, хорошие слова-подсказки часто могут создавать лучшие изображения/визуальные эффекты.

В видеоаккаунте Shanxing AI есть два видеоролика о подсказках, которые очень хорошо иллюстрируют этот момент. Заинтересованные друзья могут захотеть их посмотреть (кстати, подпишитесь на меня ❤️-_-❤️, большое спасибо ~):

PS: Возможно, после прочтения этой статьи вы станете понимать подсказки намного лучше, чем другие~

01Как обучить модель быстрого слова для создания популярного копирайтинга

02Как использовать хорошие слова-подсказки при переводе, чтобы попрощаться с ощущением машинного перевода

Оперативное проектирование: техническая классификация и оперативная настройка

Поскольку это новая область исследований, срочное проектирование машиностроение) отсутствует четкая технология Классификация. Просматривая различные статьи и веб-сайты, обсуждающие эти методы, вы заметите, что они разрознены и лишены структуры. Из-за этой путаницы практики часто придерживаются самых простых методов. В этой статье я представляю обзор и четкое объяснение методов быстрого проектирования, которые помогут вам понять их концепции и эффективно использовать их в своих приложениях. Кроме того, я буду рассматривать оперативное проектирование как инструмент, предполагающий оперативную корректировку (оперативное проектирование). Научный процесс настройки) и оценка данных.

Несмотря на усилия многих исследователей, большие языковые модели по-прежнему сталкиваются с некоторыми проблемами. Их основные подводные камни:

•Цитируйте ресурсы. большой язык Модель（LLMs）Можетгенерировать Контент, который выглядит весьма заслуживающим доверия и цитирует внешние источники.,Но важно помнить,Они не могут ссылаться на ресурсы,У них нет доступа к Интернету,•предвзятость. LLMsсуществовать Они могут проявлять предвзятость в своих ответах,Часто думают о стереотипах или предвзятом контенте,•галлюцинация. когдаLLMsКогда им задают вопросы, на которые они не знают ответа,Иногда могут возникать «галлюцинации» или частично ложная информация.,•Математика и общеобразовательные вопросы. Несмотря на свои расширенные возможности,LLM часто испытывают трудности с решением даже самых простых математических или общих задач.,•Оперативный угон。LLMsМожетманипулируется пользователем или“хакерская атака”,игнорировать инструкции разработчика и ограничивать конкретный контент.

Большинство методов подсказки решают две проблемы: галлюцинации и решение математических задач и задач на общие знания. Существуют специальные методы, предназначенные для предотвращения перехвата сообщений, но это тема для отдельного обсуждения.

Общие правила

существования Прежде чем обсуждать конкретные технологии,Давайте поговорим о советах по общим правилам.,Это поможет вам написать четкие и конкретные инструкции:

1. Точно сформулируйте, что нужно сделать (письмо, Подвести итог、Извлечение информации）,2. Не указывайте, чего не следует делать,Скорее, там объясняется, что делать.,3. Будьте конкретны: не говорите «в нескольких словах».,Вместо этого скажите «используйте 2–3 предложения».,4. Добавьте теги или разделители в структурированные подсказки.,5. При необходимости,Запросить структурированный вывод (JSON, HTML),6. Попросите Модель проверить, выполняются ли условия (например,,«Если ты не знаешь ответа,Просто скажи "нет информации"").,7. Попросите Модель дать объяснения, прежде чем дать ответ (в противном случае Модель может попытаться обосновать неправильный ответ).

Классификация

Большинство современных технологий можно разделить на три группы:

•технология единой подсказки Цель существования: оптимизировать ответ на запрос,•ДалееОбъедините несколько советовтехнология。Их общая идея — запросить несколько раз.Модель（или больше Модель）решать задачи,•наконец,Существует набор методов, которыебольшой язык МодельИнтеграция с внешними инструментамииспользовать。

технология единой подсказки

Какие технологии призваны решить вашу задачу с помощью одной подсказки?

•Нулевой выстрел, •Малый выстрел, •Цепочка мысли, •Язык с программным управлением.

Давайте изучим их один за другим.

Подсказка с нулевым выстрелом

Это самый простой метод, использующий инструкции на естественном языке.

Одиночное обучение. Пример с сайта Promtingguide.ai[1]

Подсказка о нескольких кадрах

Большие языковые модели (LLM) очень хорошо работают при однократном обучении, но они все равно могут потерпеть неудачу при выполнении сложных задач. Идея обучения в несколько этапов состоит в том, чтобы продемонстрировать схожие задачи с правильными ответами на модели (Браун и др. (2020)[2]).

Учитесь реже. Пример с сайта Promtingguide.ai[3]

существовать Min et al. (2022)[4] в газете,Исследования показывают, что существуют в ряде классификационных задач и задач с множественным выбором.,Неправильная маркировка при демонстрации мало влияет на производительность. Напротив,Крайне важно убедиться, что демонстрация предоставляет несколько примеров пространства меток, распределения входного теста и общего формата последовательности.

Цепочка подсказок мысли (ЦП)

Цепочки мыслей развивают сложные мыслительные способности через промежуточные этапы рассуждения. Цель этого метода — заставить модель повторяться и анализировать каждый шаг.

Обучение с нулевым шагом, обучение с несколькими шагами и технология подсказки цепочки мыслей. Пример из Кодзимы и др. (2022)[5].

Подсказки в виде цепочки мыслей можно использовать при обучении с нулевым или малым количеством шагов. Концепция цепочки подсказок «нулевого мышления» предполагает, что модель думает шаг за шагом, чтобы прийти к решению. Автор этого метода (Кодзима et al. (2022)[6]) продемонстрировал цепочку мыслей нулевого порядка, подсказывающую существование арифметики.、символи Производительность при решении других задач на логическое рассуждение значительно превышает производительность при обучении с нуля.большой язык Модель（LLM）производительность。

Если вы выберете несколько подсказок по цепочке мыслей, вы должны убедиться, что у вас есть разнообразные примеры, включающие объяснения (Вэй et al. (2022)[7])。этот методсуществоватьарифметика、Потрясающие эмпирические достижения в решении задач здравого смысла и символического мышления。

Программно-ориентированные языковые модели (PAL)

Программно-ориентированные языковые модели представляют собой метод расширения подсказок мыслительной цепочки путем перевода объяснений на естественный язык с помощью кодов (Gao et al. (2022)[8]).

Вспомогательные языковые подсказки программы. Пример взят из работы Gao et al. (2022)[9].

Этот метод можно реализовать с помощью класса LangChain PALChain[10].

Технология множественных напоминаний

Следующий набор советов основан на различных стратегиях, объединяющих советы одной или нескольких моделей:

1.голосование.Идея состоит в том, чтобы получить правильный ответ путем голосования.。технология：самосогласованность。2.Разделяй и властвуй.Этот набор советов основан на разбиении сложных задач на несколько советов.。технология：Направленный стимул、генерировать Знание、цепочка подсказок、Цепочка таблиц и советы от меньшего к большему。3.самооценка.этот методпредположениесуществоватьрамка Добавьте шаг для проверки соответствия вывода инструкциям.。технология：Отражение、Мыслящее дерево.

Самосогласованность (SC)

Самосогласованность основана на интуитивном понимании того, что «сложная задача рассуждения часто имеет несколько разных способов мышления, что приводит к единственному правильному ответу» (Ванг и др. (2022) [11]).

Он представляет одну и ту же цепочку мыслей несколько раз, тем самым генерируя разнообразный набор путей рассуждения, а затем выбирает наиболее последовательный ответ, применяя голосование.

Пример технологии подсказок самосогласованности, взятый из Wang et al (2022)[12]

существоватьWang et al. (2022)[13]в исследованиях,Применение методов самосогласованности для улучшения арифметических и общепознавательных задач.,Общий эталонный тест составляет 4–18%.

Подсказка направленной стимуляции (DSP)

Следующая концепция, включающая в себя советы, — «разделяй и властвуй». существуютDSP,У нас есть два шага: минимальная стимуляция (напр.,ключевые слова) и используйте их для улучшения качества ваших ответов.

Ориентированные стимульные подсказкисуществоватьLi et al. (2023) [14] предложено для создания сводных данных, формирования диалоговых ответов и задач по рассуждению мыслительной цепочки. Он содержит две модели:

• Обучить небольшую настраиваемую языковую модель политики (LM) для генерации стимулов (подсказок). • Использовать замороженную модель большого языка (LM) в виде «черного ящика» для создания сводок на основе вопроса и стимула из предыдущего шага.

Модель политики может быть оптимизирована посредством контролируемой точной настройки с использованием помеченных данных и обучения с подкреплением с офлайн- или существующими онлайн-вознаграждениями на основе выходных данных модели большого языка (LLM), например:

Платформа DSP Li et al. (2023) [15] Мы изучаем небольшую регулируемую политику. Модель «существовать» (в данном случае ключевое слово «существовать»).,Он предоставляет конкретные инструкции по вводу для модели большого языка (LLM).,для достижения желаемых целей.

Создание советов по обмену знаниями (GK)

существовать“разделяй и властвуй”По концепцииодиннамекатьтехнологиядасуществовать Liu et al. (2022)[16] Предлагаемые генеративные знания. Идея состоит в том, чтобы сначала использовать одну подсказку для получения знаний, а затем использовать эти знания для получения более эффективных ответов.

Формирование подсказок знаний включает в себя два этапа:

•генерирование знаний：использовать Небольшое количество примеров демонстраций языка.Модельсерединагенерироватьсвязанный с проблемой Знаниезаявление,•интеграция знаний：использоватьвторой язык Модельс каждым Знаниезаявление一起进行预测,Затем выберите прогноз с наибольшей достоверностью.

Этот метод не требует интеграции Надзор за конкретными задачами знаний,Нет необходимости доступа к структурированной базе знаний,Но это повышает производительность при выполнении крупных, современных задач, основанных на здравом смысле.

Пример небольшой выборки для формирования знаний от Liu et al (2022)[17] для QASC.

Подскажите ссылку

Подскажите ссылку — простой, но мощный метод,Вам следует разбить задачу на подзадачи,И подскажите Модель с этими подвопросами по очереди.

Подскажите ссылку, полезная для выполнения сложных задач, которые могут оказаться трудными для большого языка Модель (LLM),Особенно, когда эти задания сопровождаются очень подробными подсказками. Это также помогает улучшить прозрачность больших языковых приложений.,Повышают управляемость и надежность.

Подскажите ссылка Пример от txt.cohere.com[18]

Советы по переходу от простого к сложному

Советы по переходу от простого к Сложный подход делает еще один шаг вперед,добавил шаг,То есть Модель должна решить, как разбить вашу задачу на подзадачи.

Zhou et al. (2022)[19] Результаты экспериментов в Советах по переходу от простого к Сложный метод хорошо справляется с задачами, связанными с символьными манипуляциями, комбинаторным обобщением и математическими рассуждениями.

Пример подсказок от простых к сложным в Zhou et al (2022)[20]

Связанные табличные подсказки

существоватьнедавнее исследование (Wang et al. (2024)[21]) Предлагается новый подход, в котором табличные данные явно используются в качестве посредника для промежуточных размышлений в цепочке рассуждений.

Алгоритм состоит из двухэтапного цикла:

1.динамическое программирование,существовать во время этого процесса,Модель большого языка (LLM) извлекает следующую операцию из пула операций на основе входного запроса и истории предыдущих операций (цепочка операций).,2.Генерация параметров,Включает использование модели большого языка (LLM) для выбранной операции, включая параметры (например, имена новых столбцов) для предыдущего шага.,и применитьпрограммированиеязык для выполнения операций и создания соответствующихсерединастол。

Пример и сравнение подсказок цепного мышления из Wang et al (2024)[22].

В рамке есть ступенька для проверки решения. Пример реализации Cgain-of-Table можно найти по этой ссылке [23].

Древо мыслей (То Т)

Дерево мышления существует на основе метода цепного мышления, что позволяет Модели исследовать несколько шагов рассуждения и самостоятельно оценивать варианты.

Для реализации технологии ToT нам необходимо решить четыре вопроса:

1. Как разбить промежуточный процесс на этапы мышления,2. Как думать о каждом государстве, ограничиватьсубъект существования,3.Как оценить состояние эвристически（использовать Советы по оценке последствия), 4. Какой алгоритм поиска используется (Yao et al. (2023)[24]）。

Подсказка ввода Должно включать решение проблемсерединаописание шагов,и извлекли мысли или вопросы огенерироватьих инструкции。Советы по оценке статуса Должны быть предоставлены инструкции о том, какие подсказки выбрать для следующего шага.

[Пример из игры «Дерево мышления» с 24 очками] Из книги Yao et al (2023)[25]

Yao et al. (2023) [26] эксперименты показывают, что технология «Древо мысли» (ToT) очень успешна для задач, требующих сложного планирования или поиска. Лангчейн Внедрена технология дерева мышления, существует langchain_experimental.tot.base.ToTChain Это отражено в классе [27].

Отражение

Отражение — это рамка, которая усиливает языковых агентов посредством языковой обратной связи. Агент отражения вербально Отражение путем реагирования на сигналы обратной связи по задаче,Затем существование сохраняет свой собственный текст «Отражение» в буфере памяти графика.,способствовать более эффективному принятию решений в последующих исследованиях (Shinn et al. (2023)[28]).

от Shinn et al. (2023)[29] из Отражениерамка Иллюстрация

Отражениерамка состоит из трех разных моделей:

•Актер：Наблюдение на уровне штатагенерироватьтексти行动избольшой язык Модель（использоватьCoTиReActтехнология）,•оценщик：один对执行者产生из输出进行评分избольшой язык Модель,•себя Отражение（Self-Reflection）：одингенерировать口头强化намекать以协助执行者себя提升избольшой язык Модель。

от Shinn et al (2023)[30] Примеры отражения в разных задачах.

Отражение требует последовательного принятия решений.、программирование、Хорошо справляться с задачами на вербальное рассуждение.

Посмотреть реализацию можно по этой ссылке [31].

Большая структура языковой модели в сочетании с внешними инструментами

В этом разделе я представлю два метода — Получение расширенной генерации и ReAct.

Поисково-дополненная генерация (RAG)

RAG сочетает в себе компоненты поиска информации с моделями генерации текста:

•Поиск。существовать Поискшагсередина,Система обычно использует векторный поиск для поиска связанных документов, которые могут ответить на вопрос.,•генерировать。Следующий,Передавайте соответствующие документы в качестве контекста вместе с исходным вопросом в модель большого языка (Льюис и др. (2021)[32]).

существовать большую часть времени,Использование метода RAG-последовательности,значит мы Поискkдокументы,И используйте их для ответа на все выходные теги запросов пользователей.

существоватьRAGсередина,Языковую модель можно настроить,Но на самом деле такой подход встречается редко,Потому что предварительно обученная модель большого языка достаточно хороша.,Может использоваться напрямую,А тонкая настройка самостоятельно обходится непомерно дорого. также,Внутренние знания в RAG можно эффективно модифицировать.,Без необходимости переучивать всю Модель.

Ответы, полученные от RAG, более основаны на фактах, конкретны и разнообразны, что помогает улучшить результаты проверки фактов.

ReAct

Яо и др. (2022) [33] предложили рамку под названием ReAct.,Чтосерединабольшой язык Модельиспользуется в шахматном порядкегенерироватьпризнаки рассужденияиконкретная задачадействие：признаки рассужденияпомощь Модельгид、отслеживатьи Обновить план действий,и обработка исключений,С другой стороны, действия позволяют ему взаимодействовать с внешними источниками (такими как базы знаний или окружающая среда) и собирать дополнительную информацию.

Платформа ReAct может выбрать доступный инструмент (например, поисковую систему, калькулятор, агент SQL), применить его и проанализировать результаты, чтобы принять решение о следующих шагах.

Случай ReAct (цитата по Yao et al. (2022) [34])

через Википедию с помощью Simple APIвзаимодействие,ReAct решает распространенную проблему распространения иллюзий и ошибок при последовательном мышлении.,И разуметь имеет траекторию, аналогичную траектории решения людьми задач.,Эти траектории легче интерпретировать, чем базовую модель, которая не имеет следов вывода (Яо и др. (2022) [35]).

Ознакомьтесь с примером ReAct, реализованным с помощью инструмента Langchain [36].

Советы по корректировке и оценке

Выбор существующей технологии Tip Engineering во многом зависит от вашего заявления на получение степени LLM и имеющихся ресурсов. Советы, если вы когда-нибудь пробовали,Знаете ли вы, что большие языки Модели очень чувствительны к малейшим изменениям в сигналах человека?,Эти советы, как правило, неоптимальны и часто субъективны.

Независимо от того, какую технику подсказки вы выберете,Если вы создаете приложение,Важно думать о оперативном проектировании как о процессе обработки данных. Это означает создание тестового набора,Выберите индикаторы,Советы по настройке,и оценить его влияние на тестовый набор.

Метрики для теста существования во многом будут зависеть от приложения, но вот некоторые рекомендации (от Data Science Summit 2023[37]):

Метрики для подсказок по тестированию (с Data Science Summit 2023[38])

1.Верность и актуальность：•генерировать Насколько ответы соответствуют действительности?,•генерировать Насколько ответ соответствует вопросу。2.Поиск — В основном используется в конвейерах RAG и ReAct, но также может применяться для генерации знаний и сигналов направленного стимулирования: • Точность — Насколько актуальны полученные документы, • Частота отзыва — ли Поиск Все необходимые документы получены.。3.внутреннее мышление：•актерское мастерствоиинструмент选择из准确性 — для ReAct: • извлечение параметров инструмента — Правильно ли извлекаются параметры из контекста и преобразуются ли они соответствующим образом. — Используется в ReAct, •существовать запоминание фактов в длительных разговорах. — Для ReAct: • Правильные логические шаги. — используется дляReActи思维链намекать。4.нефункциональный：•答案из风格иинтонация,• Отсутствие предвзятости,•Проверки соответствия и безопасности,• Советы по вводу теста.

В зависимости от вашего варианта использования выберите метрику и отслеживайте влияние быстрых изменений на набор тестов, чтобы гарантировать, что любые изменения не снижают качество ответа.

Подвести итог

Не могу сказать, что охватил все существующие технологии. — Их так много, что кто-то, возможно, в ближайшем будущем издаст целый учебник. Но если вы дочитали до этого места, то заметите, что концепции всех технологий довольно общие и интуитивно понятные. Могу выложить все правила для написания хороших подсказок. Подвести Итог для краткого списка:

1. Будьте ясны и точны, чтобы модели не пришлось угадывать ваши намерения. 2. Используйте разделители или метки, чтобы добавить структуру. 3. Помогите модели, показывая примеры и добавляя пояснения. 4. Попросите модель думать итеративно и объясните решение, 5. Если запрос сложный, рассмотрите возможность разбить его на подзадачи, 6. Попробуйте задать один и тот же запрос несколько раз, 7. Рассмотрите возможность добавления шагов для самопроверки модели, 8. При необходимости объедините свой LLM с внешним инструменты, 9. Думайте о быстрой настройке как об итеративном и оценочном процессе обработки данных.

Вот и все! Спасибо, что дочитали до этого места, и удачных подсказок!

заявление

Эта статья была переведена и составлена ​​компанией Shanxing по адресу: https://medium.com/@kate.ruksha/prompt-engineering-classification-of-techniques-and-prompt-tuning-6d4247b9b64c. Если она вам полезна, поставьте лайк. и следи за этим, коллекция, спасибо ~

References

[1] promptingguide.ai: https://www.promptingguide.ai/techniques/fewshot [2] Brown et al. (2020): https://arxiv.org/abs/2005.14165 [3] promptingguide.ai: https://www.promptingguide.ai/techniques/fewshot [4] Min et al. (2022): https://arxiv.org/abs/2202.12837 [5] Kojima et al. (2022): https://arxiv.org/abs/2205.11916 [6] Kojima et al. (2022): https://arxiv.org/abs/2205.11916 [7] Wei et al. (2022): https://arxiv.org/abs/2201.11903 [8] Gao et al. (2022): https://arxiv.org/abs/2211.10435 [9] Gao et al. (2022): https://arxiv.org/abs/2211.10435 [10] LangChain PALChain: https://api.python.langchain.com/en/latest/pal_chain/langchain_experimental.pal_chain.base.PALChain.html [11] Wang et al. (2022): https://arxiv.org/abs/2203.11171 [12] Wang et al. (2022): https://arxiv.org/abs/2203.11171 [13] Wang et al. (2022): https://arxiv.org/abs/2203.11171 [14] Li et al. (2023): https://arxiv.org/abs/2302.11520 [15] Li et al. (2023): https://arxiv.org/abs/2302.11520 [16] Liu et al. (2022): https://arxiv.org/pdf/2110.08387.pdf [17] Liu et al. (2022): https://arxiv.org/pdf/2110.08387.pdf [18] txt.cohere.com: https://txt.cohere.com/chaining-prompts/ [19] Zhou et al. (2022): https://arxiv.org/pdf/2205.10625.pdf [20] Zhou et al. (2022): https://arxiv.org/pdf/2205.10625.pdf [21] Wang et al. (2024): https://arxiv.org/pdf/2401.04398.pdf [22] Wang et al. (2024): https://arxiv.org/pdf/2401.04398.pdf [23] Эта ссылка: https://github.com/run-llama/llama-hub/blob/main/llama_hub/llama_packs/tables/chain_of_table/chain_of_table.ipynb [24] Yao et al. (2023): https://arxiv.org/abs/2305.10601 [25] Yao et al. (2023): https://arxiv.org/abs/2305.10601 [26] Yao et al. (2023): https://arxiv.org/abs/2305.10601 [27] langchain_experimental.tot.base.ToTChain добрый: https://api.python.langchain.com/en/latest/tot/langchain_experimental.tot.base.ToTChain.html [28] Shinn et al. (2023): https://arxiv.org/pdf/2303.11366.pdf [29] Shinn et al. (2023): https://arxiv.org/pdf/2303.11366.pdf [30] Shinn et al. (2023): https://arxiv.org/pdf/2303.11366.pdf [31] Эта ссылка: https://github.com/noahshinn/reflexion [32] Lewis et al. (2021): https://arxiv.org/pdf/2005.11401.pdf [33] Яо и др. (2022): https://arxiv.org/abs/2210.03629 [34] Яо и др. (2022): https://arxiv.org/abs/2210.03629 [35] Яо и др. (2022): https://arxiv.org/abs/2210.03629 [36] Реакт-кейс: https://python.langchain.com/docs/modules/agents/agent_types/react/ [37] Саммит по науке о данных 2023: http://dssconf.pl/ [38] Саммит по науке о данных 2023: http://dssconf.pl/