TL;DR версия

PromptScript — это облегченный скрипт DSL (Yaml) для отладки Prompt, предназначенный для быстрого использования и создания Prompt.

Документация PromptScript: https://framework.unitmesh.cc/prompt-script.

Why PromptScript ？

Несколько месяцев назад, изучая LLM с целью повышения эффективности исследований, мы создали проект DevTi под UnitMesh (https://github.com/unit-mesh) для пакетной обработки данных и быстрой проверки. Например, проверьте, является ли сгенерированный UML такое UML и можно ли успешно скомпилировать UML.

Соответствующие этапы обработки данных:

• Подключение LLM и настройка параметров.
• Подсказка создана。
• LLM для взаимодействия.
• Обработайте полученные результаты.

В дополнение к этому сценарию пакетной генерации данных при написании приложения AIGC нам также необходимо учитывать влияние различных параметров.

Основываясь на этом, мы создали PromptScript на Chocolate Factory, чтобы ускорить тестирование LLM и проверку эффективности.

PromptScript

PromptScript — это легкий инструмент сценариев DSL (Domain-Specific Language), используемый для тестирования и проверки LLM (языковой модели). Он имеет следующие основные особенности:

1. Генерация шаблонов：Поддерживает различные форматы на основеиз Динамика шаблонагенерировать Подскажите и отделите шаблон от источника данных для повторного использования.
2. Поддержка нескольких источников данных：допустимыймногоисточник данных,например файлы、база данных、HTTP и т. д., чтобы обеспечить более гибкий ввод данных.
3. стратегия миссии：Может Конфигурацияразные параметры,Включает параметр LLM из температуры и количества повторений.,Адаптироваться к различным потребностям изтестов.
4. Проверка результата：поддерживатьмногодобрыйпроверять Способ,включать JSONPath и проверка строки, чтобы гарантировать сгенерированный Prompt Как и ожидалось.
5. Конфигурация нескольких соединений LLM：Удобно одновременно КонфигурацияиуправлятьмногоиндивидуальныйLLMсоединять,Для удовлетворения различных потребностей в отладке LLM.

PromptScript предназначен для упрощения процесса тестирования LLM, повышения эффективности и предоставления пользователям большей гибкости и удобства обслуживания.

Пример PromptScript

На следующем рисунке показан пример PromptScript:

Здесь скрипт будет разделен на четыре части:

• Доступ к модели。Используйте дополнительныеиз connection.yml проводить разные LLM Конфигурация, основанная на Connection В из Конфигурация выберите соответствующий из LLM Способ подключения.
• Подсказка создана。одининдивидуальный prompt Завершит работу механизма шаблонов и источника данных, чтобы получить больше контекстной информации. Поскольку мультиплексирование Chocolate Factory изинфраструктура,Так то же самое Можетк Конфигурацияв векторбаза данныхи другие разные источники。
• Стратегия задачи (повторения)。то есть используется для Конфигурация Задачаиз Стратегия,учитывать различные температурные параметры,или или партия означает определенный результат.
• Проверка результата。верногенерироватьиз Проверьте результаты,Например, это выражение JsonPath и другие строки проверки.

Затем нам нужно использовать PromptScriptCli только для настройки соответствующего yaml и сохранения его в соответствующем файле результатов.

Как работает PromptScript?

Теперь давайте еще раз посмотрим на упрощенный пример задания PromptScript:

connection: connection.yml
template: code-complete.open-ai.vm
template-datasource:
  - type: file
    value: datasource.json

strategy:
  - type: connection
    value:
      - type: range
        key: temperature
        range: 0.7~1.0
        step: 0.1

validate:
  - type: json-path
    value: $.id

1. Доступ к модели

Первый элемент конфигурации — соединение. Соединение будет решать, какого поставщика LLM использовать в зависимости от разных типов. Например, ниже приведена макетная конфигурация для локального тестирования, которая будет возвращать только значение по умолчанию (ответ API):

name: mock_response
type: MockLlm
configs:
  api-response: "{\"text\": \"this is a mock resource\"}"

Ниже приведен элемент конфигурации OpenAI:

name: open_ai_connection
type: OpenAI
configs:
  api-host: xx
secrets:
  api-key: xxx

Эта конфигурация YAML поддерживает различные доступы к LLM. (PS: в будущем должно поддерживаться сравнение нескольких LLM)

2. Оперативная генерация

Быстрое создание в основном зависит от механизма модели и соответствующего источника данных. Например, наш приоритетный механизм шаблонов — это файлы шаблонов, которые можно выделить в Intellij IDE, VS Code и т. д., например Apache Velocity.

Впоследствии соответствующие данные загружаются в соответствии с источником данных для визуализации шаблона.

template-datasource:
  - type: file
    value: datasource.json

Например, файл здесь считывает данные из файла json и объединяет их с шаблоном для отображения в приглашении.

3. Стратегия задачи (повторения)

Текущая стратегия задач поддерживает только два относительно простых метода, а именно повторение и параметризованную настройку LLM. Оба метода используются для проверки того, может ли результат запроса удовлетворить наши потребности:

- type: connection
  value:
    - type: range
      key: temperature
      range: 0.7~1.0
      step: 0.1
- type: repeat
  value: 20

В будущем по мере необходимости будут добавляться новые стратегии миссий.

4. Проверка результата

Последняя часть — это проверка результатов, сгенерированных LLM, который в настоящее время поддерживает такие методы проверки, как JsonPath, String, Regex, MarkdownCodeBlock, Json и ExtTool.

• JsonPath：для добычи Задача Результаты визценитьиз JSON выражение пути. зависит от JsonPath библиотека, поддержка через JSON Выражение пути для проверки результата.
• StringRule：нитьпроверятьвыражение,Используется для определения необходимости выполнения последующих операторов. Поддержка строки проверки,Например, проверьте, содержат ли результаты определенный контент.
• Регулярное выражение (регулярное выражение)：проверятьправило,Для проверки результатов задачи используйте регулярные выражения. Поддерживает регулярные выражения проверить,Вы можете проверить, соответствует ли результат указанному шаблону.
• MarkdownCodeBlock (блок кода Markdown)：проверятьправило,для проверки Задача Результат действителен?из Markdown кодовый блок. может использоваться для обеспечения достоверности результатов Markdown Рендеринг формата блока кода.
• Json（JSON）：проверятьправило,Действителен ли результат задачи проверки в формате JSON.
• ExtTool (внешний инструмент)：проверятьправило,Результаты задачи по использованию внешних инструментов проверки,нравиться PlantUML или Графвиз. Позволяет использовать внешние инструменты для дальнейшей проверки результатов.

Пример:

- type: json-path
  value: $.store.book[0].title
- type: string
  value: output contains "hello"
- type: regex
  value: \d{4}
- type: markdown-code

Выберите подходящую проверку на основе различных результатов запроса.

Подвести итог

GitHub：https://github.com/unit-mesh/chocolate-factory

PromptScript поддерживает различные виды доступа к LLM через файлы конфигурации YAML, позволяя пользователям определять шаблоны и источники данных для создания подсказок. Пользователи также могут настраивать стратегии задач и методы проверки результатов, чтобы проверить, соответствуют ли сгенерированные результаты требованиям.

PromptScript призван предоставить удобный инструмент для изучения LLM, пакетной обработки данных и быстрой проверки для повышения производительности и результатов тестирования.