Теперь новички также могут создавать свои собственные умные тела!

Новинка от Академии Damo.AgentрамкаModelScope-Agent,Доступно напрямую и может быть настроено.

Например, планирование и составление графиков работы нескольких инструментов можно выполнять одновременно.

Напишите рекламный текст из 20 слов об очках Vision Pro VR, прочитайте его женским голосом и создайте видеоролик для просмотра.

Различные инструменты также могут сохраняться в нескольких разговорах.

Существует так много интегрированных инструментов, таких как НЛП, речь, видение, мультимодальные и другие модели, а также интегрированный поиск знаний по умолчанию, поиск API и другие решения.

Подробные руководства также представлены на GitHub. Давайте посмотрим, как это построить?

Создайте своего собственного агента за четыре шага

1. Сначала извлеките код ModelScope-Agent и установите связанные зависимости.

2. Настройте файл конфигурации, токен ModelScope и создайте механизм поиска инструментов API.

3. Запускается центральная большая модель.

4. Создание и использование агента основано на ранее созданной большой модели, списке инструментов, модулях поиска инструментов и памяти.

После сборки вы также можете зарегистрировать новые инструменты. На GitHub также есть съедобные руководства.

Разработчики могут обратиться к приведенным выше руководствам, чтобы легко создавать свои собственные агенты. ModelScope-Agent опирается на сообщество Moda и в будущем адаптируется к новым большим моделям с открытым исходным кодом и запускает больше приложений.

Например, агент по обслуживанию клиентов, агент личного помощника, агент истории, агент движения, мультиагент (мультимодальный агент) и т. д.

Как устроен каркас?

Будучи общей и настраиваемой структурой агента, ModelScope-Agent в основном имеет следующие функции:

• Настраиваемая и комплексная структура：Предлагает настраиваемые конструкции двигателей.,Охватывает такие функции, как сбор данных, извлечение инструментов, регистрация инструментов, управление хранением, обучение индивидуальной модели и практическое применение.,Может использоваться для быстрой реализации приложений в реальных сценариях.
• LLM с открытым исходным кодом как основные компоненты：Поддерживается в ModelScope Несколько Открытый в сообществе исходный кодLLM для обучения Модели и Открытого исходный В коде имеется вспомогательный набор инструкций для инструментов на китайском и английском языках. MSAgent-Bench для улучшения Открытый исходный Кодбольшой Модель служит для планирования и диспетчеризации Центра агентов.
• Разнообразный и комплексный API, поддерживающий поиск по API.：реализованы унифицированно с МодельAPIи общие функцииAPIдля бесшовной интеграции,Открытый предоставляется по умолчанию. исходный решение для поиска кодAPI.

В основном он включает в себя эти модули, в основе которых лежат модели большого языка (LLM) с открытым исходным кодом, а также модули управления памятью, использования инструментов и другие модули.

LLM с открытым исходным кодом в основном отвечает за планирование задач, планирование и генерацию ответов; модуль управления памятью в основном включает в себя поиск знаний и управление подсказками (словами подсказок); модуль использования инструментов включает библиотеку инструментов, поиск инструментов и настройку инструментов;

По мере выполнения задачи он разбивает ее на более мелкие задачи и выполняет их одну за другой.

Возьмите, например, написание короткого рассказа, чтение его вслух женским голосом и сопровождение видео».

ModelScope-Agent отобразит весь процесс планирования задач. Сначала он находит соответствующие инструменты синтеза речи посредством поиска инструментов, а затем использует LLM с открытым исходным кодом для выполнения планирования.

Сначала генерируется история, затем вызывается соответствующая модель генерации речи, речь генерируется и зачитывается женским голосом и отображается пользователю. Наконец, вызывается модель генерации видео для генерации видео на основе сгенерированного. содержание рассказа.

Весь этот процесс не требует от пользователя настройки инструментов, которые, возможно, потребуется вызвать для текущего запроса.

кроме,Они также предложили новыеинструмент Инструкция по точной настройке метода обучения：Weighted LM,Взвешивание потерь выполняется путем вызова некоторых токенов в инструкции инструмента.,продвигать Открытый исходный Кодбольшой Модельинструмент, возможность вызова команд.

На основе этого метода обучения и вспомогательных инструкций с открытым исходным кодом на китайском и английском языках вызывается набор данных MSAgent-Bench, а модель MSAgent-Qwen-7B оптимизируется и обучается на основе Qwen-7B. Соответствующие наборы данных и модели. открытый исходный код.

Бумажная ссылка: https://arxiv.org/abs/2309.00986 Ссылка на код: https://github.com/modelscope/modelscope-agent Адрес опыта ModelScope: https://modelscope.cn/studios/damo/ModelScopeGPT/summary