Новый отчет мудрости

Редактор: ЛРС

【Шин Джиген Введение】язык Модель Нерешенные проблемы,Автоматически разлагайте на подзадачи с помощью AgentVerse,Объедините несколько LLM вместе,Стремитесь превзойти Чжугэ Ляна!

Причина, по которой люди могут подняться на вершину земной пищевой цепи и даже продолжать исследовать космическое пространство, заключается не только в индивидуальном разуме, но и в совместной силе группы.

Что касается больших языковых моделей (LLM), хотя возможности одной модели уже очень мощные, для выполнения более сложных задач или повышения эффективности выполнения задач требуется сотрудничество между несколькими агентами.

В последнее время, вдохновленный динамикой человеческих групп (человеческие group динамика),Исследователи из Университета Цинхуа, Пекинского университета почты и телекоммуникаций и Tencent предложили мультиагентную платформуAgentVerse,Позволяет сотрудничать между несколькими моделями,и динамически корректировать состав группы,выполнить1+1>2Эффект。

Ссылка на документ: https://arxiv.org/pdf/2308.10848.pdf.

Ссылка на открытый исходный код: https://github.com/OpenBMB/AgentVerse.

К основным особенностям AgentVerse можно отнести три пункта:

1. Эффективное построение среды:рамка Несколько основных строительных блоков представлены в,Просто добавьте несколько строк кода в файл конфигурации.,Вы можете легко построить многоагентную среду,Например, чат LLM и т. д.,Исследователям нужно толькососредоточиться Достаточно экспериментального процесса и анализа результатов.

2. Настраиваемые компоненты:Мультиагентная среда разделена на пять функциональных модулей.,и определить соответствующие интерфейсы,Пользователи могут переопределять функции различных модулей в соответствии со своими потребностями.

3. Использование инструментов (плагинов):поддерживатьBMToolsИнструменты, представленные в。

Результаты экспериментов показывают, что эта структура может эффективно развертывать многоагентные группы с более высокой производительностью, чем одиночные агенты, и появлением социального поведения, такого как сотрудничество.

Агент Верс Фреймворк

Процесс решения проблем представляет собой серию повторяющихся этапов в человеческой группе. Первоначально группа оценивает разницу между текущим состоянием и желаемой целью, динамически корректирует свой состав для улучшения сотрудничества при принятии решений, а затем выполняет осознанные действия.

Чтобы повысить эффективность автономных мультиагентных групп в достижении своих целей, мы моделируем процесс решения проблем человеческой группы и предлагаем структуру AGENTVERSE, которая состоит из четырех ключевых этапов: набор экспертов, совместное принятие решений, выполнение действий, и оценка.

Весь процесс можно смоделировать как марковский процесс принятия решений (MDP), характеризуемый кортежем (S, a, T, R, G). Сюда входят пространство состояний автономного агента и среды S, пространство решений и действий A, функция перехода T: S × A→S, функция вознаграждения R и пространство целей G.

1. Экспертный подбор персонала

Этап набора экспертов определяет состав мультиагентной группы и является важным модулем в определении верхнего предела способностей группы. Уже есть эмпирические доказательства того, что разнообразие внутри человеческой группы привносит разные точки зрения, тем самым улучшая эффективность группы в различных сферах. задачи.

Есть также результаты исследований, показывающие, что определение конкретной роли автономного интеллектуального жира в организме похоже на набор экспертов для формирования команды, которая может повысить операционную эффективность.

Однако текущие методы назначения ролевых описаний агентам в основном полагаются на человеческую интуицию и предварительные знания, требуя ручного назначения на основе понимания задач, поэтому масштабируемость все еще неясна, особенно при столкновении с разнообразными и сложными проблемными средами.

В связи с этим AgentVerse использует автоматизированный метод набора экспертов с целью повышения масштабируемости настроенных агентов.

Для заданной цели gεG конкретный автономный агент Mr назначается рекрутером, подобно менеджеру по персоналу, Mr не полагается на заранее определенные экспертные описания, а динамически генерирует набор экспертных описаний;

Затем в соответствии с различными подсказками экспертного описания и целью g получается несколько разных агентов, образующих экспертную группу M = Mr(g).

Более того, состав мультиагентной группы будет динамически корректироваться на основе обратной связи на этапе оценки, что также позволяет системе формировать наиболее эффективную мультиагентную группу на основе текущего статуса (полученных вознаграждений) для повышения эффективности решения в последующих раундах.

2. Совместное принятие решений

На этом этапе основное внимание уделяется сбору экспертной информации для совместного принятия решений. Исследователи выбрали две классические структуры коммуникации для повышения эффективности принятия решений:

Горизонтальная коммуникация

Каждый агент (обозначаемый как miεM) активно делится и уточняет свои решения, и эта демократическая структура общения способствует взаимопониманию и сотрудничеству между агентами.

Затем коллективные мнения агентов объединяются, и функция интеграции f используется для формирования группового решения для текущего раунда.

В сценариях, требующих творческих идей или тщательной координации, таких как мозговой штурм, консультирование или совместные игры, латеральное общение может быть лучшим вариантом.

Вертикальные коммуникации

Характерной особенностью вертикальной коммуникации является разделение обязанностей. Один агент принимает первоначальное решение, а остальные агенты выступают в качестве рецензентов и предоставляют отзывы о решении. На основе обратной связи процесс принятия решений постоянно совершенствуется, пока все агенты проверки не достигнут результата. консенсус по решению, или Достигнуто максимальное количество итераций.

В сценариях, где решения необходимо итеративно уточнять для достижения конкретной цели, например, при разработке программного обеспечения, вертикальная коммуникация является лучшим выбором.

3. Выполнение действия

После принятия решения агенту необходимо выполнить определенное действие. В зависимости от реализации некоторые агенты могут не выполнять никаких действий, а затем обновлять состояние среды.

4. Оценка

Оценка играет решающую роль в корректировке и совершенствовании состава экспертных групп следующего раунда. Используйте механизм вознаграждения и обратной связи, чтобы оценить разрыв между текущим состоянием и желаемой целью, и дайте устную обратную связь, чтобы объяснить, почему текущее состояние все еще неудовлетворительно. . И дайте конструктивные предложения для обсуждения того, как улучшить ситуацию в следующем раунде.

Механизм обратной связи по вознаграждению можно определить вручную.（Сотрудничество человека и машиныцикл）,Также может быть определено с помощью автоматической обратной связи. Модель,Это зависит от реализации.

Если определено, что ожидаемая цель не была достигнута, цикл обратной связи по вознаграждению возвращается к начальному этапу, то есть к набору экспертов, на следующем этапе этапа набора экспертов этот сигнал обратной связи будет использоваться в сочетании с начальной целью; скорректировать состав экспертной группы, тем самым формируя более эффективные мультиагентные группы для последующего принятия решений и выполнения действий.

Экспериментальная часть

Чтобы доказать, что AgentVerse может эффективно направлять группы агентов для эффективного выполнения задач, исследователи провели количественные эксперименты на эталонных задачах и тематические исследования более сложных и практических приложений.

Экспериментальная установка

В качестве базовой поддержки исследователи выбрали две языковые модели: GPT-3.5-Turbo-0613 и GPT-4-0613.

При выборе наборов данных и показателей оценки в основном исследуются возможности мультиагентной группы в четырех аспектах:

1. Разговорные способности

Первый набор данных — это набор данных ответа диалога (диалог) FED. Учитывая несколько раундов истории чата, агенту необходимо сгенерировать контент ответа, который используется в качестве оценщика для оценки ответов, сгенерированных моделью, и написанных ответов. людьми и сообщите о проценте выигрышей модели.

Второй набор данных генерирует Commongen-Challenge для ограничений. Учитывая 20 понятий, агенту необходимо создать семантически связный и грамматически правильный абзац, который должен содержать как можно больше понятий.

2. Способность к математическим расчетам.

Используя английскую часть MGSM, содержащую вопросы по математике для начальной школы, индикатором является процент правильных ответов.

3. Способность к логическому мышлению.

Используйте задачу-головоломку BigBench с логической сеткой, которая содержит логические задачи, требующие многоэтапных логических рассуждений, и используйте показатели точности.

4. Кодирование

Используйте набор данных для завершения кода Humaneval и индикатор Pass@1 для оценки.

Результаты эксперимента

Анализ производительности

Один агент (Single) использует заданные подсказки для непосредственного генерирования ответов, а группа из нескольких агентов (Multiple), созданная с помощью AgentVerse, решает проблему совместным образом.

Из результатов видно, что мультиагент всегда превосходит один агент, независимо от того, используется ли GPT-3.5-Turbo или GPT-4.

Поскольку GPT-3.5-Turbo трудно дать правильные результаты вывода в наборе данных головоломки логической сетки, соответствующие Результаты эксперимента опущены в таблице.

анализ совместного принятия решений

По сравнению с вертикальным общением, горизонтальные каналы не могут способствовать эффективному принятию решений в многоагентных группах по задачам математических вычислений (MGSM). Дальнейший анализ показывает, что архитектура связи имеет решающее значение для формирования результатов решений.

При горизонтальном общении агенты общаются последовательно. Один агент может предложить ошибочное решение или подвергнуть сомнению правильные утверждения других агентов. Другие агенты часто не исправляют ошибки, а следуют неправильным решениям, что приводит к снижению производительности, чем у одного агента. .

При вертикальной коммуникации другим агентам необходимо только предоставлять обратную связь, и хотя предложения могут быть ошибочными, конструктивная критика со стороны большинства агентов обычно смягчает ошибки, позволяя основному агенту сохранять точные решения.

Однако это не означает, что горизонтальная коммуникация менее эффективна. Это просто означает, что вертикальная коммуникация больше подходит для задач, требующих точных ответов, а для задач, требующих разных решений, например, консультирования, больше подходит горизонтальная коммуникация.

Практический пример: разработка программного обеспечения

В статье исследователи разработали три кейс-задачи. Ниже в качестве примера рассматривается разработка программного обеспечения.

Описание задачи

Видеоигры часто предоставляют сложную виртуальную среду, которая может эффективно проверить границы возможностей агента. Исследователи использовали игру-песочницу «Minecraft» в качестве экспериментальной платформы. Механика игры и большая коллекция предметов, которые можно создать, требуют не только интеллекта. задачи, но также планировать, координировать и адаптироваться к динамическим сценариям.

Цель исследователей — использовать AgentVerse для интеграции нескольких агентов для совместной работы над конкретными элементами и проверки способности агентов делиться знаниями, ресурсами и сотрудничать в сложных средах.

Экспериментальный анализ

В ходе эксперимента трем агентам было предложено совместно изготовить книжную полку. Процесс включал как минимум девять основных этапов, таких как сбор материалов, таких как дерево и кожа, изготовление промежуточных предметов, таких как книги, и, наконец, сборка книжной полки.

Поскольку в игре есть только одна личность игрока.,Поэтому этап подбора экспертов в Агент Верс Фреймворк можно опустить.,Просто укажите Модель в подсказках, чтобы играть в Minecraft как опытный игрок.

Агент может разбить общую цель по созданию книжной полки на правильные подзадачи, стратегически назначить и распределить выполнение.

Примечательным наблюдением является адаптивность и инстинкт сотрудничества агента. Например, в первых нескольких раундах, когда Алиса изо всех сил пыталась уничтожить трех коров, необходимых для кожи, а Боб помогал в выполнении поставленной задачи, он заметил, что Алисе трудно это сделать. вмешаться и оказать помощь.

Подобное экстренное поведение имеет решающее значение и подчеркивает надежность и гибкость агентов перед лицом неожиданных проблем.

Ссылки:

https://github.com/OpenBMB/AgentVerse