введение

 Чтобы еще больше улучшить возможности крупномасштабной языковой модели (LLM) для решения сложных задач, в этой статье, которой мы поделились с вами сегодня, автор предложил интеллектуальную карту (GoT), производительность которой превосходит производительность цепочки мыслей (CoT). ) и древо мыслей (То Т). Ключевая идея Graph of Mind (GoT) — иметь возможность моделировать информацию, генерируемую LLM, в виде произвольного графа, где информационными единицами являются вершины, а ребра представляют зависимости между вершинами. Преимущество этого метода в том, что он может объединить мышление любого LLM и извлечь все содержимое карты мышления. Результаты эксперимента показывает: По сравнению с нынешним Древом Мышления (То Т) оно улучшилось на 62%.

Paper：https://arxiv.org/pdf/2308.09687v2.pdf

Code：https://github.com/spcl/graph-of-thoughts

Предыстория

В последние годы, благодаря быстрому развитию моделей, основанных на вариантах декодера Transformer, крупномасштабные языковые модели постепенно заменяют исходные модели естественного языка частной области и достигли хороших результатов в практических приложениях. Например: ChatGPT, PaLM, LLaMA, ChatGLM и т. д.

Проект Prompt — это эффективный метод применения больших языковых моделей (LLM) в различных сценариях задач, то есть добавление соответствующих описаний сценариев задач к входным данным LLM. Если описание задачи сформулировано соответствующим образом, LLM будет использовать механизм авторегрессионной разметки для генерации текста для решения задачи. Подсказки этого типа могут содержать примеры задач с решениями (часто называемые «однократное обучение», «несколько шагов» и т. д., также называемые «обучение с несколькими действиями» (ICL)), или они не могут содержать никаких примеров задач (т. е. часто говорят: : нулевой выстрел). Практические результаты показывают, что такие методы можно использовать для решения смежных задач, связанных с математикой, здравым смыслом и символическим рассуждением.

 Цепочка мыслей (ЦП) — метод подсказки, который помимо ввода/вывода задачи включает в себя также промежуточные этапы (промежуточные «идеи») рассуждений в подсказке. ЦТ Было показано, что это может значительно улучшить способность LLM решать проблемы, не требуя обновления параметров модели. ЦТ Значительное улучшение CoT самосогласованность (CoT-SC), которая представляет собой метод, генерирующий множество CoT вариантов, а затем в результате выбрать лучший. Недавно ЦТ и CoT-SC через дерево мыслей (ToT) был расширен для использования пар деревьев LLM Процесс рассуждения моделируется。Это помогает использовать разные пути мышления.,и предоставить новые функции,Например, возврат результатов. Однако,«Поскольку метод ToT добавляет к мыслительному процессу строгую древовидную структуру, это ограничивает способность LLM рассуждать».。

Интеллект-карта (GoT)

В этой статье, основываясь на размышлениях автора о структуре человеческого мозга, логических рассуждениях и других процессах, путем превращения идей LLM в произвольные графические структуры, можно принципиально достичь более мощных подсказок. Потому что, когда люди изучают новый метод, они не только следуют ряду идей (например, ЦТ) или пробуют разные независимые идеи (например, ТТ), но также формируют более сложную сеть идей в ходе реального мыслительного процесса. Например, можно исследовать определенную цепочку рассуждений, вернуться назад и начать новую цепочку рассуждений, а затем понять, что идея из предыдущей цепочки рассуждений может быть объединена с исследуемой в данный момент идеей и объединить их в новое решение, эксплуатировать преимущества и устранить недостатки. Аналогично, мозг формирует сложные сети с графическими шаблонами. Ожидается, что применительно к идеям LLM соответствующие преобразования графов приведут к более мощным сигналам, но их нельзя выразить в терминах CoT или ToT.

На основании вышеизложенного размышления,В этом документе предлагаются Maps of Mind (GoT) — метод расширения возможностей LLM посредством сетевых рассуждений.。существоватьGoTсередина,Идеи LLM моделируются как вершины,А края — это зависимости между этими идеями。使用 GoT может объединять произвольные идеи, создавая вершины с несколькими входящими ребрами. Короче говоря, ГТ. Использование графических абстракций для плавной интеграции CoT и ToT Обобщайте более сложные модели мышления без какого-либо обновления параметров модели.

Метод, принятый Правительством Таджикистана, показан на рисунке выше. Процесс вывода LLM представлен в виде (ориентированного) графа. Каждый узел графа соответствует одной идее, сгенерированной LLM, а ребра представляют отношения между идеями. То есть ребро от мысли a до b — или направленное ребро (a, b) на графике — просто говорит нам, что мысль b была сгенерирована с использованием мысли a в качестве входных данных. Как и в случае с подсказками ToT, точное определение идеи зависит от решаемой проблемы. Сделав еще один шаг вперед, каждый узел представляет собой (возможно, промежуточное) решение проблемы, но мы можем использовать разные типы узлов в графе для представления различных аспектов процесса рассуждения (например, планирования или выполнения).

GoT (GoT) вызов

Все еще существуют определенные проблемы в применении GoT к рассуждениям в LLM. Например:

• Каковы лучшие структуры графов для различных задач?
• Как лучше всего объединить идеи, чтобы максимизировать точность и минимизировать затраты?

с этой целью,Автор тщательно разработал модульную архитектуру для реализации GoT.,И имеет две особенности дизайна. первый,Позволяет нам иметь детальный контроль над нашими личными мыслями. Это дает нам полный контроль над текущими разговорами с LLM.,и применитьПродвинутая трансформация мышления,Например, объединение наиболее многообещающих идей из продолжающихся рассуждений в новые идеи. Во-вторых,Мы гарантируем, что наша Архитектура может быть преобразована с помощью нового мышления. рассуждений (то есть интеллект-карты) и модели LLM легко расширяются. Это позволяет использовать GoT Prompt и опробовать модели LLM, например GPT-3.5.、GPT-4 или Llama-2。

«Преобразование мыслей» Учитывая использование диаграмм для представленияLLMпроцесс рассуждения выполнен,Любое изменение этой диаграммы представляет собой изменение основного процесса рассуждения.,Автор называет эти модификации психическими трансформациями.,В частности, это определяется как добавление в граф новых вершин и ребер. Как показано на картинке выше,Существуют различные психические трансформации (напр.,слитьили Разделить массив чисел、Обобщить группу статей、Создание нескольких тезисов для одной статьи и т. д.). Авторы рассматривают три основных типа изменения мышления:

«полимеризация»(Aggregation)：Объедините произвольные идеи в новую идею。

"переработка"(Refinement)：通过自我联系提炼思想серединаиз内容。

"генерировать"(Generation)：Генерируйте несколько новых идей на основе одной идеи。

 Каждое из этих преобразований можно произвольно модифицировать и ускорить процесс вывода LLM. Например, агрегирование может объединять результаты нескольких различных цепочек идей, а уточнение может рекурсивно обновлять идеи до тех пор, пока не будет получен окончательный ответ. Такая функциональность строго расширяется CoT и ToT намекать — Он может все, что могут эти технологии, и даже больше!

「Рейтинг→Рейтинг」。наконец,GoT намекать использует функции оценщика для присвоения баллов определенным идеям,И используйте функцию ранжирования, чтобы выбрать наиболее релевантные идеи. Стоит отметить, что,При ранжировании и подсчете очков учитывается вся диаграмма. это необходимо,Потому что для рейтинга,Качество одной идеи может зависеть от других идей. Ранжирование обычно возвращает только идеи, получившие наивысшую оценку.

Интеллект-карта (GoT) реализация

 о Интеллект-карта (GoT) Как нам этого добиться? Автор использует ряд различных LLM модуль драйвера для этого. Как показано ниже:

На рисунке выше представлены следующие модули:

「намекатьустройство」：для LLM Подготовить сообщение или назвать. намекать должен содержать кодировку графической структуры.

«Парсер»：отLLM输出середина提取相关信息,Формируя таким образом состояние, хранящееся в каждой мысли.

"счет"：验证思想状态是否满足正确性条件并для其分配分数（отLLMsиличеловек-аннотатор）。

«Контроллер»：Координируйте процесс рассуждения и решайте, как действовать дальше.。Стоит отметить, что,Выбор контроллера должен применяться к мысленному преобразованию основного графа.,Сообщите эту информацию намекать,И на основе вывода счетчика о сформированном психическом состоянии решается, завершен ли процесс рассуждения и следует ли продолжать двигаться вперед. на протяжении всего процесса,Контроллер хранит две части информации:

«Диаграмма работы»：определяемая пользователем статическая структура,Создано до процесса вывода,и зафиксировать план выполнения мыслительной операции.

«Состояние графического рассуждения»：отслеживатьLLMДинамическая структура состояний процесса рассуждения,Включите все мысли и их статус.

Результаты эксперимента

1. По сравнению с существующими технологиями при оценке задачи сортировки можно обнаружить, что CoT , самосогласованный CoT или ToT намекать По сравнению с другими технологиями,GoT намекать всегда выдает меньше ошибок。Как показано ниже：

2、GoTнамекать同样存существовать一个缺点：его экспортрешениеизОбщая стоимость выше, чем у более прямых методов, таких как Few-shot и CoT.。Как показано ниже：

«Авторский вывод»：GoT намекать对文档слить任务提供了不太明显из改进。对于轻松分解для更小из、可解决из子问题并слитьдля最终решениеиз案例,GoTnamekat работает очень хорошо,Но и стоимость его относительно высока. В практических приложениях соотношение между ними должно быть сбалансированным.