В этом документе обобщается текущий статус заявки на получение степени LLM в финансовой сфере. Рекомендуется прочитать его друзьям, связанным с финансами или заинтересованным.

Статья разделена на 2 части:

1. Автор излагает существующие методы использования llm.

Он включает в себя использование предварительно обученных моделей с нулевой или малой выборкой, точную настройку данных, специфичных для конкретной предметной области, и обучение индивидуальной модели с нуля, а также предоставляет сводку и оценку ключевых моделей.

2、На основе данного варианта использования、данныеограничение、Рассчитать суммупроизводительностьнуждаться,Предложите структуру принятия решений,Помощь в выборе правильного решения LLM,Это хорошее место, чтобы прочитать эту статью,потому чтобумага Все еще правфинансы Использование доменаLLMизограничения и проблемы предлагает некоторую информацию.

Статья начинается с резюмирования того, что архитектура языковой модели претерпела значительную эволюцию:

1. Согласно n-граммной модели вероятность следующего слова полностью зависит от предыдущих (n-1) слов.

2. Модели на основе RNN, такие как LSTM или GRU, архитектуры нейронных сетей фиксируют долгосрочные зависимости в данных последовательности.

3. В 2017 году архитектура Transformer ознаменовала революцию в языковых моделях, показав лучшие результаты, чем rnn, в таких задачах, как перевод, и отсортировала некоторые известные модели:

GPT (Генераторный предварительно обученный преобразователь): платформа, предназначенная только для кодировщиков, известная своей эффективностью в создании связного текста.

BERT (представления двунаправленного кодировщика из преобразователей): среда, предназначенная только для декодера, которая превосходно понимает контекст из обоих направлений текста.

T5 (преобразователь передачи текста в текст): он использует две структуры: кодер и декодер, что расширяет сферу применения. Самая известная из них — задачи перевода.

Обзор приложений в финансовой сфере

В документе организуются различные приложения искусственного интеллекта: такие как торговля и управление портфелем, моделирование финансовых рисков, анализ финансового текста, консалтинг и обслуживание клиентов.

1. Торговля и управление портфелем:

Система торговли акциями на основе глубокой нейронной сети, основанная на параметрах анализа технологии эволюционной оптимизации. https://doi.org/10.1016/j.procs.2017.09.031

Трансформеры во временных рядах: https://arxiv.org/abs/2202.07125

Динамическое управление портфелем с использованием обучения с подкреплением. https://arxiv.org/abs/1911.11880

2. Моделирование финансового риска:

Обнаружение финансового мошенничества, кредитный скоринг и прогнозирование банкротства, например, решение Kensey для обнаружения мошенничества на основе глубокого обучения.

3. Финансовый анализ текста:

Извлекайте ценную информацию из крупномасштабных неструктурированных данных для принятия обоснованных решений в торговле и моделировании рисков.

Использование анализа настроений на финансовых рынках на основе новостных статей для прогнозов фондового рынка. https://doi.org/10.3390/math10132156

4. Финансовые консультации и обслуживание клиентов:

Чат-боты с искусственным интеллектом обеспечивают широкую поддержку электронной коммерции и электронных услуг. JPMorgan Chase разрабатывает службу искусственного интеллекта, похожую на чатgpt, которая может предоставлять консультации по инвестициям.

Финансовые решения на основе LLM

1. Обучение с нуля/несколько раз с использованием моделей с открытым исходным кодом/проприетарных моделей:

Ллм тонкой настройки: PIXIU (FinMA), LLama, FinGPT, директива -FinGPT

По сравнению с исходной базовой LLM с открытым исходным кодом, точно настроенная LLM показывает лучшую производительность, чем исходная базовая LLM, во всех задачах финансовой области, особенно в классификации.

По сравнению с Bloomberg ggpt: точно настроенные LLM превосходят Bloomberg ggpt в большинстве финансовых задач.

По сравнению с ChatGPT и GPT-4: Точно настроенный llm показывает превосходную производительность в большинстве задач классификации, но в задачах генерации производительность немного хуже.

Основными задачами оценки точно настроенного LLM являются следующие:

Задачи финансовой классификации: анализ настроений, классификация заголовков новостей.

Задачи финансовой генерации: ответы на вопросы, обобщение новостей, распознавание названных объектов.

2. Предварительное обучение с нуля

Цель обучения с нуля — создать модель, которая лучше соответствует финансовому миру.

В основном включая Bloomberg ggpt и Fin-T5.

Bloomberg ggpt и Fin-T5 показывают хорошие показатели по сравнению с BLOOM и T5.

Они объединяют общедоступные наборы данных с наборами финансовых данных на этапе предварительного обучения. Этот подход создает модели, которые лучше подходят к конкретному языку и нюансам финансов.

Обучающий корпус BloombergGPT включает в себя сбалансированное сочетание текстов общего и финансового характера. Большая часть обучающих данных поступает из определенного подмножества Bloomberg. Хотя он составляет лишь 0,7% от общего корпуса, он оказывает существенное влияние на модель. производительность по финансовым показателям. Большой вклад.

По сравнению с обычными моделями, такими как BLOOM176B и T5, Bloomggpt и Fin-T5 показали превосходные результаты в таких задачах, как классификация рыночных настроений, классификация по нескольким категориям и нескольким меткам, а также в таких задачах генерации, как ответы на вопросы, распознавание названных объектов и резюме. Эта превосходная производительность очевидна как в задачах, специфичных для предметной области, так и в задачах общего генерирования, что указывает на то, что модель эффективна при создании контента, связанного с финансами.

Хотя эти LLM, ориентированные на финансы, могут быть не такими мощными, как некоторые модели с закрытым исходным кодом (такие как GPT-3 или PaLM), их возможности в задачах, связанных с финансами, улучшились, и их общие возможности также аналогичны моделям общего назначения.

ограничения и проблемы

Основные проблемы:

Дезинформация и предвзятость: LLM может порождать дезинформацию и явные предубеждения, такие как расовая, гендерная и религиозная предвзятость.

Точность и достоверность информации: критически важны для принятия обоснованных финансовых решений и являются фундаментальными требованиями к финансовым услугам.

Стратегии смягчения последствий:

Тряпка призвана обеспечить точность и уменьшить галлюцинации.

Управляйте создаваемым контентом с помощью модерации контента и ограничений вывода, а также уменьшайте предвзятость, ограничивая вывод заранее заданными ответами.

Последний адрес газеты:

https://arxiv.org/pdf/2311.10723.pdf