Название статьи：A Survey of Deep Learning and Foundation Models for Time Series Forecasting

Связь：https://arxiv.org/abs/2401.13912

автор：John A. Miller, Mohammed Aldosari, Farah Saeed, Nasid Habib Barna, Subas Rana, I. Budak Arpinar, Ninghao Liu

механизм：Университет Джорджии（UGA）

заявление：С помощью Су Цзяньлиня(Су Шен)изCool PapersВеб-сайт былбумагаскорочтение,（ЭтиКачество новых статей, публикуемых на arXiv, нужно судить самостоятельно.,от AIПодвести Благодаря этому читатели могут быстро делать выводы), конкретные детали статьи по-прежнему нуждаются в обсуждении всеми. оригинальную статью。Нажмите в конце статьиПрочитайте оригинальную статьюПерейти к этой статьеarXivСвязь。

Cool Paper：https://papers.cool/arxiv/2401.13912

Название и автор

краткое содержание

Хотя глубокое обучение было успешным во многих областях применения, его преимущества медленно проявляются, когда дело доходит до прогнозирования временных рядов. Например, в престижном конкурсе Makridakis(M) гибридные приложения традиционных статистических методов или методов машинного обучения лишь недавно стали лучшими. Поскольку последние достижения в области архитектур глубокого обучения применяются для прогнозирования временных рядов (например, кодеры-декодеры с механизмами внимания, преобразователи и графовые нейронные сети), глубокое обучение начинает показывать значительные преимущества. Однако в области прогнозирования пандемий модели глубокого обучения по-прежнему сталкиваются с проблемами: недостаточность временных рядов для эффективного обучения, недостаточная осведомленность о накопленных научных знаниях и интерпретируемость модели. С этой целью разработка базовых моделей (больших моделей глубокого обучения с обширной предварительной тренировкой) позволяет моделям понимать закономерности и приобретать знания, которые можно применять к новым и актуальным проблемам до того, как станут доступны большие объемы обучающих данных. Кроме того, существует множество знаний, которые можно использовать в моделях глубокого обучения, включая графы знаний и большие языковые модели, точно настроенные на основе научных знаний. В настоящее время проводятся исследования о том, как использовать или внедрить такие знания в модели глубокого обучения. В этом обзоре рассматриваются несколько современных методов моделирования и даются рекомендации для дальнейших исследований.

Крутое скорочтение на бумаге

Q: Какую проблему пытается решить эта статья?

A: Эта статья «А. Survey of Deep Learning and Foundation Models for Time Series «Прогнозирование» в основном обсуждает следующие вопросы:

1. Прогресс в применении глубокого обучения для прогнозирования временных рядов：бумагарассмотреноглубокое обучениево временных рядах预测领域из发展历程,Особенно выступление в Макридакисе (М)соревнование.,и как повысить эффективность прогнозирования за счет сочетания традиционных статистических методов и методов машинного обучения.
2. Проблемы моделей глубокого обучения в прогнозировании эпидемий：бумагауказать,В прогнозах эпидемий (таких как пандемия COVID-19),модель глубокого обучение сталкивается с такими проблемами, как нехватка данных, отсутствие накопленных научных знаний и интерпретируемости модели.
3. Разработка моделей фундамента：Для решения вышеперечисленных задач,В статье рассматривается понятие базовой модели.,Эти модели понимают закономерности и приобретают знания посредством обширной предварительной подготовки.,Чтобы новые актуальные вопросы можно было решать до того, как они возникнут.
4. Применение графа знаний и большой языковой модели для прогнозирования временных рядов：бумагаобсудили, как использовать График знания и расширенная модель с помощью большого языка Модель, точно настроенная с учетом научных знаний глубокого обучения и как внедрить эти знания в Модель.
5. Будущие направления прогнозирования временных рядов：бумага最后提出了对未来时间序列预测研究из展望,Включает дальнейшие улучшения Модели, более интерпретируемую Модель, доступ к научной литературе с использованием модели большого языка, базы знаний, а также разработку и использование Графика знаний.,и текущая оценка мер вмешательства и борьбы со вспышкой.

В целом, в этой статье делается попытка предоставить всесторонний обзор приложений и проблем глубокого обучения и базовых моделей в области прогнозирования временных рядов, особенно в прогнозировании эпидемий, а также дать рекомендации для будущих направлений исследований.

Q: Каковы соответствующие исследования?

A: В этой статье упоминаются многочисленные исследования, связанные с глубоким обучением и прогнозированием временных рядов. Вот некоторые ключевые исследования и модели:

1. Макридакис (М) Конкурс：这是一个著名из时间序列预测соревнование,Содержит сравнение различных статистических методов и методов машинного обучения.,Такие как ARIMA, SARIMA, LSTM и т. д.
2. LightGBM：一种高效из梯度提升决策树实现,Хорошо показывает себя в М5соревновании.
3. DeepAR：несколькимиLSTM单元组成измодель глубокого обучения, для прогнозирования временных рядов.
4. N-BEATS：несколькими全连接神经网络块组成из Модель,такой же Используется для прогнозирования временных рядов.
5. Transformers：один на основевнимание к себе机制из Модель,нравитьсяvTRF（Vanilla Transformer), который добился значительного прогресса в прогнозировании временных рядов.
6. Graph Neural Networks (GNNs)：в космосе-Выполняется временной анализ,GNN, такие как GCN, GAT и т. д., используются для фиксации зависимостей между временными рядами.
7. Foundation Models：Большая предварительная тренировкамодель глубокого обучения,Такие как GPT, BART, T5 и т. д.,Они добились больших успехов в области обработки естественного языка и компьютерного зрения.
8. Knowledge Graphs：нравитьсяCOVID-19-Net、Covid-on-the-Webждать,Эти Графики знаний содержат огромное количество информации о COVID-19.,Может использоваться для улучшения прогнозирования временных рядов. Модель.
9. Temporal Knowledge Graph Embedding (TKGE)：используется для Связь预测и временной ряд预测из技术,Такие как TAE, TTransE и т. д.
10. Knowledge Enhanced Transformers：Используйте будущие знания для улучшенияTransformerМодель,нравитьсяAliformerМодель。
11. Knowledge Enhanced Graph Neural Networks (KeGNN)：проходить逻辑语言и知识增强层来改进Модель GNN。
12. Self-Supervised Learning：В области временных рядов,Самостоятельное обучение может помочь модели тренироваться при отсутствии меток данных.

Эти исследования и модели демонстрируют разнообразие и сложность глубокого обучения в области прогнозирования временных рядов, а также то, как можно повысить точность и интерпретируемость прогнозов за счет объединения различных методов и источников знаний.

Q: Как газета решает эту проблему?

A: В статье решаются проблемы глубокого обучения и прогнозирования временных рядов посредством следующих аспектов:

1. Обзор и сравнение различных моделей прогнозирования：бумага首先рассмотрено时间序列预测из历史и进展,比较了传统из统计Модель（нравитьсяARIMA、SARIMA) и современные модели глубокого обучения (например, LSTM、GRU、Трансформаторы) производительность.
2. Изучите архитектурные улучшения моделей глубокого обучения：бумагаобсужденонравиться何проходить改进модель глубокого обученияиз架构（Например,Используйте механизм разреженного внимания、внимание к себе、Многоголовое внимание и т. д.) для повышения точности прогнозов временных рядов.
3. Применение базовой модели：бумага Предлагается использоватьбазовая модель（Foundation Models）решитьданныесумма дефицита Модель可解释性из问题。Эти Модельпроходить在大量данныепредварительная подготовка по,Способен понимать закономерности и приобретать знания,тем самым быстро адаптируясь к новым проблемам.
4. Интеграция графов знаний и больших языковых моделей：бумагаподчеркнул, что Графы знаний и большие языковые Важность интеграции знаний о моделях (таких как GPT, BERT и т. д.) в модель прогнозирования временных рядов. Этого можно достичь путем точной настройки этой модели в соответствии с конкретным набором данных временных рядов.
5. Использование мультимодальных данных：бумагакомбинированный текстданныеи временной рядданныеиз方法,для повышения точности и интерпретируемости прогнозов. Например,Используйте новостные статьи или данные социальных сетей, чтобы улучшить прогнозы вспышек, таких как COVID-19.
6. Оценка модели и обеспечение качества：бумагаобсужденонравиться何使用不同из质量评估指标（нравитьсяMSE、MAE、sMAPEждать）протестировать и сравнить различия Модельиз性能,Для уменьшения устаревания данных и параметров предлагаются такие методы, как скользящая проверка.
7. Предложения по будущим направлениям исследований：бумага最后提出了对未来研究из建议,包括开发更高效из Модель、Улучшение интерпретируемости модели、использовать Графы знаний и большие языковые модели и текущая оценка мер вмешательства и борьбы с эпидемией.

С помощью этих методов статья призвана обеспечить более глубокое понимание и более эффективные решения в области прогнозирования временных рядов, особенно в таких важных приложениях, как прогнозирование эпидемий.

Обучение представлению временных рядов

Q: Какие эксперименты были проведены в статье?

A: По содержанию представленной статьи сама статья представляет собой в основном обзорную статью и не сообщает напрямую о конкретных экспериментальных результатах. Вместо этого он рассматривает и анализирует текущий прогресс исследований в области прогнозирования временных рядов, особенно в области глубокого обучения и базовых моделей. В документе упоминаются различные модели и методы, а также обсуждается их применение и эффективность на различных наборах данных. Эти модели и технологии включают, помимо прочего:

Базовый тип модели прогнозирования временных рядов с исходной эталонной значимостью в контексте временных рядов

1. Transformers：бумагаобсужденоTransformerМодельво временных рядах预测серединаиз应用,Включает в себя механизм разреженного внимания и модель предварительной тренировки.

Прогнозирование временных рядов трансформаторов

1. **Graph Neural Networks (GNS)**: в статье исследуется применение GNS при работе с пространственно-временными данными, особенно с данными о COVID-19.

Модель GNN

1. Foundation Models：бумага Некоторые упоминаются как временные рядыданные创建избазовая модели, включая их архитектуру и методы обучения.

Базовая модель временных рядов (Фундаментальная модель)

1. Knowledge Graphs：бумагаобсужденонравиться何использовать График знания для улучшения прогнозирования временных рядов Модель, включая график COVID-19 Использование знаний.

График знаний о COVID-19

1. Temporal Knowledge Graph Embedding (TKGE)：бумага УпомянулTKGE技术во временных рядах预测серединаиз应用。
2. Knowledge Enhanced Transformers：бумага Обсужденонравиться何将知识注入到大型语言Модельсередина,улучшить производительность прогнозирования временных рядов.
3. Knowledge Enhanced Graph Neural Networks (KeGNN)：бумагаобсужденонравиться何использовать逻辑语言и知识增强层来改进Модель GNN。
4. Self-Supervised Learning：бумага Упомянул自监督学习во временных рядах预测серединаиз应用,Особенно, если данные недостаточно аннотированы.

Хотя в статье непосредственно не сообщаются результаты экспериментов, в ней приводится углубленный анализ существующих исследований и предлагаются направления для будущих исследований. Этот анализ и обсуждения основаны на экспериментальных результатах из текущей литературы, а не на экспериментах, проведенных самими авторами статьи.

Фактически это было сделано в качестве эксперимента для сравнения результатов нескольких методов прогнозирования средних и длинных временных рядов)

LLM-based：GPT4TS,

Transformer-base：PatchTST, FEDformer, AutoFormer, Stationary, ETSformer, Informer, and Reformer

CNN-based：TimesNet

MLP-based：NLinear,DLinear, and LightTS

Сравнение моделей временных рядов

Q: Есть ли какие-то моменты, которые можно было бы изучить дальше?

A: Исходя из содержания статьи, можно выделить следующие направления исследований, которые могут быть дополнительно изучены:

1. Интерпретируемость модели и интерпретируемость：Хотямодель глубокого обученияво временных рядах预测середина取得了显著进展,Но их интерпретируемость остается проблемой. Изучите, как улучшить прозрачность и объяснимость этих моделей.,Чтобы пользователи могли понять процесс прогнозирования модели.
2. Мультимодальное объединение данных：探索нравиться何更有效地结合文本данные（нравиться新闻文章、социальные сети）и временной рядданные,повысить точность и надежность прогнозов.
3. Применение графика знаний в прогнозировании временных рядов：研究нравиться何构建ииспользовать更丰富из График знаний,Особенно в конкретных областях (например, здравоохранение, финансы),Для повышения производительности модели.
4. Применение самостоятельного обучения во временных рядах：开发新из自监督学习方法,для предварительного обучения с использованием немаркированных данных временных рядов,Особенно, когда данных недостаточно.
5. Способность к обобщению модели：研究нравиться何提高модель глубокого обучение способности к обобщению на различных наборах данных временных рядов, особенно в условиях изменения распределения.
6. Прогнозы в реальном времени и онлайн-обучение：Разработка может обновляться и адаптироваться к новымданныеиз在线学习算法,Чтобы справиться с динамическими изменениями данных временных рядов.
7. Сжатие и ускорение модели：研究нравиться何减少Модельиз计算复杂度,Развернуть эффективное прогнозирование временных рядов в средах с ограниченными ресурсами. Модель.
8. Междоменная передача знаний：探索нравиться何将从一个领域学到из知识迁移到另一个领域,Например,Применение закономерностей, полученных на финансовых рынках, для прогнозирования энергопотребления.
9. Обнаружение аномалий и распознавание образов：во временных рядахданныесередина识别异常模式и趋势变化,Это имеет решающее значение для управления рисками и поддержки принятия решений.
10. Оценка и сравнение моделей：开发更全面из评估框架,Сравнить эффективность различных моделей в различных задачах прогнозирования временных рядов.,Включает долгосрочные прогнозы и многоэтапные прогнозы.

Эти направления исследований не только помогают продвигать теоретические разработки в области прогнозирования временных рядов, но и способствуют практическим применениям, таким как финансовый анализ, мониторинг состояния здоровья, прогнозирование транспортных потоков и т. д.

Q: Кратко изложите основное содержание статьи

A: Эта статья «А. Survey of Deep Learning and Foundation Models for Time Series Основное содержание «Прогнозирования» включает в себя следующие аспекты:

1. введение：介绍了时间序列预测из重要性,Особенно во время пандемии COVID-19.,Точное прогнозирование развития эпидемий имеет решающее значение для общественного здравоохранения и распределения ресурсов. В статье подчеркивается сложность прогнозирования редких событий в сложных стохастических системах.,И указал на текущие недостатки Модели в обнаружении начала эпидемии и прогнозировании ее траектории.
2. Достижения в прогнозировании временных рядов：рассмотрено时间序列预测из历史,В частности, с 1950-х годов было два периода быстрого прогресса. Введение в различные временные ряды Модель,Включая базовую модель, модель регрессии, ARIMA, SARIMA, нейронную сеть и т. д.,И обсуждает производительность этих Модель в Макридакиссоревновение.
3. модель глубокого обучения：详细обсужденоглубокое обучениево временных рядах预测серединаиз应用,В том числе ЛСТМ, ГРУ, Трансформеры и т. д. Модель,а также их преимущества и проблемы при работе с данными временных рядов.
4. базовая модель：Обсужденобазовая модель (например, большая предварительно обученная модель глубокого обучение) в прогнозировании временных рядов и о том, как использовать эти модели для понимания и применения знаний для решения новых и актуальных проблем.
5. Графы знаний и большие языковые модели：обсужденонравиться何использовать График знания и крупномасштабный язык Модель, доработанная с учетом научных знаний для улучшения модели прогнозирования временных рядов, и исследование того, как внедрить эти знания в Модель.
6. Будущие направления прогнозирования временных рядов：提出了未来研究из方向,Включает модель улучшений глубокого обучение, разработка более интерпретируемой Модели, доступ к научной литературе с использованием модели большого языка, разработка и использование баз знаний и Графика. знаний,и текущая оценка мер вмешательства и борьбы со вспышкой.
7. Экспериментируйте и оценивайте：Хотябумага В основном обзор в натуре,Но приводится сравнительный анализ Модели и методов в существующей литературе.,Включает оценку эффективности прогнозов различных временных рядов. Модель на нескольких наборах данных.
8. Подвести итог：Подвести В заключение рассмотрен текущий прогресс исследований в области прогнозирования временных рядов и рассмотрены возможные направления дальнейшего развития, особенно в глубоководных областях. обучениеибазовая Приложения в модели.

В целом, в этой статье представлен всесторонний обзор применения глубокого обучения и базовых моделей в области прогнозирования временных рядов, а также представлены предложения и понимание будущих направлений исследований.

Если вы считаете это полезным, пожалуйста, поделитесь им, посмотрите и поставьте лайк.