Название статьи：SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters

Бумажная ссылка:https://arxiv.org/pdf/2402.01533

Ссылка на код:https://github.com/lss-1138/SparseTSF

Предисловие

Недавно я прочитал статью и обнаружил, что облегчение модели в настоящее время является популярным направлением в исследовании временных рядов.

В этом посте предложена бумага SparseTSF,Чрезвычайно легкая модель долгосрочного серийного прогнозирования (LTSF).,Разработан для решения задачи моделирования сложных временных зависимостей в условиях ограниченных вычислительных ресурсов.。Ядро SparseTSF — это технология межпериодного разреженного прогнозирования, которая отделяет периодичность и тенденцию данных временных рядов.,Задачи прогнозирования упрощаются. Конкретно,Этот метод работает за счет понижения разрешения исходной последовательности.,Сосредоточьтесь на прогнозировании межцикловых тенденций,Тем самым эффективно извлекая периодические особенности,Минимизируя при этом сложность и количество параметров Модели. На основе этой технологии,SparseTSFМодель Нет в наличии1000параметры могут быть достигнуты с помощью самых передовых Модель Сопоставимо или даже лучшепроизводительность。также,SparseTSF демонстрирует отличные возможности обобщения.,Это делает его очень подходящим для сценариев с ограниченными вычислительными ресурсами, небольшими выборками или низким качеством.

История исследования

01 Количество параметров и среднеквадратическая ошибка

Хотя более длинные горизонты прогнозирования приносят удобство, они также вносят большую неопределенность. Потому что для этого требуется, чтобы модель могла извлекать более широкие временные зависимости из более длинных исторических окон. Таким образом, моделирование становится более сложным, чтобы уловить эти долгосрочные зависимости от времени. Например, модели на основе трансформаторов часто имеют миллионы или даже десятки миллионов параметров, что ограничивает их практическое использование, особенно когда вычислительные ресурсы ограничены.

фактически,Основой точного долгосрочного прогнозирования временных рядов являетсяПрисущая цикличность и тенденции данных。Периодические закономерности можно перевести в динамику между подпоследовательностями.,Тенденции переосмысливаются как особенности внутри подпоследовательностей. Эта декомпозиция открывает новый взгляд на проектирование облегченной модели LTSF.

Как показано на рисунке, маленький оранжевый треугольник в левом нижнем углу — это величина параметра и среднеквадратическая ошибка, соответствующие модели в этой статье. Как видно из рисунка, модель в этой статье достигает суммы параметра, пока Среднеквадратическая ошибка в основном соответствует модели Сота. Более чем на 2 порядка меньше.

02 Независимый канал

LTSFМного полейSOTAработа основана наНезависимый канал (CI)метод,Достигайте эффективного прогнозирования путем моделирования долгосрочных зависимостей в одномерных рядах, включая цикличность и тенденции. Конкретно,Метод CI находит общую функцию для каждой одномерной последовательности. Затем предоставьте более целенаправленную и упрощенную модель прогнозирования для каждого канала.,Сокращено сложное рассмотрение взаимоотношений между каналами. Подобно DLinear, PatchTST и TiDE, все они используют более сложные структуры на одном канале для извлечения временных зависимостей.,Разработан для достижения превосходной производительности прогнозирования. В этой статье также используется эта стратегия CI.,и сосредоточьтесь на создании более легкого, но эффективного метода фиксации долгосрочных зависимостей в одноканальных временных рядах.

Эта статья работает

Здесь необходимо объяснить основное предположение этой статьи: прогнозируемые данные обычно априори демонстрируют постоянную периодичность.Например,Потребление электроэнергии и транспортный поток обычно имеют фиксированные ежедневные циклы. Как показано на картинке,В этой статье предлагаетсяМежцикловое разреженное предсказание Модель SparseTSF,для улучшения извлечения долгосрочных зависимостей последовательностей,в то же время,Используйте один линейный слой для моделирования задачи LTSF.,Уменьшите размер параметра модели.

01 Разреженное предсказание между циклами

Предполагая, что временной ряд имеет известную периодичность, первым шагом является уменьшение исходной последовательности на w подпоследовательностей. Затем к этим подпоследовательностям применяется модель с общими параметрами для прогнозирования. После завершения прогнозирования подпоследовательность подвергается повышающей дискретизации обратно до полной последовательности прогнозирования.

Интуитивно этот процесс прогнозирования выглядит как скользящий прогноз с разреженным интервалом w, выполняемый полностью связным слоем, который разделяет параметры в течение фиксированного периода w. Думайте об этом как о модели, делающей редкие скользящие прогнозы между периодами.

Технически говоря, процесс понижающей дискретизации эквивалентен преобразованию последовательности в матрицу размера n × w с последующим транспонированием ее в матрицу размера w × n. Разреженное скользящее предсказание эквивалентно применению линейного слоя размера n×m к последнему измерению матрицы, в результате чего получается матрица w×m. Шаг повышения дискретизации эквивалентен транспонированию и преобразованию матрицы w×m обратно в полную последовательность прогнозирования длины H.

Однако в настоящее время этот метод по-прежнему сталкивается с двумя проблемами: (i) потеря информации, поскольку для прогнозирования используется только одна точка данных в каждом периоде, а остальные точки данных игнорируются (ii) усиление влияния выбросов из-за понижения выборки; Экстремальные значения, существующие в подпоследовательности, могут напрямую влиять на результаты прогнозирования.

Чтобы решить эти проблемы, автор этой статьи выполняет скользящую агрегацию исходной последовательности перед выполнением разреженного прогнозирования, как показано на рисунке 2. Каждая агрегированная точка данных содержит информацию о других точках в окружающем ее периоде, что решает проблему (i). Более того, поскольку совокупное значение по сути представляет собой средневзвешенное значение окружающих точек, оно смягчает влияние выбросов, тем самым решая проблему (ii). Технически такая скользящая агрегация может быть достигнута с использованием заполнения нулями и одномерной свертки с размером ядра 2×⌊w/2⌋+1.

02 Нормализация экземпляра и функция потерь

В этой статье используется стратегия нормализации экземпляров, позволяющая вычитать среднее значение последовательности перед входом в модель и добавлять его обратно после вывода модели.

Функция потерь использует классическую среднеквадратическую ошибку (MSE) в качестве функции потерь SparseTSF. Эффективность прогнозирования модели измеряется путем расчета квадрата ошибки между прогнозируемым значением и истинным значением.

Кроме того, еще одна важная работа этой статьи представляет собой теоретический анализ модели SparseTSF с упором на эффективность ее параметров и эффективность разреженной технологии.

Эксперименты и выводы

Недостатки этой статьи:

SparseTSF достигает производительности, которая конкурирует с современными моделями или даже превосходит их при чрезвычайно малом масштабе параметров, что делает его сильным кандидатом в средах с ограниченными вычислительными ресурсами и легковесной моделью в области долгосрочного прогнозирования рядов. . Достигнута еще одна веха.

SparseTSFМодель ОбработкаСверхдлинные циклы, множественные циклы и ситуации, когда циклы неочевидны.,могут возникнуть трудности,Потому что разреженные методы могут только уменьшать дискретизацию и разлагать один основной период. В будущем мы можем рассмотреть решение задачи извлечения признаков из сверхдлинных и многопериодных данных.,Стремитесь достичь наилучшего баланса между Модельпроизводительностью и масштабом параметров.