В этом документе представлена ​​новая архитектура рекуррентной нейронной сети под названием xLSTM (расширенная краткосрочная краткосрочная память), целью которой является устранение некоторых ограничений традиционной сети LSTM (длинная краткосрочная память) и повышение ее производительности при языковом моделировании в других задачах. .

Статья: xLSTM: Расширенная долгосрочная краткосрочная память Ссылка: https://arxiv.org/pdf/2405.04517.

Ниже приводится подробная интерпретация каждой части статьи.

краткое содержание

• фон：LSTMсуществовать1990Была предложена эпоха,Решить проблему исчезновения градиента рекуррентных нейронных сетей (RNN). LSTM добился успеха в различных областях.,Но с появлением Трансформаторной технологии,Его статус был оспорен.
• вопрос：Автор предлагаетвопрос：ЕслиLSTMМасштабируется до миллиардов параметров,И воспользуйтесь технологией современной Большой языковой модели (LLM).,Одновременно преодолеть известный предел LSTM.,Как далеко мы можем зайти в языковом моделировании?

• способствовать：бумага Два новыхLSTMВарианты：sLSTM（Имеет скалярную память и обновления.）иmLSTM（иметьматричная памятьи Правило обновления ковариации) и интегрировать их в остаточный блоксередина,формаxLSTM-архитектура。

введение

• Принцип ЛСТМ：представилLSTMосновные принципы,включатьпостоянная ошибка вращения（constant error карусель) и воротный механизм.
• Приложение ЛСТМ：LSTMсуществоватьгенерация текста、трансляция последовательности в последовательность、Отличная производительность в таких задачах, как оценка программы.
• Ограничения LSTM：указатьLSTMТри основных ограничения：Невозможно пересмотреть решение о хранении.、Ограниченная емкость хранилища、Недостаток может Распараллеливание.

расширенная долговременная память

• sLSTM：Введенный индексворотаиновыйизгибридная технология хранения данных,Разрешить LSTM пересмотреть свои решения по хранению.
• mLSTM：ВоляLSTMизблок память расширяется от скалярной до матричной, увеличивает емкость хранилища и вводит Правило обновления ковариации, что делает mLSTM полностью Распараллеливание.
• xLSTM-архитектура：проходить ВоляsLSTMиmLSTMинтегрирован востаточный В блоке была построена xLSTM-архитектура.

блок памяти

• постоянная ошибка вращения：ct = ft * ct-1 + it * zt,Чтосерединаctэто единичное состояние,ftЭто дверь забвения,itэто входные ворота,ztчерез функцию активацииизвходить。
• ворота：включатьвходить门it、дверь забвенияftивыходные воротаot,Контролируйте поток информации.

sLSTM

• индексворота：представлятьиндекс激活函数到входитьидверь забвениясередина。
• Стандартизация и стабилизация：Сбалансировано состоянием нормализатораворотаиззначение активации。

mLSTM

• матричная память：Используйте матрицу для храненияи Получить информацию,Увеличенная емкость хранилища。
• Правило обновления ковариации：Используйте ковариационную матрицу для обновленияблок памяти。

xLSTM-архитектура

• остаточный блок：xLSTM-архитектура Построено методом остаточной укладки,Используйте остаточную магистраль preLayerNorm.
• Распараллеливание：mLSTMиз Дизайн позволяет Распараллеливание,А sLSTM не может Распараллеливание из-за смешивания памяти.

эксперимент

• Синтетические миссии и дальние арены：ПротестированоxLSTMсуществовать Работа с формальными языкамии О задачах с длинной последовательностьюизспособность。

• Сравнение методов и исследования абляции：существоватьSlimPajamaобучался на наборе данных и сравнивалxLSTMи Что他методизпроизводительность。

• Большая языковая модель：существоватьбольшеиз Обучение на наборе данныхxLSTM,И оценить это как Большой потенциал языковой модели.

Связанная работа

• линейное внимание：Обсуждалось несколько целейсуществоватьуменьшатьTransformerСложность механизма вниманияизметод。
• государственная космическая модель：недавносуществоватьязыковое моделированиесерединастать популярнымизметод,Они линейны по длине контекста.

в заключение

• производительность：xLSTMсуществоватьязыковое моделирование任务上与现иметьизTransformerигосударственная космическая модель показала себя хорошо в сравнении.
• потенциал：xLSTMиметьпотенциал Станьте обучением с подкреплением、Важный инструмент в таких областях, как прогнозирование временных рядов или моделирование физических систем.

предел

• Распараллеливание：sLSTMиз Смешивание памяти заблокировано Распараллеливаниедействовать。
• вычислительная сложность：mLSTMизматричная памятьиметьвысокийвычислительная сложность。
• инициализация：дверь забвенияизинициализация Нужно тщательно выбирать。
• предел памяти：матричная память может быть перегружена в контексте длинных последовательностей.

В каждой части этой статьи подробно описаны принципы проектирования, математические формулы и результаты экспериментов xLSTM-архитектуры.,Демонстрирует свою эффективность в задачах моделирования языка.