Каталог статей

• 1. Предисловие
• 2. Линейная модель
• 3. Нелинейная модель

1. Предисловие

Регрессионное прогнозное моделированиеизосновнойдаучебный вклад

для вывода

(в

является отношением отображения вектора с непрерывными значениями). условное ожидание

да

приезжать

извозвращатьсяфункция。Проще говоря,СразудаВоля выборки из отображения матрицы признаков приехать в пространство меток образца。

A futuristic and aesthetically pleasing visualization of machine learning regression prediction, with sleek and high-tech graphics that convey a sense of advanced technology. --version 6 --quality .5 --chaos 0 --stylize 100 --aspect 16:9

В этой статье подробно систематизированы различные часто используемые модели прогнозирования регрессии, чтобы помочь читателям лучше изучить моделирование прогнозирования регрессии.

2. Линейная модель

линейная регрессиядалинейный Модель,Прогнозируйте метки с непрерывными значениями с помощью линейной комбинации функций. линейная регрессия по аппроксимирующим коэффициентам

(Вы можете выбрать, устанавливать ли точку пересечения) Излинейная модель,минимизировать истинную ценностьимежду прогнозируемыми значениямиизостаток в квадрате。

scikit-learn из linear_model Субмодуль предоставляет ряд функций длялинейная регрессияиобобщенная линейная модель（GLM）изметод。нижеда Некоторые часто используемыеизметод：

• Обычные наименьшие квадраты регрессия。
• Возврат Лассо（Lasso）。Lasso Можно понимать как линейная на основе регрессииизлоссфункциииз, добавьте L1 Обычные условия, чтобы ограничить

Не переусердствуйте. Лассо имеет тенденцию участвовать

Значение становится 0, поэтому его можно использовать для выбора функций.

• регрессия гребня（Ridge Regression）。регрессия гребня Можно понимать как линейная на основе регрессииизлоссфункциииз, добавьте L2 Обычные условия, чтобы ограничить

Не переусердствуйте. Подходит для смещенных оценок коллинеарности. Это улучшенный метод оценки методом наименьших квадратов, который является несмещенным за счет потери части информации и снижения точности, что делает коэффициенты более реалистичными и надежными. Для патологических данных, его способность аппроксимации выше, чем у метода наименьших квадратов. Однако это не похоже на Lasso Таким образом, у него есть возможности выбора функций.

• стохастическая регрессия градиентного спуска。посредством стохастического градиентного спуска（SGD）Минимизируйте регуляризованные эмпирические потери, чтобы соответствоватьиз Линейный Модель。Оценивайте каждую выборку каждый разиз Градиент потерь,Модель будет обновляться с течением времени в соответствии с графиком уменьшения интенсивности (т. е. скорости обучения). Условие регуляризации да добавляет функцию потерь приезжего в срок из штрафа.,Он использует евклидову норму L2 или абсолютная норма L1 Или комбинация обоих из (эластичная сетка) Параметр модели сжимается для нулевого вектора. Если обновление параметра превышает 0.0 из значения, обновление Воля усекается до 0.0,чтобы изучить разреженные модели и реализовать онлайн-выбор функций。
• эластичная чистая регрессия（ElasticNet）。ElasticNet да комбинация L1 и L2 Априори из как термин регуляризации излинейная регрессия Модель。Lasso Причина, по которой у него есть функция выбора функций, заключается в том, что он использует L1 Обычные предметы. Л1 Регуляризация имеет тенденцию генерировать разреженные решения, а это означает, что она может привести к тому, что некоторые функции, которые не помогают в прогнозировании цели (метки) из коэффициентов, сводятся к 0. Таким способом можно выделить те особенности, которые оказывают существенное влияние на результат. и Это наоборот, регрессия Принято гребня L2 В обычном члене этот коэффициент Воля не снижается до 0 способности. Л2 Обычный член может лишь уменьшить коэффициент некоторых менее важных признаков до меньшего значения, но не снизит его до 0. Кроме того, регрессия гребняиз L2 Регуляризация имеет аналитическое решение, и L1 Регуляризации нет. Поэтому люди предложили метод, который содержит оба L1 Регуляризация также содержит L2 Метод регуляризации —— ElasticNet, этот метод можно рассматривать как дарегрессия гребняи Lasso Компромиссное решение.
• модель регрессии с минимальным углом（Least Angle Regression,аббревиатура ЛАР). Минимальный угол возникновения. Алгоритм, подходящий для извозвращения многомерных данных. Когда переменная-предиктор

больше, чем количество наблюдаемых образцов

Когда, ЛАР Могу решить линейную вопрос регрессии. Основная идея заключается в том, что цель прогнозирования поочередно разлагается на векторы признаков и линейные комбинации, и, наконец, вектор остатка и все признаки становятся линейно независимыми и, таким образом, минимизируются. На каждом этапе LAR Найдет наиболее важные особенности цели. Когда несколько функций имеют одинаковую корреляцию, ЛАР Вместо продолжения вдоль одного и того же объекта, да продолжается в направлении биссектрисы угла между объектами. ЛАР Существует компромисс между алгоритмом прямого выбора, быстротой и точностью, и он может давать кусочно-линейные результаты из полных путей, что чрезвычайно полезно при перекрестной проверке модели.

• алгоритм поиска ортогональных совпадений（Orthogonal Matching Pursuit,аббревиатура ОМП). Это жадный алгоритм восстановления сжатых данных. ОМП Используется для приблизительного соответствия линейной Модели с ограничениями, где ограничения влияют на ненулевые коэффициенты Модели. ОМП да Метод прямого выбора признаков, который может аппроксимировать фиксированный ненулевой элемент из оптимального векторного решения, аналогичный минимальному углу. ОМП Выбор каждого шага сильно зависит от текущего остатка, который основан на характеристиках жадного алгоритма. ОМП и Match Pursuit (MP) аналогичен, но относительно MP Лучше, потому что он может пересчитывать остатки, используя ортогональную проекцию на каждой итерации, восстанавливая таким образом ранее выбранные элементы словаря.
• Байесовскийрегрессия гребня。Байесовскийвозвращаться Допущения Модели априорной вероятности, функции правдоподобия и апостериорной вероятности являются данормально распределенными. Априорная вероятность да гипотеза Выход модели

соответствует среднему значению

изNormal распределенный, параметр регуляризации alpha рассматривается как случайная величина, которую необходимо оценить на основе данных. коэффициент

изаприорираспределенный Правилосферическое нормальное распределение,Гиперпараметры лямбда. Нам нужно оценить гиперпараметры путем максимизации предельной функции правдоподобия. alpha и лямбда и коэффициент регрессии

. Подходит для модели Байесовский хребет. Подробности об этой реализации и параметрах регуляризации лямбда(вес с точностью)и alpha（шумиз Точность）изоптимизация,ВидетьРаздел примечаний。если у нас есть под рукойизданные Сосредоточить большое количествоиз Отсутствующийданныеилиданные Существует противоречие между,В этом случае мы называем это изданными. “Патологические данные”。Перед лицом этого Патологические данныеизкогда,BayesianRidge（Байесовскийрегрессия гребня)да вариант стоит рассмотреть. это для патологий Данные очень надежны и могут хорошо работать, даже если данные неполны или противоречивы, и не требуют перекрестной проверки для выбора гиперпараметров в процессе обучения, что более удобно для модели. Однако важно отметить, что хотя BayesianRidge для Патологические Обработка данных идеальна, но требует максимизации функции правдоподобия в процессе вывода, а этот процесс вычислений обычно занимает много времени. Поэтому, когда временные ресурсы ограничены, вообще не рекомендуется использовать его во всех ситуациях. Байесовский хребет. Только когда есть действительно большие проблемы с данными и другие методы трудно применить или неэффективны, используйте BayesianRidge Был бы лучший выбор.

• Байесовский ARD возвращается。ARD（Automatic Relevance Determination）выражатьАвтоматическое определение корреляции。Долженметодиспользовать ARD Априори используется для подбора весов ранней Моделизации, где веса предполагаются гауссовскими. При этом он оценивает параметры лямбда (точность распределения). альфа (шум распределенныйиз точности), этот процесс оценки выполняется посредством итеративной процедуры (т.е. максимизации доказательств) из. ARDРегрессия и BayesianRidge Оба метода анализа давозвращаться, они во многом схожи, но главное отличие заключается в коэффициенте возникновения.

из априорно распределенных предположений различны. Байесовский хребет Допущения модели

изаприорираспределенныйдасферическое нормальное распределения, то есть предполагается, что изменчивость да одинакова по всем направлениям. Это допущение означает, что все коэффициенты извозвращаться имеют один и тот же параметр масштаба. лямбда, следовательно, для

изприорный распределенный, нам нужно установить только один lambda ценить. Напротив, ARDРегрессия сдался BayesianRidge серединадлямячформа Гауссовскийраспределенныйизгипотеза,Вместо этогои Координатные оси параллельныизЭллиптическое распределение Гауссакак

из априори распределенного. Этот подход означает

Каждое измерение может иметь свои собственные параметры масштаба. лямбда, следовательно, то же самое,что и BayesianRidge По сравнению с ARDReгрессией Модельсерединаиз lambda представляет собой содержащий

векторы размерностей из, где

да

из измерения. То есть каждый коэффициент возникновения может иметь свой параметр масштаба. лямбда, которая позволяет Модели улавливать различные степени важности для каждого коэффициента. ARDРегрессия Также оцените гиперпараметры путем максимизации предельной функции правдоподобия. alpha и lambda вектор и коэффициент регрессии

. Таким образом, ARDReгрессия может автоматически корректироваться на основе данных.

изприорно распределенный, тем самым более гибко адаптируясь к различным изданным характеристикам и структурам.

• Надежный регрессор для выбросовда Метод, используемый для обработки выбросовизметод。Он включает в себя несколько различныхизвозвращатьсятехнология,Например Huber Регрессия, квантильная регрессия, RANSAC возвращатьсяи Theil-Sen придет. Эти методы могут эффективно обрабатывать выбросы в данных и делать Модель более надежной и точной.
• обобщенная линейная модель（GLM）используется длявозвращатьсяпредсказывать,включатьРаспределение Пуассона, Твиди распределенныйи Gamma распределенный。Эти Модельне только разрешенопредсказывать Цель имеет нормальныйраспределенныйкромеизошибкараспределенный,Также возможно обрабатывать ненормальные распределенные зависимые переменные. также,Они также могут быть связаныфункция Волянезависимая переменнаяизависимые переменные, связанные друг с другом。GLM Его можно применять ко многим типам изданных, таким как непрерывные данные, данные счетного типа и данные двух категорий и т. д.

3. Нелинейная модель

Нелинейная модель, нелинейная комбинация характеристик из

Взаимодействия для прогнозирования меток с непрерывными значениями. В практике прогнозирования,Модель дерева ансамбляда Чаще всего используетсяиз,из-за нихИмеет адаптируемость к разнородным данным.、Вычислительная эффективность、Хорошая производительность обобщения, простота и удобство использования.。

Большая тройка в гонке данных：XGBoost、LightGBM、CatBoost（Машина для повышения экстремального градиента и ее варианты）

• XGBoost Официальная документация：https://xgboost.readthedocs.io/en/stable/
• LightGBM Официальная документация：https://lightgbm.readthedocs.io/en/stable/
• CatBoost Официальная документация：https://catboost.ai/

другой:

Выбирайте однотонную нелинейную регрессияизожидатьфункция Обычно зависит от нашей кривой отклика системыизформа и физикаихимические свойства поведениеизучиться。возможныйиз Нет Линейныйфункциявключатьно не ограничиваясьПолином, показатель степени, логарифм, S формаиасимптотическая кривая。Вам необходимо указатьиз Знание,Это также удовлетворяет гипотезе нелинейной регрессии из функции. Хотя существует гибкость в определении различных ожиданий.,Но определение того, какой из них лучше для вас, может занять много усилий. Это часто требует дополнительных исследований, экспертизы предметной области и анализа методом проб и ошибок. также,Нелинейные уравнения могут быть менее интуитивными, чем линейные уравнения, при определении влияния каждой предикторной переменной на ответ.

Регрессия дерева решений。CART Деревья решений могут бытьиспользуется длявозвращатьсяпредсказывать。при продолжениипредсказыватьчас,Новые образцы начинаются с корневого узла,Каждому узлу назначается размещение левого дочернего узла или правого дочернего узла в соответствии с его характеристическим значением.,Пока приезжать не достигнет конечного узла. Среднее значение всех меток обучающей выборки в этом листовом узле является прогнозируемым значением новой выборки.

Машинная регрессия опорных векторов。Машины опорных векторов могут справиться сиспользуется длявозвращатьсяпредсказывать Задача,Главным образом благодаря своемуε-нечувствительные функции потерь Советы по функциям ядра。этот Две характеристики делают SVR способен справиться Линейныйи Нет Линейныйвопрос,и предотвратить переобучение,Следовательно, это действительная модель прогнозирования извозвращаться.

КНН-регрессия。KNN да Метод обучения на основе экземпляров, который также можно назвать ленивым обучением. Как это работает: когда необходимо спрогнозировать новую точку, KNN Найдет точку, ближайшую к этим новым данным, в наборе известных изданных. K точек, а затем спрогнозировать новую точку данных из атрибутов на основе этих соседних атрибутов. В задачах классификации КНН обычно выбирают Эти Соседсерединанаиболее распространенныйизкатегориякакновыйданныеточкаизкатегория。И ввозвращаться Задачасередина,KNN обычно вычисляет среднее значение или медиану этих соседей.,И воля это значение используется как новая точка данных из прогнозируемого значения.

Обычная регрессия нейронной сети。многослойный перцептрон MLP, Воля образец из карт матрицы признаков приезжает в пространство меток образца. Процесс разработки: после инициализации сети выполняется прямой расчет, обратное распространение и оптимизация (функция потерь обычно представляет собой среднеквадратическую ошибку). MSE), а затем выполнить итеративное обучение. Этот метод также широко используется для прогнозирования регрессии.

случайная лесная регрессия。случайный лесдаодин на основе Bagging Парадигма алгоритма ансамблевого обучения, фокус которого — Уменьшите дисперсию. Случайные данные: алгоритм случайного леса начинается с создания нескольких деревьев решений, каждое из которых обучается на случайном подмножестве набора данных. Этот процесс называется начальной выборкой. sampling）。Выбор функции：Построение дерева решенийизпроцесссередина,Случайный лес выбирает лучшие функции из случайного подмножества функций на каждом узле для сегментации. Этот метод Улучшенный Модельиз разнообразия,Это снижает риск переобучения. На возникающие вопросы,Конечный результат прогнозирования представляет собой среднее значение всех результатов прогнозирования дерева решений.

Дип Форест вернулся . Команда учителя Чжоу Чжихуа из Работа DeepForest,Это новый метод ансамблевого обучения, основанный на деревьях решений. Густой лес в основном состоит из двух частей: многогранного сканирования и каскадного леса. в,Сканирование с несколькими уровнями детализации позволяет получить несколько подмножеств функций с помощью технологии скользящего окна.,Для усиления дифференциации каскадного леса. Каскадный лес реализует обучение представлению путем каскадирования деревьев решений для формирования леса. «Глубокий лес» наследует механизм послойной обработки атрибутов образцов объектов глубокого обучения.,В то же время он преодолевает недостатки параметров глубокого обучения, такие как сильная зависимость, высокие затраты на обучение и применимость только к большим размерам.

Дополнительные деревья возвращаются（Extra treesдаExtremely randomized trees (аббревиатура). Это также метод ансамблевого обучения с использованием деревьев решений, который похож на случайные леса, но быстрее. Дополнительный trees Будет создано множество деревьев решений, но выборка каждого дерева производится случайным образом, и вы можете указать, следует ли выполнять выборку с заменой. Каждое дерево также случайным образом выбирает определенное количество функций из полного набора функций. Дополнительный trees Самое главноедасамый уникальныйизособенныйточкада Случайный выбор функцийизразделенное значение。Этот алгоритм не использует значение Джини или значение энтропии для расчета локального оптимального значения для разделения данных, а случайно выбирает значение разделения.。этот Сразу Сделайте дерево разнообразныминекорреляция,Он может эффективно подавлять переобучение.

Ада Бост возвращается。AdaBoost да Что-то вродесосредоточиться уменьшить предвзятость на основе Boosting Парадигма ансамблевого алгоритма обучения. Ада Бост возвращаетсяиз Основные шагивключать：（1）Инициализируйте обучающие образцыизмасса。за образецизисходныймасса Вседаравныйиз；（2）длякаждая итерация：Использовать текущийизобразецмассаобучать слабого ученика（Напримердерево решений）,Вычислите ошибку прогноза этого слабого ученика,Рассчитайте вес этого слабого ученика на основе ошибки прогнозирования.,Обновить вес выборки (3) Результаты прогнозирования всех слабых учащихся взвешиваются;,Получите окончательный результат прогноза приезжать.

Повышение градиента на основе гистограммы（HistGradientBoostingRegressor）。scikit-learn Улучшено на основе гистограммы повышения градиента, на больших наборах данных (n_samples >= 10 000), эта оценка лучше, чем GradientBoostingRegressor Гораздо быстрее. Этот оценщик изначально поддерживает пропущенные значения (NaN). Во время обучения производитель деревьев обучается в каждой точке разделения и на основе потенциальной выгоды решает, должна ли выборка пропущенного значения попадать в левый дочерний узел или правый дочерний узел. Во время прогнозирования выборкам с отсутствующими значениями из Воля присваиваются соответствующие левые или правые дочерние узлы. Если в процессе обучения для определенного признака не обнаружено пропущенных значений, то выборка Воля с пропущенными значениями сопоставляется с наибольшей выборкой из дочерних узлов. Этот алгоритм основан на LightGBM。

TabNet。TabNet Да Google Опубликовать в виде листовых (Tabular data) конструкция глубокой нейронной сети, которая реализована посредством аналогичной аддитивной модели. Механизм внимания к последовательности. по экземпляру из выбора функций,И реализовать самостоятельное обучение с помощью структуры кодировщика-декодера.,Может использоваться для последующих задач обучения, таких как предсказание появления и предсказание классификации.

Интерактивное внедрение сетевого контекста（Interaction Network Contextual Embedding,ИНЦ). INCE да А для листовыхизглубокого обучения Модель,использоватьграфическая нейронная сеть（GNNs）,Более конкретно,использоватьинтерактивная сетьконтекстуализировать Встроить。кодер Модельпервый Волякаждыйлистданныеустановить карту объектовприезжатьскрытый вектор или Встроитьсередина,Тогда декодер Модельполучать Эти Встроитьииспользуется для解决有监督学习Задача。кодер Модель Зависит от Columnar Встроитьи Contextual ВстроитьСостоит из двух частей；декодер Модель Зависит от Целевое решениевозвращаться Задача скорректированаизмногослойный перцептрон（MLP）композиция。

Local Cascade Ensemble：существовать Python серединаУлучшенный Bagging и Boosting изкомбинация。Инструментарий реализует встроенную каскадную интеграцию.（LCE）,этотда Что-то вроденовый颖измашинное метод обучения может еще больше улучшить нынешний самый передовой метод Random Forest и XGBoost Прогностическая производительность. ЛЦЭ Объединение их соответствующих преимуществ и применение дополнительного метода диверсификации для получения лучшего прогноза обобщения. Модель. ЛЦЭ и scikit-learn Совместимо, поэтому может scikit-learn pipeline iИнструмент выбора модели для взаимодействия.

Закрытый ансамбль аддитивного дерева（Gated Additive Tree Ensemble, GATE）。GATE да Новая, высокопроизводительная, параметрически-эффективная и высокоэффективная в вычислительном отношении архитектура глубокого обучения для листовых, т. е. закрытых ансамбль аддитивного дерева（GATE）。GATE Использовано вдохновение из GRU излитниковый механизмкаквстроенный Выбор функциимеханизмизособенный征выражатьучебный блок,А Воля интегрирована с набором дифференцируемых, нелинейных деревьев решений.,Перевзвешивание простым вниманием к себе,Чтобы добиться прогнозирования ожидаемого выходного значения.

Глубокое автоматическое обучение функциям изолированной адаптивной сети（Gated Adaptive Network for Deep Automated Learning of Features）да GATE из Упрощенная версия и лучше, чем GATE Более эффективный. ГЭНДАЛЬФ Воля GFLU как主要учебный блок,И в этот процесс были введены некоторые механизмы ускорения. Так как корректировок гиперпараметров очень мало,Сделайте его простым в использовании и настройке из Модели.

Уже существует стандартная основа для моделирования листовых данных из глубокого обучения Модельиз - pytorch_tabular：https://github.com/manujosephv/pytorch_tabular

PyTorch Tabular даодин, направленный наДелаем глубокое обучение простым в использовании и доступнымиз Библиотека。он построен на PyTorch и PyTorch Lightning На основе других мощных инструментов. Принципы проектирования библиотеки включают удобство, простоту использования, масштабируемость и простоту развертывания. Он предоставляет различные функции Модели, такие как сети прямой связи, нейронные сети, автоматическое интерактивное обучение функций и т. д. Установка и использование также очень просты, вы можете пройти pip Установите и обратитесь к документации по использованию. При использовании в научных публикациях PyTorch Tabular,Пожалуйста, процитируйтеСопутствующие документыипрограммное обеспечение。