Contrastive Loss（Потеря контраста) — разновидность функции потерь, обычно используемая для тренировки контрастного обучения (Contrastive Модели обучения, предназначенные для изучения сходств и различий в данных. В этой статье записан соответствующий контент.

Введение

Contrastive Loss（Потеря контраста) — разновидность функции потерь, обычно используемая для тренировки контрастного обучения (Contrastive Модели обучения, предназначенные для изучения сходств и различий в данных. Основная цель контрастного обучения — сопоставить похожие пары образцов с близкими местоположениями и несходные пары образцов с удаленными местами. Контрастный Loss помогите достичь этой цели.

Контрастную потерю можно рассматривать как тип потери рейтинга. Когда мы обычно выполняем задачи ML, наиболее часто используемыми являются потеря перекрестной энтропии или потеря MSE. Должна быть четкая цель, например, определенное значение или определенная классификационная категория. Но потеря рейтинга на самом деле является своего рода обучением показателям. Они изучают относительные расстояния и корреляции, но не очень заботятся о конкретных значениях.

Потеря контраста

​

​

Потеря контраста чаще всего используется в сети близнецов (сиамские сеть), эта функция потерь может эффективно обрабатывать парную нейронную сеть Связь между данными (формально это не обязательно должно быть две Сети, это может быть и одна Сеть и два Выхода. Можно считать, что Сеть1 и 2 на приведенной схеме одинаковые или не одинаковые). контрастный Выражение потерь следующее:

в

Эта функция потерь была первоначально получена из «Уменьшения размерности» Янна Лекуна путем изучения инвариантного отображения. Она в основном используется при уменьшении размерности, то есть после уменьшения размерности (извлечения признаков) исходно похожих выборок в пространстве признаков два образца по-прежнему остаются похожими. ; хотя исходно несходные выборки, после уменьшения размерности эти две выборки все еще различаются в пространстве признаков.

Наблюдая за выражением контрастной потери выше, мы можем обнаружить, что эта функция потерь может хорошо выражать степень совпадения парных выборок, а также может быть хорошо использована для обучения моделей для извлечения признаков.

• когда y=1 (т.е. когда выборки похожи), остается только функция потерь ∑ y d^ 2 ,То есть исходный аналогичный образец,Если евклидово расстояние в пространстве признаков велико,Это значит, что когда до из Модель это не хорошо,тем самым увеличивая потери.
• когда y=0 (то есть выборки не похожи), функция потерь равна ∑ ( 1 − y )\max ( m a r g i n − d , 0 ) ^2 ,То есть, когда образцы не похожи,Его характерное пространство меньше евклидова расстояния.,Сумма потерь станет больше,Это также точно символизирует наши требования.

в margin является суперпараметром, который эквивалентен заданию loss 定了一个上界（margin квадрат), если d Больше или равно margin ,Тогда это значит, что уже очень хорошо.,loss=0 。

На рисунке ниже показана связь между значением потерь и евклидовым расстоянием выборочного объекта.,Красная пунктирная линия указывает на то, что из — величина потерь аналогичных образцов.,Синяя сплошная линия представляет значение потерь разнородных образцов.

​

​

Contrastive Loss Цель состоит в том, чтобы свести к минимуму расстояние или сходство между парами положительных образцов, гарантируя при этом, что расстояние или сходство между парами отрицательных образцов превышает определенный порог. margin . Таким образом, модель учится лучше различать похожие и непохожие образцы в пространстве внедрения.

Ссылки

• https://blog.csdn.net/xbinworld/article/details/104723588

Ссылка на статью: https://cloud.tencent.com/developer/article/2372744