бумагатема：Generalizing from a Few Examples: A Survey on Few-shot Learning（ACM Computing Обзоры, Китайская академия наук 1 округ)

суммируя,небольшое выборочное обучениеэто исследование того, как использовать небольшое количество образцовданные Тренируйтесь с отличными показателями Модельсборник методологий,это научное направление,Охватывает различные методы обучения.

Вставьте сюда описание изображения

Темой данного обзора является “Обобщая на нескольких примерах: небольшой выборочный обзор обучения”。он исследуетнебольшое выборочное обучение（Few-shot Область обучения (FSL) направлена ​​на то, чтобы понять, как обеспечить быстрое обобщение моделей машинного обучения для новых задач, когда набор данных небольшой.

Основной аргумент:

• FSL перспективное машинное парадигма обучения, которая специально обрабатывает ситуацию, когда в обучающем наборе имеется лишь небольшое количество помеченных образцов.
• Основная проблема FSL — ненадежность эмпирического минимизатора риска, что затрудняет обучение в сценариях с небольшой выборкой.。
• Используя предварительные знания, FSL Этот метод может эффективно решить вышеупомянутые основные проблемы в трех измерениях: данные, модель и алгоритм.

Использованные методы исследования:

• бумага первая дала это понять FSL Формальное определение и различие в деталях FSL Похожие на другихмашинное обучение Различия между вопросами.
• Посредством декомпозиции ошибок анализировать автор раскрывает основную проблему контролируемого обучения на небольшой выборке.
• существующим FSL В ходе работы был проведен всесторонний обзор литературы, основанный на том, как использовать предшествующие знания для решения основных проблем с трех точек зрения: данных, модели и алгоритма. FSL Методы классифицируются.

Обучение в несколько этапов отличается от других связанных проблем машинного обучения путем сравнения их определений, целей и задач. Вот некоторые ключевые моменты, упомянутые в статье, которые отличают FSL от других проблем обучения:

1. определение：FSL это своего рода машинное задача обучения, где обучающая совокупность (Е) целевой задачи (Т) содержит лишь небольшое количество контролируемых выборок информации. Это отличается от типичного машинного Обучение отличается от других приложений, которые обычно требуют больших выборок контрольной информации.
2. Минимизируйте риски：существовать FSL , из-за небольшого количества обучающих выборок, Минимизируйте Машина рисков (т. е. оптимизированная модель на основе обучающих данных) может быть ненадежной, в отличие от обучения на большом наборе данных.
3. Роль предварительных знаний：FSL уделяет особое внимание использованию предшествующих знаний для решения основных проблем.,То есть, как эффективно учиться и обобщать на небольшом количестве выборок. Предварительные знания могут поступать из многих источников.,Включая, помимо прочего, многозадачное обучение, Встроенное обучение、Внешняя память и генеративное моделирование.
4. Сравнение со связанными задачами обучения：
   • слабо контролируемое обучение：Обработка информации, содержащей слабый контроль（Если неполное、Неточные или шумные этикетки.）опыт Э, в то время как FSL Сосредоточьтесь на использовании небольших выборок надзорной информации.
   • Несбалансированное обучение：Работа с опытом E средняя этикетка y проблема неравномерного распределения и FSL сосредоточиться – это то, как эффективно изучать классы меньшинств, даже если количество образцов из других классов невелико.
   • трансферное обучение：Включает в себя передачу знаний, полученных из одной области или задачи в другую.,и FSL Он обучается лишь на небольшом количестве образцов для выполнения целевой задачи.
   • метаобучение（Meta-learning）：научиться учиться,Повышайте производительность при выполнении новых задач посредством перекрестного обучения.,FSL Это можно рассматривать как сценарий применения метаобучения, особенно при работе с небольшим количеством образцов.
5. Постановка вопроса：FSL Постановка вопрос обычно включает в себя N-way K-shot классификация, то есть каждая категория имеет K пробы, всего N категория. Эта настройка используется и в других типах машинного оборудования. обучение не распространено в вопросах.
6. испытание：FSL Проблема, с которой сталкивается испытание, состоит в том, чтобы изучить Модель с сильной способностью к обобщению на небольшом количестве образцов, что является традиционным машинным методом. обучение не является основным фактором в этой проблеме.

Благодаря приведенному выше сравнению статья проясняет уникальность FSL и его позиционирование в области машинного обучения. Ключом к FSL является то, как использовать небольшое количество образцов и богатые предварительные знания для повышения эффективности обучения и способности к обобщению. В документе также иллюстрируются основные проблемы проблемы обучения с учителем на небольшой выборке посредством анализа декомпозиции ошибок, который основан на теоретической основе контролируемого машинного обучения. В частности, в документе предпринимаются следующие шаги для выявления и объяснения ключевых проблем FSL:

1. Риск ожиданий и риск опыта：первый,бумагаожидаемый риск（expected риск) и эмпирический риск (эмпирический риск). Ожидаемый риск — это средняя потеря Модели по всем возможным входным данным, тогда как эмпирический риск — это средняя потеря Модели по обучающему набору. В машинном обучениесередина,Поскольку истинное распределение данных неизвестно,Эмпирический риск часто используется в качестве цели оптимизации.。
2. Минимизируйте риск：существоватьданные В достаточном количестве,может пройтиМинимизируйте риски（Empirical Risk Минимизация, ERM) для поиска приблизительно оптимальной Модели. Однако в FSL В этой задаче из-за ограниченного количества обучающих выборок эмпирический риск может не отражать ожидаемый риск.
3. Декомпозиция ошибок：бумагаиспользовать Декомпозиция ошибок（error декомпозиция) для дальнейшего анализа проблемы. Суммарную ошибку можно разложить на ошибку аппроксимации (аппроксимация ошибка) и ошибка оценки (оценка ошибка) две части. Ошибка аппроксимации измеряет пространство гипотез (гипотеза пространство), в то время как ошибка оценки измеряет ошибку, вызванную использованием эмпирического риска вместо ожидаемого риска.
4. Суть проблемы малой выборки：существовать FSL Из-за небольшого количества обучающих выборок, даже если ошибка аппроксимации Модели невелика, ошибка оценки может быть большой. Это означает, что даже если Модель хорошо работает на обучающем наборе, она может работать плохо на невидимом тестовом наборе. Это явление называется переоснащением. Генератор рисков (ERM) становится ненадежным при небольших размерах выборки.
5. Указание на основные проблемы：поэтому,FSL Основная проблема в том, что Минимизируйте Конвертер рисков ненадежен при небольших размерах выборки. Это связано с тем, что из-за ограничений небольших выборок Модель легко становится чрезмерно чувствительной к шуму и особым случаям в обучающих данных, что приводит к переобучению.

через вышеизложенноеанализировать,бумагапрозрачныйнебольшое выборочное обучениесуть проблемыиспытание,И обеспечивает теоретическую основу того, как использовать предварительные знания для решения этой проблемы. Конкретно,Методы FSL могут решить эту основную проблему за счет увеличения количества обучающих выборок (перспектива данных), уменьшения сложности пространства гипотез (перспектива модели) или улучшения алгоритма поиска оптимальных гипотез (перспектива алгоритма).。Результаты суммированы как：

• Перспектива данных: используйте предварительные знания для улучшения данных обучения и получения более надежных данных. Минимизируйте рискиустройство。
• Перспектива модели: используйте предварительные знания, чтобы уменьшить размер пространства гипотез, чтобы можно было изучить надежную модель с помощью небольшого количества образцов.
• алгоритмPerspective: Использование предшествующих знаний для изменения стратегии поиска лучшей гипотезы.,Например, предоставление хороших параметров инициализации или непосредственное изучение оптимизатора.

Окончательный вердикт: ФСЛ как ключевая технология,Помогаем преодолеть разрыв между ИИ и человеческим обучением。Интегрируя предыдущие знания,это делает машинное обучение Модель может учиться и обобщать новые задачи при ограниченной информации для контроля. документы также обсуждаются FSL Потенциал в будущих направлениях исследований, включая постановку проблем, технологию, применение и теорию.

Ограничения исследования:

• упомянуто в документе FSL Большинство методов опираются на искусственно созданные пространства гипотез и стратегии поиска, что в определенной степени ограничивает их универсальность и гибкость.
• В настоящее время большинство методов FSL предполагают, что задачи возникают из одного распределения задач, но в реальных сценариях корреляция между задачами может быть неясной или трудно прогнозируемой.
• оДинамическое распределение задач и мультимодальная информациясуществовать FSL Текущие исследования потенциальных применений все еще недостаточны и требуют дальнейших исследований и исследований.

Предложения по направлениям дальнейших исследований:

• Исследуйте, как можно использовать мультимодальную информацию при разработке методов FSL, тем самым предоставляя предварительные знания с дополнительными перспективами.
• Обсуждаем автоматизацию машинное метод обучения (AutoML) применяется к FSL , стремясь достичь более экономичного, эффективного и действенного дизайна алгоритма.
• анализировать Сходимость алгоритма FSL при динамическом распределении задач,и изучить, какЭффективно избегайте катастрофического забывания。
• Теоретически исследуйте выборочную сложность FSL, а также глубоко исследуйте потенциальные связи между FSL и адаптацией предметной области.

ссылкабумага：Wang, Y., Yao, Q., Kwok, J. T., & Ni, L. M. (2020). Generalizing from a few examples: A survey on few-shot learning. ACM computing surveys (csur), 53(3), 1-34.