Ускорение легкого моделирования моделей является важным направлением исследований в области глубокого обучения. Оно направлено на уменьшение размера и вычислительной сложности модели, тем самым повышая эффективность работы на устройствах с ограниченными ресурсами. Количество параметров модели играет решающую роль в облегчении модели. роль ускорения.

Прежде всего, количество параметров модели напрямую определяет сложность и требования к объему памяти модели. Благодаря постоянному развитию технологий глубокого обучения количество параметров модели резко возросло, что привело к увеличению размера модели и возникновению огромных проблем при ее хранении и передаче. Уменьшив количество параметров модели, можно эффективно уменьшить размер модели, тем самым уменьшая требования к пространству для хранения и упрощая развертывание модели на встроенных и мобильных устройствах.

Во-вторых, количество параметров модели оказывает существенное влияние на требования к вычислительным ресурсам. В процессе обучения модели и вывода размер параметров напрямую определяет объем необходимых вычислений. Уменьшение количества параметров модели может снизить потребление вычислительных ресурсов и повысить эффективность вычислений, позволяя модели быстрее выполнять задачи обучения и вывода на устройствах с ограниченными ресурсами.

Кроме того, количество параметров модели также влияет на способность к обобщению и надежность модели. Слишком большое количество параметров может привести к переобучению модели и снижению ее способности к обобщению, тогда как уменьшение количества параметров может помочь предотвратить переобучение и повысить надежность модели. Следовательно, в процессе облегченного ускорения модели за счет разумного уменьшения количества параметров модель может быть облегченной, сохраняя при этом ее производительность.

Чтобы уменьшить количество параметров модели, исследователи применили различные методы, такие как обрезка, количественный анализ, дистилляция и т. д. Эти методы позволяют эффективно удалить избыточные параметры в модели и снизить сложность модели и требования к объему памяти. В процессе обрезки исследователи будут выявлять и удалять избыточные связи и параметры с малыми весами в модели. В процессе квантования параметры высокой точности в модели будут преобразованы в параметры низкой точности, тем самым уменьшая количество параметров и уменьшая их; вычислительная сложность в процессе дистилляции знания большой модели будут переданы маленькой модели, так что маленькая модель сможет уменьшить количество параметров, сохранив при этом определенную производительность.

В этой статье количество параметров будет минимизировано с другой точки зрения, а именно с точки зрения структурного проектирования модели. На примере YOLOV8 благодаря облегченному дизайну структуры модели количество параметров может быть чрезвычайно сжато, обеспечивая при этом стабильную производительность модели. .

1. Дизайнерские идеи

Судя по структуре модели, V8 в основном состоит из двух больших модулей, а именно магистрального и головного модулей. Поэтому мы начнем с этих двух модулей, чтобы уменьшить количество параметров.

2. Облегченные параметры модуля запекания.

1.CSPPC заменяет блок свертки c2f.

Адрес статьи: https://arxiv.org/pdf/2303.03667.pdf.

Как показано на рисунке выше, модуль PConv используется для значительного сокращения количества параметров.

в

Основной принцип PConv (частичная свертка) заключается в использовании избыточности карт объектов, тем самым сокращая вычисления и доступ к памяти. В частности, PConv применяет традиционную свертку только к части входных каналов для извлечения пространственных признаков, оставляя остальные каналы неизменными. Плюсами данной конструкции являются:

1. Уменьшите вычислительную сложность: PConv уменьшает количество операций с плавающей запятой (FLOP), выполняя вычисления на меньшем количестве каналов. Например, если частичная скорость установлена ​​на 1/4, объем вычислений PConv составит всего 1/16 от суммы обычной свертки.

2. Уменьшите доступ к памяти. По сравнению с обычной сверткой, PConv уменьшает объем доступа к памяти, что особенно полезно для устройств с ограниченным вводом и выводом (/0).

3. Сохранение потока информации об объектах: хотя вычисляется только часть входных каналов, сохраненные каналы по-прежнему полезны в последующих слоях точечной свертки (PWConv), позволяя информации об объектах передаваться по всем каналам.

2.Down_wt заменяет модуль понижающей дискретизации магистральной сети.

На изображении выше показан ADown, который предлагается в последней структуре модели yolov9, выпущенной в 202402021 году.

Параметры легкого веса головки обнаружения

Адрес статьи: https://arxiv.org/pdf/2306.15988.pdf.

Основные механизмы улучшения:

1. Объединение функций нижнего уровня: AFPN представляет постепенное объединение функций нижнего уровня, сначала объединяя функции нижнего уровня, затем функции глубокого уровня и, наконец, интегрируя функции верхнего уровня. Этот метод иерархического объединения помогает лучше использовать различные уровни семантической информации и повысить производительность обнаружения.

2. Адаптивное пространственное слияние; механизм адаптивного пространственного слияния (ASFF) введен для введения изменяющихся пространственных весов в процесс многоуровневого слияния признаков для усиления важности ключевых уровней при одновременном подавлении влияния противоречивой информации от разных объектов. Это помогает повысить эффективность обнаружения, особенно при работе с противоречивой информацией.

3. Выравнивание функций нижнего уровня: AFPN принимает идею асимптотического слияния, благодаря которой признаки на разных уровнях постепенно приближаются друг к другу в процессе слияния, уменьшая семантический разрыв между ними. через основные функции

Постепенная интеграция улучшает эффект объединения функций, позволяя модели лучше понимать и использовать различные уровни информации. Личное резюме: Вдохновение AFPN похоже на строительные блоки: оно не объединяет все блоки одновременно, а постепенно интегрирует блоки на разных уровнях. Таким образом, мы сможем лучше понять и использовать строительные блоки на каждом уровне для создания более надежной системы обнаружения объектов. В то же время вводится интеллектуальный механизм, который может регулировать внимание в зависимости от различных ситуаций и лучше обрабатывать противоречивую информацию.

Сравнение облегченных параметров модельных конструкций

Оригинальные параметры yolov8: 3011043

Параметры после облегчения: 1436977

За счет замены вышеперечисленных модулей параметры модели уменьшаются до менее чем половины исходных, а точность остается неизменной. Это то, чего невозможно добиться путем обрезки и дистилляции.