Источник: Супернейрон HyperAI.
В этой статье около 2300 слов, рекомендуется прочитать ее за 5 минут. В этой статье вы познакомитесь с отслеживанием целей。

отслеживание целей (Object Tracking) да Важные вопросы в области машинного зрения,По количеству сопровождаемых целей,Можно разделить на одиночное отслеживание целей (Single Object Отслеживание,аббревиатура SOT) имногоотслеживание целей (Multi Object Отслеживание, аббревиатура MOT)。

многоотслеживание цели часто из-за отслеживания ID Объектов много, частые перекрытия и т. д., и цель легко потерять. С помощью трекеров DeepSORT с детектором YOLO v5, может создать высокопроизводительную многоканальную систему реального времени. целей Модель。

В этой статье будет рассмотрено единое отслеживание. целейимногоотслеживание цели будут представлены отдельно и подробно объяснены в конце статьи. YOLO v5+DeepSORT Процесс реализации и конкретный код.

одинотслеживание целей Подробное объяснение

Определение

одинотслеживание целей SOT Это означает, что цель указывается в первом кадре видео, положение цели определяется в последующих кадрах на основе контекстной информации, а модель отслеживания устанавливается для прогнозирования состояния движения цели.

Сценарии применения

SOT широко используется в таких областях, как интеллектуальное видеонаблюдение, автономное вождение, навигация роботов и взаимодействие человека с компьютером.

Использование SOT для прогнозирования футбольных траекторий во время футбольных матчей

Трудности исследования 

Три основные трудности: изменение фона цели, изменение самого объекта и изменение интенсивности света.

Основные алгоритмы (основанные на глубоком обучении)

решать SOT Есть два основных пути решения проблемы：Дискриминативное отслеживание и генеративное отслеживание,Благодаря успешному применению глубокого обучения в задачах, связанных с машинным зрением, таких как классификация изображений и обнаружение целей, используйте,Глубокое обучение также начало широко использоваться в алгоритмах отслеживания целей.

В этой статье в основном представлен алгоритм SOT, основанный на глубоком обучении.

Репрезентативность каждого узла времени. Алгоритм отслеживания целей.

Методы глубокого обучения, представленные AlexNet после 2012 года.

было внедрено в область отслеживания целей

Ключевой алгоритм: SiamFC

и Традицияотслеживание Существующий метод линейного обучения в целях использовать другой, SiamFC Сосредоточьтесь на изучении сильных внедрений на офлайн-этапе.

Он сочетает в себе базовый алгоритм отслеживания с новой полностью сверточной сиамской сетью, комплексно обученной на наборе данных ILSVRC15 для обнаружения объектов на видео.

Принципиальная схема полностью сверточной архитектуры двойной сети

Эксперименты доказали, что во время тестирования и обучения модели сиамская полностью сверточная глубокая сеть более эффективно использует существующие данные.

SiamFC Пионер в применении двойной сетевой структуры для отслеживания. Пионер в области целей,Значительно улучшена скорость отслеживания для трекеров методов глубокого обучения.,Простая структура и отличная производительность.

Сопутствующие документы:

https://arxiv.org/pdf/1606.09549.pdf

Связанные производные алгоритмы

1、StructSiam

Предлагается метод обучения локальной структуры, учитывающий локальную структуру и структурные связи цели. С этой целью автор разработал модуль обнаружения локальных образов, позволяющий автоматически определять зону дискриминации целевого объекта.

Модель может быть обучена сквозным способом.

Сопутствующие документы:

https://openaccess.thecvf.com/content_ECCV_2018/papers/Yunhua_Zhang_Structured_Siamese_Network_ECCV_2018_paper.pdf

2、SiamFC-tri

Автор предлагает новый triplet loss,использовать для извлечения объектов отслеживания expressive deep особенность. Без увеличения входных данных этот метод может использовать больше элементов для обучения и достигать более мощных функций за счет объединения исходных образцов.

Сопутствующие документы:

https://openaccess.thecvf.com/content_ECCV_2018/papers/Xingping_Dong_Triplet_Loss_with_ECCV_2018_paper.pdf

3、DSiam

Автор предложил динамическую двойную сеть,Учитесь посредством быстрого перехода Модель,Способность эффективно наблюдать за линиями обучения целевые изменения внешнего вида и подавление фона предыдущих кадров. В то же время автор интегрирует и многослойные элементы предложенного,Многоуровневые глубокие функции используются для адаптивной интеграции выходных данных сети.

DSiam позволяет использовать любые возможные общие или специально обученные функции, такие как SiamFC и VGG, а динамическую сиамскую сеть можно интегрировать и обучать непосредственно на помеченных видеопоследовательностях, в полной мере используя богатую пространственно-временную информацию о движущихся объектах.

Сопутствующие документы:

https://openaccess.thecvf.com/content_ICCV_2017/papers/Guo_Learning_Dynamic_Siamese_ICCV_2017_paper.pdf

многоотслеживание целей Подробное объяснение

Определение

многоотслеживание цели (MOT) да относятся к назначению объекта каждому кадру в видео. ID и добавьте каждый ID Нарисуйте поведенческую траекторию.

существоватьвид на улицувидео中进行многоотслеживание целей

Сценарии применения

MOT широко используется в таких областях, как интеллектуальная безопасность, автономное вождение и медицинские сценарии.

Трудности исследования 

Самой большой проблемой, с которой в настоящее время сталкивается MOT, является окклюзия, то есть перекрытие между целями или перекрытие цели окружающей средой.

Основной алгоритм

1、SORT

Simple Online and Realtime Tracking (SORT) да Многофункциональная платформа, ориентированная на простой и эффективный алгоритм целейметод,Это очень практично,Доступно для существования линии и ответа в режиме реального времени.,Эффективно относиться к целям.

SORT представляет собой простую комбинацию распространенных методов (таких как фильтрация Калмана, венгерский алгоритм), а ее точность сравнима с точностью самых совершенных онлайн-трекеров того времени.

Сравнение производительности SORT и других методов

Горизонтальная ось представляет точность, а вертикальная ось — скорость.

Чем выше и правее модель, тем лучше будут общие характеристики.

Благодаря простоте метода отслеживания трекер обновлялся с частотой 260 Гц, что было в 20 раз быстрее, чем у самых современных трекеров того времени.

Сопутствующие документы:

https://arxiv.org/pdf/1602.00763.pdf

2、DeepSORT

DeepSORT да SORT Обновленная версия, объединяющая информацию о внешнем виде. (appearance information) тем самым улучшая SORT производительность,Это позволяет нам нормально отслеживать цель и эффективно снижать ID Сколько раз произошла конверсия.

Производительность DeepSORT в наборе данных MOT Challenge

Окклюзия очень распространена в реальных уличных сценах.

Автор вкладывает большую часть вычислительной сложности в автономный этап предварительного обучения. На этом этапе для изучения метрики глубокой ассоциации используется крупномасштабный набор данных повторной идентификации пешеходов.

На этапе онлайн-приложения запросы к ближайшему соседу в пространстве визуального представления используются для установления связей между измерениями и отслеживанием.

Эксперименты показывают, что DeepSORT сокращает количество преобразований идентификаторов на 45 % и обеспечивает отличную общую производительность при высокой частоте кадров.

Также DeepSORT да Очень простой трекер, который можно подключить к любому детектору.

Сопутствующие документы:

https://arxiv.org/pdf/1703.07402.pdf

3、Towards Real-Time MOT

Автор предлагает MOT система,Это позволяет изучить обнаружение объектов и встраивание внешнего вида в общую модель.То естьда Поговорим о внедрении внешнего вида Модельвключить single-shot детектор, позволяющий модели одновременно выводить обнаружения и соответствующие внедрения.

Авторы также предлагают простой и быстрый метод ассоциации, который можно использовать с совместной моделью.

На пути к моделям MOT и SDE в реальном времени

Сравнение двухэтапной модели и модели JDE

Оба компонента значительно менее затратны в вычислительном отношении, чем предыдущие системы MOT, обеспечивая чистую и быструю основу для последующей работы над проектированием алгоритма MOT в реальном времени.

Это первый в отрасли процесс, работающий почти в реальном времени. MOT система,он работает быстрее、Более высокая точность、Код также был открыт в открытом доступе.,Очень достоин ссылки.

Сопутствующие документы:

https://arxiv.org/pdf/1909.12605v1.pdf

использоватьYOLOv5иDeepSORT进行многоотслеживание целей

Это руководство находится по адресу OpenBayes.com бегать.OpenBayes да Готовая облачная вычислительная платформа машинного обучения, которая обеспечивает PyTorch、TensorFlow и другие основные структуры, а также vGPU、T4、V100 Существует множество типов решений по вычислительной мощности, модель ценообразования является гибкой и простой, а плата зависит от продолжительности использования.

В этом руководстве используется виртуальный графический процессор для работы в среде PyTorch 1.8.1.

Доступ к полному руководству:

https://openbayes.com/console/open-tutorials/containers/BvxvYMbdefV/overview

Этот проект состоит из двух частей,Прежде всего YOLO v5 Детектор для обнаружения серии объектов и последующего использования; DeepSORT Следовать за.

Первым шагом является подготовка среды кода.

%cd Yolov5_DeepSort_Pytorch%pip install -qr requirements.txt  # Установить зависимости
import torchfrom IPython.display import Image, clear_output  # Показать результаты
clear_output()print(f"Setup complete. Using torch {torch.__version__} ({torch.cuda.get_device_properties(0).name if torch.cuda.is_available() else 'CPU'})")

Шаг 2. Предварительная обработка видео для тестирования

!y | ffmpeg -ss 00:00:00 -i test.avi -t 00:00:03 -c copy out.avi -y

Шаг 3. Вывод модели

!python track.py --yolo_weights /openbayes/input/input1/crowdhuman_yolov5m.pt --source out.avi --save-vid

Шаг 4. Преобразование формата.

!ffmpeg -i /openbayes/home/Yolov5_DeepSort_Pytorch/inference/output/out.avi output.mp4 -y

Шаг 5. Отображение результатов

from IPython.display import HTMLfrom base64 import b64encodemp4 = open('output.mp4','rb').read()data_url = "data:video/mp4;base64," + b64encode(mp4).decode()

HTML("""<video controls>      <source src="%s" type="video/mp4"></video>""" % data_url)

Вывод нескольких результатов отслеживания целей

Полную версию блокнота можно найти на странице:

https://openbayes.com/console/open-tutorials/containers/BvxvYMbdefV/overview

Монтажер: Ю Тэнкай

Корректура: Ван Синь