Перепечатано из: Научно-исследовательский институт сельскохозяйственных информационных технологий.

Редактор: Восточное побережье, потому что @ немного искусственного интеллекта, немного

Адрес статьи: https://onlinelibrary.wiley.com/doi/epdf/10.1002/rob.22238.

Предыстория и значение исследования

Возросший спрос на производство продуктов питания привел к увеличению рабочей силы, необходимой для выполнения сельскохозяйственных задач. В этом контексте сельскохозяйственные роботы играют ключевую роль в удовлетворении растущего спроса на рабочую силу. Однако неопределенность в отношении эффективности сельскохозяйственных технологий стала серьезной проблемой для тех, кто внедряет новые технологии.

При выращивании сельскохозяйственных культур судоходство сталкивается со многими неопределенностями, такими как плотность сорняков, различные уровни освещенности, стадии роста и неоднородность рядов культур. Эту неопределенность можно в некоторой степени смягчить за счет использования точных глобальных навигационных спутниковых систем (ГНСС) для облегчения навигации. Однако точные системы GNSS стоят дорого и не всегда охватывают различные условия, особенно в холмистой местности. Поэтому крайне важно улучшить алгоритмы компьютерного зрения для упрощения существующих сельскохозяйственных систем.

Датчики компьютерного зрения часто более доступны по цене, чем кинематические системы глобального позиционирования в реальном времени (RTK-GPS) и другое дорогостоящее навигационное оборудование для сельскохозяйственных роботов. Однако необходимо преодолеть технические барьеры, связанные со сложными полевыми условиями и неопределенностью, связанной с использованием компьютерного зрения в сельскохозяйственных условиях, чтобы в полной мере использовать преимущества этого недорогого оборудования для сельскохозяйственных роботов.

Экспериментальные аспекты и методы

Роботы часто сталкиваются с неровной местностью при перемещении по сельскохозяйственным угодьям. В реальной среде эта неровная местность может привести к сносу робота и изменению курса. Оценка эффективности алгоритмов обнаружения рядов культур при навигации по рядам культур выполняется в контролируемой среде моделирования, чтобы избежать внешних возмущений, таких как неровности местности.

Основные результаты этого исследования кратко изложены ниже:

1) Уникальный набор данных изображений рядов посевов сахарной свеклы, собранных в течение нескольких сельскохозяйственных сезонов, представляющих различные стадии роста, уровни освещенности, различную плотность сорняков, изогнутые ряды посевов и разрывы.

2) Новый алгоритм выбора рядов культур, который использует маски сегментации рядов культур для точного прогнозирования центральных рядов культур в любых полевых условиях, включая стадию роста, плотность сорняков или неоднородность, без необходимости настройки определенных условий.

3) Оцените эффективность обнаружения рядов культур в различных полевых условиях, используя комплексную метрику производительности, которая учитывает ошибки угла и положения обнаруженных рядов культур.

4) Протестируйте алгоритм навигации по рядам культур на основе визуального сервопривода в реалистичном моделировании, чтобы оценить эффективность нашего метода с визуальным сервоприводом.

В ходе этого исследования был создан набор данных о рядах посевов на поле сахарной свеклы на основе изображений, снятых фронтальной камерой робота Husky. Набор данных содержит изображения, представляющие 11 изменений полей и 43 возможные комбинации изменений полей. Набор данных, представленный в этой статье, представляет собой набор данных Lincoln для непрерывного обнаружения рядов культур (CRDLD).

Используемые фронтальные камеры состояли из: камеры Intel Realsense D435i RGB-D и камеры слежения T265 с углом наклона -25° для сбора изображений переднего вида и визуальной одометрии рядов сельскохозяйственных культур. Угол поля зрения кадра глубины составляет 87° × 58° (горизонтальный × вертикальный), а угол поля зрения кадра RGB — 69° × 42° (горизонтальный × вертикальный). Две дополнительные камеры D435i RGB-D были установлены по обе стороны от робота, направленные на соседние ряды культур, как показано ниже. На роботе установлен EMLID Reach RS-Plus RTK-GPS для коррекции передачи сети RTCM по интернет-протоколу. Средняя точность показаний GNSS составляет ±4 см. Робот садится верхом и перемещается вдоль рядов посевов. Люди посылают команды скорости через контроллер Bluetooth, чтобы робот двигался по прямой.

Рисунок 1 Робот Хаски с камерой RealSense D435i (вверху) и Т265 (внизу) на полях сахарной свеклы

Таблица 1. Обрезанные изображения строк по 11 основным категориям

Полученный набор данных содержит изображения обрезанных рядов по 11 основным категориям, перечисленным выше, которые учитывают различные вариации поля, включая тень, стадию роста, плотность сорняков и уровни освещенности. Из 66 возможных комбинаций этих 11 категорий данных получаются 43 категории данных, как показано в таблице ниже.

Таблица 2. 43 категории данных и количество включенных изображений.

Рисунок 2 11 образцы категорий данных。В каждом образце будут наблюдаться изменения доминирующего поля, соответствующие категории данных.。（a）горизонтальная тень,(б) Передняя тень,(в) Второстепенные культуры,(г) Большие урожаи,(д) Редкие сорняки,(f) Плотные сорняки,(ж) Солнечный день,(з) облачно,(i) Прерывистость,(j) Наклон/кривая,(k) Следы шин.

Рисунок 3. Некоторые изображения набора данных из 43 категорий.

Робот в целом содержит канал обнаружения ряда культур, который прогнозирует центральный ряд культур, за которым будет следовать робот, и визуальный сервоконтроллер, который генерирует команды скорости, по которым робот должен следовать. В этом исследовании предлагается метод семантической сегментации для обнаружения рядов культур на основе U-Net. Метки создаются путем представления рядов культур как отдельных объектов, а не отдельных растений, как показано на изображении ниже. Такое представление поможет U-Net спрогнозировать весь ряд культур, несмотря на наличие разрывов. Затем маски сегментации из U-Net используются для определения центральных рядов культур, за которыми будет следовать робот. Визуальный сервоконтроллер использует обнаруженный угол и начальную точку ряда культур, чтобы привести робота в желаемое положение. Общая архитектура визуального сервоконтроллера, предложенного в этой статье, показана на рисунке ниже.

Рисунок 4 Пример изображения (слева) и соответствующая маска метки основной истины (справа). В основной истинной маске каждая обрезанная строка помечается одинаковой шириной 6 Пиксельные белые линии.

Рисунок 5 Используйте U-Net Архитектура навигации по строкам CNN используется для обнаружения маски строк посевов. Ю-Нет Маска обрезки, сгенерированная CNN, используется методом треугольного сканирования для прогнозирования центральной линии обрезки ( Δ θ картина , ошибка угла ряда обрезки соответствует вертикальной оси; Δ Ошибка положения центральной линии обрезки L_{x2} относительно средней точки изображения).

Модель U-Net обучается с использованием функции потерь двоичной перекрестной энтропии (BCE) и оптимизатора Адама. Модель сначала обучалась с использованием только изображений RGB, а затем снова с использованием изображений RGB-D, чтобы наблюдать вклад данных о глубине в обнаружение рядов культур. Однако добавление информации о глубине не объясняет значительного улучшения прогнозов. Поэтому была использована модель, обученная с использованием изображений RGB. Модель учится прогнозировать урожай в течение пяти эпох обучения. Однако прогноз может обнаружить только область изображения, где находится кадр. Следовательно, культуры, расположенные не близко друг к другу, не признаются полными линиями культур. Через 10 циклов модель стала лучше обнаруживать линии урожая, хотя она не могла обнаружить линию, когда в рядах культур были большие промежутки. Модель по-прежнему не смогла обнаружить разрывы в рядах посевов за 20 периодов. Но проекции линии стали уже и острее. Примерно за 40 эпох модель смогла обнаружить и заполнить пробелы в рядах посевов, тем самым предсказав полные ряды посевов.

Рисунок 6 5、10、20 и 40 Прогнозы маски строк обрезки для периодов (слева направо)

TSM — это этап постобработки прогнозов U-Net. Этот метод используется для определения параметров линии центра обрезки, по которой должен следовать робот. Камера Realsense, установленная на роботе Husky, снимает изображения параллельных рядов сельскохозяйственных культур.,Кажется, что параллельные ряды культур сходятся у горизонта поля. Использование искажения перспективы параллельных рядов культур, вызванного расположением камеры.,Центральные ряды культур могут быть точно обнаружены。гипотезаLДве конечные точки расположены у верхнего края изображения.инижний край。треугольная область интереса(ROI)определяется тремя точками：точка привязки(A)、отправная точка(B)иостановка(C),Как показано ниже。\Delta ROI определяется как,Он содержит область изображения, которая обычно находится в центральной строке обрезки.。наблюдатьLсамая низкая точкаL_{x2} После появления во всем наборе данных точка B и точка C устанавливаются на 190 и 350 (для 512 x 512 изображение). В идеале,\Delta ROI Должен содержать пиксели, принадлежащие центральной строке обрезки, но может также содержать области пикселей, принадлежащие соседним строкам обрезки. Алгоритм разбит на два этапа определения прямой. Первым шагом является определение опорной точки, которая является верхней конечной точкой строки обрезки. Второй шаг — определить нижний конец ряда обрезки. Общий процесс показан в таблице ниже.

Рисунок 7 Сканирование опорной точки и интересующей области линейного сканирования. Якорное сканирование ROI, красная область сканирования; ROI, зеленая зона;Высота изображения; ч;,Высота области интереса при сканировании привязки. ROI — это область интереса.

картина

В процессе сканирования точки прицеливания,Определите опорную точку для каждого изображения(A)。Как показано ниже,Выберите высоту от верхней части изображенияhГоризонтальная прямоугольная полоса имеет видROl。уравнение：h=sH выражатьhиH(высота изображения)отношения между,вsэто между0и1масштабный коэффициент между。Затем вычислите выбранный прямоугольникROlЗначение каждого столбца вертикальных пикселей вии нормализовать。полученныйи Пиковая точка кривой определяется как опорная точка изображения.。下图给出了与获取到изображения相对应的и Пример кривой。Определите точку в центральном ряду обрезкиL_{x1} Критерии выбора суммированы в уравнении (1), где I представляет собой прогноз двоичной маски из U-Net, X представляет позиции всех вертикальных столбцов в прямоугольной области интереса, а y представляет позицию пикселя в данном вертикальном столбце.

картина

Рисунок 8 Нормализованная и кривая сканирования опорных точек （I,Прогнозирование двоичной маски от U-Net X;,Вертикальное положение столбца в прямоугольной области интереса y;,положение пикселя в данном вертикальном столбце). рентабельность инвестиций,область интересов.

Однако если сумма в пиковой точке ниже порога, точка привязки сбрасывается до заранее определенной точки (277, когда ширина изображения равна 512). Способ установки порога заключается в том, что сумма чисел в столбце пикселей должна представлять минимальную высоту 0,4h. Заранее определенные опорные точки рассчитываются экспериментально путем построения средней точки привязки в наборе изображений из всех классов данных в наборе данных. Это сделано для того, чтобы алгоритм не обнаруживал ложных привязок из U-Net для плохо предсказанных масок рядов культур.

Рисунок 9 Пример плохо прогнозируемой маски обрезанной строки。（красная линия）Прогнозирование центральной строки обрезки на основе сканирования привязкии Прогнозы центральной строки урожая на основе предопределенных привязок（зеленая линия）。

Обязательно попадите в цельAназад,Нижняя точка будет получена путем линейного сканирования.,настраиватьPэто прямая линия, показанная на рисункеBC (\Delta ROI )любая точка на。APОбщее количество пикселей на прямойи Считается параметром сканера,Используется для определения нижней конечной точки центрального ряда обрезки.。нижняя точкаL_{x2} Критерии выбора следующие:(2)показано,вX_{BC} Представляет все точки на линии BC.

Рисунок 10 Прямолинейное сканирование нормализованной и кривой (I,Прогнозирование двоичной маски на основе U-Net;,Точка к линии BC; y: вертикальное положение пикселя внутри данной линии AP).

Визуальное сервоирование — это метод использования данных компьютерного зрения для управления роботами. После получения рядов культур с помощью метода TSM после U-Net сервоконтроллер визуальных пропорций используется для реализации эксперимента по моделированию автономной навигации. Цель этого эксперимента — оценить влияние предлагаемого алгоритма обнаружения рядов культур на визуальный сервоконтроллер в моделируемой среде без неровностей местности. Мы создали моделируемое поле сахарной свеклы, как показано ниже. Настоящий робот меняет свой курс из-за внешних возмущений, вызванных неровностями местности. Моделируемым полем сахарной свеклы можно управлять, чтобы получить ровную местность, которую можно использовать для измерения влияния обнаружения рядов посевов на визуальное сервопривод. Сводная информация о параметрах моделирования представлена ​​в таблице ниже.

Рисунок 11 Имитированное поле сахарной свеклы для визуального наблюдения (вверху справа: вид с камеры робота, наложенный на прогнозы U-Net и выходные данные TSM). ТСМ,Метод треугольного сканирования.

Таблица 3 Таблица параметров моделирования

Используйте U-Netна маске строки обрезки, обнаруженной вTSMИспытательный центр Crop Row。Каждый обнаруженный ряд культур представлен его углом от вертикали и изображением.L2Параметризуется положением младшего бита верхней прямой линии.。Расчет\Delta \theta ПроволокаиL_{x2} Проволока的角度иошибка смещения,Учитываются абсолютные значения. Общая эффективность обнаружения рядов культур(e) количественно оценивается с помощью показателя производительности.,Этот показатель основан на\Delta \theta иL_{x2} Производительность обнаружения строк с одинаковым весом,Такие как стиль(6)показано。Nколичество изображений, подлежащих тестированию。\Delta \theta_{max} и\Delta L_{x2,max} Они есть\Delta \theta иL_{x2} Максимальная ошибка обнаружения. Все углы указаны в градусах, а смещения — в пикселях.

картина

Результаты экспериментов и резюме

Модель U-Net, использованная в этом эксперименте, была обучена на наборе данных из 1075 изображений, по 25 изображений для каждого класса данных, перечисленных в таблице 3. Пиковая проверка loU модели чистого RGB составляет 22,5%, а модели RGB-D — 31,75%. Хотя значение loU модели RGB-D выше, разница в качестве прогнозов между двумя моделями незначительна, как показано на рисунке 15.

Добавление информации о глубине в конвейер обнаружения рядов культур также увеличивает время вычислений при обнаружении рядов культур. Поэтому для TSM выбирается модель только с RGB-подсветкой для прогнозирования масок строк обрезки. Сообщенные значения LOU будут считаться производительностью ниже средней для типичных задач семантической сегментации в общих приложениях компьютерного зрения. Однако наш алгоритм постобработки может восстановить точные навигационные ряды культур независимо от более низких оценок LOU.

В нашем наборе тестовых данных,Индивидуальный балл LOU варьируется от 10% до 50%. Однако,\Delta \theta Ниже 2° во всем диапазоне LOU,\Delta L_{x2} существоватьloU范围内изображения空间低于20Пиксель。Эффективность этого метода аналогичнаAhmadi等人提出的基Проволока——Сравнение нескольких методов обнаружения строк。Методы исследованияи基Проволока的分类评估结果总结для三个指标：\Delta \theta, \Delta L_{x2} ив таблице ниже\epsilon 。

Рисунок 12 использовать RGB-D Изображение и RGB изображение обучено U-Net Сравнение масок обрезанных строк, созданных на основе модели. RGB Входное изображение (слева), RGB-D U-Net предсказывать（середина）и RGB U-Net Прогноз (справа)

Таблица 4. Ошибки обнаружения каждого типа рядов культур

Результаты экспериментов показывают,существовать基于\epsilon С точки зрения обнаружения рядов культур этот метод улучшается в среднем на 34,62% ​​по сравнению с базовым методом. Результаты экспериментов показывают, что погрешность метода при прогнозировании междурядья культур снижается на 2,86°, что на 61,5% выше, чем у базового метода. Для изображения шириной 512 пикселей ошибка обнаружения смещения этого метода снижается на 38,66 пикселей и улучшается на 76,33% по сравнению с базовым методом. Базовый алгоритм не смог обнаружить какие-либо ряды обрезков на 11,86% изображений в тестовом наборе данных, в то время как наш метод может обнаружить ряды обрезки на всех изображениях в тестовом наборе данных.

Изогнутые ряды культур представляют собой сложную задачу для обоих алгоритмов.,Потому что оба алгоритма аппроксимируют ряд обрезки прямой линией. Однако,Искажение перспективы из-за расположения камеры,Кажущаяся кривизна линий видна только на дальних концах рядов культур. поэтому,изображение ряда кривой обрезки,Ближний конец ряда обрезки выглядит как прямая линия.,Дальний конец ряда обрезки выглядит как кривая. В этом исследовании предполагается, что успешный алгоритм обнаружения рядов культур должен точно предсказывать ближайший ряд культур.,因для这种предсказывать对于视觉伺服控制器серединаробот Мгновенный контроль важен。曲Проволока作物行的地面真值Проволока被标记для符合这一гипотеза的直Проволока。Методы исследованияи基Проволока的输出предсказывать的середина心作物行与作物行的近端直Проволока段对齐,нравиться Рисунок 16показано。曲Проволока作物行的平均基Проволока\epsilon составляет 51,12%,本方法的平均基Проволока\epsilon составляет 82,45%. Хотя метод работает значительно лучше, чем базовый вариант, его производительность ниже среднего по сравнению с его собственной общей производительностью.

Рисунок 13 弯曲作物行середина的作物行检测。（левый）基Проволока（желтый,Ограничивающая рамка строки обрезки зеленая;,Прогнозируемые ряды культур синие;,Навигационная линия розовая;,Прогнозируемое расположение растений коричневого цвета;,Сегментированные растения) и (справа) Наш подход (белый,Маска сегментации строк обрезки, красная;,навигационная линия).