基于计算机视觉的小麦收获边缘导航线提取方法

姚杰 张春雨 彭勇 周爽

摘要：針对小麦收割边缘受到麦茬、土壤、光照等环境因素影响导致的导航线提取精度低、运行速度慢等问题，为实现小麦精准化收获作业而提出一种基于水平投影和梯度下降的小麦收获边缘导航线提取方法。首先通过LAB阈值分割、形态学滤波等进行图像分割，然后进行水平投影以提取出小麦收获边缘伪特征点，将伪特征点进行最小二乘拟合从而获得边缘特征点所在的ROI区域，并对该区域进行Canny边缘检测来提取出边缘特征点，最后利用梯度下降算法拟合出小麦收获边缘导航线，从而解决传统算法中所遇到的导航线拟合精度低、拟合速度慢等问题。试验结果表明：在小麦已收割和未收割区域对比度很低的情况下，处理一张分辨率为640像素×360像素的图像平均耗时163 ms，生成的导航基准线成功率高达95%，为智能农业机械在麦田中的自主行走提供一种可靠的、实时的导航方法。

关键词：农业机械；视觉；导航；水平投影；梯度下降

中图分类号：S232： TP242

文献标识码：A

文章编号：20955553 （2024） 02021506

收稿日期：2023年2月23日  修回日期：2023年3月15日

基金项目：安徽高校协同创新项目（GXXT—2019—036）；安徽省重点研发项目（1604a0902134）

第一作者：姚杰，男，1999年生，安徽淮南人，硕士研究生；研究方向为智能农业装备。Email： 596932942@qq.com

通讯作者：张春雨，男，1971年生，安徽阜阳人，教授，硕导；研究方向为智能农业装备。Email： 382182415@qq.com

Extraction method of wheat harvesting edge navigation line based on computer vision

Yao Jie1， 2， Zhang Chunyu1， Peng Yong1， 2， Zhou Shuang2

（1. College of Mechanical Engineering， Anhui Polytechnic University， Wuhu， 241000， China；

2. School of Mechanical Engineering， Anhui Science and Technology University， Fengyang， 233100， China）

Abstract：

Aiming at the problems of low precision and slow speed of navigation line extraction caused by environmental factors such as stubble， soil and light on wheat harvest edge， a method of wheat harvesting edge navigation line extraction based on horizontal projection and gradient descent was proposed to realize precise wheat harvesting operations. Firstly， the image was segmented by LAB threshold segmentation and morphological filtering， then the horizontal projection was performed to extract the pseudofeature points of wheat harvesting edge， the pseudofeature points were least squares fitted to obtain the ROI region where the edge feature points were located， and the edge feature points were extracted by Canny edge detection of the region， and finally the wheat harvesting edge navigation line was fitted by the gradient descent algorithm， thus it solved the problems of low accuracy and slow fitting speed of the navigation line encountered in traditional algorithms. The experimental results showed that the average time required to process an image with a resolution of 640×360 pixels was 163 ms with a low contrast between harvested and unharvested areas of wheat， and the success rate of the generated navigation baseline was as high as 95%， which provided a reliable and realtime navigation method for autonomous walking of intelligent agricultural machinery in wheat fields.

Keywords：

agricultural machinery; machine vision; navigation; horizontal projection; gradient descent

0 引言

随着我国现代智能农业机械的快速发展，农业机械自动导航技术成为了智慧农业和精准农业的关键技术之一，并已广泛应用于农田耕作、施肥以及作物收割等农业生产活动中［12］。近年来学者们在农业自主导航方面的研究主要集中在棉花、玉米、水稻等图像背景易于分割的作物上。如：杨洋等［3］提出了基于车轮正前方可行走动态感兴趣区域（Region of Interest，ROI）的玉米行导航线实时提取算法；郭祥雨［4］提出一种适用于水稻授粉期作物行导航线快速提取的方法；Montalvo等［5］针对玉米地多杂草环境采用二次Otsu算法实现杂草和作物之间的分割并拟合出导航线。由于小麦边缘受到麦茬、土壤、光照等环境因素影响，严重影响到了小麦导航线的提取精度以及提取速度，为此提出一种基于水平投影与梯度下降的小麦边缘导航线提取新方法，实现小麦收割边缘精准、快速提取。

1 边缘预处理

1.1 图像LAB阈值分割

学者们在对作物与背景颜色相差较大的RGB图像，常采用RGB分量抑制方法将图片进行灰度化处理（如超绿化法［68］），但是由于受到土壤、麦茬、枯草等因素的影响造成小麦作物已收获区域与未收获区域颜色相近，故RGB分量抑制法的分割效果并不理想（图1（b））。从提取的RGB分量灰度直方图（图2（a））可知，对于小麦图像的R、G、B三个分量均未出现明显波谷，因此无法使用该方法来进行阈值分割。

（a） 原始图像

（b） 二值图像

（a） RGB灰度直方图

（b） LAB灰度直方图

基于上述问题，将RGB颜色空间转化为LAB颜色空间，利用LAB颜色模型的亮度和色彩信息来对图像进行灰度处理。由图2（b）可知，小麦图像在B分量上出现了明显的波峰和波谷，故可通过最大熵法（Maximum Entropy Method，MEM）进行小麦植株与背景图像的二值分割。最大熵法公式如式（1）所示。

H（t）=

－∑ti=0pi∑ti=0pilnpi∑ti=0pi－

∑L－1i=t+1pi∑L－1i=t+1pilnpi∑L－1i=t+1pi

（1）

式中：

H（t） ——背景区域熵与目标区域熵之和；

t——单颜色分量分割阈值；

L——图像的灰度级数量；

∑ti=0pi——前景部分概率；

∑L-1i=t+1pi——背景部分概率。

当在B分量下图像的熵H（t）达到最大时的灰度值即为最佳分割阈值t*，t*计算公式如式（2）所示。

t*=Argmax0

（2）

最后采用最大熵法分别求取出LAB图像3个分量的最佳分割阈值为Lmin=0， Amin=255， Bmin=0； Lmax=255， Amax=0， Bmax=163，并对小麦图像进行了二值分割，其结果如图3（b）所示。

（a） LAB灰度处理图像

（b） 二值图像

1.2 图像滤波

在图像预处理的过程中，由于受到麦田中麦茬、土壤、光照等因素影响导致二值图像出现孔洞和椒盐等噪声。目前使用较多的图像降噪算法包括：均值滤波、形态学滤波以及中值滤波等方法［910］。根据试验比较得出采用卷积核大小为5×5的中值滤波器相比其他滤波算法有着更显著的降噪能力。即

F（x，y）=median{f（i，j）}

（i，j）∈Mask（5×5）

（3）

式中：

F（x， y） ——

滤波窗口滤波后的像素灰度值；

f（i， j） ——

滤波窗口滤波前的像素灰度值；

Mask（5×5）——

滤波窗口为5×5的像素集合。

从图4中可以看出，中值滤波可以有效地去除二值图像中的小面积噪声并保持收获边缘的基本形状特征不变。

2 边缘检测

图像在分割过程中常产生大量噪声点，为实现计算机区分出边缘特征点和干扰点，根据小麦二值图像的特性提出了一种采用水平投影变换和Canny检测来提取小麦收获边缘特征点的新方法。其原理是通过水平投影和最小二乘法提取出边缘特征点所在的ROI区域，并用Canny算子对该ROI区域进行边缘特征点检测。

2.1 边缘伪特征点提取

通过采用水平投影算法将二值图像（图4）的行像素值进行累加从而获得边缘伪特征点S，如图5（a）所示。伪特征点提取公式如式（4）所示。

S（row）=∑wcol=0I（row，col） row∈（0，h）

（4）

式中：

h、w——图像的高度、宽度像素尺寸；

row、col——

图像像素的行序号和列序号；

I——

图像第row行第col列像素值。

点（row，col）处的水平像素值累加结果如图5（b）所示，图中白色区域（即已收获区域）与黑色区域（即未收获区域）的交界线可近似視为小麦收获边缘轮廓线。

（a） 小麦收获边缘伪特征点

（b） 小麦收获边缘伪轮廓

2.2 边缘特征区域提取

小麦收获边缘特征点存在于伪特征点S附近，对提取出的边缘伪特征点进行最小二乘法拟合即可计算出边缘特征点所在的ROI区域，如图6所示。最小二乘法损失函数如式（5）所示。

δ=∑ni=1（yi－y^i）2

（5）

式中：

δ——残差平方和；

yi——拟合点的纵坐标；

y^i——拟合直线上点的纵坐标；

n——拟合点数量。

进而求得拟合直线的斜率k以及截距b

k=n∑ni=1xiyi－∑ni=1xi∑ni=1yi

n∑ni=1xi2－∑ni=1xi2

b=∑ni=1x2i∑ni=1yi－∑ni=1xi∑ni=1xiyi

n∑ni=1xi2－∑ni=1xi2

（6）

式中：

xi——拟合点的横坐标。

2.3 边缘特征点提取

传统Canny检测算子是对图像中的所有区域进行边缘检测，故导致计算机在对图像边缘检测后的结果中常伴随大量的干扰点。这将增加边缘导航线提取精度和时间［1113］，如图7（a）所示，其中干扰点数为663，占总待拟合点数的62%。Canny算法是利用Sobel水平和垂直算子与输入图像卷积计算来获得幅值G和角度θ，并根据角度对幅值进行非极大值抑制来计算出边界，即

Gx=

121

000

－1－2－1

×A

Gy=

－101

－202

－101

×A

（7）

式中：

Gx、Gy——水平、垂直方向的幅值；

A——输入图像。

通过式（7）可以求得

G=Gx2+Gy2

θ=arctanGyGx

（8）

对前文所提取的边缘特征点ROI区域（图6）进行Canny算子边缘检测，程序计算结果如图7（b）所示，计算机利用本文的算法已经将大量的干扰点与边缘特征点区分开来，证明了本文算法的可行性。

（a） 传统Canny算子

（b） 本文边缘检测算法

3 边缘拟合

由图8可知，感知损失函数对噪声点不敏感，但是该函数对判定边界附近点的惩罚力度很低，且在原点处不可导，故计算难度大；最小二乘损失函数对离群点、噪声非常敏感；Hough变换检测出来的都是一些离散的线段，由于每一条线段都有它的直线特征，所以导致目标不明确［1415］。

基于上述边缘点拟合算法所存在的拟合速度慢、拟合精度低以及抗干扰能力弱等问题，提出了一种基于梯度下降算法的边缘特征点拟合方法。在损失函数上选定起点位置并将该点负梯度方向作为搜索方向，此时该方向为当前位置的最快下降方向，以本文损失函数梯度作为下降步长进行迭代，可以最快寻找到极小值位置。由于损失函数值σ越小则边缘点的拟合效果越好［1619］，故可利用梯度下降算法计算出使得损失函数值最小时所对应的拟合直线斜率k以及截距b。即

σ=∑ni=12×1+12（yi－y^i）2i－2

（9）

ki=ki－1－ασki－1

bi=bi－1－ασbi－1

（10）

式中：

σ——损失函数值；

α——机器学习率。

从图9可以看出，本文边缘拟合方法平均拟合优度R2为0.98，相比最小二乘法拟合优度更好；相比感知损失函数拟合结果相近，但是本文方法耗时更短；相比Hough变换目标更加明确，不会生成多目标直线，对干扰点不敏感，为精准、快速的提取边缘导航线提供重要保障。

（a） 最小二乘法

（b） 感知损失函数

（c） Hough变换

（d） 本文边缘拟合

4 试验结果及分析

本文算法在处理器为Intel （R） Core （TM） i5－9400F CPU@ 2.9 GHz、内存8 GB、显卡GTX1660系列、操作系统为Windows 10 64位的电脑上使用Python语言在PyCharm仿真环境下实现。由于在不同收获时期小麦的生长特征存在着一定差异，为了验证本文算法的有效性和优越性，本文分别对边缘残缺、边缘浓密以及边缘稀疏三种不同生长状况的100张640像素×360像素的小麦图像进行了试验验证，试验结果如图10所示。

从图10分析可知，本文算法能够在不同场景下成功提取出小麦收获边缘导航线，且該方法不易受到干扰点的影响，算法稳定性强，能够准确地计算出小麦的边缘特征点并进行精确拟合。

最后，本文将小麦收获边缘导航线提取精度以及提取时间来作为算法性能的评价指标分别对不同算法进行比较。如表1所示，试验结果表明：本文导航线提取算法相比LAB+Canny+最小二乘算法的平均提取精度提高了17%；相比LAB+Canny+感知损失函数拟合算法的平均提取速度快了39 ms，而平均提取精度提高了10%；相比LAB+Canny+霍夫变换算法的平均提取速度快了20 ms，而平均提取精度提高了6%。本文方法有效地解决了传统算法处理过程中所遇到的耗时长、抗干扰能力差等问题，可为智能农业机械自动导航作业提供理论参考。

（a） 小麦边缘残缺

（b） 小麦边缘浓密

（c） 小麦边缘稀疏

5 结论

1）  本文通过LAB灰度处理结合最大熵法在小麦已收获和未收获区域对比度很低的情况下仍可有效地将小麦植株与背景图像进行二值分割。

2）  本文通过水平投影与最小二乘法相结合的方法来为Canny算子提供最优的ROI边缘检测区域，这使得干扰点的占比由从前约62%降低到5%以下，从而解决了在小麦已收获和未收获区域对比度很低的情况下小麦收获边缘特征点难以提取的问题。

3）  本文通过梯度下降方法来最快寻找到损失函数极小值位置，试验数据表明采用梯度下降方法的拟合优度约为0.98，而采用最小二乘法等其它拟合方法的拟合优度约为0.83，从而解决了传统算法中存在的导航线拟合精度低、抗干扰能力低等问题。

4）  通过试验验证表明：本文算法处理一张640像素×360像素的图像平均耗时仅为163 ms，准确率为95%，在受麦茬干扰、不同生长密度等情况下仍具有较强的鲁棒性，为智能化农业机械在麦田中的自主行走提供了一种可靠的、实时的导航方法。

参 考 文 献

［1］张漫， 季宇寒， 李世超， 等. 农业机械导航技术研究进展［J］. 农业机械学报， 2020， 51（4）： 1-18.

Zhang Man， Ji Yuhan， Li Shichao， et al. Research progress of agricultural machinery navigation technology ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（4）： 1-18.

［2］姬長英， 周俊. 农业机械导航技术发展分析［J］. 农业机械学报， 2014， 45（9）： 44-54.

Ji Changying， Zhou Jun. Current situation of navigation technologies for agricultural machinery ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2014， 45（9）： 44-45.

［3］杨洋， 张博立， 查家翼， 等. 玉米行间导航线实时提取［J］. 农业工程学报， 2020， 36（12）： 162-171.

Yang Yang， Zhang Boli， Zha Jiayi， et al. Realtime extraction of navigation line between corn rows ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（12）： 162-171.

［4］郭祥雨. 无人飞机水稻和油菜制种田作业视觉辅助导航方法研究［D］. 北京： 中国农业科学院， 2021.

Guo Xiangyu. Research on visual aidnavigation method for UAV rice and rape seed farming operations ［D］. Beijing： Chinese Academy of Agricultural Sciences， 2021.

［5］Montalvo M， Pajares G， Guerrero J M， et al. Automatic detection of crop rows in maize fields with high weeds pressure ［J］. Expert Systems with Applications， 2012， 39（15）： 11889-11897.

［6］李霞， 苏筠皓， 岳振超， 等. 基于中值点Hough变换玉米行检测的导航线提取方法［J］. 农业工程学报， 2022， 38（5）： 167-174.

Li Xia， Su Junhao， Yue Zhenchao， et al. Extracting navigation line to detect the maize seedling line using medianpoint Hough transform ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（5）： 167-174.

［7］梁习卉子， 陈兵旗， 姜秋慧， 等. 基于图像处理的玉米收割机导航路线检测方法［J］. 农业工程学报， 2016， 32（22）： 43-49.

Liang Xihuizi， Chen Bingqi， Jiang Qiuhui， et al. Detection method of navigation route of corn harvester based on image processing ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（22）： 43-49.

［8］宫金良， 王祥祥， 张彦斐， 等. 基于边缘检测和区域定位的玉米根茎导航线提取方法［J］. 农业机械学报， 2020， 51（10）： 26-33.

Gong Jinliang， Wang Xiangxiang， Zhang Yanfei， et al. Extraction method of corn rhizome navigation lines based on edge detection and area localization ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（10）： 26-33.

［9］焦崇珊， 宋怀波. 基于超像素分割算法的大田小麦导航路径获取［J］. 江苏农业科学， 2020， 48（14）： 255-260.

Jiao Chongshan， Song Huaibo. Detection of field wheat navigation path using superpixel segmentation algorithm ［J］.Jiangsu Agricultural Sciences， 2020， 48（14）： 255-260.

［10］王爱臣， 张敏， 刘青山， 等. 基于区域生长和均值漂移聚类的苗期作物行提取方法［J］. 农业工程学报， 2021， 37（19）： 202-210.

Wang Aichen， Zhang Min， Liu Qingshan， et al. Seedling crop row extraction method based on regional growth and mean shift clustering ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（19）： 202-210.

［11］馬驰. 猕猴桃树干智能检测与行间导航线生成方法研究［D］. 杨凌： 西北农林科技大学， 2021.

Ma Chi. Research on intelligent detection of kiwi trunk and generation of navigation line between rows ［D］. Yangling： Northwest A & F University， 2021.

［12］李云伍， 徐俊杰， 王铭枫， 等. 丘陵山区田间道路自主行驶转运车及其视觉导航系统研制［J］. 农业工程学报， 2019， 35（1）： 52-61.

Li Yunwu， Xu Junjie， Wang Mingfeng， et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（1）： 52-61.

［13］Lu W， Zeng M， Wang L， et al. Navigation algorithm based on the boundary line of tillage soil combined with guided filtering and improved antinoise morphology ［J］. Sensors， 2019， 19（18）： 3918.

［14］陈子文， 李伟， 张文强， 等. 基于自动Hough变换累加阈值的蔬菜作物行提取方法研究［J］. 农业工程学报， 2019， 35（22）： 314-322.

Chen Ziwen， Li Wei， Zhang Wenqiang， et al. Vegetable crop row extraction method based on accumulation threshold of Hough transformation ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（22）： 314-322.

［15］王姗姗， 余山山， 张文毅， 等. 基于特征点邻域Hough变换的水稻秧苗行检测［J］. 农业机械学报， 2020， 51（10）： 18-25.

Wang Shanshan， Yu Shanshan， Zhang Wenyi， et al. Detection of rice seedling rows based on Hough transform of feature point neighborhood ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（10）： 18-25.

［16］宋宇， 刘永博， 刘路， 等. 基于机器视觉的玉米根茎导航基准线提取方法［J］. 农业机械学报， 2017， 48（2）： 38-44.

Song Yu， Liu Yongbo， Liu Lu， et al. Extraction method of navigation baseline of corn roots based on machine vision ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（2）： 38-44.

［17］谭任虎， 胡小平， 彭向前， 等. 一种基于轮廓边缘的直线拟合算法［J］. 传感技术学报， 2022， 35（3）： 376-382.

Tan Renhu， Hu Xiaoping， Peng Xiangqian， et al. A line fitting algorithm based on contour edge ［J］. Chinese Journal of Sensors and Actuators， 2022， 35（3）： 376-382.

［18］Diwakar M， Kumar M. CT image denoising using NLM and correlationbased wavelet packet thresholding ［J］. IET Image Processing， 2018， 12（5）： 708-715.

［19］宫金良， 孙科， 张彦斐， 等. 基于梯度下降和角点检测的玉米根茎定位导航线提取方法［J］. 农业工程学报， 2022， 38（13）： 177-183.

Gong Jinliang， Sun Ke， Zhang Yanfei， et al. Extracting navigation line for rhizome location using gradient descent and corner detection ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（13）： 177-183.