红枣收获机视觉导航路径检测

张雄楚，陈兵旗，李景彬，梁习卉子,，姚庆旺，穆述豪，姚文广

·农业信息与电气技术·

红枣收获机视觉导航路径检测

张雄楚1，陈兵旗1※，李景彬2，梁习卉子1,2，姚庆旺2，穆述豪1，姚文广1

（1. 中国农业大学工学院，北京 100083；2. 石河子大学机械电气工程学院，石河子 832003）

针对新疆地区骏枣与灰枣枣园的收获作业，该研究提出一种红枣收获机枣树行视觉导航路径检测算法。通过枣园图像固定区域中B分量垂直累计直方图的标准差与最小值的关系对枣园种类进行自动判断。针对灰枣枣园，首先采用色差法与OTSU法对图像进行灰度化与二值化处理，然后进行面积去噪与补洞处理，在处理区域内从上向下逐行扫描，将每行像素上像素值为0的像素点坐标平均值作为该行候补点的坐标，并将所有候补点坐标的平均值作为Hough变换的已知点坐标，最后基于过已知点的Hough变换拟合导航路径；针对骏枣枣园，在处理区域内通过垂直累计R分量的方法确定扫描区间，然后在扫描区间内从上到下逐行扫描，将每行像素上R分量值最小的像素点作为该行的候补点，并将所有候补点的坐标平均值作为Hough变换的已知点，最后使用过已知点的Hough变换拟合导航路径。试验结果表明：对于灰枣枣园与骏枣枣园，该算法的路径检测准确率平均值分别为94%和93%，处理1帧图像平均耗时分别为0.042和0.046 s，检测准确性与实时性满足红枣收获机作业要求，能够自动判别枣园种类进行作业，可为实现红枣收获机自动驾驶提供理论依据。

农业机械；图像处理；视觉导航；枣园；Hough变换

0 引 言

自动驾驶技术在农业方面的应用是目前的重点研究内容，而视觉导航自动驾驶技术因其采集信息丰富、灵活性好、抗干扰能力强以及成本低等优势成为自动驾驶技术的重要组成部分[1-2]。

导航路径检测是农机设备自主导航的关键技术[3-6]。针对农业的视觉导航路径检测，王新忠等[7-15]以温室、果园、田间除草、小麦收获、水稻收割以及棉花播种为对象进行了导航路径检测的研究。谢忠华等[16-19]重点研究了嵌入式视觉导航、激光导航以及扫描滤波与颜色空间转换在视觉导航中的应用。Guy等[20-22]针对葡萄园、田间障碍物和田间作业的拖拉机提出相适应的导航路径检测算法。Liu等[23]利用小波变换、线性分析和前后框架的相关理论提出了一种小麦播种机弱导航线检测算法；梁习卉子等[24]基于加强关注G分量与跳行累计G分量的方式确定候补点；李景彬等[25]通过颜色分量差方法与移动平滑法对收获时期的棉田图像进行处理，并基于最低波谷点向未收获区方向寻找波峰上升临界点确定候补点；张雄楚等[26]针对棉花铺膜播种作业视觉导航路径检测易受光照强度、噪声及划线深度影响，设计了一种抗干扰能力强、适应性广的算法；李革等[27]改进传统的纯追踪算法，使其满足曲线路径跟踪；何洁等[28]提出了一种将边缘检测和扫描滤波相结合的基准线提取方法；孟庆宽等[29]研究了自然光照条件下基于机器视觉的农业机械导航路径识别技术，降低自然光照影响。

上述研究都是针对低矮作物的行间导航路径检测，新疆地区红枣枣园收获作业导航路径检测的相关报道文献较少。红枣产业在新疆地区社会经济中占有重要地位，主要品种有骏枣和灰枣。彭顺正等[30]针对骏枣枣园作业环境，提出一种基于“行阈值分割”与“行间区域”方法的骏枣枣园导航基准线检测算法。该方法只适用于行间行走，且不适用于灰枣枣园。新疆石河子大学研发了适用于枣树行上作业的红枣收获机，是未来新疆红枣收获的主要机械之一，本研究基于该红枣收获机械提出一种针对骏枣与灰枣枣园枣树行上作业并以树冠中心线为导航路径的视觉导航路径检测算法。

1 作业图像采集及导航路径检测

1.1 作业图像采集

本研究在新疆阿拉尔十四兵团采集骏枣和灰枣枣园的收获作业视频，其中骏枣图像采集时间是2018年10月15日下午3:00－5:00，灰枣图像采集时间是2019年10月20日下午3:00－5:00。具体操作如下：如图1a所示，将采集摄像头安装在红枣收获机的驾驶室正前方，距离地面2.5 m，与地面水平夹角为=30°（保证能看全红枣树行幅宽）；如图1b所示，开启作业模式，驾驶红枣收获机械进行红枣收获作业，车速约为2 km/h，同时采集作业视频，图像大小640×480（像素），帧率30帧/s，并存储为AVI格式。基于Microsoft Visual Studio 2010系统，在北京现代富博科技有限公司的通用图像处理系统ImageSys平台上进行算法开发。电脑的处理器为Intel(R) Core(TM) i5-4590 CPU、主频为3.3 GHz、内存为8 G。

1.红枣收获机 2.相机 3.地面 4.已收获枣树行 5.收获枣树行 6.待收获枣树行

1.Jujube harvester 2.Camera 3.Ground 4.Jujube tree line which has been harvested 5.Jujube tree line in harvesting 6.Jujube tree line to be harvested.

注：为相机光轴与地面的垂直距离，m；为相机光轴与地面的水平夹角，(°)；箭头表示作业方向。

Note:is vertical distance between the camera’s optical axis and the ground, m;is horizontal angle between the camera’s optical axis and the ground, (°); Arrow indicates the working direction.

图1 相机安装和红枣收获机作业示意图

Fig.1 Schematic diagram of camera installation and jujube harvester operation

1.2 导航路径检测

如图2所示，图像左上角为坐标原点，向右为轴正方向，向下为轴正方向。图像颜色分量分别用R（红色）、G（绿色）、B（蓝色）表示，其值分别用、、表示。像素点的、坐标分别对应像素列和像素行。

图2 灰枣枣园处理窗口及拟合导航路径示意图

灰枣树干较高，枝干较多，收获期树叶残余较多，导致图像噪声较多，像素分布规律不明显，需要先对采集的图像进行面积去噪与补洞处理，再提取树冠部分的候补点拟合导航路径。骏枣树干较矮，枝干较少，收获期树叶基本自然脱落，像素分布规律明显，可直接通过拟合树冠部分候补点提取导航路径。

1.2.1 枣园作业模式的自动判别

为了避免图像上方田端以外区域以及下方近视野噪声的干扰，将图像轴方向中间1/3区域设为处理区域。在处理区域内将B分量的垂直累计值存入数组中，求得的最小值和标准差，若/<5则为骏枣枣园作业模式，其余为灰枣枣园作业模式。通过对开始作业第1帧图像的判断确定枣园作业模式，后面都以该模式进行导航线检测。

1.2.2 灰枣枣园导航路径检测

1）图像的灰度化与二值化处理

通过对灰枣枣园图像的分析，左右行间区域像素与树冠像素区别较大，且RGB像素值的关系是>>，采用色差法（公式：|2--|）对图像进行灰度化处理，然后使用OTSU法对灰度图像进行二值化处理。

2）面积去噪处理

使用ImageSys平台中的Noise_remover函数，以黑色像素为对象，去除像素个数小于50的黑色像素连通区域。

3）补洞处理

使用ImageSys平台中的Holl_filling函数，分别以黑色像素和白色像素为对象进行2次8邻域补洞处理。

4）提取候补点群

如图2的中间虚线框所示，以图像轴方向中间1/3区域作为处理窗口。在处理窗口内从上到下逐行扫描，将每行像素上像素值为0的像素点坐标平均值作为该行候补点的坐标，如图2中的候补点群。

5）已知点的确定

将所有候补点坐标的平均值作为Hough变换已知点的坐标。

6）拟合导航路径

基于上述步骤4）中候补点群与步骤5）中已知点，使用过已知点的Hough变换[24]拟合导航路径，如图2中实线所示。

1.2.3 骏枣枣园导航路径检测

1）处理窗口的确定

根据相机的安装位置、距地面高度以及与地面水平夹角等因素，本研究以图像轴方向中间1/3区域为处理窗口。

2）枣园田端的判断

设枣园田端位置为，在处理窗口内从上到下逐行扫描像素，并计算其R分量累计值，存入数组中。完成扫描后，计算数组的平均值和标准差1。最后，从下向上判断数组的数据是否小于（-3×1）的值，若连续10个数据满足条件，则设定第1次出现满足条件数据代表的扫描行为田端，否则=0，即不存在田端。

3）扫描区间的确定

扫描标准线位置为第列像素，以扫描标准线为中心左右各扩展（本文=30）个像素作为扫描区间。确定值方法如下：在处理窗口内从左向右逐列扫描，将第列像素的R分量累计值存储在数组[]，数组中最小值对应的值为。

4）提取候补点群

每行像素提取1个候补点，方法如下：在扫描区间内，从下向上逐行扫描至田端。将每行R分量最小值的像素点位置作为候补点。

5）已知点的确定

将所有候补点坐标的平均值作为Hough变换已知点的坐标。

6）拟合导航路径

基于上述步骤4）中候补点群与步骤5）中已知点，使用过已知点的Hough变换[24]拟合导航路径。

具体检测流程图如图3所示。

图3 检测方法流程图

2 试验结果与分析

本研究录制了灰枣枣园和骏枣枣园的导航视频各5组进行算法的开发和测试，完成算法开发以后，分别在2种枣园进行实际导航试验。选用灰枣枣园和骏枣枣园各3组视频进行测试。其中，1组为顺光工况，2组为逆光工况，每组视频的帧数及枣园种类判别试验结果见表1。

表1 枣园种类判别试验结果

2.1 枣园种类判别

图4为灰枣枣园和骏枣枣园图像与模式判别处理区域内B分量累计直方图。从图中可以看出，骏枣枣园的B分量累计直方图存在明显波谷且波动较大，而灰枣枣园作业图像中波谷不明显，所以将B分量最小值与标准差作为判别标准。其中灰枣枣园图像的=18 427，=1 890.777，/=9.75；骏枣枣园图像的=7 338，=1 979.634，/=3.71。根据视频图像统计结果，初步设定以/阈值为5进行枣园种类判别试验。从表1中可以看出，灰枣与骏枣枣园类别的判别准确率皆为100%。所以确定/<5.0为骏枣枣园，否则为灰枣枣园。

图4 枣园类别的判断区域及判断区域的B分量垂直累计直方图

2.2 灰枣枣园导航路径检测过程与结果分析

图5为不同工况下灰枣枣园导航路径检测过程。

在图5a与图5b中，对比二值图像与去噪可以看出，二值化处理后的图像中左右行间区域白色像素中存在黑色像素噪声，经过去噪处理后能够有效去除噪声；对比去噪处理与补黑色洞处理可以看出，经过黑色像素补洞处理后，树冠区域黑色像素中的“洞”（白色像素点）基本被“补上”（去除白色像素点），行间区域与树冠界限较为明显；对比补黑色洞处理与补白色洞处理可以看出，经过白色像素补洞处理后，行间区域白色像素中的黑色像素形成的“洞”被完全被“补上”，使图像的分区更为明显，便于提取候补点（候补点群为树冠区域中的白色像素点），拟合的导航路径精度较高。

在图5c中，原图中矩形框区域的灰枣几乎脱落且枝干稀疏，经过二值化、去噪、补黑色洞和补白色洞处理后，行间区域与树冠区域有黏连部分，使得该区域候补点的精度降低，最后导致检测出的导航路径与目测有一些偏差。

在图5d中，缺株工况使得行间区域与树冠区域黏连情况严重，图像分区错误，导致检测出的导航路径误差较大。

图5 不同工况下灰枣枣园导航路径检测结果

使用采集到的作业视频对算法进行验证，实际检测路径与人工观测路径的夹角约大于5°即判为检测错误，结果如表2所示。

表2 导航路径检测试验结果

从表2中可以看出：灰枣枣园的3个视频的准确率分别为92%、90%和98%，平均准确率为93%，平均处理速度为0.042 s/帧，该算法能够满足灰枣实际收获作业的需要，其检测的导航路径可以作为灰枣枣园收获作业视觉导航自动驾驶的导航路径。产生误检的主要原因是枝干稀疏与缺株的情况使得行间区域与树冠区域出现像素黏连，提取的候补点精度低，最终导致误检。

2.3 骏枣枣园导航路径检测过程与结果分析

图6是不同工况下骏枣枣园导航路径检测结果。从图6a中可以看出，在顺光、车身抖动严重的情况下，目标枣行不在处理区域内，导航路径检测失败。对比图6c、6d可知，人像的干扰会导致导航路径误检。从图6b中可以看出，针对逆光、缺株、地膜干扰工况，由于地膜逆光导致枣园田端误检，而导航路径检测准确，这说明使用R分量最小值能够准确、稳定地提取候补点。

图7a是顺光、人像干扰工况扫描区间图人像干扰所在行像素R分量折线图，第240列以前存在2个波谷，分别为第197列与第223列，通过对比可知，前者应为检测的候补点位置且精度较高，但是由于第240列人像的干扰，使得第240列成为候补点位置，误检该行像素的候补点位置，最终导致导航路径检测失败。

图6 不同工况下骏枣枣园导航路径检测结果

图7b是逆光、地膜干扰工况处理区域R分量水平累计折线图，由于第220行为地膜集中区域，使得该位置出现数据大幅下降的波谷，导致田端判别方法误检该位置为田端，即地膜干扰致使田端检测错误。图7c是顺光、阴影工况处理区域随机像素行R分量折线图，第240列为树冠中心区域与该位置出现波谷相契合，即以R分量最小值提取的候补点位置准确。为验证R分量最小值作为候补点提取特征的稳定性，进行如下试验：分别从采集的3个骏枣枣园视频中随机截取连续100帧图像，人工观察每帧图像中第40行、第130行、第230行（分别对应图像远视端、图像中间以及图像近视端随机像素行）像素候补点提取是否正确。试验结果如表3所示，3个视频中的近视端检测准确率分别为93%、94%、92%，略低于图像远视端与图像中间的检测准确率，这主要是因为近视端的树冠像素分布密度较低，噪声多，干扰严重。出现误检的原因主要是人像干扰与车身抖动。

表3 候补点提取试验结果

综上，使用R分量最小值提取的候补点比较稳定，适用于候补点的提取。

图7 人像干扰、田端误检以及候补点特征分析的R分量折线图

使用采集到的作业视频对算法进行验证，实际检测路径与人工观测路径的夹角约大于5°即判为检测错误，结果如表4所示。

从表4中可以看出：针对骏枣枣园，3个视频的准确率分别为93%、95%和90%，平均准确率为92%，平均处理速度为0.046 s/帧，该算法能够满足骏枣枣园实际收获作业的需要，其检测的导航路径可以作为收获作业的视觉导航自动驾驶的导航路径，田端检测准确。导航路径出现误检的主要原因是车身抖动和人像的干扰导致扫描区间瞬移与人像所在行像素的候补点提取精度低，最终拟合的导航路径精度不满足要求，地膜的干扰是造成田端误检的主要原因。

表4 导航路径检测试验结果

3 结 论

本文针对收获时期灰枣枣园与骏枣枣园枣树行上作业图像，研究了视觉导航路径检测算法。该算法能够自动判别枣园种类，确定作业模式，同时能够判别骏枣枣园田端：

1）在开始作业的第1帧图像轴方向中间1/3区域垂直累计B分量，然后基于最小值与标准差的关系确定枣园类型，使得系统能够自动选择作业模式，满足实际作业要求。

2）针对灰枣枣园图像，首先进行灰度化、二值化处理后，此时图像分区不明显，然后进行面积去噪与补洞处理，使得树冠与行间区域部分界限明显。在处理区域内，从上到下逐行扫描，以每行黑色像素坐标平均值作为该行候补点坐标，再以所有候补点坐标平均值作为Hough变换已知点，最后使用过用过已知点的Hough变换拟合导航路径。

3）针对骏枣枣园，在处理区域内，以行像素为单位累计R分量值，再根据数据的平均值和标准差确定枣园田端的位置。从下到上至田端位置，以R分量最小值提取每行像素中的候补点，并以所有候补点坐标的平均值作为Hough、变换已知点，最后使用过已知点的Hough变换拟合导航路径。

4）使用采集的多工况灰枣枣园与骏枣枣园图像进行试验，试验的结果表明，灰枣枣园的检测准确率平均值为93%，平均处理速度为0.042 s/帧，骏枣枣园的检测准确率平均值为92%，平均处理速度为0.046 s/帧。该算法能够适用于2种枣园收获作业，提取的导航路径精度与算法的实时性满足实际作业的要求，能够准确识别红枣种类和骏枣枣园的田端，为实现红枣收获视觉导航自动驾驶提供的理论依据。

[1] Han Shufeng, He Yong, Fang Hui. Recent development in automatic guidance and autonomous vehicle for agriculture: A Review[J]. Journal of Zhejiang University: Agric. & Life Sci, 2018, 44(4): 381-391, 515.

韩树丰，何勇，方慧. 农机自动导航及无人驾驶车辆的发展综述[J]. 浙江大学学报：农业与生命科学版，2018，44(4)：381-391，515. (in English with Chinese abstract)

[2] 姬长英，周俊. 农业机械导航技术发展分析[J]. 农业机械学报，2014，45(9)：44-54.

Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery [J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 44-54. (in Chinese with English abstract)

[3] 刘阳，高国琴. 农业机械视觉导航基准线识别研究进展[J]. 农机化研究，2015，37(5)：7-13.

Liu Yang, Gao Guoqin. Research development of vision- based guidance directrix recognition for agriculture vehicles[J]. Journal of Agricultural Mechanization Research, 2015, 37(5): 7-13. (in Chinese with English abstract)

[4] 陈兵旗. 农田作业视觉导航系统研究[J]. 科技导报，2018，36(11)：66-81.

Chen Bingqi. Study on vision navigation for field work[J]. 2018, 36(11): 66-81. (in Chinese with English abstract)

[5] 刘阳. 自然环境下目标物的高速图像检测算法研究[D]. 北京：中国农业大学，2014.

Liu Yang. Research on Objects Image High-speed Detection Algorithmunder Natural Environments[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

[6] 翟志强，朱忠祥，杜岳峰，等. 基于虚拟现实的拖拉机双目视觉导航试验[J]. 农业工程学报，2017，33(23)：56-65.

Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Test of binocular vision-based guidance for tractor based on virtual reality[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33(23): 56-65. (in Chinese with English abstract)

[7] 王新忠，韩旭，毛罕平，等. 基于最小二乘法的温室番茄垄间视觉导航路径检[J]. 农业机械学报，2012，43(6)：161-166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(6): 161-166. (in Chinese with English abstract)

[8] 高国琴，李明. 基于K-means算法的温室移动机器人导航路径识别[J]. 农业工程学报，2014，30(7)：25-33.

Gao Guoqin, Li Ming. Navigating path recognition for greenhouse mobile robot based on K-means algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(7): 25-33. (in Chinese with English abstract)

[9] 冯娟，刘刚，司永胜，等. 果园视觉导航基准线生成算法[J]. 农业机械学报，2012，43(7)：185-189，184.

Feng Juan, Liu Gang, Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix inorchard[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(7): 185-189, 184. (in Chinese with English abstract)

[10] Meng Qingkuan, Qiu Ruicheng, He Jie, et al. Development of agricultural implement system based on machine vision and fuzzy control[J]. Computers and Electronics in Agriculture, 2015, 112: 128-138.

[11] 崔维，丁玲. 基于视觉导航和RBF的移动采摘机器人路径规划研究[J]. 农机化研究，2016，38(11)：234-238.

Cui Wei, Ding Ling. Research on path planning for mobile picking robot based on visual navigation and RBF[J]. Journal of Agricultural Mechanization Research, 2016, 38(11): 234-238. (in Chinese with English abstract)

[12] 李景彬，陈兵旗，刘阳. 棉花铺膜播种机导航路线图像检测方[J]. 农业机械学报，2014，45(1)：40-45.

Li Jingbin, Chen Bingqi, Liu Yang. Image detection method of navigation route of cotton plastic film mulch planter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 40-45. (in Chinese with English abstract)

[13] 郭翰林，洪瑛杰，张翔，等. 再生稻收割机的视觉导航路径检测方法[J]. 福建农林大学学报：自然科学版，2017，46(3)：356-360.

Guo Hanlin, Hong Yingjie, Zhang Xiang, et al. Method of identifying the vision navigation path for ratooning rice harvester[J]. Journal of Fujian Agriculture and Forestry University: Natural Science Edition, 2017, 46(3): 356-360. (in Chinese with English abstract)

[14] 赵腾，野口伸，杨亮亮，等. 基于视觉识别的小麦收获作业线快速获取方法[J]. 农业机械学报，2016，47(11)：32-37.

Zhao Teng, Noboru Noguchi, Yang Liangliang, et al. Fast edge detection method for wheat field based on visual recognition[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(11): 32-37. (in Chinese with English abstract)

[15] Zhang Qin, Chen Shaojie, et al. A visual navigation algorithm for paddy field weeding robot based on image understanding[J]. Computers and Electronics in Agriculture, 2017, 143: 66-78.

[16] 谢忠华. 水稻插秧机路径追踪设计—基于SOPC嵌入式视觉导航[J]. 农机化研究，2017，39(10)：213-217.

Xie Zhonghua. Path tracking design of rice transplanter[J]. Journal of Agricultural Mechanization Research, 2017, 39(10): 213-217. (in Chinese with English abstract)

[17] Pawin T, Tofael A, Tomohiro T. Navigation of autonomous tractor for orchards and plantations using a laser range finde: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147: 90-103.

[18] 李茗萱，张漫，孟庆宽，等. 基于扫描滤波的农机具视觉导航基准线快速检测方法[J]. 农业工程学报，2013，29(1)：41-47.

Li Mingxuan, Zhang Man, Meng Qingkuan, et al. Rapid detection of navigation baseline for farm machinery based on scan-filter algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013, 29(1): 41-47. (in Chinese with English abstract)

[19] Vladimir C, Jarmo A, Vladimir B. Integer-based accurate conversion between RGB and HSV color spac[J]. Computers and Electrical Engineering, 2003, 19(1): 328-337.

[20] Guy Z, Amir S. A novel data fusion algorithm for low-cost localisation and navigation of autonomous vineyard sprayer robots[J]. Biosystems Engineering, 2016, 146: 133-148.

[21] David B, Ben U, Gordon W, et al. Vision‐based obstacle detection and navigation for an agricultural Robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.

[22] Hamed R, Hassan Z D, Hassan M, et al. A new DSWTS algorithm for real-time pedestrian detection in autonomous agricultural tractors as a computer vision system[J]. Measurement, 2016, 93: 126-134.

[23] Liu Yang, Chen Bingqi. Detection for weak navigation line for wheat planter based on machine vision[J]. Applied Mechanics & Materials, 2012, 246-247: 235-240.

[24] 梁习卉子，陈兵旗，姜秋慧，等. 基于图像处理的玉米收割机导航路线检测方法[J]. 农业工程学报，2016，32(22): 43-49.

Liangxi Huizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester base-d on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2016, 32(22): 43-49. (in Chinese with English abstract)

[25] 李景彬，陈兵旗，刘阳，等. 采棉机视觉导航路线图像检测方法[J]. 农业工程学报，2013，29(11)：11-19.

Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013, 29(11): 11-19. (in Chinese with English abstract)

[26] 张雄楚，李景彬，姚庆旺，等. 棉花铺膜播种作业拖拉机的视觉导航路径检测[J]. 农机化研究，2020，42(5)：33-39.

Zhang Xiongchu, Li Jingbin, Yao Qingwang, et al. Research on visual navigation path detection algorithms of tractor for cotton film-spreading and seeding operation[J]. Journal of Agricultural Mechanization Research, 2020, 42(5): 33-39. (in Chinese with English abstract)

[27] 李革，王宇，郭刘粉，等. 插秧机导航路径跟踪改进纯追踪算法[J]. 农业机械学报，2018，49(5)：21-26.

Li Ge, Wang Yu, Guo Liufen, et al. Improved pure pursuit algorithm for rice transplanter path tracking[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(5): 21-26. (in Chinese with English abstract)

[28] 何洁，孟庆宽，张漫，等. 基于边缘检测与扫描滤波的农机导航基准线提取方法[J]. 农业机械学报，2014，45(S1)：265-270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(S1): 265-270. (in Chinese with English abstract)

[29] 孟庆宽，张漫，杨耿煌，等. 自然光照下基于粒子群算法的农业机械导航路径识别[J]. 农业机械学报，2016，47(6)：11-20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11-20. (in Chinese with English abstract)

[30] 彭顺正，坎杂，李景彬. 矮化密植枣园收获作业视觉导航路径提取. 农业工程学报，2017，33(9)：45-52.

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked andclose-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2017, 33(9): 45-52. (in Chinese with English abstract)

Path detection of visual navigation for jujube harvesters

Zhang Xiongchu1, Chen Bingqi1※, Li Jingbin2, Liangxi Huizi1,2, Yao Qingwang2, Mu Shuhao1, Yao Wenguang1

(1.,100083,;2.,832003,)

The jujube industry occupies an important position in the social economy of Xinjiang. It is important to realize the automatic driving of the jujube harvester. This study proposes a visual navigation path detection algorithm for the jujube harvester which working above the jujube trees based on image processing, aiming at the harvest operation of the Jun-jujube and Hui-jujube orchards in Xinjiang. First, the variety of the jujube orchard was distinguished. Set the middle 1/3 area in the-axis direction of the image as the processing area, according to the relationship between the standard deviationand the minimum valueof the B-component vertical cumulative histogram of the processing area of the image, the jujube orchard variety was automatically determined. If the value of/was less than 5, it was the Jun-jujube orchard, and the rest was the Hui-jujube orchard. Secondly, navigation path was extracted based on the results of jujube orchard classification. For the Hui-jujube orchard, the cromatic aberration method and the OTSU method weare first used to transform the image into gray and binary, and then to denoise and fill the pixel hole that the black pixels inside white pixels or the white pixels inside black pixels in the binary image. Then, the pixel rows were scanned from the top to the bottom in the processing area, and then the coordinates average value of the pixel points with pixel value of 0 were taken as the candidate points on each pixel row, and the average value of all candidate points’ coordinates was used as the known point coordinates of Hough transform. Finally, the navigation path was fitted based on the Hough transform through the known points. For the Jun-jujube orchard, set the middle 1/3 of the-axis direction of the image as the processing area. The scan interval was determined by vertically accumulating the R-component in the processing area. Then, in the processing area, the scanning interval was determined by accumulating R-component vertically, and then scanned line by line from top to bottom in the scanning area,,the pixel with the smallest R-component value in each row of pixels was taken as the candidate point of the line, and the average coordinate value of all candidate points was taken as the known point of Hough transform. Finally, the Hough transform of known points was used to fit the navigation path The test results showed that for the Hui-jujube orchard and the Jun-jujube orchard, the average path detection accuracy of the algorithm was 94% and 93%, and the average processing time of one frame image was 0.042 and 0.046 s respectively. The detection accuracy and real-time performance can meet the requirements of jujube harvester operation, and can automatically identify the types of jujube orchard for operation, which can provide theoretical basis for the realization of automatic driving of jujube harvester.

agricultural machinery; image processing; vision navigation; jujube orchard; Hough transform

张雄楚，陈兵旗，李景彬，等. 红枣收获机视觉导航路径检测[J]. 农业工程学报，2020，36(13)：133-140.doi：10.11975/j.issn.1002-6819.2020.13.016 http://www.tcsae.org

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.016 http://www.tcsae.org

2019-01-12

2020-06-10

国家重点研发计划课题（2016YFD07011504）；兵团中青年科技创新领军人才（2016BC001）

张雄楚，博士生，研究方向：图像处理与机器视觉方面。Email：781661571@qq.com

陈兵旗，教授，博士生导师，博士，主要从事图像处理与机器视觉方面研究。Email：fbcbq@163.com

10.11975/j.issn.1002-6819.2020.13.016

TP242.6

A

1002-6819(2020)-13-0133-08