基于双目视觉的香蕉园巡检机器人导航路径提取方法

张振乾，李世超，李晨阳，曹如月，张 漫，李 寒，李修华

基于双目视觉的香蕉园巡检机器人导航路径提取方法

张振乾1，李世超2，李晨阳1，曹如月1，张 漫1※，李 寒2，李修华3

（1. 中国农业大学现代精细农业系统集成研究教育部重点实验室，北京 100083；2. 中国农业大学农业农村部农业信息获取技术重点实验室，北京 100083； 3. 广西大学电气工程学院，南宁 530004）

为实现移动机器人香蕉园巡检自动导航，研究提出了一种基于双目视觉的香蕉园巡检路径提取方法。首先由机器人搭载的双目相机获取机器人前方点云，进行预处理后对点云感兴趣区域进行二维投影并将投影结果网格化，得到网格地图；然后采用改进的K-means算法将道路两侧香蕉树分离，其中初始聚类中心通过对网格地图进行垂直、水平投影以及一、二阶高斯拟合确定；最后基于最小包围矩形提取导航路径，将道路两侧网格以最小矩形框包围，提取两包围框中间线作为期望导航路径。测试结果表明，改进的K-means算法聚类成功率为93%，较传统方法提高了12个百分点；导航路径提取平均横向偏差为14.27 cm，平均航向偏差为4.83°，研究方法可为香蕉园巡检机器人自动导航提供支持。

机器人；机器视觉；香蕉园；巡检；路径提取

0 引 言

香蕉是重要水果之一，中国作为传统香蕉生产大国，香蕉产量常年位居世界前列，并且近年来产业处于持续增长态势[1-2]。长期以来，香蕉园工作以人工为主，属于劳动密集型工作，强度极大，工作环境湿热[3]。随着城市化的推进和人口老龄化问题加深，香蕉种植采摘工作人力成本不断升高，传统作业方式已无法满足现阶段生产需要[4]，未来香蕉种植方式应向智能化、无人化方向发展。

在香蕉种植过程中，需要时刻关注其生长情况、病虫害、果穗情况等并采取对应管理措施，这直接关系到香蕉产量及品质[5]。传统管理模式中管理人员需要步行或驾驶非机动车在区域内部进行巡检，耗费较多人力，因此由巡检机器人的研发具有重要意义。实现自动巡检的前提是香蕉园内机器人导航技术，其中核心是导航路径提取方法。受香蕉种植工艺影响，香蕉园内存在两种道路。一是不同种植区域间的机动车道，可以行驶汽车，二是区域内部留出的巡检道路，主要供管理人员驾驶非机动车进行巡检，无法行驶大型农机。农业机器人体型较小，行驶灵活，能够在上述两种道路上行驶，本文旨在研究一种导航路径提取方法能够适应香蕉园内两种道路。

目前已经有多种技术能够实现农田环境下的路径探测[6-8]。基于GNSS（Global Navigation Satellite System）的农业导航系统已经广泛应用，能够在已知边界的地块自动规划作业路径。对于成熟期香蕉树，巨大的叶片遮挡了卫星信号，测试中发现在香蕉树下接收的GNSS信号无法提供高精度导航信息。激光雷达实现了对前方作物的精准探测但是成本较高，另外在存在较多香蕉树残茬、枯叶等复杂因素的香蕉园环境下，激光雷达稀疏的点云给路径提取带来了一定困难。视觉传感器分辨率较高，成本低，在果园环境下能够取得较好的效果[9]。因此本研究中香蕉园巡检机器人采用视觉导航方法。

近年来国内外研究人员已开展了基于视觉的农业机器人导航路径提取。Hiremath等基于粒子滤波研究了田间机器人在玉米地内的路径提取方法[10]。孟庆宽等通过粒子群算法对大豆、小麦、圆白菜作物进行了作物行提取[11]。Zhai等将PCA（Principal Component Analysis）方法和RANSAC（Random Sample Consensus）方法结合，在三维视觉下实现了棉花采摘路径检测[12]。王帅先提出了基于单目视觉测量与二维码标靶相结合的果园机器人视觉导航方法[13]。García-Santillán等研究了基于最小二乘法的路径提取方法[1415]。王鹏等采用视觉传感器识别地面导航线和QR（Quick Response）码实现了温室内视觉导 航[16]。张雄楚等对单目图像进行Otsu法二值化和Hough变换实现了红枣收获机路径提取[17]。李秀智等使用RANSAC算法结合最小二乘法针对小麦、花生、玉米、马铃薯作物进行了研究[18]。Kim等运用patch-based CNN方法实现了半结构化地面的机器人巡检路径检测[19]。

目前国内外相关研究解决了部分农业场景下的导航路径提取问题，但是几乎没有涉及香蕉园环境。现有研究大多基于单目图像，过去受相机分辨率和计算机算力的限制，双目视觉在重建效果和实时性上的不佳表现影响了其应用。随着GPU（Graphics Processing Unit）技术的发展，移动机器人可搭载的边缘计算设备算力逐步提高，为基于双目视觉技术进行导航路径快速提取提供了基础。在对双目图像进行三维重建获取前方作物及地面点云后，通过作物三维点云形态特征及其与地面的高度差实现作物区域识别与定位，进而提取可行驶地面区域及导航路径[20]。此类方法不受阴影和光线照射角度变化的影响，但只适用于高度上与地面有明显区分的作物。对于香蕉园环境，地面情况复杂不利于基于颜色、纹理的单目图像检测方法，香蕉树和地面具有明显区分，立体图像的优点更加凸显。因此本研究以双目视觉传感器为感知设备，研究香蕉园巡检机器人导航路径提取方法，使机器人能够在香蕉园内两种路径下实现导航。

1 材料与方法

1.1 巡检机器人系统总体设计

1.1.1 硬件平台

巡检机器人由双目相机、主控单元和机器人底盘组成，如图1所示。

图1 香蕉园巡检机器人组成

双目相机选用Stereo Labs公司的ZED双目相机，水平视场角为90°，垂直视场角为60°，最高支持15 Hz频率输出4416×1242（像素）的双目图像，通过USB3.0传输至主控单元。主控单元选用NVIDIA Jetson Nano开发板，搭载Tegra X1异构SOC，大小为100 mm×80 mm×29 mm，在Ubuntu 18.04系统下以ROS为导航基础框架，通过RS-485与底盘进行通信。底盘选用四驱机器人底盘结构件（巨匠机器人有限公司，惠州，中国），如图2a所示，长414 mm，宽325 mm。底盘控制芯片为STM32单片机，输出PWM信号通过LS伺服驱动器控制4个GM37-520直流电机实现机器人直线行驶及左右侧轮差速转向。ZED相机在机器人上的安装效果如图2b所示，相机固定于球形云台上，可以较方便调整相机角度。机器人在香蕉园中的数据采集场景如图2c所示。

图2 巡检机器人平台

1.1.2 导航路径提取方法

导航路径提取流程如图3所示。由ZED相机采集双目图像，由Jetson Nano完成提取导航路径的相关操作。首先对双目图像进行三维重建获取前方作物及地面点云，然后对点云进行坐标系转换、空间限制等操作完成点云预处理。对预处理后点云进行双阈值分割，投影至二维平面。然后对投影结果通过改进的K-means聚类分离左右两侧网格，分别用最小矩形框包围，最后进行导航路径提取。

图3 导航路径提取流程

1.2 点云获取

由ZED相机获取行驶方向道路环境的双目图像，如图4所示。由厂商Stereo Labs提供的SDK部署在Jetson Nano开发板上，能够对双目图像进行实时三维重建，获取0.4～40 m深度范围内的点云。原始点云如图5a所示，坐标系为三维笛卡尔右手坐标系，方向为机器人横向，方向为机器人航向，为垂直地面方向，坐标系原点为相机左目。

图4 香蕉园双目图像

因为只需保留前方一定范围内的道路信息，为减小计算量，对点云进行空间限制，只保留{∈[–10 000 mm, 10 000 mm]，∈[0, 20 000 mm]，∈[–500 mm, 2 000 mm]}范围内点云的位置信息。为使地面高度置为0，将点云位置在轴方向进行28 cm（相机中心距离地面高度）的补偿，并且将点云沿轴进行–6 cm（相机左目到相机中心的距离）补偿，将点云坐标系原点从相机左目转换至相机中心在地面的投影点。预处理后的点云如图5b所示。

注：坐标原点为相机中心点在地面的投影点。

1.3 双阈值分割点云

由于预处理后的点云依然包含部分香蕉树冠及地面垄沟，会对导航路径提取产生干扰，需要将树冠及地面点云滤除，只保留香蕉树干部分作为参考。取20幅图像进行分析，预处理后的点云高度直方图如图6a所示，地面点主要分布在–0.2～0.3 m之间。根据香蕉种植经验，垄的高度在0.5 m以下，滤除高度低于0.5 m的点云可消除地面高度变化及垄沟带来的干扰。成熟期香蕉树1.5 m以上部分主要为叶片，需要将其滤除，因此将高阈值设置为1.5 m。因此高程0.5～1.5 m范围作为机器人导航路径提取的感兴趣区域。

将感兴趣区域内点云在--平面上进行投影，得到二维投影结果如图6b。蓝色部分是香蕉树产生的点云投影，两侧投影中间的为巡检道路，机器人行驶路径应在道路中心。

1.4 点云网格化

为减小计算量，对点云投影结果进行网格化，即将一定范围的点归入同一个网格。网格设置越大，计算量越小，但是精度越低。综合考虑计算量和提取精度，根据经验将网格设置为100 mm×100 mm，点云二维投影结果被分为200×200个网格。香蕉园内存在机动车道和非机动车道两种道路，对机器人在2种道路下采集的点云分别进行网格化，效果如图7所示。

图7 点云投影网格化

1.5 改进的K-means算法聚类

在机器人巡检过程中，道路左右两侧始终为香蕉树区域，将两侧区域分别识别后可以得到中间的道路范围，进而提取导航路径。对于此类问题通常采用聚类方法，K-means算法由于伸缩性好、复杂度低，实际应用较广，但是存在需要人为预先设定期望的簇数量（值）、对初始聚类中心敏感、只能得到局部最优解的不足。在香蕉园巡检导航路径检测任务中，道路左右两侧分别为一个类别，因此簇数目可以确定为2。若能够指定较准确的初始聚类中心，一方面可以提高聚类成功率，避免陷入局部最优解，另一方面可以提升聚类速度。传统K-means算法初始聚类中心为随机生成，在此提出了可以自动判断合适的初始聚类中心的改进的K-means算法。由于道路两侧香蕉树分为2簇，簇中心应位于点云网格分布较为密集的位置范围，通过投影和高斯拟合计算点云网格在画面中的分布情况可近似得到较接近真实中心的初始聚类中心。改进的K-means算法流程如图8所示。

图8 改进的K-means聚类流程

以图7a为例进行改进的K-means聚类。首先按式（1）对网格地图进行垂直投影。

式中()表示第列的投影结果；(,)表示第行第列网格的值，值为0代表该网格中没有点云，值为1代表存在点云。投影结果如图9a所示，横坐标为列号，纵坐标为该列的非空白网格的数量。由图可知，投影结果明显分为左右两部分。中间投影结果为0的部分对应没有作物存在的道路位置。两侧香蕉树点云网格的垂直投影存在明显的峰值。投影结果近似呈双峰分布，峰值代表在水平方向上网格最集中的位置，通过对投影结果进行拟合，求拟合曲线极大值点来求得峰值横坐标，将其作为初始聚类中心的横坐标。对垂直投影结果进行二阶高斯拟合，得到拟合曲线如式（2）。

式中1，1，1，2，2，2为拟合参数，拟合曲线如图9a中红色曲线所示。将拟合曲线的两个极大值点的横坐标1，2作为两个初始聚类中心横坐标。

以式（3）作为分界线将网格地图初步划分为左、右两个区域，将道路两侧的网格分离，式中c表示分界线横坐标。按式（4）～（5）分别对左、右两个区域进行水平投影，并对投影结果进行一阶高斯拟合，式中(L)表示左侧区域第行的水平投影结果，(R)表示右侧区域第行的水平投影结果；(,)表示第行第列网格的值。结果如图9b、9c所示，横坐标为行号，纵坐标为该行的非空白网格的数量。左、右侧区域在竖直方向上网格集中在图9b、9c拟合曲线峰值附近。因此将图9b、9c拟合曲线的极大值点分别作为左、右两侧初始聚类中心的纵坐标。

至此，通过以上计算得到两侧网格最为集中的位置。以该位置作为初始聚类中心，然后计算各网格到聚类中心的欧氏距离并将各网格归入距离最近的聚类中心，所有网格被分类到两个簇中，计算簇质心作为新的聚类中心。不断重复以上过程直至质心不再发生变化。对两类道路的聚类效果如图10所示。

图9 网格地图投影结果与高斯拟合曲线

图10 机动车道和非机动车道点云网格聚类效果

1.6 基于最小包围矩形的路径提取

将左右两侧点云网格分离后，为获取两侧香蕉树中间的道路范围，对每一簇网格以最小矩形框进行包围，具体计算流程如图11所示。

图11 最小包围矩形计算流程

两包围框中间区域即为道路，将两包围框靠近中心线一侧的边的延长线作为路径参考边缘，两条延长线的中心线作为导航路径。2种道路的包围框和导航路径提取效果如图12所示。

2 结果与分析

在香蕉园中对路径检测方法进行验证。试验时间为2021年4月14日至4月17日。试验地点是位于广西壮族自治区崇左市扶绥县的广西亚热带农科新城，该基地共种植香蕉130余公顷，第一代苗于2018年末种植，品种为威廉斯B6，种植株间距为2.5 m，试验时已生长至第三代。香蕉园内存在不同种植区域间的机动车道以及区域内部留出的供管理人员巡检的非机动车道。在香蕉园内机动车道和非机动车道上手动控制机器人进行巡检作业，巡检过程中通过基于编码器的里程计监测作业速度，保持行驶速度为0.2 m/s，同时通过ZED双目相机以1 Hz频率对机器人前方点云数据进行采集。

2.1 改进的K-means聚类测试与分析

在机动车道和非机动车道巡检过程中采集的点云图像中各随机选取50幅图像，分别采用传统K-means方法和改进的K-means方法进行聚类测试。采用传统K-means方法聚类成功率平均为81%，其中机动车道的50幅图像中的45幅聚类成功；非机动车道的50幅图像中的36幅图像聚类成功。采用改进的K-means方法聚类成功率平均为93%，较传统K-means方法提高了12个百分点，其中机动车道的50幅图像中49幅图像聚类成功，非机动车道的50幅图像中的44幅图像聚类成功。

改进的K-means聚类方法在机动车道环境中聚类效果较好，聚类失败大部分发生在非机动车道环境。主要原因是非机动车道较窄并且远端点云簇稀疏，在路边枯叶、分生幼苗等因素的干扰下，两侧点云距离过近导致被归为一类。下一步将根据香蕉园道路点云特征研究新的聚类方法以进一步提升聚类成功率。

2.2 导航路径提取测试与分析

将本文方法提取的路径与人工标注的路径进行对比。机器人期望路径应为道路中线，道路边界可由两侧香蕉树位置确定。因此标注道路两侧香蕉树位置可计算得到道路中心线位置。以图6为例，人工标注期望导航路径的方法如下：

1）在原始点云中香蕉园巡检道路左侧与右侧边界各人工标注5个特征点，记录其在––平面的坐标，结果如表1所示。

表1 人工标注特征点坐标

2）将左右两侧特征点以最小二乘法拟合为道路边界线，得到左、右侧边界描述方程，如式（6）～（7）。

left=31.695 7+124.920 6 （6）

right=108.237 8–258.144 8 （7）

3）求解左右边界线的中心线，得到期望导航路径如式（8）。

=49.048+38.080 4 （8）

导航路径提取结果如图13所示，红线为人工标注的导航路径，蓝线为提取的导航路径。对改进的K-means聚类测试中聚类成功的93幅图像进行测试，统计方向0～2 m范围的导航路径平均横向距离偏差和航向角偏差，得到导航路径平均横向偏差为14.27 cm，平均航向角度偏差为4.83°。

图13 人工标注与本研究提取的导航路径对比

由测试结果可知，导航路径平均偏差较大，一方面是网格化降低了提取精度，另一方面是因为道路两侧的香蕉树并不是严格沿道路边排列，同时在道路边分生的香蕉幼苗也对最小包围框产生了干扰。下一步将减小点云网格面积，并采用RANSAC方法提取道路地面点云生成导航路径，与本方法提取的路径进行融合，提高路径检测精度。

3 结 论

本研究针对香蕉园环境提出了一种巡检机器人导航路径提取方法，该方法在一定程度上能适应香蕉园内两种不同路径。提出了一种改进的K-means聚类方法，以投影结合高斯拟合确定初始聚类中心，在两种道路样本范围内聚类成功率为93%，相较传统K-means算法提高了12个百分点。提出了一种基于最小包围矩形的路径检测方法，以两矩形框靠中心侧边的中心线作为参考导航路径，在0～2 m范围提取路径平均横向偏差为14.27 cm，平均航向偏差为4.83°。测试结果表明，本研究能够为香蕉园巡检机器人提供一定支持。

[1] 刘以道，张慧坚. 世界香蕉产业发展概况及发展趋势[J]. 世界农业，2013(10)：76-79.

[2] 凌荣娟. 广西香蕉产业发展现状与对策研究[D]. 南宁：广西大学，2018.

Ling Rongjuan. Research on Present Situation and Countermeasures of Banana Industry Development in Guangxi[D]. Nanning: Guangxi University, 2018. (in Chinese with English abstract)

[3] 李斌，王先敬，刘碧光. 香蕉栽培技术[J]. 现代园艺，2017，(1)：43-44.

[4] 苏继龙，刘远力，吴金东. 香蕉采摘机械的研究现状与发展趋势[J]. 中国农业大学学报，2019，24(7)：131-137.

Su Jilong, Liu Yuanli, Wu Jindong. Research status and development trend of banana picking machine[J]. Journal of China Agricultural University, 2019, 24(7): 131-137. (in Chinese with English abstract)

[5] 高广平，易干军，魏岳荣. 香蕉栽培管理技术研究概况[J]. 中国农学通报，2010，26(10)：337-342.

[6] Roshanianfard A, Noguchi N, Okamoto H, et al. A review of autonomous agricultural vehicles (The experience of Hokkaido University)[J]. Journal of Terramechanics, 2020, 91: 155-183.

[7] 张漫，季宇寒，李世超，等. 农业机械导航技术研究进展[J]. 农业机械学报，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18.(in Chinese with English abstract)

[8] Ball D, Ross P, English A, et al. Farm workers of the future: Vision-based robotics for broad-acre agriculture[J]. IEEE Robotics & Automation Magazine, 2017, 24(3): 97-107.

[9] Radcliffe J, Cox J, Bulanon D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.

[10] Hiremath S, Van Evert F, Braak C, et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering, 2014, 121: 85-95.

[11] 孟庆宽，张漫，杨耿煌，等. 自然光照下基于粒子群算法的农业机械导航路径识别[J]. 农业机械学报，2016，47(6)：11-20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11-20. (in Chinese with English abstract)

[12] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.

[13] 王帅先. 基于农业机器人试验平台的郁闭型果园视觉导航系统研究[D]. 杨凌：西北农林科技大学，2017.

Wang Shuaixian. Research on Visual Navigation System in Canopy Orchard Based on Agricultural Robot Test Platform[D]. Yangling: Northwest A&F University, 2017. (in Chinese with English abstract)

[14] García-Santillán I, Guerrero J M, Montalvo M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19(1): 18-41.

[15] 李云伍，徐俊杰，王铭枫，等. 丘陵山区田间道路自主行驶转运车及其视觉导航系统研制[J]. 农业工程学报，2019，35(1)：52-61.

Li Yunwu, Xu Junjie, Wang Mingfeng, et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 52-61. (in Chinese with English abstract)

[16] 王鹏，耿长兴，王蓬勃. 设施农业喷雾机器人的组合视觉导航方法[J]. 江苏大学学报：自然科学版，2019，40(3)：307-312.

Wang Peng, Geng Zhangxing, Wang Pengbo. Visual navigation method of agro-spraying robot based on navigation line and QR code combination[J]. Journal of Jiangsu University : Natural Science Edition, 2019, 40(3): 307-312. (in Chinese with English abstract)

[17] 张雄楚，陈兵旗，李景彬，等. 红枣收获机视觉导航路径检测[J]. 农业工程学报，2020，36(13)：133-140.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract)

[18] 李秀智，彭小彬，方会敏，等. 基于RANSAC算法的植保机器人导航路径检测[J]. 农业机械学报，2020，51(9)： 40-46.

Li Xiuzhi, Peng Xiaobin, Fang Huimin, et al. Navigation path detection of plant protection robot based on RANSAC algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 40-46. (in Chinese with English abstract)

[19] Kim W, Lee D, Kim Y, et al. Path detection for autonomous traveling in orchards using patch-based CNN[J]. Computers and Electronics in Agriculture, 2020, 175: 105620.

[20] Kneip J, Fleischmann P, Berns K . Crop edge detection based on stereo vision[J]. Robotics and Autonomous Systems, 2020, 123: 103323.

Navigation path detection method for a banana orchard inspection robot based on binocular vision

Zhang Zhenqian1, Li Shichao2, Li Chenyang1, Cao Ruyue1, Zhang Man1※, Li Han2, Li Xiuhua3

(1.100083; 2.100083,; 3.530004)

Banana is one of the most important fruits. A non-motorized vehicle can often be driven to inspect an orchard during the traditional planting management. However, the labor-intensive and time-consuming mode cannot fully meet the large-scale production in modern agriculture. Alternatively, it is very necessary to develop inspection robots with automatic navigation for banana orchards, particularly on the detection of navigation paths in a complex field. In this study, a navigation path detection was proposed to realize the automatic inspection in a banana orchard using binocular vision of mobile robots. The inspection robot also consisted of a binocular camera, a main control unit, and a robot chassis. The specific procedure was as follows. 1) The binocular images were acquired to reconstruct in three dimensions using the ZED camera mounted on the mobile robot. Then, the point cloud was preprocessed, including the coordinate system conversion and space limit. After that, the point cloud was segmented by double thresholds. Specifically, the height of the point cloud was obtained for the banana trees, where the heights of ground points were mainly distributed below 0.5 m, and those of leaves were above 1.5 m. Therefore, the height range of 0.5～1.5 m was selected as the region of interest (ROI) of the point cloud in the navigation path detection. 2) The ROI region was projected onto a two-dimensional plane. The projection of the point cloud was also gridded to reduce the amount of calculation. A traditional K-means clustering was improved, according to the grid’s distribution of banana trees. The initial centers of the cluster were also determined to improve the clustering effect using the vertical and horizontal projection of the grid map, together with the first and the second order Gaussian fitting. Specifically, the grid map was first projected vertically, thereby to be fitted using the second-order Gaussian curve. Among them, the-axis for the two maximum points of the fitted curve was taken as the-axis for the two initial centers of the cluster. The grid map was then divided into two areas on the left and right by the center line of two-axes. After that, a horizontal projection was performed on the two regions, further to be fitted by the first-order Gaussian curve. The maximum points of two curves were selected as the coordinates of the initial cluster centers on the left and right areas. A calculated position was utilized as the initial clustering center. The grids of banana trees on both sides of the road were also divided into two clusters using the K-means clustering. Correspondingly, the clusters were surrounded by the smallest rectangular boxes. The middle line of the two boxes was detected as the navigation path. 3) The path detection was tested in the banana orchards. The robot was manually controlled to perform the inspection operations on the motorized and non-motorized lanes in the banana garden, while the point cloud images in the front were acquired simultaneously. The point cloud images were used to test the path detection. The results showed that the clustering success rate of the improved K-means clustering was 93%, compared with the traditional one of 81%. The positions on the edge of banana trees near the road were also labeled manually. The least square method was then utilized to fit the positions for the road boundary line. The center line of the left and right boundary lines was taken as the desired navigation path. The 93 clustered images were tested successfully by the improved K-means. Consequently, the path extraction demonstrated that the average distance deviation of the navigation path within 2 m was 14.27 cm, and the average angle deviation was 4.83°, compared with the manually labeled path. The findings can provide strong support to the automatic navigation of inspection robots in a banana orchard.

robots; machine vision; banana orchard; inspection; path extraction

10.11975/j.issn.1002-6819.2021.21.002

S24

A

1002-6819(2021)-21-0009-07

张振乾，李世超，李晨阳，等. 基于双目视觉的香蕉园巡检机器人导航路径提取方法[J]. 农业工程学报，2021，37(21)：9-15.doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

Zhang Zhenqian, Li Shichao, Li Chenyang, et al. Navigation path detection method for a banana orchard inspection robot based on binocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 9-15. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

2021-05-15

2021-10-18

广西创新驱动发展专项资金（桂科AA18118037）；国家重点研发计划（2019YFB1312305）；中国农业大学建设世界一流大学（学科）；特色发展引导专项资金（2021AC006）

张振乾，博士生，研究方向为农业机器人自主导航技术。Email：cauzzq@126.com

张漫，教授，博士，研究方向为精细农业及其支持技术。Email：cauzm@cau.edu.cn