基于深度视觉和蚁群避障算法的果园精准喷施路径规划方法

梁 娟，肖 珂,2，张 艳

（1.河北农业大学 信息科学与技术学院，河北 保定 071001；2. 河北省农业大数据重点实验室，河北 保定 071001）

在果园喷施中由于农药利用率低，从而造成农药的浪费，并对我们的生态环境也造成了破坏，因此，农药精准喷施［1］越来越受到人们的重视。精准喷施不仅可以提高农药的使用率和覆盖率，而且可以减少农药对环境的污染，喷施路径规划在果园精准喷施中发挥着重要的作用。

在果园精准喷施研究中，人们采用了多种方法以到达农药剂量的最优化，目前农药精准喷施系统中使用了各种传感器：超声波传感器被用在果树树冠轮廓的检测［2］和树冠的测定［3］，但是其易受摆动树叶干扰。激光雷达被用于果树树冠的测量［4-6］，但其成本很高，且无法检测到太接近传感器的物体。深度摄像机［7］能够生成深度图像，得到场景中事物的距离［8-10］信息。本研究采用彩色和深度图像兼容的Kinect 进行实验处理，将Kinect 生成的深度图像与彩色图像进行融合处理，以达到对果园喷施行驶路径的规划。

目前，针对路径规划方面提出了不少的算法。人工势场法用于机器人运动轨迹的规划［11-12］，但其易陷入局部最小而不能使规划体达到最终的目标。利用模糊逻辑算法对机器人进行路径规划［13］，但该算法需要依靠人的经验设计和制定。遗传算法被应用于无碰撞路径规划［14-15］，但其易陷入局部最优解。为了解决GPS 信号在接近地面和树木时定位结果可能不准确的问题，Stefas 开发了基于视觉的障碍物探测和规避的组件，以及用于视觉覆盖路径规划的组件［16］；Bochtis 提出了1 种果园路径规划方法，并用确定性行为机器人进行了测试［17］；Linker提出了1 种用于在果园中汽车类车辆的最佳行驶路径方法［18］。随着技术的发展，机器人也不断应用于农业发展中，例如，应用于农业喷施和喷施路径规划的自主田间机器人［19-21］。农业机器人的应用大大减少了农业喷施人力，降低人员伤害风险和高精度的提高喷施度。但是机器人定义过程参数易受到外部环境的干扰，不适用于茂密果林内的路径规划。

本文针对Y-shaped 桃树园进行实验，通过蚁群算法和栅格地图结合的方法对果园路径进行规划处理。首先，通过图像处理技术对桃树轮廓进行边缘提取,以规划喷施设备在行进过程中的行驶范围，然后利用彩色图像和深度图像的融合处理对每棵果树的树冠轮廓进行精准拟合，接着对拟合曲线进行线性规划、投影处理以获得果树树墙区域，最后对果树树墙区域进行二值化处理，利用栅格地图和蚁群算法进行避障处理，以实现对喷施行驶路径的规划。本文提出的路径规划方法，不但可以对树冠轮廓进行精准地拟合，而且可以对行驶路径进行最优地规划，可为果园精准喷施奠定基础。

1 材料与方法

1.1 实验材料与条件

常见桃树的树形主要分为3 类，分别为三角形树形（Traiangle-shaped）、菱形树形（Lozengeshaped）、Y-shaped 树（Y-shaped）［22］。本 文 主要针对Y-shaped 桃树对喷施行驶路径进行规划与研究。

实验时，使用青州市隆科农业装备有限公司生产的3WPZ-700B1 喷施机采集图像，喷施机长宽高参数分别为3 910、1 241、2 480 mm。实验地点为 河 北 省 保 定 市（东 经113°40′ ～116°20′ 之 间，北纬38°10′～40°之间）的3 个实验果园。实验图片采集时间为2019 年8 月26—28 日上午8：00—9:00 和16:00—17:00；光照条件为：光照不强的情况下采集图像；实验时的气象条件为：平均气温为25 ～30 ℃，相对湿度为20 ～25%，风力为1 ～2级，喷施设备平均行驶速度为1.1 m/s。桃树为5 年树龄，种植平均间距3 m 左右，平均行距4 m 左右，树木平均高度2.5 m 左右。由于恶劣的天气及环境不适宜果树农药的喷施，因此，需要在天气适宜，环境较好的条件下进行图像的采集。本文主要针对整行果树的两侧进行规划。

实验使用的是微软XBOX 360 Kinect 1.0 的传感器，型号为1473。Kinect 从左往右的方向上，最左边是红外光源，其次是LED 指示灯，显示Kinect运行情况，再次是彩色摄像头，用来收集彩色图像数据，最右边是红外摄像头，用来采集深度图像。

1.2 算法介绍

该算法首先对Y-shaped 果树进行边缘检测；然后对边缘检测后的图像进行坐标集的提取，并对其进行线性拟合，得出喷施设备的行驶范围；之后将线性拟合后的结果投影到地面，形成喷施设备的行驶范围(图2b)；接着对彩色图像和深度图像中的树冠进行边缘检测，并将其进行融合处理，以得到每棵桃树的树冠轮廓的拟合曲线；之后对每排的拟合曲线进行线性规划及投影等操作得到每排果树的树墙区域（LWA+障碍区域，即为果树叶墙区域和规划的障碍区域，Tree Wall Area，TWA）；接着利用蚁群避障算法对图像进行处理，得到喷施设备的行驶路径(图2c)。最后将行驶路径范围与蚁群避障算法规划路径组合形成喷施行驶路径导航(图2d)。图1 为喷施设备行驶过程中规划路径的示意图，图2为喷施行驶路径规划算法的总体流程图。

图1 喷施行驶路径总体规划图Fig.1 Spraying driving path overall planning image

图2 行驶路径规划算法流程图Fig.2 Flow chart of driving path planning algorithm

1.3 路径范围检测

对行驶路径范围的检测，需要对Y-shaped 果树的树冠进行边界的界定，以规划喷施行驶范围。首先需要对Y-shaped 果树的边缘轮廓进行提取，为了使最终规划线路更加准确，需将较为突出枝叶的部分加以忽略；接着提取图像中整排果树的边缘轮廓（树冠和树干），并对果树的树冠和树干进行颜色填充，以区分果树的树冠和树干；最后对整排果树的树冠边缘进行线性拟合，并将拟合直线投影到地面，以此做为界限对喷施设备的行驶范围进行规划。本文用不同的颜色对枝冠和树干进行填充，以区分树冠和树干，如图3c，用绿色表示Y-shaped 果树的枝冠，用红色表示Y-shaped 果树的树干。然后对填充后的图像进行边界提取。由于树冠轮廓边界较为曲折，因此本文采用最小二乘法［23-24］对轮廓的边缘点进行线性拟合。在彩色图像建立坐标系，以图片左上角为坐标原点，以该原点上边缘向右延伸作为横轴，以原点边缘向下延伸为纵轴，以图像中1 个像素点间隔作为1 个单位建立坐标系。树冠边缘上的每个点的坐标作为线性拟合的数据集，使用最小二乘法进行边缘的线性拟合，要求得到的线性拟合的直线公式如下：

式中xi，yi为边缘检测结果中树冠边缘点，N为树冠边缘点集的数量。由于图像中的Y-shaped 桃树一般为位于视场内的左右两侧，因此需要根据桃树左右二部分树冠的边缘点集拟合获得左右两侧的行驶范围分界线。图像处理过程如图3 所示。

图3 行驶范围边界拟合Fig.3 Driving range boundary fitting process

图3a 为原始彩色图像；图3b 为图像边缘检测后再进行闭运算的处理结果图；图3c 表示分别对树冠和树干填充颜色的结果图，图中绿色填充区域为树冠区域，棕色填充区域为树干区域；图3d 为边界线拟合结果图，黄色实线表示拟合后的边界线。利用这2 条边界，便能够划分果树行间的行驶范围路径，即可以判断当前的行驶是否在可行驶范围之内。

由于Y-shaped 桃树不同于葡萄整体距离地面很低易于观察路径，因此为了确保更好的行驶视觉，本文将规划喷施路径的分界线投影到地面。结果如图4 所示，图4a 为行驶分界线在原始彩色图像的拟合结果图；图4b 黄色实线为投影到地面的行驶路径范围规划分界线，黄色区域为路径行驶范围。

图4 行驶范围规划图Fig.4 Driving range planning image

1.4 TWA 检测

为了对喷施行驶路径进行规划使其达到最优，本研究需要考虑影响路径规划的一些因素，其中最为重要的因素是地形和喷施设备对果树的触碰问题。由于实验地点所处平原地区，因此不考虑地形因素。接下来主要针对避免喷施设备对果树触碰的问题进行研究。喷施路径的规划需要在检测出可行驶区域范围内沿着果林间路径的方向，根据喷施设备的宽度避开树冠区域，规划出其行驶的最佳路径。通过Kinect 得到深度图像，并与彩色图像进行对比试验，得出深度图像显示的图像基本上是彩色图像中距离最近的1 排果树，因此可以根据这一特性对每棵果树的树冠轮廓进行规划。

1.4.1 拟合Y 形果树的树冠轮廓 本文通过对深度图像和彩色图像进行融合处理以实现果园喷施行驶路径的规划。首先需要提取深度图像的树冠边缘轮廓。为了提高结果的精确性，实验仅提取深度图像中颜色为灰色（即距离近）的图像部分，而颜色为深红色（即距离远）的部分经过与彩色图像对比为后排果树的枝冠的部分信息。此算法不但可以自动去除背景干扰信息和除第1 排果树的信息，而且可以对深度图像中Y-shaped 果树枝冠进行精准地轮廓提取。

图5a 为深度图像，图像中的上半部分灰色部分相当于彩色图像第1 排Y-shaped 果树的树冠枝叶，而颜色为深红色的部分则是距离较远的树木的枝叶；图5b 为深度图像轮廓提取图像，由图像可以看出颜色为深红色的部分得到了滤除。图5c 为果树树冠拟合结果图，图中曲线为树冠拟合曲线；图5d 为分别对左右两侧树冠进行线性拟合后的图像，绿色实线为线性拟合后的直线；图5e 为图5d 拟合直线的投影线；图5f 为形成的果树树墙图，其中浅绿色+深绿色区域表示果树的TWA，黄色区域为喷施设备可行驶区域。

获得深度图像轮廓的结果图后，利用二次拟合曲线对树冠轮廓进行拟合处理，以形成喷施设备行驶路径的界限。以树冠轮廓边缘上每个点的坐标作为拟合数据集进行二次拟合。接下来对彩色图像的轮廓提取图像与深度图像的轮廓提取图像进行加运算处理，加运算结果图像中深度图像轮廓与彩色图像轮廓重叠部分即为第1 排果树的信息，彩色轮廓剩余部分则为第2 排果树的轮廓信息，并将此轮廓边缘上每个点的坐标作为数据集进行二次拟合。拟合计算公式如下：

其中p(1)，p(2)，p(3)为拟合二次项系数，a，b，c为耦合系数，a∈（1,2），b∈（1,2），c∈（0,2），耦合系数a，b，c为经过多次对比经验得出的范围，耦合系数表示对树冠轮廓的拟合程度，耦合系数的确定需与该位置处的树冠轮廓进行对比，树冠轮廓拟合精准度最好的系数即为该位置的耦合系数；x表示树冠轮廓横坐标，y表示拟合后的树冠纵坐标。

由于干扰枝叶的数据仍然存在于拟合曲线的数据中，会对曲线的拟合结果造成了干扰，因此需要在曲线的拟合公式中加入耦合系数，使得拟合结果更符合树冠轮廓。在2.1 节通过实验对2 条曲线进行了对比。

根据公式（4）可得树冠枝叶的拟合结果，如图5c 为Y-shaped 桃树树冠枝叶规划结果图，不同位置Y-shaped 桃树的树冠枝叶拟合线用红、绿、蓝等颜色的线表示，图中拟合曲线不但可以规划Y-shaped 桃树的树冠，而且可以去除干扰的树枝和树叶的信息。

图5 TWA 形成过程图Fig.5 TWA formation process image

为了验证算法的实用性和准确性，对不同场景的图像进行实验。图6a、图6b、图6c 为对3 个不同的果园中果树的树冠拟合后的结果。从图6 可以看出，对于不同果园本算法均可以准确地拟合Y-Shaped 果树的树冠轮廓。

图6 3 个果园树冠拟合结果Fig.6 Images of the contours extracted from three orchards

1.4.2 避障路径规划 蚁群算法是1991 年由Dorigo等人通过模拟蚁群觅食行为提出的1 种基于种群的模拟进化算法［25-27］。本研究主要应用蚁群算法对喷施行驶路径进行规划。算法具体步骤如下：

（1）将图像中左右两侧拟合后的树冠轮廓曲线（图5c）分别进行线性拟合（图5d）处理。

（2）利用世界坐标系将拟合后的直线运用几何投影（如公式（5））的方法将直线投影到地面，形成树墙区域界限，以规划出果树的TWA 区域，将规划后的TWA 区域进行二值化处理（如图7a），即白色区域为TWA 区域（障碍区域），其余位置为黑色区域。

（3）每5 个像素区域构建1 个栅格，建立栅格地图，并利用蚁群算法建立避障模型。

（4）蚁群算法避障模型。根据蚁群算法构建避障模型，算法中TWA 区域即为蚁群算法中的避障区域，只需在躲避2 个TWA 的基础上进行模型构建，便可实现避障原理。首先以图7a 左下角位置为起点，迭代次数设置为50，蚂蚁个数设置为35，左右2 个TWA 为障碍区域建立避障模型，经多次迭代处理便会优化出最短最优的路径。同理，以图7a 右下角位置处为起点，进行算法处理得到另1 条最优化的路径。由于仅在TWA 所围地面区域，即可行驶区域（图7b 黄色区域）的路径才有效，因此仅需选取可行驶区域（图7c 中黄色区域）内的轨迹线作为喷施设备的行驶轨迹界限。最后选取2 条红色轨迹线间的中线位置（图7c 中白色虚线）作为喷施设备的行驶导航线。

（5）形成喷施行驶路径导航。将1.3 节中处理的行驶路径范围与蚁群避障算法组合便形成喷施行驶路径导航（如图8）。

地面投影的计算。将原始彩色图像中的二维场景坐标系转化为现实世界中的三维场景下的坐标系，拟合直线的投影即为空间直线在xoy平面下的投影，且拟合直线中的各个点均不在xoy平面内。取拟合直线上的各个点，并将各个点作其到xoy平面上的投影。设拟合直线上的点在三维空间中的坐标为P（x0,y0,z0），其在xoy平面中的投影点为Q（xp,yp, 0），P、Q的向量n→为（x0-xp,y0-yp,z0），xoy平面内方向向量为s→。因为点P与投影点Q之间的连线与xoy平面垂直，所以根据此约束条件可以得出投影点Q坐标的计算公式为：

由式（5）可以得到投影点的坐标，再将投影后的坐标进行规划便得到拟合直线的投影线。如图5e，绿色实线表示拟合直线投影到地面的结果。

图7 为本研究利用蚁群算法进行路径规划的结果图。如图所示，图7a 为在二值图像下利用蚁群算法得到的运行轨迹结果图，其中红色实线为利用蚁群算法规划后的运行轨迹；图7b 为在彩色图像中利用蚁群算法后得到的运行轨迹结果图；图7c为实际行驶路径规划图，该行驶路径仅选取规划轨迹中黄色区域（可行驶区域）内的路径，其中白色虚线表示喷施设备的运行导航线。从结果可以看出利用蚁群算法进行路径规划，不仅可以沿着果林间路径的方向，根据喷施设备的宽度避开果树TWA，而且可以根据导航线规划出喷施设备行驶的最佳路径。

图7 基于蚁群算法行驶路径规划结果图Fig.7 Results of driving path planning based on ant colony algorithm

图8 为行驶路径规划导航图，其中黄色区域为喷施设备可以行驶的路径范围，红色实线表示蚁群算法规划结果路径，白色虚线表示喷施设备中心平台的行驶路径规划。

图8 行驶路径规划导航图Fig.8 Driving path planning navigation image

2 结果与分析

2.1 拟合曲线与树冠轮廓的比较及结果

实验中，以图5c 中喷施设备可行驶区域为界限，将果树分为左右两侧，可行驶区域左侧分别对应图5c 中的果树左侧第1 行果树（Left1）、左侧第2 行果树（Left2），可行驶区域右侧对应图5c 中的果树右侧第1 行（Right）的果树树冠轮廓与其对应的拟合结果曲线数据中提取相应的200 个数据。以20个数据为1 组，测试了果树树冠边缘轮廓与树冠轮廓拟合结果曲线。验证了曲线结果是否准确地拟合了树冠边缘的轮廓，实现了精准地行驶路径的规划。

将树冠轮廓的纵坐标y值与拟合后的曲线纵坐标y’值进行独立样本t检验，检验拟合曲线值与树冠轮廓值是否存在显著性差异。表1 为t检验处理结果后的10 组数据，独立样本t检验比较结果如表1，表1 比较了拟合曲线和对应树冠轮廓左侧第1 排（Left1）、左侧第2 排（Left2）和右侧第1 排（Right）数据，其中数据P为t检验处理结果的概率值（经SPSS 软件处理所得），其余各列数据均为各组的坐标均值±标准差的结果。

表1 拟合曲线和树冠边缘轮廓的T 检验Table 1 T-test of the fitting curve and canopy edge profile

从表1 的样本中，可以看出3 条拟合曲线的t检验结果中的概率值均为P>0.05，由结果可以得出结论3 条拟合曲线与树冠边缘轮廓不存在差异，意味着公式（4）对树冠边缘轮廓的拟合是准确的。为了验证结论的准确性，接下来分别对每组拟合曲线和对应的树冠轮廓采集的50 组样本数据对结果进行进一步的证实。实验结果如图9，图9 中x轴为采集数据的组数，y轴为t检验处理结果的概率值P，蓝线表示对应于概率P的曲线，红线表示界定概率P=0.05。

由图9 结果显示t检验结果中Left1、Left2、Right 对应的概率P的值均大于或者接近于0.05，但没有出现P＜0.05 的结果。因此，综合实验结果表明本文所使用的方法能够准确地拟合果树树冠的边缘轮廓，通过拟合的曲线结果可以对果树的枝冠进行规划，从而进一步实现对喷施行驶路径的精准规划。

图9 t 检验概率结果图Fig.9 T-test probabilistic results

2.2 2 种拟合曲线比较

针对公式（4）进一步的实验，实验组分别为加耦合系数a,b,c的拟合曲线和不加耦合系数拟合曲线的t检验进行对比实验，以验证耦合系数对拟合曲线结果是否有影响及影响的程度。t检验处理结果如表2，表2 分别为果树Left1、Left2、Right 拟合的2 种曲线t检验处理结果，P为t检验处理结果的概率，其它列为拟合的2 种曲线的对比数据。

表2 中t检验处理结果概率P的值可以看出总体上是P＜0.001 还有1 组P＜0.05，由P值可以得出加耦合系数的处理结果与不加耦合系数的处理结果存在显著性的差异，且耦合系数确实对拟合曲线的结果产生了影响，并且对拟合结果的影响是有意义的。其中*表示P＜0.05，**表示P＜0.01，***表示P＜0.001。

表2 拟合曲线T 检验结果Table 2 T-test results of fitting curves

2.3 规划算法比较

除蚁群算法之外还有一些算法应用于避障，如栅格法，接下来对栅格法避障处理与蚁群算法避障处理进行对比。如图10 为2 种算法在3 个果园的规划结果，图中蓝色实线均表示栅格法避障规划结果，红色实线均表示蚁群避障算法规划结果。通过图片对比可以得出，栅格法避障的规划结果比蚁群避障算法的规划结果距离树冠的距离较近。如果规划线与树冠和行驶范围界限比较接近的话，会使得距离喷施设备较近的果树部分（可能含果实）造成极大地破坏。而基于蚁群避障算法的路径规划就避免了这一点，该算法规划结果不仅与果树TWA 和行驶范围间存在一定的距离，而且减少了对果实的破坏程度，更加符合喷施设备的实际需求。

图10 2 种算法比较图Fig.10 Comparison of two algorithms

3 讨论与结论

本研究通过对彩色图像及深度图像的融合处理，创新地提出了蚁群避障算法的喷施设备最优行驶路径的规划方法。通过对Y-shaped 果树边缘轮廓进行拟合处理，准确地提取了Y-shaped 果树树冠的整体轮廓。由实验结果可以得出本研究的拟合结果曲线与原树冠的边缘轮廓基本吻合，加耦合系数能够增加拟合结果的准确性，且蚁群算法优化后的规划路径边缘划分更精确、更安全。利用该算法不但可以减少对果树的损害，而且可以规划喷施设备在果园中的行驶路径，可为接下来的果树喷施奠定基础。