矮化密植枣园收获作业视觉导航路径提取

彭顺正，坎 杂，李景彬



矮化密植枣园收获作业视觉导航路径提取

彭顺正1，坎 杂2，李景彬2※

（1. 石河子大学信息科学与技术学院，石河子 832000； 2. 石河子大学机械电气工程学院，石河子 832000）

针对矮化密植枣园环境的复杂性，提出一种基于图像处理的枣园导航基准线生成算法。选用B分量图进行处理，提出“行阈值分割”方法分割树干与背景；根据拍摄场景及视角提出“行间区域”方法剔除行间噪声；通过统计树干与地面交点位置分布区域选取图像五分之二向下区域进行处理；依据树干纵向灰度分布规律，采用浮动窗口灰度垂直投影方法结合形态学开闭运算提取树干区域；基于枣园行间线性分布特征引入“趋势线”，而后利用点到直线的距离与设定阈值作比较选取树干与地面的交点；利用交点的位置分布将其归类，并采用最小二乘法原理拟合左右两侧边缘，提取边缘线上各行的几何中心点生成枣园导航基准线。通过对阴天、晴天、顺光、逆光、噪声多元叠加5种条件进行试验，结果表明，该算法具有一定的抗噪性能，单一工况条件导航基准线生成准确率可达83.4%以上，多工况条件准确率为45%。针对5种工况条件的视频检测，结果表明，单一工况条件算法动态检测准确率可达81.3%以上，每帧图像处理平均耗时低于1.7 s，多工况条件检测准确率为42.3%，每帧图像平均耗时1.0 s。该研究可为矮化密植果园实现机器人自主导航作业提供参考。

机械化；农作物；图像识别；枣园；行阈值分割；行间去噪；趋势线

0 引 言

导航路径基准线的生成是农业机器人自主导航作业研究的核心内容，基于视觉技术获取农业机器人作业路径优点是灵活性好、成本低、精度高、抗噪声能力强，较GPS导航有更好的环境适应性[1]。

目前，机器人自动导航技术在田间、乔化密植果园和林间得到广泛应用[2-20]，比如基于机器视觉导航技术进行棉花采收，玉米行间除草，空间自然环境三维模型导航信息映射采集，户外非结构化路径检测，耕作机在高作物环境茬田等机械化作业。田间环境采用行播种植，作物行排列整齐，垄沟特征突出，为拟合两侧边缘线提供了很好的识别依据。李景彬等[21-22]根据田间作物的颜色特征利用色差法模型识别出道路与植物行边界线，而后根据边界特征提取机器人作业路径。乔化密植果树生长规范，树干与地面交点特征明显，视野范围内目标特征容易提取，为快速生成导航基准线奠定了基础。冯娟等[23]针对乔化密植果园背景复杂性提出了一种导航路径提取算法，通过邻近区域灰度一阶导数变化规律提取边缘特征点，而后提取边缘线中心线生成导航基准线；He等[24]运用水平投影的方法寻找果园图像中的树干与地面的交点，利用最小二乘法拟合导航基准线。林间环境中，树干垂直挺拔，但其排列随机，光照不均且背景多元叠加，吴佳艺等[3]针对林间环境特点，通过寻找树干与交点拟合边缘线，而后提取边缘中心线作为导航基准线。

上述针对田间、乔化密植果园、林间的自主导航研究均是通过寻找道路与植物的分界点，而后利用分界点拟合边缘线，最后提取两侧边缘中心线作为导航基准线。

新疆红枣主要推广直播建园，矮化密植种植面积广，与乔化密植果园比较相似，二者均为行播种植，行株距规范，树体角度开张，透光性好，但是二者树高及主干高度不同，前者树高一般为2 m，主干高度为0.5 m，后者树高一般在2.5～3.5 m，主干高在1～1.5 m[25-26]。收获作业主要依靠人工和机械化完成，但其工作时间长、劳动强度大、环境恶劣，对人体健康不利[27-28]。针对此问题，有必要使用机器人自主导航技术完成红枣收获作业。基于目前在田间、林间、乔化密植果园自主导航技术的研究，结合矮化果园特殊性，本文提出一种枣园收获时期视觉导航基准线生成算法，以期为新疆矮化密植果园实现机器人自主导航作业提供参考。

1 路径提取算法

2015年10月至11月在新疆第一师阿拉市11团矮化密植枣园（骏枣，5 a生）拍摄试验图像，采集硬件设备为佳能自动对焦EF-S系列相机，图像存储格式为JPEG格式，相机距离地面为1 m，其轴线与水平面向下夹角在15°至25°之间（俯角若是选择太大，视野中会出现多个行，不便于后续处理，选择太小，不能反映出枣树行整体轮廓特征）。处理图像的计算机为华硕笔记本（XP系统，主频2.1 GHz，内存2 G，处理器为Intel(R)Core(TM)i3）。基于VS2010的MFC环境结合OPENCV2.4.9开发路径提取算法程序，图像大小为230×168，图1为图像采集示意图。

2016年10月至11月在新疆第一师阿拉尔市9团矮化密植枣园（骏枣，5 a生）拍摄机械作业视频，采集硬件设备为佳能自动对焦EF-S系列相机，视频存储为AVI格式，相机距离地面为1 m，其轴线与水平面向下夹角在15°至25°之间。

1.1 图像特征分析及预处理图像的选取

图2上方为枣园环境图像，树高在1～2 m之间，行间距为2 m。行间呈线性分布，主干高度在0.3～0.5 m之间，皮质厚且干燥开裂，夹杂有土灰，颜色与土壤接近；树枝皮质平滑，呈淡紫色，红枣为深紫色，表皮粘有土灰，地面有脱落的枯叶（棕黄色）和红枣。近视野范围内主干与地面交点比较明显，与环境有较强对比度，为此考虑提取近视野的主干特征点；枝条和红枣联结，很难从背景中单独提取，地面枯叶分布杂乱，会对后续提取导航特征点造成干扰，将用去噪方法消除。

为了分析各对象分量分布特性，在图像水平方向作一条剖面线（如图2上方中的黑色直线）。图2上方是剖面线上各点、、分量像素值分布情况，横轴为列索引值，纵轴为分量值，、、分布规律分别用红线、绿线、蓝线描述。整体上>>，但值与值比较相近。为剖面线上分量平均值，标准偏差为，灰色直线为=-0.5×，下方有6个波谷，编号为1#～6#，其中1#、5#、6#为树干所在区域，2#、3#、4#形成主要是地面枯叶堆积存在缝隙。土壤颜色和主干表皮颜色相近，此类波谷点会影响后续特征点的提取，后续算法中作为噪声消除。综上所述，选用分量灰度图可以很好地将树干和背景区分开来。

为实现树干与背景分割，提出基于“行阈值”分割方法。图像大小为×，(,)为点(,)的分量，0≤≤−1。本研究方法如下：

1）由下往上逐行扫描，计算第行分量平均值Baver及标准偏差Bstd。

（2）

式中为图像的长，pixel；为图像的高，pixel。

2）计算第行阈值T，如果()>T，点()亮度值置255，否则置0。

结合枣园环境的特殊性，利用两侧线性排列特征及视野规律，提出基于行扫描的“行间区域”去噪方法消除行间噪声。算法具体描述如下：图像分辨率为，H为第行的纵坐标，S和E分别为第行起点和终点横坐标，起始扫描行0−1，0=20（对所有样本统计，超过九成图像左下角树干集中分布在横坐标为20的范围内）、0−0−1，行扫描区间[S,E]由场景和拍摄角度决定，图3为本算法原理示意图，底色区域为算法扫描痕迹，红色虚线为当前扫描行。

1）从起始扫描行开始，=−1,由起始点(S,H)开始向右检索，若当前点亮度值为255，将其亮度值置0，若当前点为终止扫描点(E, H)，本行扫描结束，=−1，进入下一个扫描行；2）若当前行纵坐标H=0成立，则终止扫描，否者执行步骤3）；3）若S+5=E−5成立，则当前行扫描起始点横坐标S=S+1，终止点横坐标E=E+1，纵坐标H=H+1−1，−1，否则S=S+1，E=E+1−1，H=H+1−1；4）跳转步骤2）继续执行。

1.2 主干骨架的提取

近视野范围内树干与地面交点比较明显，导航信息容易提取，选择图像近视野范围进行处理，以提高本算法的路径检测效率。吴佳艺等[3]通过统计样本图像视野范围内树干与地面交点位置分布，选取图像三分之二处向下区域处理，同理，本研究对309张具有代表性的图像统计树干与地面交点位置，得出树干与地面较点都集中在图像五分之二向下区域，为此选取图像五分之二向下区域进行处理。采用“行阈值”分割方法将分量灰度图二值化，主干形状呈纵向分布，所在区域白色像素点比较稠密，采用文献[8]浮动窗口扫描图像方式，设置一个浮动窗口，利用灰度垂直投影方法提取主干区域。

如图4所示，为坐标原点，h为浮动窗口高度，长度为，上限纵坐标为h，下限纵坐标为h=h−h，浮动窗口以纵向对称轴划分为左右2个窗口，首次扫描h=−1；浮动窗口个数=/h，不足一个浮动窗口区域高度h=−/h，2条红色虚线之间区域为当前浮动窗口。

1）根据参数设置浮动窗口，行扫描检索左、右窗口区域白色像素点，根据分布区域分别将其横坐标存入数组A、A中，而后用“冒泡法”找出A的最大值max、A数组最小值min，将A、A清零。

2）从点(max, h)向左开始，以列扫描左窗口，统计每列白色像素数W()，并计算第个浮动左窗口白色像素点个数的平均值，0≤≤−1，若W()，则窗口中第列非零灰度像素点置0。

3）右窗口处理方法同左窗口，扫描方向与左窗口相反，起始点为(min,h)，第列白色像素数、平均数分别W()，。

4）令h=h，h=h−h，max=0, min=−1，=−1。如果<0，跳转步骤（5），否则，重复（1）至（4）；

5）纵坐标在[0,h]区域灰度非零像素点置0，程序终止。

1.3 趋势线提出与有效特征点提取及其边缘拟合

两侧边缘特征点的准确快速提取是视觉导航研究的核心内容。

导航特征点提取方法很多，李景彬等[2]通过寻找图像处理区域垂直累计分布直方图波谷，而后寻找局部窗口的直方图的波谷，并将这波谷点集合作为候补点群；何洁等[29]利用灰度垂直投影的方法，获取作物行的位置，而后利用等面积的小矩形扫描包含作物行的矩形框，并统计有效点的个数作为特征点集；王新忠等[30]采用大津法对温室番茄垄间图像进行分割，而后提取目标区域边缘获得导航离散点群；杨庆华等[31]通过寻找树干与地面交点，作为拟合两侧边缘线的一系列离散点簇。

综上分析，本研究通过寻找树干与地面交点作为边缘离散点。具体方法简述如下：提取主干骨架之后，以行扫描方式从图像底部往上检索，点（）为当前扫描点，图像纵向中心线横坐标x=0.5×，若当前扫描点灰度值()255且(+1)0，=0，≤c，将点()存入数组A中；同理，若()=255，(,+1)=0，(1,)=0，将点()存入数组A中。本方法容易将枝干的拐点误检为地面交点，针对此问题引入了“趋势线”。

1.3.1 趋势线的确定及直线方程

枣园为行播种植模式，每行有2条“趋势线”，本文中描述行左侧边缘走势的直线称为“左趋势线”，右侧称“右趋势线”。根据两点确定一条直线的数学原理，在左右两侧分别找出2个合适的点即可确定2条趋势线。两点的确定方法如下：以图像纵向中心轴为界，i表示左半图像的列号（0≤i≤0.5×），j表示左半图像的行号（0≤j≤），i表示右半图像的列号（0.5×≤i≤），j表示右半图像的行号（0≤j≤）。点(i,j)是中心轴在第j个（从图像下底边向上数）非零行向左遇到的第一个白色像素点坐标，点(i,j)是中心轴在第j个非零行向右遇到的第一个白色像素点，分别用来存储点（i,j）和点(i,j)的数组，[i].表示数组第i个元素为，与[i].表示意义相同，x为中心轴横坐标。本算法示意图如图5所示。

1）从图像下底边开始，由中心轴向左右两边以行扫描图像，将中心轴左、右两侧所有白色像素点（i, j）和点(i, j)按分布区域归类，并按检测顺序分别存入和中。

2）将两数组首元素[0]和[0]分别赋值给点（i, j）、（i, j），并将两点分别作为左、右趋势线的第一个点。

3）计算D[i]=x-[i].、D[i].−x，使用“冒泡法”分别寻找D和D最小值min和min，记录当前i和i，将数组元素[i]和[i]分别赋值给点(i, j)和(i, j)，并将两点分别作为左、右趋势线的第二个点。

算法模型中，一般选用左下角为坐标原点，图像左上角为坐标原点。为了遵循算法模型习惯，将坐标原点变换到左下角，轴旋转180°，轴平移到下底边，图像分辨率为×。根据变换原理可得式（4）与式（5）

（5）

新坐标系内，设点(11),(22)是直线上两点，点(,)是除去（11），(22)两点的直线上任意一点。根据“两点式”方程（6）可得式（7）

（7）

其中=1−2、=2−1、=21−12。

将左趋势线第一、二两点代入式（4）、（5）可解得新坐标点分别为(i,−j−1)，(i,−j−1)；同理，右趋势线两点分别为(i,−j−1)，(i, N−j−1)。分别将其代入式（7）可得左、右趋势线，一般方程分别为式（8）和式（9）。

（9）

1.3.2 有效特征点选取

两侧边缘特征点选取准确与否直接影响提取基准线准确性。对已生成数组A和A筛选出有效特征点，本研究算法具体描述如下：阈值为,d为数组第个元素到相应趋势线的距离，0≤≤，为元素个数，点(x,y)为数组第个元素，趋势线的一般方程为=0。1）根据点到直线距离公式计算所有特征点的d；2）选取有效特征点，如果d≤（=1，表示一个像素点的偏离，也就是将偏离趋势线一个单位像素内的所有点作为特征点），则(x,y)为树干与地面交点。

利用上述算法对A和A的特征点进行分选后，得近视野范围内树干与地面交点。最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配，尤其对数据量较少时，拟合直线精度高、速度快。分选后数组A和A元素都比较少，为此选用最小二乘法对检测的离散点进行边缘拟合。

1.4 基准线的生成

如图6所示，i为左侧边缘线上离散点的横坐标，i为右侧边缘线上离散点的横坐标。设p(i,)为左边缘线上的任意点，p(i,)为右边缘线上任意点，p(i,j)为p(i,j)和p(i,)的几何中点，Δ=i−i，则

（11）

联合式（10）、式（11）求出所有的点p(i, j)作为基准线上的候补离散点群，而后利用最小二乘法对候补点群进行拟合得出导航基准线。

1.5 路径提取流程

路径检测算法检测流程为：1）读取图像数据块；2）采用行阈值分割二值化；3）依次采用行间去噪、灰度垂直投影（浮动窗口高度h=15，根据去噪效果和树干信息完整程度而设定）、形态学处理（闭运算、开运算）、垂直投影（浮动窗口高度h=20，根据去噪效果和树干信息完整程度而设定）、形态学处理（闭运算、开运算）去噪；4）确定趋势线；5）点到直线的距离方法提取树干与地面的交点；6）采用最小二乘法拟合边缘、提取导航基准线路径。

2 试验结果与分析

2.1 路径算法检测过程分析

导航研究领域中，环境的影响因素很少考虑光照强度，主要从环境类型特征入手。吴佳艺等[3]为了研究光照对视觉导航路径的影响将环境分为上午时段、中午时段、下午时段等类型进行研究；文献[30]、[32-33]将环境类型分为晴天、阴天、多云研究光照对视觉导航路径提取的影响。故本文根据实际需求，针对时间段为2015年10月26日至2015年11月15日，以及2016年10月26日至2016年11月15日的天气状况，综合选取顺光（早晨北京时间8:00～12:00之间，以及下午14:00～18:00之间，拍摄方向与阳光同向，行间无薄膜、缺株断苗等情况）、逆光（拍摄方向与阳光正对，其他条件同顺光）、晴天（拍摄为下午北京时间12:00～14:00之间，拍摄方向与阳光接近垂直，其他条件同顺光）、阴天（拍摄时间为北京时间6:00～8:00以前，下午18:00～20:00，其他条件同顺光），噪声多元叠加等5种环境类型进行分类研究。

图7中选取顺光、逆光、晴天、阴天4个环境类型具有代表性的图像进行路径检测分析。

图7b、7h、7n、7t为“行阈值分割”二值化效果，7h中上部存在一个黑洞，是受光照影响。图7n左下侧白色区域为树干阴影区域。图7c、7i、7o、7u为“行间区域”去噪效果，行间噪声消除，树干附近有少量噪声。图7d、7j、7p、7v 为第一次灰度“垂直投影”方法提取树干效果，主干提取明显，树干内部存在孔洞和诸多孤立小面积区域，使用形态学填充。图7e、7k、7q、7w是形态学、第二次灰度“垂直投影”、形态学处理结果，提取区域与树干位置重叠。图7f、7l、7r、7x分别为4种环境下的检测结果，红线为首次特征点连线，存在树干拐点（点到直线的距离方法消除），黄色直线与红色折线有一系列的交点，是树干与地面的交点簇。2条蓝色直线为“趋势线”，“趋势线”与边缘线走势帖近。2条黄线为“边缘线”。紫红色线为导航基准线。

图8a～8f分别为原图像、行阈值分割、行间去噪、灰度垂直投影提取树干、形态学处理、检测结果。图8f中两侧“趋势线”和边缘线与行边缘偏离，基准线与垄沟方向偏离。综合图8b～8e处理效果分析，透亮薄膜光漫反射明显，造成图像左侧视野远处树干与地面信息模糊，无法准确区分目标区域，导致图8b上部产生“黑洞”。图8b左侧近视野部分树干处于背光区，薄膜漫反射作用增强边缘信息对比度，左下角白色团块是蓝色塑料管道口背光区（图8a中对应区域），“左趋势线”第一个点选取就偏离树干区域（8f对应区域），左趋势线偏离，左侧交点提取无效；右边缘线偏离是图像从左往右亮度增强后逐渐减弱（存在背光区，图8a右侧区域），图8b右侧弧形白色团块为背光区，其所在位置偏离右边缘，导致图8d、8e处理结果为背光区边缘。

2.2 算法对图像检测结果分析

本文对采集具有代表性的309张图像进行人工拟合最佳导航基准线，通过计算人工拟合基准线与路径提取算法所得基准线的夹角1、生成准确率ar、每帧图像算法耗时性能参数进行统计分析，根据文献[23]可以认为0≤1≤3°检测结果正确，结果如表1所示。由表1可知，在单一工况（指阴天、晴天、顺光和逆光的状况）条件下进行测试，试验表明：该算法准确率可达83.4%以上，每张图像平均耗时低于11.9 s，多工况（噪声多元叠加，下文相同）条件检测准确率为45%。但准确率和实时性需要进一步提高。

表1 不同环境下算法性能的评估

针对噪声叠加环境，试验内容包含非正常拍摄角度及多种工况条件叠加，结合每个试验过程分析，造成路径检测失败原因为：1）非正常拍摄角度情况（相机俯角15°～25°范围为标准，摄像头前向靠近垄沟中心线），距离图像左右两侧20个像素范围内存在未分布有树干或树干分布超出这个范围，导致“行间区域”方法无法分辨目标和噪声而将树干区域去掉，在后续处理中无法恢复失真后的边缘信息，从而造成检测结果失败；2）当处于表阴天、晴天、顺光和逆光工况条件组合情况下，主要存在目标背景对比度模糊，地表凹凸不平形成大面积背光区，其他杂物颜色与树干接近等问题，这些因素均会在目标分割环节中产生非结构化团块，导致“趋势线”选取后无法描述垄沟线性特征，使得提取的边缘信息错误。

2.3 算法检测视频结果分析

利用Opencv自带VideoCapture视频类，结合本算法处理视频，分别处理5种不同工况环境中的作业视频，检测结果如表2所示。阴天、晴天、顺光、逆光视频帧率为29.9 fps，采用定时器播放，播放间隔为33.4 ms；噪声多元叠加视频帧率为24 fps，播放间隔41.7 ms。测试环境为Win7 32位操作系统，处理器AMD，频率为2.80 GHz，图像规格均为230×168。针对5种工况环境视频检测，结果表明单一工况视视频动态检测准确率可达81.3%以上，每帧图像平均耗时低于1.7 s；噪声多元叠加条件检测准确率为42.3%，每帧图像平均耗时为1.0 s。

表2 算法实际应用性能评估

综合上述图片视频处理效果分析，算法需要提高处理速度，增强算法在多种角度下的自适应性及局部目标识别的灵敏度，尽可能减少大面积团块的形成，以提高算法抗噪性和实时性，整体上视频检测每帧图像平均耗时低于静态图片检测每帧图像平均耗时，但是检测准确率二者比较相近。算法实时性和检测准确率还有一定的提升空间，是进一步深入研究的重点内容。试验对比发现，在所有因素完全相同的情况下，算法静态处理同一帧图像和视频动态处理结果存在部分差异，说明算法处理图像具有一定随机性，需要进一步探究其成因，以提高算法健壮性和稳定性。

3 结论与讨论

本文针对矮化密植枣园红枣收获机收获作业时视觉导航路径检测问题进行分析和研究，并针对多种环境条件分析和评估算法准确性和可靠性。

1）通过剖面线分析目标像素分布特性，选用B分量图进行处理，运用“行阈值”方法分割树干和背景，使用“行间区域去噪”方法消除行间噪声，利用灰度“垂直投影”方法和形态学处理提取树干区域，引入趋势线描述枣园线性特征，而后参考趋势线利用点到直线的距离提取树干与地面的交点，采用最小二乘法拟合生成导航基准线，针对单一工况条件该算法具有一定的鲁棒性。

2）选取309张样本图像，针对4种单一工况条件（晴天、逆光、顺光、阴天）进行测试，试验表明：该算法准确率可达83.4%以上，每张图像平均耗时低于11.9 s，噪声多元叠加条件检测准确率为45%。

3）针对5种工况环境视频进行检测，结果表明，单一工况视视频动态检测准确率可达81.3%以上，每帧图像平均耗时低于1.7 s；噪声多元叠加条件检测准确率为42.3%，每帧图像平均耗时为1.0 s。

后续需要优化算法，提高运算速度和自适应性，增强算法在多工况条件下识别目标的灵敏程度。

[1] 姬长英，周俊. 农业机械导航技术发展分析[J]. 农业机械学报，2014，45(9)：44－54.

Ji Changying, Zhou jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the CSAM, 2014, 45(9): 44－54. (in Chinese with English abstract)

[2] 李景彬，陈兵旗，刘阳. 棉花铺膜播种机导航路线图像检测方法[J]. 农业机械学报，2014，45(1)：40－45.

Li Jingbin, Chen Bingqi , Liu Yang. Image detection method of navigation route of cotton plastic filmmulch planter[J]. Transactions of the CSAM, 2014, 45(1): 40－45. (in Chinese with English abstract)

[3] 吴佳艺，杨庆华，鲍官军，等. 基于机器视觉的林间导航路径生成算法[J]. 农业机械学报，2009，40(7)：176－179.

Wu Jiayi, Yang Qinghua, Bao Guanjun, et al. Algorithm of path navigation line for robot in forestry environment based on machine vision[J]. Transactions of the CSAM, 2009, 40(7): 176－179. (in Chinese with English abstract)

[4] Barawid J, Oscar C M, et al. Development of an autonomous navigation system using a two-dimensional laser scanner in an orchard application[J]. Biosystems Engineering, 2007, 96: 139－149.

[5] Pawin T, Tofael A, Tomohiro T. Navigation of autonomous tractor for orchards and plantations using a laser range finder: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147: 90－103.

[6] Benson E R, Reid J F, Zhang Q. Machine vision-based guidance system for agricultural grain harvesters using cut-edge detection[J]. Biosystems Engineering, 2003, 86(4): 389－398.

[7] Frits K V E, Gerie W A M H, Lambertus A P L, et al. A mobile field robot with vision-based detection of volunteer potato plants in a corn crop[J]. Weed Technology, 2006, 20(4): 853－861.

[8] Patrick F, Tobias F, Karsten B. Detection of field structures for agricultural vehicle guidance[J]. Künstl Intell, 2013, 27: 351－357.

[9] Griepentrog H W, Dühring Jaeger C L, Paraforos D S. Robots for field operations with comprehensive multilayer control[J]. Künstl Intell, 2013, 27: 325－333.

[10] Liu Bin, Liu Gang, Wu Xue. Resarch on machine vison based agricultural automatic guidance system[J]. Computer and Computing Technologies in Agriculture, 2008, 1: 659－666.

[11] Gokhan B. Long distance autonomous trajectory tracking for an orchard vehicle[J]. Industrial Robot, 2013, 40(1): 27－40.

[12] Zhang Tian, Xia Junfang, Wu Gang, et al. Automatic navigation path detection method for tillage machines working on high crop stubble fields based on machine vision[J]. Int J Agric & Biol Eng, 2014, 7(4): 29－37.

[13] Xue Jinlin, Zhang Lei, Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers and Electronics in Agriculture, 2012, 84: 85－91.

[14] Rovira-Ma´s F, Zhang Q, Reid J F, et al. Hough-transform- based vision algorithm for crop row detection of an automated agricultural vehicle[J]. Automobile Engineering, 2005, 219: 999－1010.

[15] Keun H C, Sang K H, Sang H H, et al. Morphology-based guidance line extraction for an autonomous weeding robot in paddy fields[J]. Computers and Electronics in Agriculture, 2015, 113: 266－274.

[16] Jiang Haibo, Xiao Yilong, Zhang Yunwei, et al. Curve path detection of unstructured roads for the outdoor robot navigation[J]. Mathematical and Computer Modelling, 2013, 58: 536－544..

[17] Eiji M, Masahiko S, Mikio U. Vision-based navigation system for autonomous transportation vehicle[J]. Precision Agriculture, 2005, 6: 239－254.

[18] Li Nan, Zhang Chunlong, Chen Ziwen, et al. Crop positioning for robotic intra-row weeding based on machine vision[J]. Journal of International Agriculture and Bioengineering, 2015, 8(6): 20－29.

[19] Stürzl W, Grixa I, Mair E, et al. Three-dimensional models of natural environments and the mapping of navigational information[J]. Journal of Comparative Physiology A, 2015, 201: 563－584.

[20] Liu Yang, Chen Bingqi, Detection for weak navigation line for wheat planter based on machine vision[J]. Applied Mechanics and Materials, 2013(246/247): 235－240.

[21] 李景彬，陈兵旗，刘阳，等. 采棉机视觉导航路线图像检测方法[J]. 农业工程学报，2013，29(11)：11－19.

Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 11－19. (in Chinese with English abstract)

[22] 张铁民，庄晓霖. 基于DM642的高地隙小车的田间路径识别导航系统[J]. 农业工程学报，2015，31(4)：160－167.

Zhang Tiemin, Zhuang Xiaolin. Identification and navigation system of farmland path for high-clearance vehicle based on DM642[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 160－167. (in Chinese with English abstract)

[23] 冯娟，刘刚，司永胜，等. 果园视觉导航基准线生成算法[J]. 农业机械学报，2012，43(7)：185－189，184.

Feng Juan, Liu Gang, Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the CSAM, 2012, 43(7): 185－189, 184. (in Chinese with English abstract)

[24] He Bei, Liu Gang, Ji Ying, et al. Auto recognition of navigation path for harvest robot based on machine vision[J]. Springer Berlin Heidelberg, 2011, 344: 138－148.

[25] 王娅利，王青. 绥德县枣树矮化密植栽培技术[J]. 现代农业技术，2015(10)：83－84.

[26] 冯国涛. 万泉北川苹果优质高效示范园生产经验[J]. 山西果树，2012(2)：24－25.

[27] 漆联全. 新疆红枣产业的现状、要求及其发展趋势[J]. 新疆农业科学，2010(增刊2)：8－12.

Qi Lianquan. The present situation, requirements and development trends of Xinjiang red date industry[J]. Xinjiang Agricultural Science, 2010(Supp.2): 8－12. (in Chinese with English abstract)

[28] 赵晓艳. 枣树种植及田间管理机械化技术应用效果[J]. 农机使用与维修，2016，3：66－67.

Zhao Xiaoyan. Jujube tree planting and effect of field management mechanization technology application[J]. Use and Maintenance of Agricultural Machinery, 2016, 3: 66－67. (in Chinese with English abstract)

[29] 何洁，孟庆宽，张漫，等. 基于边缘检测与扫描滤波的农机导航基准线提取方法[J]. 农业机械学报，2014，45(增刊1)：265－270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(Supp.1): 265－270. (in Chinese with English abstract)

[30] 王新忠，韩旭，毛罕平，等. 基于最小二乘法的温室番茄垄间视觉导航路径检测[J]. 农业机械学报，2012，43(6)：161－166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method[J]. Transactions of the Chinese Society of Agricultural Machinery, 2012, 43(6): 161－166. (in Chinese with English abstract)

[31] 杨庆华，吴佳艺，鲍官军，等. 农林环境机器视觉导航路径生成算法及应用[J]. 农业机械学报，2009，40(3)：147－151.

Yang Qinghua, Wu Jiayi, Bao Guanjun. Algorithms of path guidance line based on computer vision and their applications in agriculture and forestry environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(3): 147－151. (in Chinese with English abstract)

[32] 赵颖，孙群，陈兵旗，等. 基于机器视觉的非结构化道路导航路径检测方法[J]. 农业机械学报，2007，38(6)：202－204.

Zhao Ying, Sun Qun, Chen Bingqi, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J].Transactions of the Chinese Society for Agricultural Machinery, 2007,38(6):202－204. (in Chinese with English abstract)

[33] 冯娟，刘刚，司永胜，等. 果园视觉导航基准线生成算法[J]. 农业机械学报，2012,43(7)：185－189，184.

Fen Juan, Liu Gang , Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(7): 185－189, 184. (in Chinese with English abstract)

Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard

Peng Shunzheng1, Kan Za2, Li Jingbin2

(1.,832000,; 2.,,832000,)

An algorithm based on image processing technology was proposed for generating navigation directrix in complex circumstance of short-stalked and close-planting jujube orchard. The hatching method was used to analyze the distribution of target pixels and then proper processing image was obtained. Tree trunk and background were segmented based oncomponent of image which was binarized by threshold of each scan line. By analyzing the distribution of crossing points between tree truck and ground, the chief processing section, or the region of interest (ROI), was defined and chosen from two-fifths of image area below. Then in the light of trunk longitudinal gray scale distribution, tree trunks location was extracted with gray scale vertical projection method and morphology principle by setting a superficial window to dynamically scan ROI. In order to describe line trend in short-stalked and close-planting jujube orchard, trend lines were introduced, which included the right one and the left one in terms of ridge and furrow. To describe linear distribution trait of ridge and furrow, crossing points between tree and ground were obtained by comparing the shortest distance of candidate point to its corresponding trend line with a man-made threshold value. Afterwards, those selected points were classified separately into 2 clusters in terms of their distribution region which was located at right or left part of image longitudinal symmetry axis, with the point set available to fit the border line of ridge separately. The least square method was used for detecting the right and left border lines, and navigation directrix was generated by extracting the center points between 2 border lines. The method of extracting navigation path was searched by analyzing the condition of short-stalked and close-planting jujube orchard under harvesting operation, and the accuracy and reliability of the algorithm were analyzed and evaluated under a variety of environmental conditions. The study of the algorithm was still in the simulation stage and the specific navigation effect of the algorithm was related to the actual navigation operations, so algorithm performance could not fully represent the actual navigation applications. In order to measure the algorithm reliability and real-time parameters, 5 different scene conditions, which included 4 single factor working conditions and one multiple factor working condition, were tested. The experimental results showed that the algorithm could generate navigation directrix accurately and showed a good noise robustness. Under 4 single factor working conditions, the accuracy was more than 81.3%, and the average processing time consumed was less than 11.9 s to each frame image; by video detection, the accuracy was more than 83.4%, and the average processing time consumed was less than 1.7 s to each frame image. Under multiple factor working condition, the accuracy only reached 45% and the average processing time consumed was 9.4 s; by video detection, the accuracy only reached 42.3% and the average processing time consumed was 1.0 s. Therefore, for subsequent tasks, work should be done to improve the real time performance and practicality of the algorithm for various surroundings, so as to enhance the sensitivity of the algorithm under the multi-mode condition. The novelty of this paper is to propose several new methods to solve practical problems. The research provides a reference for autonomous navigation of robot in short-stalked and close-planting jujube orchard.

mechanization; crops; image recognition; jujube orchard; row threshold division; noise elimination between two lines; trend line

10.11975/j.issn.1002-6819.2017.09.006

TP242.6+2

A

1002-6819(2017)-09-0045-08

2016-10-01

2017-04-06

国家重点研发计划课题（2016YFD07011504）；兵团中青年科技创新领军人才（2016BC001）；石河子大学杰出青年科技人才培育计划（2014ZRKXJQ04）

彭顺正，贵州兴义人，主要从事视觉导航路径检测方面的研究。石河子 石河子大学信息科学与技术学院，832000。Email：284486776@qq.com

李景彬，新疆石河子人，教授，主要从事图像处理与机器视觉方面。石河子 石河子大学机械电气工程学院，832000。 Email：ljb8095@163.com

彭顺正，坎 杂，李景彬. 矮化密植枣园收获作业视觉导航路径提取[J]. 农业工程学报，2017，33(9)：45－52. doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45－52. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org