棉花铺膜播种作业拖拉机的视觉导航路径检测

张雄楚,李景彬,姚庆旺,付 威,温宝琴,坎 杂

(1.石河子大学 机械电气工程学院,新疆 石河子 832000;2.新疆生产建设兵团农业机械重点实验室,新疆 石河子 832003)

0 引言

智能农业装备是未来农业机械发展的必然趋势,农业机械自动驾驶系统是智能农业装备的重要的支撑技术之一,而视觉导航是农机自动驾驶的重要内容之一[1]。

视觉导航路径检测是实现视觉导航的先决条件。国内外专家学者在视觉导航路径检测方面进行了深入的研究[2-16]。国内的彭顺正[17]针对矮值化密植枣园复杂的环境,按照树干与地面交点的位置特征不同,将交点进行分类,最后通过最小二乘法拟合了导航路线。梁习卉子[18]针对玉米收割过程中玉米列阴影、玉米田端的杂草对视觉导航路径检测精度干扰的问题,通过在ROI区域内增强G分量,弱化R分量与B分量的方法来去除玉米列阴影对检测图像的影响,提高导航路径检测精度。国外的Pilarski T[19]融合单目相机和GPS导航系统设计了Demeter系统,能够通过切割作物行及转向切割连续行,在田地中重新定位,以及检测意外障碍物。Benson E R[20]基于作物切割边缘的横向位置开发了农业联合收割机机器视觉引导算法。

本研究通过对棉花铺膜播种作业时期棉田环境的研究分析,设计了一套适用于棉花铺膜播种作业拖拉机的视觉导航路径检测算法。

1 检测导航路径

1.1 图像采集

2017年4月,在呼图壁棉田采集作业视频。设备为天诚2MBQ4/8铺膜播种机;动力设备为博马中型拖拉机,采集相机为阿斯卡利HDMI高清工业相机(640×480)。相机与地面的垂直距离为1 500mm,安装在拖拉机配重上,其光轴与地面夹角为θ=43°。上位机是台式机(处理器为Intel(R)Core(TM)i7,主频为3.6GHz,内存为8GB),Windows10 64位系统,以Microsoft Visual Studio 2015为平台使用OpenCv3.2.0进行算法编写。图1(a)为相机安装简图,图1(b)为拖拉机作业示意图。

(a) (b)

1.作业拖拉机 2.相机 3.作业拖拉机 4.相机

5.本次作业划行器划线 6.棉花铺膜播种机 7.下次作业划行器划线

图1 相机安装简图及拖拉机作业示意图

Fig.1 Camera installation diagram and tractor operation diagram

装置采用气流吹枣的方式进行红枣捡拾,可适应高低不平地面,解决了机械式捡拾装置无法捡拾高低不平地面上红枣的问题。由于采用气流捡拾,捡拾装置的伤枣率远低于机械式捡拾装置伤枣率。由于气吸式红枣捡拾装置效率较低且进入风管的杂质容易堵塞吸枣管、损坏风机,对风机性能要求高,而气吹式捡拾装置解决了该问题,提高了捡拾效率。

1.2 最小方差法提取初始导航路径

针对第1帧图像,首先对图像进行灰度化处理;然后,提取不同扫描区间内候补点并计算每个扫描区间内候补点列值方差;最后,使用最小二乘法拟合方差最小扫描区间内的候补点得到初始导航路径。具体操作如下:

1)基于Y=0.299R+0.587G+0.114B颜色模型对图像进行灰度化处理。

2)确定扫描区间[M1,M2](直线M1=G1·i+L1与直线M2=G2·i+L2之间的区域,0≤i

3)提取不同扫描区间内候补点并计算候补点列值方差。创建数组bk[],dk[]、p[]分别存储不同扫描区间候补点的行标、列标与列值方差,以及存储像素灰度值与灰度值为最小值的像素点位置的数组c[]与c1[]。首先,从图像最右端向最左端扫描,所以将[M1,M2](M1=560,M2=639)作为初始扫描区间并确定将初始扫描区间向左平移k个像素作为第k个扫描区间即[M1,M2](M1=560-k,M2=639-k,0≤k≤560);然后,提取第k个扫描区间内候补点。第1步,将第i行像素点的灰度值存储在c[n](0≤n≤79)中,并计算c[]中的最小值为Q;第2步,遍历c[],若c[n]=Q,则将此时的n值储在数组c1[]中,图2中,c1[0]、c1[1]、c1[2]、c4[3]为该行像素灰度值为Q的像素点位置;第3步,计算c1[]的平均值为W=(c1[0]+c1[1]+c1[2]+c1[3])/4,则dk[i]=W+M1,bk[i]=i,该行像素的候补点坐标为(bk[i],dk[i]);最后,计算数组dk[]的方差为Fk,则p[0]=Fk。

4)提取初始导航路径。首先,当k>560时停止操作并寻找p[]中最小值及此时的k值;然后确定此时的扫描区间[M1,M2](M1=560-k,M2=639-k);最后,使用最小二乘法拟合该扫描区间的候补点群{(bk[i],dk[i])}得到与划线区域位置、方向相同的直线j=S·i+J(式中S为斜率,J位截距),如图2所示。

捡拾装置主要由装有避风装置的进风管和旋转风管组成,旋转风管周围有4列气流喷嘴,相邻两列气流喷嘴间的夹角为90°,工作时与风机、输送装置等配合使用。其尺寸主要参照红枣矮化密植种植模式确定,结构尺寸如表1所示。

1.第i行像素候补点(bk[i],dk[i]) 2.M1=560-k 3.直线j=S·i+J 4.M2=639-k 5.c1[0] 6.c1[1] 7.第i行像素候补点坐标(bk[i],dk[i]) 8.c1[2] 9. c1[3]

variance and fit the line

1.3 第1帧图像导航路径检测

确定划线区域的位置与方向后,以直线j=S·i+J作为扫描区间中心,重新确定扫描区间提取候补点,并使用最小二乘法拟合候补点完成导航路径的检测,具体操作如下:

1)确定第1帧图像导航路径检测的扫描区间。首先根据直线j=S·i+J能够准确描述划线区域的方向与位置,确定该直线为扫描区间中心;然后,通过统计确定作业图像中划线区域底端像素宽度在20～35个像素之间;最后,在将划线区域囊括的前提下,在35个像素的基础上扩展U2(本文U2=6)个像素宽度作为扫描区间的大小。确定的扫描区间[M1,M2],M1=S·i+J-U,M2=S·i+J+U;本文U=20,如图3中所示。

2)提取候补点群。首先,创建数组b[]、d[]、s[]、t[]分别存储当前帧候补点的行标、列标与导航路径的斜率、截距;然后,重复1.2节的操作提取候补点群{(b[i],d[i])}。

3)使用最小二乘法拟合导航路径。此时导航路径为jf=Sf·i+Jf,且s[f]=Sf,t[f]=Jf(f是当前的帧数,此时f=1),最终提取的候补点群及拟合的导航路径如图3所示。

1.M1=S·i+J-20 2.第1帧图像导航路径j1=S1·i+J1 3.候补点群 4.M2=S·i+J+20

1.4 非第1帧图像导航路径检测

针对非第1帧图像,采用前后帧关联的方法确定扫描区间及平滑候补点群,并使用最小二乘法拟合导航路径。

1)基于Y=0.299R+0.587G+0.114B颜色模型对图像进行灰度化处理。

2)确定扫描区间。该扫描区间与第1帧图像扫描区间只是扫描区间中心不同,是以前1帧图像导航路径jf-1=s[f-1]i+t[f-1](其中,s[f-1]、t[f-1]分别为前1帧图像导航路径的斜率与截距)为扫描区间中心,左右各扩展U(本文U=20)个像素作为扫描区间,即[M1,M2](其中,M1=s·[f-1]i+t[f-1]-U,M2=s[f-1]·i+t[f-1]+U),如图4所示。

3)提取初始候补点群。第1步,将第i行像素点的灰度值存储在c[]中,并计算c[p](0≤p≤40)中的最小值为Q1;第2步,遍历数组c[],若c[p]=Q1,将p储在数组c1[]中,如图3中c1[0]、c1[1]、c1[2]、c4[3]为该行像素灰度值为Q1的像素点位置;第3步,计算c1[]的平均值为H=(c1[0]+c1[1]+c1[2]+c4[3])/4,中位数为Z=(c1[1]+c1[2])/2,以及前帧图像导航路径上同行像素点列值V(V=s[f-1] ·i+t[f-1]))与(H+M1)、(Z+M1)差值的绝对值为H1、Z1则H1=abs(s[f-1] ·i+t[f-1]-H),Z1=abs(s[f-1]·i+t[f-1]-Z);第4步,若H1Z1,此时d[i]=Z+M1,提取的候补点群为{(b[i],d[i])},如图4所示。

1.第i行像素候补点(b[i],d[i]) 2.M1=s[f-1]·i+t[f-1]-20 3.前1帧图像导航路径jf-1=s[f-1]·i+t[f-1] 4.M2=s[f-1]·i+t[f-1]+20 5.c1[0] 6.c1[1] 7.平均值求得候补点列值H第i行像素候补点坐标(bk[i],dk[i]) 8.中位数求得候补点列值Z9.前1帧图像导航路径第i行像素上的像素点列值V10.c1[2]

11.c1[3]

(a) 确定的扫描区间以及提取的初始候补点群

1.平滑后的候补点群 2.导航路径jf=s[f]·i+t[f] 3.初始候补点位置d[i] 4.根据V值平滑后的候补点位置d[i] 5.前1帧图像导航路径上第i行像素上的像素点列值V

4)差异权重法平滑候补点群。首先,确定第i行像素候补点列值为d[i]及前1帧图像导航路径上同行像素点列值为V并计算二者差值绝对值为V1则V1=abs(V-d[i]);然后,根据式(1)判断给d[i]赋值。平滑后的候补点群如图4(b)所示。

5)使用最小二乘法拟合导航路径,此时导航路径的斜率为Sf,截距为Jf,且s[f]=Sf,t[f]=Jf,如图4(b)所示。

(1)

1.5 流程图

本研究的检测算法流程如图5所示。

图5 流程图

2 导航路径检测过程分析

2.1 第1帧图像导航路径检测过程分析

通过对6种工况灰度化作业图像的分析,划线区域的灰度值比非划线区域低,所以将灰度值最小值作为候补点提取特征。图6是阴天、车印、划线深工况下导航路径标定的过程。从图6(c)中可以看出:循环扫描区间法可以准确的确定初始导航路径,且较为准确。由图6(b)、(c)可以看出:通过最小方差法确定的直线可以较为准确的描述划线区域的位置与方向,并且使用最小二乘法拟合以该直线为扫描区间中心所确定扫描区间内的候补点群所得到的导航路径精度高。因此,通过循环拟合的方法可以提高导航标定的精度,满足实际生产的要求。

(a) 第1帧图像灰度化

(b) 提取初始导航路径

(c) 提取最终导航路径

2.2 非第1帧图像导航路径检测过程分析

图7(a)～(d)为阴天、残膜扬沙、划线浅工况下导航路径检测过程,图7(e)为使用未经平滑的候补点群提取的导航路径。通过图7(b)、(c)中候补点群的对比可以看出:权重法平滑候补点群可以提高候补点群的离散程度。通过图7(d)、(e)拟合的导航路径对比可以看出:在出现扬沙的时,未经权重法平滑处理的候补点群拟合的导航路径存在偏移的现象,检测精度偏低,而经过权重法平滑后的候补点群拟合的导航路径精度高且受扬沙影响程度小。上述说明权重法在一定程度上提高导航路径的检测精度与算法的适应性。

(a) 灰度化

(b) 提取初始候补点群

(c) 平滑后的候补点群

(d) 拟合最终导航路径

(e) 初始候补点群拟合导航路径

3 试验结果与分析

使用6种工况的作业视频对该算法进行试验,试验结果如表1所示。

表1 实地作业视频试验验证结果

试验结果表明:该算法的实时性、适应性、准确性满足实际作业的要求,6种工况下的检测准确率都为100%,总平均处理速度为7.020ms/帧,能够在残膜扬沙噪声的干扰下,快速准确的提取导航路径。

4 结论

1)6种工况作业视频的试验结果表明:该算法的检测速度、检测精度、适应性等皆满足实际作业的要求,为棉花播种自动驾驶奠定了基础。

2)本算法针对第1帧图像采用方差判别法确定目标区域并通过循环拟合法完成导航校准;对于非第1帧图像通过前后帧关联的方法确定扫描区间并使用权重法平滑候补点群,最后使用最小二乘法拟合导航路径。该算法可以满足棉花铺膜播种实际作业的要求。

3)视觉导航受外界环境因素影响较大,特别是沙尘天气对导航路径检测精度的影响,如何尽量减少自然环境对路径检测的影响是未来研究的重点。