基于视觉的茶作物行间行走路径规划研究

马志艳 ，汤有胜，杨光友

(湖北工业大学 农业机械工程研究设计院，武汉 430000)



基于视觉的茶作物行间行走路径规划研究

马志艳 ，汤有胜，杨光友

(湖北工业大学 农业机械工程研究设计院，武汉 430000)

以茶作物为对象，提出了一种基于视觉的作物行间行走路径规划方法。对实时彩色作物图像用2G-R-B算法灰度化，分离作物和背景，通过固定阈值二值化图像，采用形态运算去除干扰。以区域内作物的比例变化为判别垄间垄头依据。对于垄间，利用漫水填充算法分离出垄沟，通过最小二乘法拟合导航线，得到垄间行走时候的导航控制参数；对于垄头，先分离出转弯一侧的作物，采用圆形模型拟合垄头处轮廓，通过拟合的圆来规划出转弯时候路径。试验结果表明：该算法能准确提取导航线，处理一帧图像约为150ms左右，可满足导航的要求。

图像处理；农业导航；农田机械；路径规划

0 引言

农业机械的自动导航是现代化智能农业的重要组成部分，主要集中在机器视觉和GPS或北斗导航这两种最具发展前途的方式上[1]。机器视觉因成本低、工作性能优异、适用性广等特点，成为近年来导航技术的研究热点，国内外学者就农机导航技术进行了深入研究。Searcy 等[2]首先将 Hough 变换应用到农机导航特征提取中来，提出一种基于 Hough 变换的作物行参数提取方法。刁智华等[3]将 Hough 变换参数θ空间范围缩小到45°～135°，提高了算法的速度。Sogaard等[4]首先提出垂直投影法，该法提取的特征点数目可随图像高度变化而变化，原理简单，特征点精确，应用广泛;孙元义等[ 5]、马红霞等[6]采用该法获取导航基准线候选点，再采用Hough变换将导航定位点拟合成导航基准线。籍颖等[7]、曹倩等[8]、姜国权等[9]采用基于垂直投影的窗口移动法提取更多的导航特征点[10-12]。由于茶田自然环境的复杂性和非结构性，目前的视觉导航算法还不够成熟，许多理论上可行的方案在应用于自然环境时适应性和精度都不是很理想，杂草、光照、阴影等对路径识别影响很大。本文提出了一种基于机器视觉的作物垄间和垄头行走路径规划算法，为农业机械提供可靠的导航线[13-14]。

1 试验环境与原理

1.1 图像采集环境与试验设备

由于茶作物田间呈现出较明显的垄沟特征，使其具有进行视觉导航的优良条件。试验图像采集于湖北英山某自然种植茶作物田间，茶株生长2～3年，茶株高度40cm左右，垄宽50cm左右，垄头通常呈现半圆形，半径约25cm。采集时，相机距地面70cm，俯视角为30°，移动速度约1.5m/s，帧率为25fps，采集RGB彩色640x480图像，采集图像时土壤为黑色，有石块、杂草、光照不均及阴影等干扰。计算机主频为3.0GHz、内存为2G。

1.2 理论基础

绿色植物与土壤等背景有较明显的色彩差异，常采用超绿算法或转化到其他颜色空间对拍摄的图像进行灰度化处理。茶叶为常绿作物，故提出先采用2G-R-B[15]分割因子加大茶作物图像权重，突出绿色植物的特性，以分离作物和背景，得到固定阈值二值化灰度图像；其次，通过漫水填充算法从预处理图像中得到导航区域，进一步提取导航特征离散点，拟合出导航线。跟踪过程中通过检测关键位置的色彩变化，判断是否处于垄头：是，则通过漫水填充算法提取转弯一侧的作物，获取作物边缘；采用圆形模型，通过最小二乘法拟合边缘。通过拟合圆来规划垄头路径。

2 试验方法

2.1 垄间路径规划

2.1.1 作物和背景的分割

试验中采集的原始帧图像如图1(a)所示，其背景存在光照不均、杂草及阴影等干扰。为增加图像处理速度，并突出背景和作物的区别，将其灰度化，图1(b)采用加权平均法灰度化；图1(c)为取lab空间a通道数据灰度化[16]；图1(d)为采用超绿算法灰度化，超绿因子为2G-R-B。加权法灰度化和lab空间灰度化效果不理想，超绿算法可以很好地突出背景和作物的区别，且对光照不均，阴影有一定的抑制作用。

(a) 原图

(b) RGB加权灰度化

(c) lab空间a通道数据灰度化

(d) 2G-R-B灰度化

2.1.2 图像分割

试验中，分别采用了自动阈值分割和固定阈值分割两种算法对灰度化图像进行了二值化处理，其效果分别如图2(a)和2(b)所示。采用基于全局的最大类间差法的自动阈值分割算法，其分割阈值为34，采用固定阈值分割，阈值为0。两种方法均能较好地分割作物和背景，且对噪音表现出较好地抑制作用，但采用固定阈值法处理速度要比最大类间差法快很多，故选用固定阈值算法。

(a) 最大类间差法分割

(b) 固定阈值分割

(c) 形态学运算去除噪音点

(d) 漫水填充分离出导航路径存在区域

二值化后由于茶叶作物的非结构化特征及杂草等干扰，作物行间存在大量小孔噪音，这些小孔噪音大部分面积较小，可以通过形态学算法滤除。采用3×3形态模板进行腐蚀、膨胀操作去除大部分噪音，效果如图2(c)所示。由于面积较大的噪音无法通过形态学运算去除，采用漫水填充算法分离出导航区域，漫水填充算法种子位置由程序自动生成，采用多次填充得到稳定的导航区域。采用漫水填充算法分离的结果如图2(d)所示。

2.1.3 导航特征点获取

得到导航区域图像信息后，在统计分析的基础上得到能够表现茶垄方向特征的导航离散点，即取图像每行白色像素的中点为导航特征点。其结果如图3(a)灰色曲线所示；对导航特征点进行最小二乘法拟合即可得到导航线，如图3(b)白色直线所示。

2.2 垄头路径规划

2.2.1 垄头判断

当行走至垄头时，不能根据垄间边缘得到导航区域和导航线，故垄间行走算法失效。因此，在对拍摄的每张图像进行处理时，需要判断是否行走至垄头。试验中，将涵盖右转弯过程的330帧连续图像进行分析，通过观察图像中右上长方形区域Rect(540,0, 100,240)和左下长方形区域Rect(0,240,100,240)绿色植物所占比例变化情况，可以发现：转弯开始和结束时左下区域和右上区域绿色植物所占比例都是急剧变化，转弯结束后，左下区域和右上区域绿色植物所占比例均大于60%。因此，算法中采用右上和左下区域绿色植物所占比例来判断右转弯是否开始和结束，左转弯同理。图4为右转弯判别过程：(a)为进行右转弯时的统计区域，其比例变化情况见(b)和(c)所示。

(a)导航特征点

(b) 拟合得到的直线

(a) 统计区域示意图

(b) 左下区域绿色植物所占比例变化图

(c) 右上区域绿色植物所占比例变化图

2.2.2 垄头路径提取

行走到垄头，对图像进行灰度化、二值化和滤波处理，其算法同2.1.1和2.1.2，滤波后图像如图5(a)所示。采用漫水填充算法分离出垄头区域，漫水填充算法种子位置由程序自动生成，采用多次填充得到稳定的垄头区域，结果如图5(b)所示。获取填充后转弯一侧的作物边缘，结果如图5(c)所示。通常垄头呈现半圆形，故可采用圆形拟合垄头边缘，采用最小二乘法拟合边缘得到半径为R、圆心为P的圆，结果如图5(c)所示。

(a) 滤波后的二值化图像

(b) 漫水填充分割右下侧农作物

(c) 右下侧农作物边缘和拟合的圆

(d) 最终得到的导路径

该圆亦为垄头行走时的转弯基准。根据经验值，导航线偏离作物边缘100个像素，进一步得到半径为R+100，圆心为P的圆，该圆即垄头行走路径，结果如图5(d)所示。

3 结论

以茶作物为研究对象，提出一种基于视觉的茶园行间行走路径规划算法，分为垄间和垄头两种情况。根据区域内的作物比例变化判断当前位置处于垄头还是垄间，分别采用不同的方法提取导航线，垄间行走时准确提取一帧图像中的导航线平均耗时172ms，垄头时候行走时提取一帧图像中的导航线平均耗时141ms，满足导航的实时性和准确性要求。该算法能较好地克服阴影、杂草、光照不均等干扰，试验结果表明，该方法具有一定的可行性。

[1] 卢韶芳.刘大维 自主式移动机器人导航研究现状及其相关技术[J] .农业机械学报,2002(2):112-116.

[2] Searcy S W, Reid J F. Detecting crop rows using the Hough Transform[C]// ASAE Annual Meeting. St. Joseph, MI,1986.

[3] 刁智华，王会丹，宋寅卯. 基于机器视觉的农田机械导航线提取算法研究[J].农机化研究，2015,37(2):35-39,45.

[4] Sogaard H T, Olsen H J. Determination of crop rows by image analysis without segmentation[J]. Computers and Electronics in Agriculture, 2003, 38(2): 141-158.

[5] 孙元义，张绍磊，李伟. 棉田喷药农业机器人的导航路径识别[J]. 清华大学学报：自然科学版，2007，47(2)：206-209.

[6] 马红霞, 马明建, 马娜，等. 基于Hough变换的农业机械视觉导航基准线识别[J]. 农机化研究，2013，35(4)：37-43.

[7] 籍颖，刘刚，申巍．基于机器视觉技术获取导航基准线的方法[J]．光学学报，2009，29( 12) : 3362-3366．

[8] 曹倩，王库，李寒．基于机器视觉的旱田多目标直线检测方法[J]．农业工程学报2010，26 ( 增1) : 187-191．

[9] 姜国权，柯杏，杜尚丰，等．基于机器视觉和随机方法的作物行提取算法[J]．农业机械学报，2008，39( 11) : 85-88，93．

[10] 胡静涛，高 雷，白晓平，等. 农业机械自动导航技术研究进展[J]. 农业工程学报，2015，31(10)：1-10.

[11] 刘阳，高国琴.农业机械视觉导航基准线识别研究进展[JA].农机化研究，2015，37(5)：1-13.

[12] 高雷，胡静涛，白晓平，等.面向精准农业应用的农机自动导航控制系统研究[C]// 2010 International Conference on Broadcast Technology and Multimedia Communication，重庆2010：315-322.

[13] 王新忠，韩旭，毛罕平，等.基于最小二乘法的温室番茄垄间视觉导航路径检测[J].农业机械学报，2012，43(6)：161-166.

[14] J M Guerrero, M Guijarro, M Montalvo, et al. Automatic expert system based on images for accuracy crop row detection[J]. Expert Systems with Applications, 2013, 40: 656-664．

[15] 于国英，张晓丽．行播作物农田图像边界提取研究[J]安徽农业科技，2012，40( 4) : 2157-2159．

[16] 孙元义，张绍磊，李伟．棉田喷药农业机器人的导航路径识别[J]．清华大学学报: 自然科学版，2007，47( 2):206-209．

Research of Tea Garden Path Planning Based on Machine Vision

Ma Zhiyan, Tang Yousheng , Yang Guangyou

(Research and Design Institute of Agricultural Machinery, Hubei University of Technology, Wuhan 430068,China)

A method of path-planning based on machine vision for tea crop walking is proposed in this paper. After grizzled with the 2G - R - B processing, the tea crop in the color images is distinguished from background. The binary image with expectations is obtained by the fixed threshold and morphological operations. By calculating the proportion change of tea plants in the fixed areas, the location of agricultural machine can be determined. If it is in the middle of crop line, the navigation area can be segmented out with flood water filling algorithm to get navigation discrete points, with which the navigation line is fitted through the method of least squares. If it is at the end of crop line, the edge of crop segmented out by flood water filling algorithm on the turning side is extracted, the route is planned through the circle fitted on the basis of the edge. Experimental results show that the proposed method takes about 150ms to obtain the navigation line. It can satisfy the requirements of real-time and accuracy of navigation.

image processing; agriculture navigation; farm machinery; path planning

2015-12-11

国家自然科学基金项目(51174084)；武汉市科技局科技攻关项目(2015020202010129)

马志艳(1976-)，男，武汉人，副教授，博士，(E-mail)13260642395@163.com。

汤有胜(1991-)，男，湖北英山人，硕士研究生，(E-mail)1144260320@qq.com。

S127；TP391.41

A

1003-188X(2017)01-0202-05