基于机器视觉的果园导航中线提取算法研究

聂　森，王丙龙，郝欢欢，陈　军

(西北农林科技大学 机械与电子工程学院，陕西 杨凌　712100)



基于机器视觉的果园导航中线提取算法研究

聂森，王丙龙，郝欢欢，陈军

(西北农林科技大学 机械与电子工程学院，陕西 杨凌712100)

摘要：为实现果园作业自动化，对基于机器视觉的果园自然情况下的导航路径拟合方法进行了研究。针对果园环境特点，基于HSV色彩模型和最大类间方差法对果园果树树行特征进行了增强。同时，使用Hough变换对果树树行线进行了拟合，并最终获得了相邻两树行的中线作为导航路径。最终试验结果表明：该方法能有效克服行间生草、光照阴影和修剪枯枝的干扰，可提取果园果树树行线并拟合出果园导航中线。

关键词：果园环境；机器视觉；导航；Hough变换；图像处理

0引言

我国虽然是水果的生产大国，但与发达国家相比，果园管理技术和果树种植技术较为落后，果园管理机械化水平较低，大多数果园植保机械为大田作业通用机械，造成了水果生产效率较低，水果成本较高[1]。针对这一问题，研究开发适合果园的现代化和自动化的果园机械装备在很大程度上可以解决这种问题。

随着计算机科学和传感器技术的发展，果园移动机器人成为了近年来国内外研究的重点。在研究之初，国外学者基于物理导轨导航技术开发了物理轨道的自动喷药和运输机器人[2-4]；但这种导航方式需预先在果园内铺设物理轨道，道轨铺设成本较高。国内外学者还就基于电磁导航技术开发了一套基于电磁导航的果园移动植保机器人，但此类方法存在结构复杂、后期设备维护维修较为困难等问题，不适宜大范围推广[5-7]。后来，为简化果园机器人结构和减少果园机器人运行成本，一些学者开发了基于超声波导航、激光导航和视觉导航的果园机器人，优点是使用了果园现有果树作为导航参照物，不需要再铺设导航轨道，且适应性较强[8-12]。

在基于机器视觉的导航机器人研究中最为重要的就是移动机器人的导航路径拟合。袁佐云通过处置投影法对大豆作物行进行提取，获取了基于大豆作物行的导航方法[13]。袁池等通过利用Lab色彩模型对果园图像进行处理最终使用最小二乘法获取了果园导航中线[14]。Torri等学者利用作物和沟底的特征差异及最小二乘法拟合出了导航路径[15]。

目前，许多基于机器视觉的导航方法都被用于 大田作业中，而果园方面的应用较少。本文选取HSV色彩模型中H通道和V通道差值对果园树行特征进行增强，然后对图像进行阈值分割和边缘检测。最后，利用Hough变换提取果树树行线并拟合出导航中线。

1图像预处理

1.1　颜色空间转换

采集的原始图像如图1所示。由于果树树冠和地面的颜色差异，因此在不同的颜色空间下对图像进行分割会产生明显的区别。HSV(Hue, Saturation, Value)是1978年由A. R. Smith创建的一种颜色空间，也称六角锥体模型。HSV色彩空间中这3个通道分别代表色调(H)、饱和度(S)，亮度(V)。通过大量果园照片对比发现，HSV模型中H分量和V分量的差值可以很好地从图像中分离出果树树行特征。但是，一般采集的图像多为RGB图像，因此在做处理前需将图像从RGB空间转换到HSV空间，转换公式为

V=max(R,G,B)

IfH<0 thenH=H+360

on output 0≤H≤1, 0≤S≤1, 0≤H≤360

图1　果园采集原始图像

在对图像进行色彩空间转换后，提取HSV色彩空间中H分量和V分量并做差，其结果如图2所示。

图2　HSV空间H分量和V分量差值图

1.2　基于灰度直方图的阴影图像分割方法

Ostu方法又叫最大类间方差法，是一种使用十分广泛的图像分割算法。其基本原理是：通过初始阈值将图像分成两类，然后计算这两类图像之间的方差，接着更新阈值，然后重新计算类间方差；当所计算的方差满足类间方差最大时，所求阈值即为最优阈值。基于Ostu方法图像分割结果如图3所示。

图3　最大类间方差法处理结果

1.3　图像的形态学处理与边缘检测

图像的形态学处理是利用具有形态结构的元素去度量和提取图像中对应形状已达到图像分析和识别的目的。图像的形态学处理一般为一种邻域运算形式，其主要用途是简化图形，保持图像中物体的基本形状，并将不相关结构剔除。开运算和闭运算是图像形态学处理的重要操作，开运算可以使图像轮廓变平滑、分离较小的狭颈并消除细小的突出；而闭操作的功能刚好与开操作相反，闭操作通常弥合较窄的间断和细长的沟壑，可以消除小的空洞和填补物体的轮廓线。为消除经过阈值分割后图像中的干扰点，对其依次进行开运算和闭运算，结果如图4所示。

图4　开运算闭运算结果

图像的边缘检测可以大幅减少所要处理的数据量，剔除不相关的信息，保留树行特征主要信息。因此，在利用Hough提取树行线之前，为提高这种检测方法的实时性，本研究利用Soble算子对图像进行边缘检测，结果如图5所示。

图5　边缘检测结果

2基于Hough变换的导航路径拟合

Hough变换是1962年由Paul Hough提出一种从图像空间到参数空间的映射关系。由于其具有良好的容错性和鲁棒性，长期以来多被用于图像空间内直线或曲线的检测。

Hough变换主要使用表决原理的参数估计技术，利用图像空间和Hough参数空间的点线对偶性，将图像空间的直线检测问题转化到了参数空间进行运算。在直角坐标系中，直线方程可用y=kx+b表示。Hough的主要原理就是将方程中的参数(k,b)和变量(x,y)进行交换，即利用k、b作为变量，x、y作为参数并将转换后的方程转化到极坐标中。在进行直线检测时,凡是在同一条直线的点都会在参数空间中变成相交的正弦曲线，因此利用这种原理对图像空间的直线进行检测。极坐标方程为

r=xcosθ+ysinθ

其中，r为直线到原点的直线的距离；θ为r和x轴正方向的夹角。

极坐标中对应直线方程为

通过极坐标中检测出的r和θ通过上式可以求得直线方程，本研究利用Hough变换提取的树行线如图6所示。

图6　Hough变换

最后，通过求取树行线的中线可以获取移动机器人导航路径，如图7所示。

图7　检测结果

3试验结果及分析

图像采集于西北农林科技大学果园试验园，采集了自然环境下20幅果园树行照片。 采集设备为尼康D750相机，2 504×1 664像素大小，采集天气为晴天。图像处理过程在2.5 GHz处理器，4GB内存的笔记本电脑上完成。所编程序均在在MatLab R2013a软件中运行。试验结果表明：本算法能够克服果园行间生草、修剪枯枝及光照阴影对果树树冠提取的影响，能够有效地提取出适合导航要求的果园树行线并拟合出导航中线。

4结论

1)基于HSV色彩模型中H通道和V通道的差值和最大类间方差方法将果园果树树行信息特征进行了增强，并能够在一定程度上克服地面生草和修剪枯枝的影响。

2)基于Hough变换利用果树树冠信息提取了果园果树树行线，并成功拟合出了导航中线，为果园视觉导航提供了参考。

3)图像处理平均时间为1 166ms，为提高图像处理实时性，可将图像划分区域，然后只对树冠所在感兴趣区域进行处理。

4)本研究所提出的算法在光照较差或落叶季节可能出现失效，可利用多传感器融合的方法提高系统鲁棒性。

参考文献：

[1]王万章，洪添胜，李捷，等.果树农药精确喷雾技术[J]．农业工程学报，2004，20(6)：98-101.

[2]朱磊磊，陈军，白晓鸽，等．基于曲柄滑块机构原理导航的农业机器人设计[J]．农业机械学报，2009，40(S1)：33-36.

[3]M Kanamitsu,S Yamanoto,K AJiki, et al. Development of multipurpose monorail for hillside orchards(Part 2): development of S-shaped monorail system and the results of field test[J].Journal of the Japanese Society of Agricultural Machinery, 2008, 70(3): 115-123.

[4]K Okazaki, M Miyazaki, Y Nagasaki, et al. Automation of farm work by an overhead monorail system in steep sloped citrus orchard[J].Journal of the Japanese Society of Agricultural Machinery,1996,58(3):103-169.

[5]宋健,张宾,张铁中.电磁诱导式喷雾机器人导航系统[J]．农业机械学报，2005，36(12)：91-94.

[6]K Tosaki, S Miyahara, T Ichikawa, et al.Development of microcomputer controlled driverless air blast Sprayer (Part 1), Unmanned Traveling System[J].Journal of the Japanese Society of gricultural Machinery, 1996, 58(6):101-110.

[7]S.-S. Yang, B. Zhang, S.-F. Yu, et al. Design and implementation of the navigation system for an electromagnetic guided agricultural spraying robot [J].Jiqiren/Robot, 2007,29 (1):78-81,87.

[8]J. Tang, X. Jing, D. He, et al. Visual navigation control for agricultural robot using serial BP neural network[J].Nongye Gongcheng Xuebao/Transactions of the Chinese Society of Agricultural Engineering, 2011, 27 (2):194-198.

[9]T. Torii. Research in autonomous agriculture vehicles in Japan[J].Computers and Electronics in Agriculture, 2000,25 (1-2):133-153.

[10]N. Harper, P. McKerrow. Recognizing plants with ultrasonic sensing for mobile robot navigation [J]. Robotics and Autonomous Systems, 2001, 34(2-3):71-82.

[11]L. V. Mogensen, S. Hansen, J. C. Andersen, et al. Kalmtool used for laser scanner aided navigation in orchard[C]//15th IFAC Symposium on System Identification,SYSID 2009, July 6, 2009- July 8, 2009. Saint-Malo.France: IFAC Secretariat,2009:764-769.

[12]V.Mendez, H. Catalan, J. R. Rosell, et al. SIMLIDAR-Simulation of LIDAR performance in artificially simulated orchards [J].Biosystems Engineering, 2012, 111(1):72-82.

[13]袁佐云，毛志怀，魏青．基于计算机视觉的作物行定位技术[J]．中国农业大学学报，2005，10(3):69-72．

[14]袁池,陈军,武涛,等.基于机器视觉的果树行中心线检测算法研究[J].农机化研究,2013,35(3):37-39,45.

[15]Toru T, Satoshi K, Tsukasa T, et al. Crop row tracking by autonomous vehicle using machine Vision (part1)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(2):41-48.

[16]Toru T, Akira T, Tsuguo O, et al. Crop row tracking by autonomous vehicle using machine Vision (part2)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(5):37-42.

Navigation Line Extraction Based on Machine Vision in Orchard

Nie Sen， Wang Binglong， Hao Huanhuan， Chen Jun

(College of Mechanical and Electronic Engineering, Northwest A&F University,Yangling 712100，China)

Abstract：In order to realize automation in orchard. This study provides a kind of method about navigation path fitting method in orchard environment for the machine vision navigation.According to the orchard environment,HSV color model and Ostu were used to enhance the features of fruit tree line in orchard. Hough transform was Used to detect fruit tree row lines, and the midline, as a navigation path, was acquired between the two adjacent tree rows. Finally the experimental results show that this method can effectively extract the orchard fruit tree row lines and obtain the navigation line with overcoming the interference of grass, shadow and deadwood.

Key words：orchard environment; machine rision; navigation; Hough transform; image processing

中图分类号：S127；TP391.41

文献标识码：A

文章编号：1003-188X(2016)12-0086-04

作者简介：聂森(1990-)，男，陕西杨凌人，硕士研究生，(E-mail)nis428@163.com。通讯作者：陈军(1970-)，男，宁夏固原人，教授，博士生导师，(E-mail)chenjun_jdxy@nwsuaf.edu.cn。

基金项目：高等学校博士学科点专项科研基金项目(20130204110020);中央高校基本科研业务费专项(ZD2013015)

收稿日期：2015-11-09