基于机器视觉的玉米收获机器人路径识别

胡丹丹，殷 欢

(江西机电职业技术学院，南昌 330013)

基于机器视觉的玉米收获机器人路径识别

胡丹丹，殷 欢

(江西机电职业技术学院，南昌 330013)

我国玉米种植面积和产量都很大，在农业中占有重要的地位，但收获环节耗费的成本惊人。玉米收获机器人能提高作业效率，极大地降低生产成本，具有广阔的应用前景。路径识别能力是机器人环境适应性的一个重要方面，而机器视觉主要用于农业机器人的路径识别。为此，设计了一种基于机器视觉的玉米收获机器人路径识别方法，并进行田间的实时图像处理试验。结果表明：该路径识别方法具有较好的田间适应性和实用性，经过载机结构改进和内部参数优化后能为玉米收获的智能化和信息化提供技术支撑。

玉米收获；路径识别；机器视觉

0 引言

玉米是世界上种植最广泛的粮食作物之一，随着加工技术的进步和新的经济价值被不断发掘，玉米出现了向经济作物转变的趋势。我国每年的玉米播种面积都超过2 000万hm2，2015年的产量为2.29亿t，达到历史新高，且在农业生产中占据日益重要的地位。玉米收获的季节性强，劳动强度大，是生产过程中工作量最大的环节。在我国种植面积和产量巨大的情况下，玉米收获所耗费的成本是惊人的[1]。

随着农业现代化的推进，各种智能化的农业机器人被设计出来替代人类完成繁重的田间作业。其中，玉米收获机器人既能提高作业的效率，还可以极大地降低农业生产成本，具有广阔的应用前景。但是，这类智能化的农业装备目前还没有能够得到广泛的应用，除了高昂的设计和制造成本外，智能机器人对农田复杂的作业环境适应性较差也是一个限制因素。

机器人在农田自然条件下的路径识别能力是其环境适应性的重要方面，人们对此进行了广泛研究，并设计出了多种路径识别方法。例如，陈中伟等提出了一种利用电磁传感器为机器人进行导航的方法，精度达到10mm，具有可行性[2]。李云翀等提出了一种应用于室外移动机器人避障与导航的角度势场法，通过计算目标角度及通行函数，确定机器人驾驶角和速度，保证机器人的安全行进[3]。张世胜等针对温室内的农药喷洒作业要求，设计了一种电磁诱导式的喷雾机器人路径导航系统，实现了对喷雾机器人的导航控制[4]。

这些方法可以大致划分为机器视觉导航和卫星定位导航两类。机器视觉导航方法的灵活性、实时性和精度都较高，适用性广且信息量丰富，因而成为研究的重点。机器视觉技术的核心是图像理解和图像分析，关键技术在于对图像的分割和对目标特征的识别。在农业生产中，机器视觉系统被装载在机械上用于农产品的分级、检测和收割等作业[5-7]。

在基于机器视觉的农业机器人路径识别研究方面，周俊等针对采集的农田自然图像，运用路径知识启发机制识别行走路径，其路径识别效果得到了明显的改善[8-9]。孙元义等以自然环境下的棉田图像为背景，通过Lab色彩空间处理、最大方差阈值分割、中值滤波除噪和Hough变换得到导航路径，实现了对喷药机器人行走路线的控制[10]。徐建等采用8邻域均值滤波器去噪和Prewitte算子边缘检测技术对玉米垄行图像进行处理，能够快速、准确地检测出玉米智能收获机器人的行走路径[11]。高国琴根据温室与田间环境条件的差异，设计出基于K-means算法的移动机器人导航路径识别方法，在试验中的路径信息提取率高达95%，单幅图像处理的耗时大幅降低，路径识别速度显著提高[12]。

机器视觉可以分为单目视觉和立体视觉两种。其中，单目视觉算法简单，各系统间的同步性好，容易实现精确的空间匹配，在实践中应用得较多。本文用于玉米收获机器人路径识别的是单目视觉方法。随着农业机械自动化和信息化的发展，机器视觉在农业机器人路径识别中的应用也将日益深入。因此，本文针对我国玉米种植面积和产量巨大、收获环节人工成本耗费惊人的问题，设计了一种基于机器视觉的玉米收获机器人路径识别方法。该方法采用单目摄像机在自然环境的不同光照条件下拍摄玉米垄行图像，然后对彩色图像进行空间选择、阈值分割和滤波处理得到二值图像；再通过二值图像的垄行特征提取导航离散点，经过Hough变换得到导航路径，最后利用坐标系变换转换为导航控制参数来引导机器人行进。同时，用该方法在田间进行了实时图像的处理试验，验证了其对路径的识别能力。

1 玉米垄行图像分割

1.1
图像的采集

采集图像的玉米田在试验基地内，土壤类型为棕壤土，垄行间覆盖着少量杂草和植被残留物。收获机器人沿着玉米垄行以0.5m/s的速度行走，图像通过安装在收获机器人上端的海康威视TD-3T型单目摄像机实时获取。摄像机离地高度为0.9m，俯视角为30°。分别在晴天和阴天两种不同的光照条件下进行了试验，每种条件拍摄5个田块，每个田块随机选取10张实时图片用于分析。

摄像机在两种光照条件下采集的代表性图片如图1所示。

图1 不同光照条件下的原始图像(A：晴天；B：阴天)Fig.1 Original images under different illumination condition (A: sunny day; B: overcast)

单目摄像机结构紧凑，体积较小，采用防抖动安装。采集的原始图像为模拟信号，由视频编码器完成向数字信号的转变和压缩，然后传输给机器人核心PC机，由PC上的数字图像软件进行后续的处理。

1.2 总体设计颜色空间选取

原始图像的垄行杂草虽然较少，但是仍会对路径识别造成干扰，因此要选取合适的色彩空间用于图像分割。原始图像为彩色的BMP文件，每个像素由3个数值描述。为了避免庞大的信息量对实时处理速度造成影响，需要将彩色信息投影到灰度空间上。

图像灰度化的色彩空间有多种，如RGB、HIS和Lab等。本文参考孙元义等[10]的研究，采用了Lab色彩空间。该方法是用L、a、b这3个互相垂直的坐标轴来表示一个色彩空间：L轴表示明亮度，黑在底端，白在顶端；a轴是红-绿色轴，+a表示品红色，-a表示绿色；b轴是黄-蓝色轴，+b表示黄色，-b表示蓝色。图2为在Lab色彩空间下对a分量灰度化的结果。

1.3 阈值分割

图像分割是利用机器视觉进行路径识别的重要步骤，但是目前还没有一个适用于所有类型图像的分割方法和分割效果评判标准。图像分割的方法有多种，阈值分割法具有计算模型简单、运行效率高的优点，是当前应用最多的一种图像分割方法，对于本文中实时采集的图像处理也最为适用。

阈值的确定是影响图像分割效果的决定性因素，是对灰度图进行直方图分析后得到的。通常的阈值确定是在直方图的双峰之间取中点作为最佳阈值，但当目标和背景的对比度差异较大时，该方法难以将目标和背景很好地分离。本文中的图像特征受光照影响较大，为了重新确定阈值，本文中将a分量效果图和原图像灰度图分别做了最大类间方差分析后再进行图像二值化。两个图通过最大阈值分割得到的阈值为155和127，以此阈值进行分割达到了很好的噪音消除效果，如图3所示。

图2 不同光照条件下的灰度化图像(A：晴天；B：阴天)Fig. 2 Gray images under different illumination condition (A: sunny day; B: overcast)

图3 不同光照条件下的直方图(A：晴天；B：阴天)Fig.3 Histograms under different illumination condition (A: sunny day; B: overcast)

2 玉米垄行的路径识别

2.1 导航离散点获得

图像经过二值化后，由垄行特征得到的离散点经过Hough变换即可得到导航路径。平面坐标系中的导航路径与前进方向之间存在夹角和位置偏移，因此需要转换坐标系来对导航控制的参数进行修正。针对图像分割得到的玉米田间信息，根据垄行走势特征进行的统计分析得到反映垄行走向的导航离散点。

具体方法为将二值图在Y轴方向上进行直方图投影，以两峰之间的波谷为界分离左右垄；然后，在X轴方向上取左右垄黑色像素的中间点，最后获得整行的平均位置点，如图4所示。

图4 不同光照条件下的散点图(A：晴天；B：阴天)Fig.4 Scatter diagrams under different illumination condition (A: sunny day; B: overcast)

2.2 导航路径算法

Hough变换是一种线性的计算方法，用于将D坐标系中的任一点变换为极坐标系中的正弦曲线。将D坐标系中的多个点变换为极坐标系中的对应曲线后，就可以利用这些曲线在目标范围内的交叉点计算出这些点的最佳拟合曲线。根据变换方程，若图像中的每个点能确定几个参数，则直方图的峰值便可以确定一条直线。具体计算过程：首先将变换域中的坐标初始化，以便存储其量化值和累积计数，数组的各初始值设为0；依次搜索灰度图像中的所有导航离散点，将每个点的θ值带入ρ公式进行计算，找出最大值对应的θ和ρ；再用相同的算法对原始图像进行处理，若两者的ρ值相同，则表明其对应的坐标点位于导航路径上。导航离散点经过上述计算后得到的导航路径如图5所示。

图5 不同光照条件下的导航路径(A：晴天；B：阴天)Fig.5 Navigation paths under different illumination condition (A: sunny day; B: overcast)

3 试验结果与分析

通过田间试验可以看出：在晴天光线充足的情况下，目标和背景的色彩差异大，对比度较高，能达到很好的识别效果，所有田块中的路径识别率都在80%以上，处理单张图片的耗时在109～133ms之间。阴天时的光照不充分，目标和背景之间的色彩差异不大，对比度较低，对识别的效果造成了一定的影响，但是所有田块中的路径识别率仍然超过70%；处理单张图片的耗时在117～138ms之间，成对 t测验的结果表明与晴天的处理耗时之间有显著差异。

该玉米收获机器人的路径识别方法在田间的试验效果如表1所示。

表1 不同光照条件下的路径识别效果

续表1

4 结论

试验过程中发现：该系统实际使用过程中会出现摄像机随着载具行进出现轻微抖动，以及摄像机内部参数设定、放置高度和俯视角度不够理想的问题。这些因素可能会对采集的图像质量造成影响，并最终影响到路径识别的效率。总体上看，该路径识别方法具有较好的田间适应性和实用性，经过载机结构改进和内部参数优化，解决了上述的问题后，可为玉米收获的智能化和信息化提供技术支撑。

[1] 孔自强.对加速推进玉米收获机械化发展之所见[J]. 农业装备与车辆工程，2007,186(1):47-48.

[2] 陈中伟，肖华，吴功平.高压巡线机器人电磁传感器导航方法[J].传感器与微系统，2006, 25(9):33-35.

[3] 李云翀，何克忠. 基于激光雷达的室外移动机器人避障与导航新方法[J]. 机器人，2006, 28(3):275-278.

[4] 杨世胜，张宾. 电磁诱导农用喷雾机器人路径导航系统的设计与实现[J].机器人，2007, 29(1):78-81.

[5] 李庆中，汪懋华.基于计算机视觉的水果实时分级技术发展与展望[J].农业机械学报，1999, 30(6):1-7.

[6] 杨国彬，赵杰文，向忠平.利用计算机视觉对自然背景下西红柿进行判别[J].农机化研究，2003 (1):60-62.

[7] 王树文，张长利，房俊龙.应用计算机视觉对番茄损伤分类的研究[J].东北农业大学学报，2006, 37(2):215-218.

[8] 周俊，姬长英.基于知识的视觉导航农业机器人行走路径识别[J].农业工程学报，2003, 19(6):101-105.

[9] 周俊，姬长英.农业机器人视觉导航中多分辨率路径识别[J].农业机械学报，2003,34(6):120-123.

[10] 孙元义，张绍磊，李伟. 棉田喷药农业机器人的导航路径识别[J]. 清华大学学报：自然科学版，2007, 47(2):206-209.

[11] 徐建，杨福增，苏乐乐，等.玉米智能收获机器人的路径识别方法[J].农机化研究，2010,32 (2):9-12.

[12] 高国琴，李明.基于K-means算法的温室移动机器人导航路径识别[J].农业工程学报，2014, 30(7):25-33.

Path Recognition of Corn Harvesting Robot Based on Machine Vision

Hu Dandan, Yin Huan

(Jiangxi Vocational College of Mechanical & Electric Technology, Nanchang 330013,China)

China's corn acreage and yield are very large, occupies an important position in agriculture, but the cost of harvesting part of the amazing. Maize harvesting robot can improve the working efficiency, greatly reduce the production cost, has broad application prospects.Path recognition capability is an important aspect of robot environment adaptability. Machine vision can be used in path recognition of agricultural robots. In this paper, a path recognition method of corn harvest robot based on machine vision is designed, and a real-time image processing experiment is carried out in the field. The results show that the method has better adaptability and practicability in the field. The improvement and internal parameter optimization can provide technical support for the intelligence and informationization of corn harvest.

corn harvesting; path recognition； machine vision

2016-12-12

基于《中国制造2025》江西省机械工业发展研究项目(GJJ151380)

胡丹丹(1987-)，女,南昌人，讲师，硕士，(E-mail)lowdto@163.com。

S225.5+1；TP242

A

1003-188X(2017)12-0190-05