机器视觉技术在水果采摘机器人中的应用*

郑如新，孙青云，张 可，程 冬，徐 鹏

（南京林业大学机械电子工程学院，江苏 南京 210037）

我国是一个发展中国家，同时也是一个农业大国，而农业的种植和收获问题也一直影响着我国社会的发展。自进入21 世纪以来，随着科技的进步及社会的发展，农业的发展方向也逐渐由人工转为机械化，由自动化转为人工智能化。要使农业发展逐渐智能化，需要将图像处理技术应用到农业领域，提高农业生产效率。农业的智能化作为一个新兴的发展模式，能够提高农业生产和管理效率，减少不必要的人力、物力和财力，这其中人工智能技术发挥了至关重要的作用[1]，智能化的水果采摘机器人也应运而生。

1 机器视觉技术研究现状

目前，我国生产了大量的林果以及农作物，如果仅靠人工采收，难以实现农业的智能化和自动化，将机器视觉技术应用到植物采摘中是非常有必要的。越来越多的机构和相关领域专家开始对农业的智能化进行研究，国内的机器人采摘技术发展迅速，但智能化采摘机器人还处于初始研究阶段，且研究部门主要是各大高校和农业机械研究院[2]。

1.1 图像的预处理

要使机械手精准采摘目标水果，就必须对目标植物进行识别操作，图像识别是采摘的前提。图像识别分为图像预处理、图像的分割和特征的识别等。

在进行图像处理之前，还需要对图像进行预处理，主要是为了提高图像的质量，除去一些图像上的噪声以及提高图像的清晰度等。典型的去噪的方法有均值滤波、中值滤波、维纳滤波和形态学方法等。

苏博妮等[3]先对彩色草莓图像添加方差为0.02 的椒盐噪声，然后利用均值滤波、中值滤波、维纳滤波分别对草莓图像进行预处理研究，最后发现中值滤波的效果最好，对椒盐噪声去除得比较彻底，草莓的纹理细节清晰，图像背景噪声也几乎看不出来，因而其去噪效果比均值滤波和维纳滤波都好。均值滤波去噪效果比维纳滤波效果稍好，但均值滤波会使草莓边缘细节模糊。

蒋焕煜等[4]对成熟的番茄进行识别和定位，但是在经过图像分割之后图像中仍有许多像素以噪声的形式存在，这些噪声主要是背景区域的像素被认为是目标对象或是番茄部分被误判为背景而形成的。之后利用了形态学处理方法中的开环运算，成功消除了背景中的噪声。

李振雨等[5]研究苹果的识别定位，为了更好地突出苹果果实图像，需对图像进行直方图均衡化的预处理，使用直方图均衡化函数对灰度值进行调整，从而扩大前景和背景灰度的差别，以实现对比度的增强，更好地提高了图像的质量。

上海交通大学的Zeng Q B 等[6]对重叠的植物果实提出了一种基于双边滤波算法的预处理方式，该算法可以很好地解决因模糊边界而导致的边界信息的丢失，可以有效地平滑灰度图像，去除许多小细节，保留边缘，从而能够更好地对图像进行预处理。

1.2 目标的识别与分割

图像分割是指将图像中具有特殊意义的不同区域划分开来，这些区域是互不相交的，每一个区域满足灰度、纹理、色彩等特征的某种相似性准则。图像分割是图像处理分析过程中的重要步骤，图像分割的方法有基于固定阈值的图像分割、基于区域生长的图像分割、基于边缘的图像分割、基于地形地貌的图像分割等。其中，基于固定阈值的图像分割方法是应用得最广泛，能够快速地将目标图像与背景分割开来的方法。

西安科技大学的景晓梅[7]在自然环境下对苹果使用了三种图像分割方法，分别是阈值法、边缘检测法以及K-means聚类算法，并分析了这三种方法的优缺点，最后通过实验的比较，发现K-means 聚类算法在Lab 颜色空间模型中，可以将苹果图像很好地从背景中分割开，但是在光照不均匀的条件下会造成分割困难，因此，此类算法对于光照的要求很严格。

北京工业大学的王丽丽[8]对番茄的识别定位进行了研究，他们通过采用Otsu 算法和椭圆模板法对成熟的番茄进行图像分割，然后选择包含番茄彩色图像的矩形区域，得到匹配点的三维坐标。实验表明，该方法识别出成熟番茄的成功率为99%。

重庆理工大学的胡友呈等[9]使用一种基于区域特征的成熟柑橘果实及枝叶的分割识别方法。该方法主要使用的是支持向量机算法（Support Vector Machine,SVM）对成熟的柑橘进行了图像分割。该方法首先分析了柑橘的颜色特征，然后利用颜色信息的映射关系，进行特征降维，减少参数数量，最后获得最佳的图像ROI 区域，减少搜索区域，从而提高算法的时效性。该算法对外界环境的抗干扰能力较强，稳定性较好。

1.3 图像的特征匹配

当把图像成功地分割出来后，就需要对图像进行特征匹配处理。图像的识别需要对图像进行特征匹配，简单地说，就是找出从一幅图像到另一幅图像中对应点的最佳变换位置。特征匹配方法主要分为基于灰度值相关的办法和特征提取方法。

上海交通大学的金理钻[10]研究了黄瓜采摘机器人，也是采用了基于纹理特征的提取方法进行特征的匹配，最后得出结论，由灰度共生矩阵能够算出14 种纹理特征。尽管此矩阵提取的纹理特征具有不错的分类能力，但是这么多的计算量，实际上也不可取，因此有人不断地对其进行改进。

仲恺农业工程学院的张瑞华等[11]针对猕猴桃的识别，考虑到猕猴桃的特殊外形，采用了Hough 变换的方法对猕猴桃进行特征匹配。由于完整的一幅图像会占据比较多的背景区域，而背景区域越多，对图像的识别就越复杂，可以采用最小外接矩形的方法划出图像中的目标区域，缩小运用椭圆形拟合猕猴桃果实的处理面积，同时也提高了运行效率。

上述特征匹配方式始终存在一些缺点，在部分比较复杂的外界条件中，上述方法可能并不适用，会导致特征提取效果较差。

上海理工大学的张纯纯等[12]运用了基于深度学习的YOLO 算法对目标物体进行特征匹配，其结果是YOLO 算法能精准检测出目标物体并用矩形框出。

中科院的甘露[13]运用了基于改进的多尺度融合的SSD深度学习的模型，并且实现了多尺度融合的小目标检测算法，提升了小目标检测的准确率。

不管是通过纹理特征和颜色特征对目标进行特征匹配，还是通过一些深度学习和卷积神经的算法改进，都是为了进行图像的特征匹配。考虑到每一种方法都有自己的优点和缺点，因此在一些特殊的情况下可以联合使用多种特征匹配方法，以便更好地进行图像的特征匹配。

1.4 植物采摘的定位技术

在世界坐标系中确定水果采摘点是最后一个重要的步骤，定位的准确与否直接关系后面的采摘是否能够成功。近年来，许多国内外学者都对植物采摘定位技术进行了研究，也取得了一些很好的成果。

定位功能模块是使用双目立体视觉从不同角度获取目标的2 幅图像，并基于视差原理获取物体三维几何信息，同时获得图像的深度信息并进行测距，得到三维坐标[14]。

摄像机获得原始图像信息通过一系列图像处理过程后，可以将果实目标从背景中分割出来，进而利用双目视觉具备检测物体立体信息的特点计算出果实的空间位置信息。

佳木斯大学的颜申等[15]针对橘类水果进行了识别定位系统的设计，他们鉴于橘类水果的轮廓近似圆形，使用霍夫变换的圆检测方法对目标进行识别定位，实验结果能够达到80%的准确率。但是，在有树枝树叶的遮挡或者光照不均匀的情况下，识别率只能达到60%左右。

河北农业大学的司永胜等[16]提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法，对不同光照情况下拍摄的苹果图像进行识别与定位。结果显示，该方法能够很好地消除由于光照不均匀而产生阴影所带来的影响，定位的准确率能够达到92%。

浙江大学的项荣[17]在识别定位番茄的过程中采用了三类立体匹配的番茄定位方法，并进行了研究。与单纯基于区域匹配的方法相比，其具有较小匹配计算量的优点。

天津理工大学的赵辉等[18]根据苹果的空间定位提出了一种LCCP 算法，对苹果点云进行实例化分割。实验表明，该LCCP 算法能够高效地对空间果实进行识别，对多果实且存在层叠遮挡的情况亦能取得不错的效果，能够对残缺点云进行较为精确的拟合，以此获取果实的形状与位置信息。

2 机器视觉技术在水果采摘机器人中应用存在的问题

在水果采摘机器人的应用中，机器视觉扮演了举足轻重的角色。机器视觉技术在水果采摘机器人中具有识别目标水果的外观以及准确定位的功能，同时还能对周围的环境进行实时勘察，但是大部分的机器都处于实验室研究阶段，目前的研究中存在的问题有以下几点。

2.1 视觉的响应处理速度受算法影响大

水果采摘机器人主要由行走模块、视觉模块、控制模块和末端执行模块四部分组成。采摘机器人的视觉系统主要是由2个相同型号的工业相机通过连接板固定搭建而成，再配上图像采集卡以及需要的光源设备等。水果采摘作业所需要的视觉识别、定位精度和速度要低于一般工业应用要求，因此识别和响应速率取决于算法及其程序的时间复杂度。

2.2 识别的准确率容易受到外界因素影响

在水果采摘机器人中，水果识别准确率的高低会直接影响末端执行机构的准确采摘。农业采摘机器人不同于工业机器人，农业机器人需要适应各种田间复杂的作业环境；而水果的生长是随机的，生长的差异性也决定了水果采摘机器人识别率的高低。例如，有的水果有枝叶的遮挡，还有的水果会生长在一起，造成水果的重叠遮挡，这些都会影响水果采摘机器人的识别率。

3 结束语

综上所述，水果采摘机器人已经得到了广泛的运用，但是在运用的同时还存在着一些不足：

1）在针对水果植物方面的图像处理上，有的算法在遇到重叠或者遮挡时并不能够准确快速地分割出目标物体。同时在自然环境下，由于受到光照、噪声等一些外界条件的影响，算法的适用性和鲁棒性较差。

2）自然环境存在许多不确定因素，如光线问题、地理条件问题等，会导致水果采摘机器人对需要采摘的作物难以达到准确识别的效果。因此，要想让视觉采摘机器人充分地运用于现实之中还有待研究。

文章根据目前水果采摘机器人存在的不足提出以下几点建议：

1）优化视觉算法。对于长相形状不同、品种也不相同的水果，可以从水果的形状方面考虑优化一些识别算法。针对长相形状比较相似但种类不同的水果，可以考虑使用颜色算法去识别，因为颜色和纹理是水果特有的特征，这样就可以避免因形状相似而无法识别的问题。

2）改善机器人的作业环境。水果采摘机器人大多是在田间工作，而田间的作业环境都是属于非结构化环境，因此在种植水果时可以考虑加入一些科学化的、规范化的种植方式，使水果可以生长得比较均匀，这样就会降低图像处理的难度。