基于机器视觉的林果识别定位技术进展分析

郑如新， 孙青云， 肖国栋， 马素慧

(1.南京林业大学机械电子工程学院，江苏 南京 210037；2.天津微深科技有限公司，天津 300000；3.河北科技师范学院机电工程学院，河北 秦皇岛 066000)

我国是一个农业大国，农林业自然就在我国占据举足轻重的地位。从改革开放以来，我国各类林果栽植总面积和总产量一直稳居世界第一。我国农林业的产量每年都在逐步增加，到了2019年我国各类林果种植面积突破1 500万亩[1-2]，林果产业的发展迅速进入了市场，但是在林果成熟的同时，也面临着收获问题。林果收获是一个季节性较强和劳动密集型的工作，据了解林果采摘所用劳动力占整个生产过程所用劳动力的30%～40%[3-4]。目前，我国的林果收获大多数还是靠人工来完成，从种植、养护，最后到收获，基本上离不开人工的干预[5]。由于林果特殊的种植和生长特点，传统人工采收作业劳动强度大，耗费时间多，长时间作业更会导致人工疲劳，效率低下，严重影响了林果产业链更快、更好地向前发展。由于劳动成本过高，人口老龄化的加剧，使用人工去完成林果的采摘更是难上加难，因此使用机械代替人工完成林果采摘迫在眉睫，也是以后农林业发展的必然趋势，将农业机械引入到林果的采摘中，不仅降低了劳动强度提高了效率，还能保证林果的质量[6-7]。

可以预见，在林果采摘过程中融合机器视觉技术，将显著提高当前我国农林业生产产业化效率和智能化水平，有力推动农业机械的改造升级，使得农业机械更加自动化、智能化[8]。本文将阐述近年来机器视觉算法及理论在林果识别[9]、林果定位[10]、林果缺陷检测[11]等采摘中的应用现状，通过比较相关算法及理论的优缺点，分析当前机器视觉技术在林果采摘中应用的不足，提出今后的发展方向，意为机器视觉技术在林果采摘中的应用寻找新的突破点并为我国农业的智能化、自动化发展贡献绵薄之力。

1 机器视觉

机器视觉技术首先在国外开始发展起来，在20世纪50年代时机器视觉技术刚开始起步，应用范围比较小，只能做一些简单的平面图像处理。经过十多年的发展，机器视觉技术开始慢慢向三维上面去应用。他是一种使用计算机来模拟人类视觉，并且使用软件算法来对相机采集到的图像进行分析和理解，以进行自动识别和定位的过程。到目前为止，机器视觉经过了半个多世纪的发展，已经广泛地应用于工业、医疗保险、航空航天、军事等各个领域，在国民经济中发挥着越来越大的作用[12-14]。

机器视觉就像人类的眼睛，通过眼睛对目标物体进行识别定位，即先通过视觉传感器(相机、镜头、光源等)获取目标图像，再对获取到的图像进行算法处理。在应用方面，机器视觉也与“机器”联系密切。当视觉软件完成图像检测后，紧接着就要和外部单元进行通信，以完成对机器设备的运动控制[15]。

2 机器视觉在林果识别中的应用

林果产业是继粮食和蔬菜之后我国农业的第三大产业，在我国农业方面扮演着重要的角色，是我国农业方面的支柱产业[16]。林果包含苹果、柑橘、葡萄、核桃、草莓等，都具有丰富的维生素。目前，我国林果种植规模和产量已经达到了世界首位[17-20]，如果一直依靠人工来采摘林果，长此以往不仅效率低下，而且无法满足我国农业机械朝着智能化、自动化方向的发展。因此，将智能化的农业机械引入林果的采摘中十分有必要。近年来随着人工智能的不断发展，机器视觉被运用到智能化林果采摘机械中，该技术能够做到人类无法实现的功能。机器视觉技术的发展对计算机辅助目视识别定位技术在林果识别定位中的应用起着举足轻重的作用，常被应用于林果识别、林果定位、林果缺陷检测等多项工作中[21]。

2.1 林果识别

林果的识别一般是林果采摘的第一步，通过相机对不同形状的林果进行特征识别，提取出林果中共同的特征，再通过这些特征去识别[22-24]。近年来有许多学者对于林果的识别做出了大量的研究工作，出现了许多相关的研究成果。美国学者Schertz和Brown在1968年率先提出自动采摘机器人对林果进行收获的构想[25]，其中最重要的部分就是对林果进行识别和定位，因此视觉系统是果蔬机器人的重要组成部分。Arman Arefi[26]等提出了一种新的利用机器视觉系统引导机器人臂挑选成熟番茄的分割算法，在温室条件下共采集了110张番茄图像，并且利用颜色空间模型RGB、HSV和YIQ来对番茄背景进行分割，从后面的背景中成功提取出番茄，再通过组合空间模型的方法，将背景进行细化，提取出的目标更加完整。研究结果表明，该算法的总精度可以达到96.36%。A.R.Jimenez[27]等利用了激光测距仪对鳄梨进行识别，原理是红外激光测距仪传感器，提供射程和反射率图像，通过生成4个特征元，来证明该处存在目标物体，最后通过三维位置、半径和表面反射率来进行外界输出，结果表明，该系统具有良好的鳄梨检测率。David C.Slaughter[28]等对柑橘识别进行研究，先仅利用数字彩色图像中的颜色信息来区分橘子和橘子林的自然背景，再通过利用贝叶斯分类器正确地对所分析的自然场景中75%以上的柑橘像素进行了分类，最后表明，可以为60 Hz帧率的机器人机械手提供指导信息。高桥照夫等对苹果的识别进行了深入研究，他们试验了多种算法，探究了果实在不同颜色时的有效探测范围。结果表明当苹果的颜色为红色时，探测范围为 1.5～5.5 m，当苹果的颜色呈现黄绿色时，探测范围为2～4 m。最终的测距误差约为5%。E.J.Van Henten[29]等研究了A*-search算法，同时结合路径搜索算法生成了无碰撞的机械器运动，使得黄瓜采摘机器人能够顺利识别并定位到黄瓜所在位置，实现采摘的全过程。结果表明，该方法对于七自由度采摘机器人能够实现无碰撞运动，其视觉系统经过实验证明温室中黄瓜的识别率达到95%，并且该算法易于实现，具有较强的鲁棒性。李振雨[30]等针对苹果采摘机器人提出了一种苹果识别方法，采用角点检测的方法，根据图像提取的角点来检测苹果图像曲率，通过计算曲线段上的多个像素平均角方向之间的差值对曲率进行平滑处理，获取图像曲率集中峰值点，最后对曲率峰点值进行像素坐标定位从而实现对苹果的识别。但是由于在自然生长环境中苹果会产生非结构化的生长，就会出现有重叠问题，当苹果之间出现遮挡重叠，该方法不适用。刘丽娟[31]等针对苹果重叠遮挡问题，提出了一种组合优化解决方案。首先通过lab和YUV颜色模型空间中的a、U和V分量将苹果图像从背景中提取出来，针对不规则苹果再利用霍夫变换和圆形约束法讲目标逐一识别出来。詹文田[32]等基于Adaboost算法，结合多个颜色空间模型，通过采集300多个猕猴桃果实和背景样本用分类器进行训练，实验结果表明，采用Adaboost算法能够非常有效地解决复杂背景下的天空、树枝和田地等影响，非常适合于非结构化的猕猴桃场景识别，并且识别率高达96.7%，有效提高了猕猴桃采摘机器人的工作效率。李元强[33]等针对葡萄的识别提出了一种K-Means聚类算法和HSV颜色空间模型分量相结合的方法，再通过YOLO卷积神经网络学习对葡萄图象进行训练，结果表明，当定位距离控制在0.8～1.5 m时，对葡萄识别的误差小于1%，完全可以满足葡萄采摘机器人的工作要求。

在林果的识别方面，常用的颜色空间模型如RGB、HSV和YIQ等，以及通过组合空间模型能够将目标对象从背景中分离出来，但是这种方法只适合于林果的单一特征，往往结果不太精确且泛化力不高，对于特征不是很明显的林果往往难以识别。目前最常用的方法是采用分类器方法进行训练，在林果识别方面常用的分类器包括BP神经网络、支持向量机、多层感知机等，虽然该方法能够达到较高的识别率，但是速度较慢，花费的时间较长，样本越大花费的时间越长，同时还会出现多分类问题的干扰。为了解决这个问题，在针对林果识别中引入深度学习方法进行识别，大幅度提高识别速度和大样本集带来的识别不稳定性问题。

2.2 林果定位

林果的定位也是林果采摘机器人工作中的重要一步，在林果识别完之后，下一步要做的就是对林果进行目标定位。通过对林果进行定位，再将定位好的坐标通过线程传给末端执行机构对林果进行采摘，定位功能是双目相机分别从两个不同的角度去采集相同的目标图像，并基于视差原理获取物体三维几何信息，同时获得图像的深度信息，并进行测距，得到三维坐标。近些年来，许多的国内外学者都对林果采摘定位技术进行了研究，也取得了一些很好的成果。

赵辉[34]等提出一种基于RGB-D相机的苹果的定位方法，首先通过深度相机获取到苹果的深度信息，再将深度信息与分割出来的苹果图像进行融合，同时得到苹果所在区域的点云图像，利用LCCP(locally convex connected patches)算法将点云图进行局部分析细化，最后使用多线程获取果实的半径以及球心位置。结果表明，该方法可以很好地获取苹果质心坐标。颜申[35]等针对柑橘进行了识别定位系统的设计，由于柑橘的轮廓形状近似圆形，因此采用霍夫变换的圆检测的方法来对其目标进行识别定位，结果表明，该方法对柑橘定位成功率能够达到80%，但是在有树枝树叶的遮挡或者光照不均匀的情况下识别率只能达到60%左右。由于柑橘自身的生长环境与特点，存在树叶遮挡或者光照不均匀是无法避免的情况，杨长辉[36]等针对该情况提出了一种基于卷积神经网络和深度学习的方法，分类准则设置为5种，然后在YOLO v3(You only look once)卷积层模块中添加3层最大池化层，实验表明，该方法可以避免周围障碍物的位置信息成功定位到柑橘位置坐标，时间也减少很多，同时速度得到了提升。李金彦[37]等针对枸杞的定位利用Canny边缘检测算法识别出枸杞轮廓图像，再结合最小二乘法进行椭圆拟合得到枸杞图像的质心，利用质心坐标对枸杞进行三维定位，实验结果表明，该方法能够实现复杂背景下枸杞多目标的定位，并可推广到类圆形目标的抓取过程。张凯良[38]提出了一种图像处理与激光辅助测距相结合的草莓采摘位置自动定位方法，首先利用镜像匹配法计算出草莓在自然状态下的平面位置信息，进一步在激光束的辅助作用下，利用几何光学计算在机械手方向上的草莓深度信息。结果表明，该方法的平均计算时间为381 ms，测距最大误差为1.6 mm，平均误差为0.5 mm。

近几年来，运用机器视觉技术在林果定位方面的应用成果有很多，常用的手段包括双目视觉、机器学习、深度学习、红外激光等，常用的智能算法包括遗传算法(GA)、卷积神经网络(CNN)、支持向量机(SVM)等机器学习算法。相比较林果识别而言，深度学习在林果的定位中运用较为广泛。从BP神经网络、SVM等浅层学习算法到卷积神经网络等深度学习算法，林果定位的准确度不断提高。

3 机器视觉在林果检测中的应用

并不是所有的林果都是完好无损的，林果在一定程度上都会出现溃烂、伤疤、雨斑等缺陷，因此在林果的采摘工作完成之后，需要对林果进行缺陷检测，将有缺陷的林果识别出来，继而对其进行分选工作。

邱光应[39]等在针对苹果缺陷检测方面，提出一种基于决策树支持向量机(DT-SVM)的苹果表面缺陷识别方法。在R通道中利用Otsu法和连通域标记法提取目标区域(果梗、花萼和缺陷)的颜色、纹理和形状特征，最后利用决策树支持向量机进行识别。实验表明，通过采集600幅左右的苹果照片，利用该方法对其进行缺陷识别，达到了97.7%的准确率。张明[40]等通过采取R-B组合颜色空间模型的方法，提出的一种区域亮度自适应校正算法对脐橙表面缺陷进行检测，结果表明运用该方法对脐橙的溃疡、蓟马、介壳等缺陷检测率达到95.8%，并且对每幅图像的处理时间为0.29 s。刘阳[41]等利用机器学习的方法对青梅表面缺陷进行了识别，首先通过单通道灰度图像提取、图像滤波、灰度二值化及特征提取等预处理操作，将青梅从背景中提取出来，再采用高斯混合模型对青梅图像进行训练，通过348张图像训练，实验表明，对青梅缺陷检测结果达到94.44%。龚中良[42]等通过HSV颜色空间模型对柑橘表面进行缺陷检测，在HSV颜色模型下利用V分量灰度图边缘检测与形态学处理的方法以提取柑橘表面的缺陷特征，最后结果表明，柑橘表面缺陷检测的总体识别率为92%，所用方法能有效地识别柑橘表面的缺陷。

在林果检测方面，利用机器学习主要体现在对林果的特征缺陷识别方面。常用的智能算法有BP神经网络、模糊算法、蚁群算法以及在这些算法上的改进，运用这些算法虽可以实现其功能，但识别精确度不高，会出现漏识、错识等，可以考虑将人工神经网络与模糊算法、遗传算法、专家系统等智能算法相结合，取长补短；或考虑在林果检测过程中引入深度学习和互联网通信，继而获得较高的缺陷检测度。

4 结论与展望

近年来，机器视觉的发展突飞猛进，但是如何将机器视觉技术与林果采摘加工产业相融合，实现林果采摘产业精准化识别和智能化控制，从而在可持续发展的前提下切实提高林果生产产业化效率，是我国林业发展中的重要课题。近年来，随着机器视觉在林果识别、林果定位以及林果缺陷检测中的应用，图像识别技术和机器学习算法的发展在林果产业化过程中的作用和影响力越来越大，但机器视觉技术与整个林果采摘部分工序融合的程度还比较低，想要完成整个采摘过程，还是有技术瓶颈需要突破。为了加深、加快机器视觉技术与林果采摘产业的融合，引领农林化产业向自动化、智能化方向发展，笔者提出以下建议：

(1)可以将多种算法相配合使用，同时研究高精度、高效率、鲁棒性更强的算法应用于林果采摘中，同时将深度学习算法引入到林果采摘的各个过程中，从而能够实现林果采摘的精准识别和智能控制，再通过对林果的检测，挑选出更多的符合市场要求的林果。

(2)由于大部分的林果都是种植在自然的非结构化的环境中，因此林果采摘机器人需要进入田间工作，这样非目标物体就会多了很多，需要对机器人的作业环境做出适当改善，在对林果进行种植时，可以考虑进行规范化种植，控制林果的生长，使其朝着均匀化、规范化生长，以便减少图像处理难度。

(3)积极与企业开展合作，研发出林果采摘产业更加智能化的设备，建立完善林果采摘智能生产体系，形成自主知识产权并且逐步取代传统人工采摘。