基于机器视觉的水果分级分拣系统关键技术研究

摘 要：机器视觉就是利用图像摄取装置等产品代替人眼做测量和判断，当前在水果分级分拣领域应用极广，已成为工业机器人进行农产品自动化检测的研究热点，但如何对采集到的自然图像进行高效目标分割和识别检测，成为制约分拣机器人应用的技术难点。现利用机器视觉测量精度高、结果稳定可靠和非接触性等优点，通过对苹果进行尺寸测量、空间定位，并根据果形大小、色泽光洁程度和表面缺陷等指标进行特征识别，实现对苹果品质的科学精准分级和自动分拣，并利用机械手臂自动完成不同等级水果的分拣，实现生产线上的“手眼”协调工作。

关键词：机器视觉;水果分级分拣;关键技术

0    引言

当前对苹果品质的检测工作主要依靠人工完成，但是人工检测会存在误判、效率低和成本高等问题，且对于后期的水果分拣工作也存在效率和准确率低的问题。机器视觉就是用图像摄取装置等来代替人眼做一些分析和判断，自动得到一些问题的结果，近年来其以速度快、信息量大、功能多等特点在水果分级分拣领域得到了广泛应用[1-3]。本研究从水果的分级分拣环节入手，利用图像分割和深度学习算法，达到了准确高效分拣水果的目的。

1    水果分级分拣系统硬件搭建

水果分级分拣系统样机如图1所示，其主要由硬件系统和软件系统构成。

（1）硬件系统包括图像采集模块、机械手模块。图像采集模块用于图像的获取，作为图像分析的数据源;机械手模块用于对水果进行抓取。

（2）软件系统主要实现苹果的智能识别和自动抓取功能，包括苹果定位模块、苹果分类识别模块和机械手抓取模块。其中抓取系统的X轴、Y轴运动利用标准滑台实现，Z轴运动利用滚珠丝杠花键实现，同时还可以实现旋转和旋转移动;利用PLC对电机进行闭环控制，实现抓取装置准确定位;利用气缸驱动夹具实现抓取功能。

2    水果分级分拣系统关键技术研究

基于机器视觉的苹果分拣系统要解决两个关键问题，一是如何通过图像来确定苹果的空间位置，二是如何通过图像来确定苹果的分类和分级。因此，本项目以苹果为研究对象，从图像分割算法、相机标定、特征学习和水果分拣等关键技术着手开展研究。

2.1    卷积神经网络的分类能力

基于成像分析的传统视觉方法需要对被识别的目标建立数学模型，而苹果的色泽、表面缺陷、花萼、果梗等特征很难用数学模型进行准确描述，而卷积神经网络不需要建立特征模型，只需利用一个带标签的图像集作为训练集，对卷积神经网络开展训练，模型会自动学习样本中不同等级苹果的特征，这样利用训练好的卷积神经网络，可以很容易对不同特征的苹果进行分类。本研究采用深度学习算法，针对采样训练需要海量数据的缺点，选取同一苹果不同的侧面，使得模型可以更好地学习目标属性特征，克服不同角度下分类不准确的问题，从而有效提升模型的整体性能、泛化能力和学习能力。基于卷积神经网络的深度学习网络模型如图2所示，包括模型训阶段练和模型检测阶段。

2.2    Mask-RCNN图像语义分割的准确性

图像分割是机械手精确测量和识别定位的关键环节，传统的图像分割方法对图像纹理、明暗、背景和复杂度等因素非常敏感，很难确保图像分割质量。Mask-RCNN网络可以自动提取目标特征信息，将图像上每一个像素进行分类，即每一个像素均具有属性类别，因此属于苹果像素就被归类为苹果，可避免图像噪声、复杂背景的影响。本研究为保证视觉测量的精确性和识别的准确性，采用Mask-RCNN网络的图像分割方法，并在Caffe深度学习框架下，将最新的Mask-RCNN算法与ResNet特征提取网络相结合进行图像分割训练。

Mask-RCNN分割算法结构和流程图如图3所示。对目标图像，首先输入到卷积神经网络ResNet中进行特征提取得到feafure map，并对这个feafure map通过目标估计网络RPN提取可能存在的目标区域ROI。然后ROI经过ROIAlign层被映射成固定维数的特征向量，其中两个分支通过全连接层进行分类和包围框的回归，另一分支经过全卷积进行采样得到分割图。输出包含3个分支：目标分类、目标包围框坐标和目标二值掩码。其中分类和回归部分均由基于区域的目标检测网络Faster-RCNN完成，目标的像素级分割由全卷积神经网络FCN完成。

2.3    摄像机标定

摄像机的安装位置、镜头畸变、光心坐标等参数会影响测量精度，因此，利用摄像机对苹果的尺寸和空间位姿进行准确测量，必须对摄像机进行标定，确定摄像机的内外参数。本研究采用opencv棋盘格法进行标定，利用相机标定将已知参数的棋盘格作为标定板，在进行图像采集时，通过调整棋盘格的位置，得到多个不同角度的棋盘格图像，取图像的角点，找出其与棋盘格的对应关系，从而估算出相机内外参数，然后采用最小二乘法估算实际存在径向畸变下的畸变系数，并利用极大似然法对参数进行优化，进而提升估计精度。

2.4    机械手目标抓取

机械手的自主抓取主要基于视觉定位和视觉伺服。首先通过动力学与运动学分析，采用智能算法规划轨迹，完成机械臂智能抓取、运动轨迹规划和运动轨迹控制，通过研究运动过程中误差的来源，建立误差智能补偿方案;其次是针对运动过程误差实时补偿的需要，采用图像信息的视觉伺服控制系统，将苹果位姿产生的误差、轨迹跟踪产生的误差转变为图像信息，发送给控制系统，控制系统实时对误差进行补偿，实现每次抓取位置误差最小。

3    应用前景

当前我国已成为世界上最大的苹果生产国和消费国，市场占有率在50%以上，但国内对水果品质的检测方法大部分还是采用传统的人工方式，造成苹果分级存在控制不严、品质不高、良莠不齐和效率较低等问题，与世界知名农产品相比，无法形成品牌优势[4-5]。例如，国外对苹果大小分级要求85 mm果中不能有80 mm、75 mm果，80 mm果中不能有75 mm果;同一规格的，装箱果径相差不能超过3 mm。显然，按照上述分级标准要求，简单的分级方法和分级设备是无法达到的，必须通过精确的测量才能实现严格的分级。本研究从水果的分级分拣环节入手，相对于人工而言，通过引入机器视觉分级分拣系统达到准确高效分拣水果的目的，在重复性较高的工作中，提高该系统对工作环境的适应能力以及生产效率和系统柔性，对于提高水果生产效率及普及水果等级标准的执行具有推动意义。

4    结语

采用基于卷积神经网络CNN模型的图像识别，机器能直接以图像的像素作为输入，自己学习得出最合适的图像特征，不需要大量的先验知识，从而避免了因人为设计特征不合适而造成的图像识别效果变差等问题。本项目将深度学习引入水果分拣系统，搭建卷积神经网络模型CNN和Mask-RCNN网络模型，同时对传统的深度学习算法的训练数据和特征提取进行改进，进而在农产品的检测精度和效率上实现了进一步提升。

[参考文献]

[1] 刘佳男.基于机器视觉的水果表面缺陷识别方法的研究[D].无锡：江南大学，2012.

[2] PENMAN D W.Determination of stem and calyx location on apples using automatic visual inspec-

tion[J].Computers and Electronics in Agriculture，

2001，33（1）：7-18.

[3] KONDO N，AHMAD U，MONTA M，et al.Machine vision based quality evaluation of Iyokan orange fruit using neural networks[J].Computers and Electronics

in Agriculture，2000，29（1/2）：135-147.

[4] 董騰.基于机器视觉的水果分拣系统的研究[D].聊城：聊城大学，2018.

[5] 卢勇威.基于机器视觉的水果分拣系统[J].装备制造技术，2017（3）：163-165.

收稿日期：2021-07-29

作者简介：刘福华（1970—），男，四川宜宾人，副教授，研究方向：机械电子、汽车电子控制。