基于机器视觉的水果分拣系统①

董 腾 秦腾飞 张如如 葛广英 范鑫烨

(聊城大学物理科学与信息工程学院，山东聊城252059 )

基于机器视觉的水果分拣系统①

董 腾 秦腾飞 张如如 葛广英 范鑫烨

(聊城大学物理科学与信息工程学院，山东聊城252059 )

近年来我国的水果产量增长迅猛，以往人工分拣的形式已经很难满足现代农业生产的需求.为了提高水果的分拣效率，达到现代农业生产的需求，提出以机器视觉代替人工对水果进行分拣.本系统以托盘传送装置为水果硬件部分，配合CCD面阵工业相机获取图像并传送至预先编写的图像处理程序中.在程序中对所获水果图像进行预处理、特征提取.将提取的特征值作为输入通过神经网络分类,预计分拣正确率在98%左右.

机器视觉，神经网络，水果分拣

我国作为一个传统的农业大国，每年水果的产量和销售量相较于之前都有大幅提高[1].但是我国在水果的后期分拣处理方面存在长期大量的依赖人工作业的现象，这就会导致水果分拣的效率和标准度会因人而异、因地而异、因时而异.长期大量使用人工对水果进行分拣还会出现错误率随工作时间递增，水果生产成本随工人数量递增等情况，这样会增加生产成本,导致水果在价格上的竞争力相对偏低.并且近几年来机器视觉技术代替人工进行生产工作也越发的成熟[2，3].综上所诉，以机器替代人工进行水果的分拣[4]是切实可行的，是可以降低水果生产成本的.

1 系统结构

本系统分为果品传送和图像处理两个结构.果品传送结构选取的是模拟生产线传送系统，使用PLC对传送带进行控制，当系统启动时传送结构将待分拣的水果依次传送到图像获取设备下.图像处理结构利用的是CCD面阵工业相机获取图像并通过网口将其传输至上位机，经软件处理后便可获得分类信息，分类流程如图 1.

图1 分类流程图 图2 水果传输系统

1.1 系统硬件

系统的硬件部分所要完成的任务为保证拍摄光源的均匀分布和果品传送的持续性.因此系统硬件由水果传送装置，光源调节装置和图像获取处理设备组成(图2).

1.2 水果传送装置

该装置是由步进电机、传送带、水果托盘、PLC和人机交互界面组成.其中人机界面用于设定传送系统的线速度和拍照延时，并通过PLC控制步进电机以及相机外触发器带动传送带及水果托盘，最终完成传送水果的任务.

1.3 光源调节装置

该装置的主要组成部分是环形光源和暗室[5].环形光源的光强依靠电流的大小控制.通过暗室对外部不均匀光源的隔离以及环形光源的补光，降低了因外界影响产生的噪声，同时也可以突出物体的重要特征，因此降低了图像处理的难度.

1.4 图像获取设备

本系统选用CCD面阵工业相机作为图像获取设备[6].工业相机作为机器视觉的重要组成部分，其任务是获取清晰地待检测水果图像并将其数字化.在系统中面阵相机与上位PC机使用网口进行通讯，此通讯方式具有千兆的通讯速率不仅能提高图像传输速率，而且其稳定的传输方式也能降低图像传输中噪声产生的概率.

图像获取设备选用固定背景的方式连续获取图像[7]，在使用时需要将灯光亮度和相机的光圈与焦距调节到合适位置并锁定焦距，同时也要将工业相机的外部触发拍照延时与传送带的速度调节匹配.通过调整后的获取设备在使用时可以准确的将采集到的图像经过网口传送到上位PC机，以备处理.

2 系统软件

本系统的软件是由专业图像处理软件MATLAB编写而成.调用其内置的图像处理工具箱(IPT)按图像预处理、边缘检测与特征提取和BP神经网络水果识别的顺序依次进行.

2.1 图像预处理

图像预处理包括尺寸调整，灰度处理，图像去噪(图3)、图像增强(图4)等，主要是为了增强图像的对比度，提高图像分割的准确性和图像识别的准确率.

图3 去噪后图像 图4 增强后图像

2.1.1 图像去噪.在MATLAB中图像是以矩阵的形式存放的.而在图像获取过程中产生的色度不均、对比度不强和伪影等现象，可通过调节相机曝光时间，光圈大小以及选择合适光源等硬件方式调整.因此椒盐噪声便成为了影响图像质量的主要因素.中值滤波算法[8]通过滤波器将排序后的中值像素代替原像素的方法有效的抑制了椒盐噪声的影响，因此本系统选择使用中值滤波算法去除图像噪声.根据上述表达可以得到数学表达式：M是所取邻域内坐标，N是邻域像素个数

2.1.2 图像增强.图像增强采用反锐化掩膜法[9].利用反锐化掩膜法可以突出图像的高频分量，降低图像的低频分量，从而使得图像变得更加的清晰.其算法表达式为

g(x,y)=f(x,y)+C[f(x,y)-f′(x,y)],

其中f(x,y),f′(x,y),C分别为原像素值，低频分量和增强系数.

2.2 图像边缘检测与特征提取

在本系统中数字图像的边缘检测使用了阈值分割(图5)、形态学处理(图6)、边缘检测(图7).在特征提取中使用了图像区域属性函数，获得了图像的面积、重心、周长、离心率、弧度等特征参数.

2.2.1 图像的阈值分割.虽然真彩图像相较于单通道的灰度图像，所携带的信息更加的丰富.但是在对其处理的过程中会增加软件的处理时间.通过将图像转换为二值图像，可在不影响分类结果的前提前下，大大减少图像处理过程的复杂度.由于本系统的硬件传送装置使用了黑色的载物托盘，且水果的表面色彩也较为丰富.经过去噪和增强后的水果图像，与背景的对比度已经足够的明显.因此可以直接进行阈值分割以获取二值图像[10].

图5 阈值图像 图6 形态学处理 图7 边缘检测

2.2.2 形态学处理.经过阈值分割得到的二值图像在其边缘会存在着有些微小的空洞，为了不影响图像特征的获取就要对图像进行形态学的处理.通过对图像进行膨胀(imdilate)和腐蚀(imerode)操作，图像中原有的空洞得以消除.因此在下一步的边缘检测[11]中只会检测出图形的外部边缘，简化了大量的操作.

表1 各特征值统计表

2.3BP神经网络水果分类

神经网络[12]具有并行结构和并行处理、自适应性强、容错率高等性能.本系统的神经网络具有三层分别为输入层，隐藏层和中间层.在本系统的输入层中使用了细度比例和离心率作为输入特征，本次实验只分类了两种水果所以在输出层中设置了两个输出端口.在神经网络的隐藏层中，通过比较每次实验过程的时间和准确度的曲线图，最终将隐藏节点选定位为20个.图8，图9为神经网络运行结果和水果的识别结果.

3 总结

本系统采用了水果生产线模拟平台，利用MATLAB软件编程对所采集的水果图像进行处理，最终实现了水果分类的效果.系统在分拣部分利用了BP神经网络算法，通过水果图像特征值的比较来简化水果分类的时间，也提高了系统的鲁棒性对于不同形状的同种水果的分辨率得到了极大的提高.在系统的实际运用过程中其分辨水果的精确度可以保持在98%左右，也证明了该系统的可行性.

图8 神经网络运行结果 图9 分类结果

[1] 何凤娇.中国农产品的国际竞争力研究[D].大连：东北财经大学,2014.

[2] 尹红敏,葛广英.基于HALCON的指针式仪表的读数[J].现代电子技术,2016,39(17):16-19.

[3] 肖海俊，葛广英.基于HALCON的喷码字符识别技术的研究与实现[J].现代电子技术,2015,446(15):95-98.

[4] 刘佳男.基于机器视觉的水果表面缺陷识别方法的研究[D].无锡：江南大学,2012.

[5] 朱宝伟.机器视觉中的光源照明设计[J]. 电子科技,2013,26(3):80-82.

[6] 余达.一种面阵CCD的筛选测试方法[J].全国信息光学与光子器件学术会议,2012,40(7):154-159.

[7] 庞国瑞,葛广英.基于改进的自适应混合高斯背景模型的车辆检测[J].聊城大学学报:自然科学版,2012,25(1):37-41.

[8] 鲍华.基于中值查找的快速中值滤波算法[J].四川大学学报，2011,43(2):76-79.

[9] 刘艳莉.基于局部梯度和复杂梯度的反锐化掩膜法[J].仪器仪表学报,2014,35(7):1539-1545.

[10] 阳树洪.灰度图像阈值分割的自适应和快速算法研究[D].重庆：重庆大学,2014 .

[11] 肖梅.一种新的边缘检测算法研究[J].郑州大学学报：工学版，2012,33(4):86-88.

[12] 郭庆春.人工神经网络在大气污染预测中的应用研究[J]. 工业仪表与自动化装置， 2015,17(4):18-22.

Fruit Sorting System Based on Machine Vision

DONG Teng QIN Teng-fei ZHANG Ru-ru GE Guang-ying FAN Xin-ye

(School of Physics Science and Information Technology, Liaocheng University , Liaocheng 252059 , China)

In recent years, China's rapid growth in fruit production. In the past, the form of manual sorting has been difficult to meet the needs of modern agricultural production. In order to improve the sorting efficiency and meet the demand of modern agricultural production, the paper puts forward the method of machine vision instead of manual sorting. The system is based on the pallet transfer device for the hardware part of the fruit, with the CCD plane array camera to get the image and send it to the pre prepared image processing program. In the process of the fruit image preprocessing and feature extraction. The extracted feature values are used as input, and the classification accuracy is about 98%.

machine vision, neural network, fruit sorting

2016-11-20

山东省自然科学基金项目(ZR2015FQ008)资助

葛广英，E-mail: gyy@lcu.edu.cn.

TP273+.5

A

1672-6634(2017)01-0093-04