基于机器视觉黄瓜果实自动分级方法

李　明，房俊龙，乔翊博，刘　超，张伶鳦，赵朝阳，栾吉玲

(东北农业大学 电气与信息学院，哈尔滨　150030)



基于机器视觉黄瓜果实自动分级方法

李明，房俊龙，乔翊博，刘超，张伶鳦，赵朝阳，栾吉玲

(东北农业大学 电气与信息学院，哈尔滨150030)

摘要：为实现黄瓜果实快速准确分级，以摄像头为视频采集模块、DSP核心处理器为主控制模块、机械手为执行模块，并借助质量控制、电机传送等辅助单元，构建了自动化分级平台。参照国家标准NY/T1587-2008，利用图像处理方法对黄瓜果实图像的瓜长、把长、横径差、弓形高度进行了提取和计算。选取长春密刺、龙杂黄七号、露秋一号3个品种240根黄瓜果实作为试验样本，抽取每个品种的20个样本作为图像提取数据分析，其余60个样本作为自动分级平台测试。测试结果显示：该平台的平均分级精度为96.7%，每分钟约检测35根果实，相较人工分级具有快速、无损、准确、客观的特点，为机器视觉技术应用于椭长形果实自动化分级提供了重要依据。

关键词：机器视觉；图像处理；黄瓜；果实；分级；机械手

0引言

黄瓜是广大消费者所喜爱的蔬菜之一，尤其在炎炎夏日，超市黄瓜的日销量巨大，然而黄瓜的分级主要依靠人工方式，劳动强度大、效率低。因此，黄瓜果实的自动化分级平台的研究对提高黄瓜产销的经济效益具有重大意义。

国外自20世纪70年代末开始利用机器视觉对果蔬等农产品质量检测和分类，但分类精度与速度低，涉及的果实品种较少[1-3]；80年代起，随着科学技术的不断进步和生产需求的提高，智能无损检测分级技术的研发得到广大农业科研专家的重视[4]。Rigney制作黄瓜分选线，黄瓜依据形状与大小被分成3类、5个等级，然而当时硬件性能低，导致分选准确率很低，达到62%[5]。20世纪90年代，荷兰农业环境工程研究所研制出一种多功能黄瓜收获机器人，能够检测作业区域的黄瓜，还可以进行果实成熟度评估，并实现定位。采用机器视觉技术为平台的果蔬分级装置在欧美国家得到日益广泛的应用。

我国在机器视觉与自动化结合进行农产品分级方面起步较晚，从20世纪90年代中后期开始，广大专家学者逐渐重视自动化分级技术的研究[6-9]，但分级的对象主要集中在外观呈现球形的果蔬上，对黄瓜、胡萝卜、香蕉等外观特异的非球形果蔬研究较少。为此，本文以黄瓜果实为研究对象，将机器视觉技术与自动化硬件控制相结合，构建影响黄瓜分级的外观特征参数模型，搭建黄瓜果实自动化在线分级平台。

1材料与方法

1.1　试验材料

试验样本培育在东北农业大学农学院试验田内，根据《新鲜水果和蔬菜的取样方法》(GB/T8855-2008)号标准对黄瓜进行取样[10-11]。依照标准，取样量为3kg，在盛果期果实达到商品采摘标准时，选择植株第6~17节位的果实进行采摘，每个品种形状各异的黄瓜果实分别采集80根作为试验样本。

1.2　试验装置

黄瓜果实分级平台模型由14个主要部件组成，各部件协调工作，其中摄像头、核心处理器、机械手是平台的核心，如图1所示。

1.摄像头　2.核心处理器　3.机械手　4.单相传送带　5.步进电机

1)摄像头：选用德国Vision Components公司生产的VC4012 nano & VC4012 nano/C智能工业数字摄像机作为分级平台视频采集设备。该摄像机体积小、抗震动、抗冲击能力强，工作频率为400MHz，运算速度可达3 200MIPS，分辨率为2 592×1 944，帧率为11.6fps。试验平台选择该款摄像头保证了分级平台的扩展性开放前景，在完成黄瓜果实分级目标的基础上能够进一步研发各类多元化农产品的分级。

2)核心处理器：核心处理器选用专门用于视频应用开发的EL_DM6437开发板，具有高性能、低成本的优点，能够实现视频应用程序脱机运行。

3)机械手：采用摇臂式自动取料机械手，其运动由X、Y两个相互垂直方向的直线运动与一个摆动运动组合而成，具有灵活度高、体积小的特点。

1.3　试验总体思路

黄瓜果实分级平台由进料单元、视频分析单元及机械分级单元3个主要部分组成。实现分级的总体路线如图2所示。

图2　分级总体路线

1)进料单元：黄瓜果实需人工成批放入料斗，通过料斗震动，由料斗下口漏出单根果实到电子秤上。如果电子称称量的果实质量超过规定范围，说明该果实不符合分级要求或者有多根果实同时漏下，由电机控制双向传送带逆向传到回收箱中；质量满足的果实由双向传送带正向传到单相传送带上，此时是单根黄瓜果实。

2)视频分析单元：传送带由同步电机控制，速度约为40cm/s。摄像头每秒钟拍摄50帧图像，视频采集过程在暗箱中完成，从而保证图像序列在相同照度光线下获得。核心处理器对采集的视频信息进行分解，以单帧图像为基础，采用帧差分法结合边缘像素存在法判断当前帧图像是否为完整果实图像；采用图像预处理、特征提取算法对完整果实图像进行处理，得出分级参数和位置参数(包括果实等级、果实中心横径坐标位置)，把结果参数传到机械手控制模块。由于机械手完成1次动作需约2s，远低于核心处理器分析单帧图像的速度，核心处理器针对2s内拍摄的视频图像序列随机抽取10帧，进行图像处理得出分级参数，并判断10帧的分级结论是否匹配，如出现差异，返回上一层重新判断是否为完整果实图像。

3)机械分级单元：机械手控制模块发出指令控制机械手臂动作，根据位置参数机械手自身旋转到果实中心位置进行抓取，根据分级参数机械手臂左右移动到不同分级箱内。

2图像处理提取特征

2.1　运动目标检测

通常运动目标检测有光流法、帧差法及背景减除法，本文采用邻域帧差法[11-13]进行果实目标检测。该算法原理简单，计算量小。其原理为：当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。公式为

(1)

(2)

其中，IDL是相邻帧差图；IL(x,y,i)与IL(x,y,i-1)分别是第i帧和第i-1帧的亮度分量；i表示帧数(i=1,…,N)；N为序列总帧数；T为阈值。

帧差法可以检测出黄瓜果实部分进入摄像区域，但并不能判断区域内果实的完整性。因此，在帧差法的基础上，需对当前帧图像四周边界5个像素宽度进行颜色判断，如果为背景色则证明果实已经完整进入拍摄区域，否则当前帧图像不可用。

2.2　图像预处理

高效准确的图像处理过程能够保证硬件部分的分级精度和时效性，本文经过对多种图像预处理算法进行比较分析，选择耗时最短、效果最佳的一组处理方案。

试验中采集到的黄瓜果实样本形状各异，本文选择龙杂黄七号代表性的图像进行分析[14-15]。

1)摄像头获取的单帧彩色数字图像，采用RGB图像灰度化以减小像素运算量，黄瓜果实灰度图像如图3所示；

2)高斯滤波算法去除干扰噪声像素；

3)Sobel边缘检测算法提取果实的边缘像素，边缘提取图像如图4所示；

4)分水岭分割算法分离目标与背景区域；

5)区域标记算法标识目标区域。

图3　黄瓜果实灰度图

图4　边缘提取图像

2.3　特征提取

为计算图像像素与实际标尺之间的关系，本文采用参照物标定法，将5cm×5cm固定尺寸的硬纸板置于分级平台摄像头下方传送带上，获取图像后经过背景分割算法，提取参照物区域像素值，进而计算出像素与厘米之间的转换关系。为检测特征提取算法精度，通过人工测量获取黄瓜果实的实际尺寸作为误差分析的基础。

本文参照中华人民共和国农业行业标准NY/T 1587-2008[16]，影响黄瓜果实等级的因素包括3个主要指标[17-18]：弓形高度R、瓜身横径差、把长比。

2.3.1把长比

把长比定义为瓜把长占瓜总长的比例A，则

(3)

其中，H为瓜长(瓜蒂至瓜顶的长度)；h为瓜把长(将瓜沿中线纵向切开，种子腔底部至瓜把顶端的距离)。

本文在传统的骨架提取算法基础上，加入了毛刺骨架剔除计算，从而将像素联通较短的区域去除掉，获取到最长骨架像素值，提取瓜长数据，如表1所示。

通过Moravec角点检测法与瓜横径畸变处搜寻计算结合提取瓜把长，进而计算出把长占瓜长的比例。Moravec角点检测法思想是在图像中设计一个局部检测窗口，当该窗口沿各个方向作微小移动时，考查窗口的平均能量变化，当该能量变化值超过设定的阈值时，就将窗口的中心像素点提取为角点。

表1　骨架相关数据

2.3.2瓜横径差参数提取

瓜横径差Q计算公式为

(4)

其中，D为瓜长1/2处瓜横截面直径；d1为距瓜把端3cm处瓜横径；d2为距瓜顶3cm处瓜横径。

利用Hough变换[19]，把图像空间中的检测问题转换到参数空间。通过累加统计寻找峰值检测直线，进而提取横径图像，如图5所示。

计算得出的横径数据如表2所示。

2.3.3弓形高度提取

基于运算的骨架图像，采用Newton-Raphson method计算出每10cm骨架的弓形高度R，以其最大值作为整个果实分级的参数。

计算得出弓形高度数据如表3所示。

图5　横径提取图像

样本d1/cmD/cmd2/cmQ计算/cmQ实测/cm误差/%13.783.923.590.330.342.9423.623.163.220.460.444.5532.453.083.120.630.613.2842.23.222.971.021.002.00

表3　弓形高度相关数据

3分级结果分析

按照国标的分级标准，各参数限定范围如表4所示。

表4　黄瓜果实分级标准

设定R、Q、A3个参数均在表4分级标准特级的数值范围内时，定为特级果实。如果一个参数不满足条件，就分到一级进行判断，仍不满足转到二级判断，3个级别都不满足或者长度和重量超出规定范围的定为超标果实。如表4中样本1的R、Q、A均满足特级要求；样本2的A为特级、Q为特级、R为一级因此定为一级果实；同理样本3和4为二级果实。

试验对每个黄瓜品种分别抽取20根，进行误差分析，剩余的60根黄瓜样本对分级平台进行测试。平台运行前，需在核心处理器中设置好该品种果实的单根最大质量和长度两个参数；将3个品种黄瓜分批次放入料斗中，每次放30根，平台终端机械手将果实分为特级、一级、二级、超标四类，分级结果如表5所示。

采用人工尺测的方式耗时68min，人工目测耗时11min，分级平台耗时5.2min。本文以人工尺测的结果为参照标准，表5中数据显示对180根黄瓜果实进行分级，分级平台的准确率达到96.7%，而人工目测的准确率只有82.2%。通过选取更多的样本，经过多次试验发现，分级平台的准确率与黄瓜的品种有关：品种1的果实瓜把明显，瓜条较直，图像提取的准确度高，平台分级准确率达到99%以上；品种2瓜条弯曲，果实饱满，平台分级精度约97%；品种3的果实呈桶形，瓜把较粗，图像提取的把长精度低，平台分级准确率约为92%。

表5　人工与平台分级结果

4结论

1)参照国家标准，基于图像处理方法对黄瓜果实图像的形态特征进行了提取，通过骨架提取算法得到瓜长、角点检测算法求取把长、Hough变换计算横径、牛顿迭代法实现弓形高度计算。通过对人工实测数据与图像提取数据进行误差分析，各参数的相对误差均低于5%，能够满足检测要求。

2)利用机器视觉技术、自动控制方法与机械设计原理的相互融合，搭建了脱离PC机的黄瓜果实自动分级平台。该平台以摄像头为视频采集模块、DSP核心处理器为控制主模块、机械手为分级执行模块，并借助质量控制、电机传送等辅助单元，实现了黄瓜自动分级。

3)通过对人工尺测、人工目测、分级平台的分级结果进行分析，平台分级准确率达到96.7%，且耗时较少，数据客观可靠，为椭长形果实检测和分级提供了重要依据。

参考文献：

[1]Wan Y N. Kernel handling performance of an automatic grain quality inspection system[J].Transactions of the ASAE, 2002,45 (2) : 369-377.

[2]Urena R, Rodr guez F, BerenguelM. A machine vison system for seeds germination quality evaluation using fuzzy logic[J].Computers and Electronics in Agiculture, 2001, 32 (1) : 1-20.

[3]WangN, ZhangN, Dowell F E, et al. Determining virtuousness of durum wheat using transmitted and reflected images[J].Transactions of the ASAE, 2005, 48(1): 219-222.

[4]RIGNEY K．Applying digital image processing in agriculture[J]．Agricultural Engineering，1978，58：11-17．

[5]周增产，BONTSEMA J，VANKOLLENBURG-CRISAN L．荷兰黄瓜收获机器人的研究开发[J]．农业工程学报，2001(6)：77-80．

[6]王红永，曹其新，刘文秀，等．基于神经网络的黄瓜等级判别[J]．农业机械学报，1999(6)：83-87．

[7]赵杰文，刘少鹏，邹小波，等．基于支持向量机的缺陷红枣机器视觉识别[J]．农业机械学报，2008，39(3)：113-115．

[8]展慧，李小昱，王为，等．基于机器视觉的板栗分级检测方法[J]．农业工程学报，2010，26(4)：327-331．

[9]郝敏，麻硕士，郝小冬.基于Zernike矩的马铃薯薯形检测[J].农业工程学报，2010，26(2)：347-350.

[10]GBT 8855-2008 新鲜水果和蔬菜 取样方法[S]．

[11]中华人民共和国商务部．GBT 8855-2008 新鲜水果和蔬菜 取样方法[S]．

[12]王小平，张丽杰，常佶．基于单高斯背景模型运动目标检测方法的改进[J]．计算机工程与应用，2009(21)：118-120．

[13]刘亚，艾海舟，徐光佑．一种基于背景模型的运动目标检测与跟踪算法[J]．信息与控制，2002(4):315-319,328．

[14]饶秀勤，应义斌．基于机器视觉的水果尺寸检测误差分析[J]．农业工程学报，2003(1)：121-123．

[15]于正林，江长青．边缘检测技术在角钢冲孔在线检测中的应用[J]．长春理工大学学报(自然科学版)，2012，35(1)：65-67．

[16]任华中，张振贤，高丽红，等．NYT 1587-2008 黄瓜等级规格[S]．

[17]葛长军，秦智伟，周秀艳．黄瓜果实曲直性评价方法及相关性分析[J]．中国蔬菜，2009(8)：28-31．

[18]郑淑芳，林源，王福东．果类蔬菜商品化分级标准制定和应用[J]．中国蔬菜，2011(Z1)：130-132．

[19]杨四海，陈锻生，谢维波．Hough变换的特性分析：一种全局观点[J]．计算机辅助设计与图形学学报，2006(8)：1197-1204．

Automatic Grading Method of Cucumber Fruits Based on Machine Vision

Li Ming，Fang Junlong，Qiao Yibo，Liu Chao，Zhang Lingyi，Zhao Zhaoyang，Luan Jiling

(Electrical and Information College, Northeast Agricultural University, Harbin 150030,China)

Abstract：To achieve the realization of grading cucumber fruit fast and accurately, we build an automation sub-base platform with the help of a camera as video acquisition module, DSP core processor as the main control module, as well as other auxiliary units like weight control and motor transport part. With reference to the national standard NY/T1587-2008, we adopt the image processing method to extract and compute the melon length, pedicel length, diameter difference, arcuate height of our cucumber fruit images, thus picking up 3 varieties 240 cucumber fruit as our test sample which contains 'Changchun Mici', 'Longzahuang VII' and ‘Luqiu I’. After, extract 20 samples of every variety as the image extracting data analysis and take the other 60 samples into the automation sub-base platform testing. Based on the test result, it shows: the average grade precision of the platform is 96.7% while it can process 35 fruits per minute. Compared with the traditional manual classification, our platform has a characteristic of fast-processing, NDT, accurate and objective, which provides an important basis on applying machine vision technology into the automated classification of elliptical elongated fruit.

Key words：machine vision; image processing; cucumber; the fruit; classification; manipulator

中图分类号：TP391.41；S126

文献标识码：A

文章编号：1003-188X(2016)11-0229-05

作者简介：李明(1984-)，女，黑龙江北安人，讲师，硕士，(E-mail)601939971@qq.com。通讯作者：房俊龙(1971-)，男，黑龙江延寿人，教授，博士生导师， (E-mail)junlongfang@126.com。

基金项目：黑龙江省博士后科研启动基金项目(LBH-Q13022)；黑龙江省教育厅科学技术研究项目(12531004)

收稿日期：2015-10-14