基于图像特征融合的苹果在线分级方法

黄 辰，费继友

（大连交通大学机械工程学院，大连 116028）

基于图像特征融合的苹果在线分级方法

黄 辰，费继友※

（大连交通大学机械工程学院，大连 116028）

苹果在线分级是提升苹果商品化价值的重要环节，需要同时满足分级准确度和速度要求。为进一步提高苹果在线分级效率，该文借助机器视觉技术动态采集苹果传输过程中的实时图像，提出改进的三层Canny边缘检测算法来提取苹果轮廓以克服采集图像中的光线噪声影响，通过分析苹果分级指标，采用判别树对苹果的果径、缺陷面积、色泽等特征进行初步分级判断，并采用粒子群参数优化的支持向量机对果形、果面纹理、颜色分布等特征进行模型构建与分级，最后，通过将两种分级判断结果进行决策融合来实现样本精确分级。同时，采取图像压缩和特征降维方法提高实时性。试验结果表明，基于图像特征决策融合的苹果分级准确率可达到95%，平均分级速率可达到4个/s。研究结果为水果的在线分级提供参考。

图像处理；支持向量机；机器视觉；苹果分级；决策融合；三层Canny；特征分析

0 引 言

随着机器视觉技术的发展，近年来国内外研究人员对图像处理在水果质量检测等方面取得深入进展[1-4]。目前，主要是按尺寸、颜色、形状以及表面缺陷等特征进行水果质量评估[5-10]。朱坚民等[11]分析了颜色和形状特征，结合灰色关联分析和模糊隶属的方法，利用总匹配度提高了水果识别的准确率。近期，机器学习的引入，大大提升了水果分级检测的自动化水平。例如，支持向量机以其良好的分类性能应用于苹果的自动分拣和分级系统中[12]。Bhatt等[13]建立了一个基于人工神经网络的苹果质量自动分类系统，针对颜色、尺寸和损伤等进行分析，具有较好性能。

借助机器视觉进行在线分级检测是水果实现自动化生产和商品化处理的重要环节[14]。但是，水果分级检测大多在室内环境中进行，光线噪声严重影响着视觉检测的准确性。因此，在检测过程中需要重点克服光线噪声的影响。另外，由于同一水果品种的形状等特征差别细微，精细化水果分级难度较大。目前多数对苹果分级检测的研究由于图像检测速度较慢，因此难以实现在线检测[15-16]。为满足苹果检测分级系统的实际应用需求，对准确率和检测速度提出更高要求。

目前，苹果的形态和果面等外观特征是划分苹果等级的关键参考因素[17-20]，借助采集图像提取苹果多个重要特征，快速建立高效分级模型是提高苹果分级精度和分级速度的有效途径。本文探讨了利用机器视觉技术采集苹果图像的特征参数，通过分析苹果分级指标，采用决策融合方法将判别树（decision tree，DT）的初步分级结果和粒子群优化的支持向量机（support vector machine,SVM）的分级模型相结合，实现苹果在线检测的精细化分级。同时，对于光照不均问题，提出对光照不均苹果图像进行分割的三层 Canny方法，以提高在光照影响下苹果分级检测的稳定度。

1 试验设计与标定

1.1 试验平台构建

试验装置如图1所示。试验设备主要包括皮带机、光源、工业摄像机、图像采集器、工控机、控制器。试验过程为：首先，当苹果由皮带机送达工业摄像机的拍照范围，光电传感器会触发摄像机开始拍照，实现对成像区域内目标进行图像采集。其次，由图像处理单元提取采集图像，并对成像区域内目标进行提取和检测，同时，记录检测时间。试验前，调整工业摄像头位置，使其成像范围能够覆盖传送带物料区。采集图像格式设置为JPEG，光照度约为800 lx。为较精确从采集到的图像中提取目标物苹果特征，采用黑色传送带。为避免成像模糊，同时保持检测效率，传送带速度设置为0.4 m/s左右。

图1 苹果分级检测试验系统原理图Fig.1 Schematic diagram of apple grading detection experiment

1.2 分级样本

GB/T10651-2008《鲜苹果》的颁布，为苹果分级提供了指导。《鲜苹果》中将苹果样本的检测等级划分为三级：优等品、一等品和二等品。结合机器视觉系统特点分析，确定本次试验分级指标为果径、果面缺陷、色泽、果形、果面纹理和颜色分布等6类外观特征，见表1。试验用富士苹果样本全部采购自大连某批发市场。在苹果分级过程中，应对无明显缺陷苹果进一步精细化分级，提高分级准确度，使检测分级具有实际意义。预先选出满足等级要求的苹果样本共150个，每级样本为50个。

表1 富士苹果外观等级Table 1 Appearance class of red Fuji apple

1.3 尺寸标定

为实现图像像素尺寸与真实尺寸转化，根据标准矩形工件尺寸来标定像素当量，进而测量果径、面积等特征。首先，将工件置于传送带上，保持摄像机高度不变。其次，为提高标定精确度，采用距离正则化水平集方法[21]提取工件图像。根据距离正则化水平集检测的边缘来提取工件轮廓，并对分割后图像进行最小外接矩形拟合[22]，图2为图像尺寸标定过程。

计算工件图像上纵向和横向像素长度。用公式（1）计算横向像素当量 Pex和纵向像素当量Pey（单位：cm/pixel）。像素当量 Pe为 Pex和 Pey的平均值。

式中 La为工件横向实际长度（cm），Lp为工件横向长像素个数；Wa为纵向实际长度（cm），Wp为纵向长像素个数。

图2 尺寸标定过程Fig.2 Size calibration process

2 基于三层Canny的苹果轮廓提取

光照不均使采集图像出现灰度分布不均现象，导致识别难度增加。因此，采用图像预处理和多层Canny[23]图像分割方法来提取苹果轮廓。图3为苹果轮廓的提取步骤。

图3 苹果轮廓提取步骤Fig.3 Extraction steps of apple contour

2.1 预处理

由采集到的原图（图4a）可以看出，原图像存在噪声，容易干扰分割和特征分析。采用小波分解和中值滤波相结合来对图像进行预处理，实现图像压缩和降噪，提高实时处理效率和质量。

1）采用小波变换[23]压缩原图像，将含有噪声的二维图像信号进行多尺度分解，时域信号转换到小波域中，充分提取信号的小波系数，分解级数为2，低频信号为压缩图像，图像压缩后平均节省时间0.03 s左右。

2）采用自适应中值滤波[24]，对图像每个区域进行噪声检测，按区域中受到噪声污染程度不同来选择滤波方形窗口尺寸。根据所检测出的噪声点进行中值滤波。

图4b为预处理结果，处理前后峰值信噪比PSNR约为48.41 dB，处理结果显示压缩后失真率较低，但图中光照影响仍存在，需要在后续过程中进一步处理。

2.2 边缘检测

边缘检测的目的是提取目标。但采集图像受到光源影响，灰度分布不均，单一阈值无法分割。因此采用多阈值来进行图像分割。众所周知，Canny算子[23,25]的鲁棒性较好，但边缘提取受到平滑函数尺度影响，同时考虑局部相对灰度的不同会引起碎片分割。在Canny算法中，某一层的目标边缘可能不会被其他层检测到，因此，需要建立三层互相补充检测点。基于该思想提出了三层Canny的分割算法，其基本步骤为：

图4 图像分割过程与比较Fig.4 Process and comparison of image segmentation

1）令图像f(x,y)为输入图像，g(x,y)为平滑后图像，用函数h(x,y,σ)平滑输入图像f(x,y)：

2）采用2×2一阶有限差分近似式计算平滑后图像g(x,y)梯度，即x与y偏导数的两个阵列Gx(x,y)和Gy(x,y)：

其幅值和方位角可用直角坐标系到极坐标的坐标转化公式来计算，

式中M[x,y]反映图像边缘强度，θ [x,y]反映边缘方向。Gx(x,y)、Gy(x,y)分别为x与y偏导数的两个阵列。θ[x,y]为M[x,y]取得局部最大值的方向角，反映边缘方向。

3）确定边缘，确定边缘必须保留局部梯度最大点，而抑制非极大值。利用梯度方向，将梯度角离散为圆周的4个扇区之一，用3×3的窗口作抑制运算。4个扇区标号为0～3，对应3×3邻域4种可能组合。在每个点上，邻域中心像素M[x,y]与沿着梯度线的两个像素相比较，如果M[ x,y]的梯度值不大于沿梯度线的两个相邻像素梯度值，则令M[ x,y]=0。用滞后阈值去除多层中多余边缘点。

4）将三层边缘点合并为一个边缘线。三层Canny的滞后阈值T1，T2和T3分别设为0.24，0.13和0.07；标准差为1,2和3。每层边缘检测结果依次为图4c-e。

5）用形态学对图像进行闭操作，填充和开操作，克服光照不均的分割图，分割结果为图 4 f。形态学操作时选择圆形结构元素，其参数设为3。

为说明三层 Canny算法的优越性，针对预处理后图像，与两个经典分割算法[23]相比较。如图4g和4h所示，Ostu算法[26]在反光情况下会出现欠分割问题；传统Canny算法在背景灰度不均地方存在过分割现象。因此，针对采集图像，三层 Canny算法的分割效果优于另外两种经典方法。

3 基于决策融合的苹果分级模型

在苹果分级中，苹果的各个特征之间具有无关性。但由表1 可得，独立的特征不能判断苹果等级。因此，引入决策融合的概念，根据各项特征综合来判断样本的等级。整个分级模型的结构如图5所示。

图5 苹果分级模型结构图Fig.5 Model structure of apple grading

3.1 特征提取

1）果径R（cm）：

式中Na为苹果区域内的像素个数，Pe为像素当量，Cp为图像压缩率。

2）缺陷面积S（cm2）：

式中Nbp为果面缺陷区域内的像素个数，根据试验样本分析，果面缺陷主要为深色，在灰度图像中，像素灰度级均小于20的次大区域即为缺陷。

3）色泽Q：苹果红色区域内的像素数与总面积内像素数之间的比值。

4）果形特征

首先，用凸度Dcon描述果形规则程度，公式如下：

式中 So为目标的像素个数，Sc为目标最小凸包的像素个数。

另外，傅立叶描述子[23]，用于补充描述苹果轮廓信息，傅立叶描述子参数量选为21。

5）果面纹理

纹理特征具有旋转不变性和局部抗噪能力，可用来描述果面光滑程度。基于灰度共生矩阵的纹理特征分析方法[23]，通过计算灰度来得到共生矩阵，采用反差、能量、熵和逆差距 4 个参数表征纹理特征。设I(x,y)为苹果图像，x和y分别代表横坐标和纵坐标，p(i,j)为图像的灰度共生矩阵，i和j代表灰度值，则有：

6）颜色分布

数字图像颜色可用RGB分量值，苹果颜色分布特征主要包括： R分量均值与方差、G分量均值与方差、平均灰度等5个参数值。

最后，为避免特征间干扰，对其进行归一化。

3.2 判别树分级模型

针对果径、缺陷面积和色泽特征有明确分级指标，见表1。因此，依据分级指标构造判别树模型进行样本判断，得到候选等级，分级结构如图6所示。

图6 判别树分级结构Fig.6 Grading structure of decision tree

3.3 SVM分级模型

针对复杂高维的特征，建立有监督的分类模型，依据人工经验训练样本进行分级。采用的特征包括果形、果面纹理和颜色分布。

3.3.1 特征降维

为提高分级实时性，高维特征需要降维。由于该特征集具有非线性特点，采用核主元分析法（kernel principal component analysis,KPCA）[27]。设输入样本矩阵，对X进行非线性变换 φ(·)映射到特征空间F中，设，则协方差矩阵为：

求解方程λv=Cv的特征值λ及相应特征向量v，设i=1,2,…,N，存在系数α={α1,α2,…,αN}：

核函数选择径向基核函数，其计算公式如下：

式中g是选定的参数。

3.3.2 SVM分类方法

SVM方法[28-29]能解决小样本训练集的机器学习问题，提高泛化性能。假设训练样本标签向量，核函数为K，ai为每个样本对应的Lagrange乘数。

对于具体分类问题，关键是计算 ai，构造与求解最优化问题如下：

则SVM的分类函数P(x)为：

式中sgn(·)为符号函数，将径向基函数作为核函数，见公式（16）。

由于SVM只适用两类，因此，采用“一对一”的判别策略[28]，对于3类问题，需要构造3个分类函数，通过投票机制得票最多的类别即为未知样本类别。

在训练时，由于SVM模型的参数ζ和核参数g两个预设参数对分类影响较大。为避免参数盲目选择，引入具有较好全局遍历能力的粒子群优化算法（particle swarm optimization，PSO）[30-31]，对参数ζ和g进行优化选择。优化过程如下：1）由参数SVM参数｛ζ,g｝映射成一个粒子，并随机产生一组粒子的初始位置；2）适应度确定。粒子的适应度值越大，则粒子位置越好。用带入SVM参数集计算每个粒子的k-折交叉验证值作为其适应度；3）计算个体最优位置，更新粒子速度和位置。迭代终止得到全局最优粒子映射为｛ζ,g｝，建立参数优化的SVM模型。

3.4 决策融合

针对一个苹果样本进行决策融合，判别策略为：比较判别树模型和SVM模型的分级结果，样本的最终等级对应两个结果中的较低等级。例如，针对某一样本，判别树模型的分类等级为一等品，SVM模型的分类等级为二等品，则该苹果样本为二等品。

4 结果与分析

利用尺寸已知的标准件对像素当量进行标定，工件长为12 cm，宽10 cm。通过尺寸标定方法得到像素当量Pe=0.0331 cm/pixel。为验证测量精度，随机选取5个苹果样本，利用游标卡尺测量作为其实际果径，再结合像素当量采用机器视觉方法计算，不考虑人工误差，平均测量误差约为2.83%，满足实际要求，并且机器视觉测量果径普遍小于人工测量果径，究其原因在于机器视觉测量果径是有效面积拟合的圆直径，而人工针对单样本是采用随机角度 3 次测量方式。因此，在本次试验中，对机器视觉所测的果径值均加补偿值0.2 cm。

在试验前，对150个苹果样本进行人工分级，每级包括50个苹果。首先，在每级样本中随机抽出10个苹果按分级顺序放入传送带进行采集图像离线训练。使用KPCA降维特征用于训练，得到特征维数为4，建立粒子群优化的SVM分类参数模型。根据经验，设定优化参数为：粒子群优化算法的种群数量为 2 0，最大迭代次数为80，得到最优ζ和g分别为18.2和8.8。粒子群优化的适应度变化结果如图7所示。

为表明分级检测方法的有效性，用剩余 1 20个苹果样本进行在线批量测试。将样本置于传送带上进行连续验证。在线分级检测结果如表2 所示。以人工分级结果为基准，采用决策融合方法对上述苹果样本进行分级的准确率分别为95%、92.5%、97.5%，总准确率达95%，表明该方法的正确性和有效性。处理计算机配置为处理器3.40 GHz和内存8 G。针对120个苹果的批量测试样本，在线分级检测总用时约为29 s，平均速度为4个/s，能够满足实时要求。

图7 粒子群优化的适应度曲线Fig.7 Fitness curve of PSO

表2 批量苹果分级检测结果Table 2 Grading results of batch apples

采用本文方法对苹果样本等级进行在线检测，虽然能够对大多数样本准确分级，但对少量样本存在误分。除了存在果径测量误差和人工分级的失误外，分析造成错误分级的主要原因有：1）受到传动带运行速度及外界光照等因素干扰，因此采集到的苹果图像存在噪声，容易影响苹果色泽和纹理特征计算，致使高等级苹果误判为低等级苹果。2）由于机器视觉成像范围限制，未能检测水果底部和下侧面的缺陷，造成低等级苹果误判为高等级苹果。

5 结 论

1）利用机器视觉技术，在线采集传送带上的苹果图像，针对光线噪声干扰情况，提出基于三层 Canny算子图像分割方法。该方法可以有效克服光照影响，满足自动提取苹果图像要求。

2）提出基于融合决策的苹果分级检测模型。果径、缺陷面积和着色度等特征采用判别树分级模型；同时，针对果形、纹理和颜色分布等复杂特征，通过训练建立基于粒子群优化的SVM模型来进行分级。最后，根据决策融合策略来确定该样本等级。试验准确率高达95%，证明该方法的可行性。

3）由于该方法属于在线检测，所以，对实时性要求较高。本文从2个方面进行改进，一方面，在图像预处理阶段，对图像进行压缩，平均节省时间0.03 s左右；另一方面，在SVM模型中的特征属于高维非线性特征，为了满足实时性要求，引入核函数方法对其降维。

[1] Blasco J,Aleixos N,Moltó E. Machine vision system for automatic quality grading of fruit[J]. Biosystems Engineering,2003,85(4):415－423.

[2] 宋怀波，张传栋，潘景朋，等. 基于凸壳的重叠苹果目标分割与重建算法[J]. 农业工程学报，2013，29(3)：163－168. Song Huaibo,Zhang Chuandong,Pan Jingpeng,et al. Segmentation and reconstruction of overlappedapple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(3):163－168.(in Chinese with English abstract)

[3] 周薇，冯娟，刘刚，等. 苹果采摘机器人中的图像配准技术[J]. 农业工程学报，2013，29(11)：20－26. Zhou Wei,Feng Juan,Liu Gang,et al. Application of image registration technology in apple harvest robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(11):20－26.(in Chinese with English abstract)

[4] Yogitha S,Sakthivel P. A distributed computer machine vision system for automated inspection and grading of fruits[C]// International Conference on Green Computing Communication and Electrical Engineering. 2014:1－4.

[5] 顾玉宛，史国栋，刘晓洋，等. 基于空间特征谱聚类算法的含噪苹果图像优化分割[J]. 农业工程学报,2016,32(16)：159－167. Gu Yuwan,Shi Guodong,Liu Xiaoyang,et al. Optimization spectral clustering algorithm of apple image segmentation with noise based on space feature[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(16):159－167.(in Chinese with English abstract)

[6] Li Q,Wang M,Gu W. Computer vision based system for apple surface defect detection[J]. Computers &Electronics in Agriculture,2002,36(23):215－223.

[7] 朱德利，陈兵旗，杨雨浓，等. 苹果采摘机器人视觉系统的暗通道先验去雾方法[J]. 农业工程学报，2016，32(16)：151－158. Zhu Deli,Chen Bingqi,Yang Yunong,et al. Method of haze-removal based on dark channel prior in visual system of apple harvest robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(16):151－158.(in Chinese with English abstract)

[8] 贾伟宽，赵德安，阮承治，等. 苹果采摘机器人夜间图像降噪算法[J]. 农业工程学报，2015，31(10)：219－226. Jia Weikuan,Zhao Dean,Ruan Chengzhi,et al. De-noising algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2015,31(10):219－226.(in Chinese with English abstract)

[9] 赵娟,彭彦昆,SAGAR D,等. 基于机器视觉的苹果外观缺陷在线检[J]. 农业机械学报，2013，44(增刊1)：260－263. Zhao Juan，Peng Yankun，Sagar D，et al. On-line detection of apple surface defect based on image processing method[J]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp. 1):260－263.(in Chinese with English abstract)

[10] 陈艳军，张俊雄，李伟，等. 基于机器视觉的苹果最大横切面直径分级方法[J]. 农业工程学报，2012，28(2)：284－288. Chen Yanjun,Zhang Junxiong,Li Wei,et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2012,28(2):284－288.(in Chinese with English abstract)

[11] 朱坚民，雷静桃，翟东婷，等. 基于灰关联分析和模糊隶属度匹配的球形水果自动识别方法[J]. 仪器仪表学报，2012，33(8)：1826－1836. Zhu Jianmin,Lei Jingtao,Zhai Dongting,et al. Spherical fruit automatic recognition method based on grey relational analysis and fuzzy membership degree matching[J]. Chinese Journal of Scientific Instrument,2012,33(8):1826－1836.(in Chinese with English abstract)

[12] Mizushima A,Lu R. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers &Electronics in Agriculture,2013,94(94):29－37.

[13] Bhatt A K,Pant D. Automatic apple grading model development based on back propagation neural network and machine vision,and its performance evaluation[J]. Ai &Society,2015,30(1):45－56.

[14] Du C J,Sun D W. Learning techniques used in computer vision for food quality evaluation:A review[J]. Journal of Food Engineering,2006,72(1):39－55.

[15] Leemans V,Destain M F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering,2004,61(1):83－89.

[16] Toylan H,Kuscu H. A real-time apple grading system using multicolor space[J]. The Scientific World Journal,2013,2014(1):292681－292681.

[17] 李先锋，朱伟兴，花小朋，等. 基于D－S证据理论的决策级多特征融合苹果分级方法[J]. 农业机械学报，2011，42(6)：188－192.

[18] Li X,Zhu W. Apple grading method based on features fusion of size,shape and color[J]. Procedia Engineering,2011,15(1):2885－2891.

[19] Radojević R L,Petrović D V,Pavlović V B,et al. Digital parameterization of apple fruit size,shape and surface spottiness[J]. African Journal of Agricultural Research,2011,6(13):3131—3142.

[20] Garrido-Novell C,Pérez-Marin D,Amigo J M,et al. Grading and color evolution of apples using RGB and hyperspectral imaging vision cameras[J]. Journal of Food Engineering,2012,113(2):281－288.

[21] Li C,Xu C,Gui C,et al. Distance regularized level set evolution and its application to image segmentation[J],IEEE Transactions on Image Processing,2010,19(12):3243－3254.

[22] Wang W. Image analysis of particles by modified ferret method:best-fit rectangle[J]. Powder Technology,2006. 165(1):1－10.

[23] Gonzalez R C,Woods R E,Eddins S L. Digital image processing using MATLAB[M]. Upper Saddle River:Prentice Hall,2004.

[24] 张旭明，徐滨士，董世运. 用于图像处理的自适应中值滤波[J]. 计算机辅助设计与图形学学报，2005，17(2)：295－299. Zhang Xuming,Xu Binshi,Dong Shiyun. Adaptive median filtering for image processing[J]. Journal of computer-aideddesign &compter graphics,2005,17(2):295－299.(in Chinese with English abstract)

[25] 费继友，谢金路，李花，等. 基于字符特征约束的自适应车牌校正提取[J]. 仪器仪表学报，2016(3)：632－639. Fei Jiyou,Xie Jinlu,Li Hua,et al. Adaptive license plate correction and extraction based on character feature constraint[J]. Chinese Journal of Scientific Instrument,2016(3):632－639.(in Chinese with English abstract)

[26] Otsu N. A Threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man &Cybernetics,1979,9(1):62－66.

[27] Lee J M,Yoo C K,Sang W C,et al. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical Engineering Science,2004,59(1):223－234.

[28] Chang C,Lin C. LIBSVM:a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology,2011,2(27):1－27.

[29] 王璨，李志伟. 利用融合高度与单目图像特征的支持向量机模型识别杂草[J]. 农业工程学报，2016，32(15)：165－174. Wang Can,Li Zhiwei. Weed recognition using SVM model with fusion height and monocular image features[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(15):165－174.(in Chinese with English abstract)

[30] Poli R,Kennedy J,Blackwell T. Particle swarm optimization:an overview[J]. Swarm Intelligence,2007,1(1):33－57.

[31] 肖艳，姜琦刚，王斌，等. 基于ReliefF和PSO混合特征选择的面向对象土地利用分类[J]. 农业工程学报，2016，32(4)：211－216. Xiao

Yan,Jiang Qigang,Wang Bin,et al. Object basedlanduse classification based on hybrid feature selection method of combining Relief F and PSO[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(4):211－216.(in Chinese with English abstract)

Online apple grading based on decision fusion of image features

Huang Chen,Fei Jiyou※
(School of Mechanical Engineering,Dalian Jiaotong University,Dalian 116028,China)

Machine vision has been applied in automatic grading for fruit recently. It is well known that as an important detection task,online fruit grading automation faces some challenges in online sorting system. Machine vision is a developing technique facilitating the fruit detection. In this paper,in order to improve the accuracy and efficiency for apple grading,an online detection method of apple grading based on machine vision features is presented. Apple images can be captured from the online industrial camera in the sorting system,which can ensure that the imaging view is suitable for the object area of the conveyor. At first,to obtain the relationship between the real size and the image size,the improved calibration algorithm with the standard workpiece is used to calculate the pixel equivalent of the captured image. The distance regularized level set method is introduced to segment the workpiece edge,and the best-fit rectangle method is used to compute the length and width of the pixels. Then the values of pixel equivalent in length and width are respectively obtained. Secondly,because apple grading detections are mostly performed in indoors,illumination can seriously affect the detection accuracy. For this problem mentioned above,the image preprocessing including wavelet compression and median filtering is introduced to reduce the size and overcome the noise which is from the image acquiring and transmission previously. Accordingly,the improved three-layer Canny edge detection algorithm is proposed to extract the apple contour for the online image which suffers from the uneven lighting. In this step,the 3 different thresholds and scales are considered. The morphological operation is used to close the edge. Thirdly,according to the characteristics of the appearance class of the Fuji apple,multi-feature parameters can be considered,which include fruit diameter,defeat area,color degree,fruit shape,texture features,color distribution parameters and so on. Decision tree is used to determine the candidate class with fruit diameter,defeat area and color degree features. In the meanwhile,to save the online computation time,the features set should be reduced. So kernel principal component analysis(KPCA) is used to reduce both nonlinearity and dimension for fruit shape,texture and color distribution features. Support vector machine(SVM) is introduced to classify apple grades with dimensionality reduction features. The parameters of SVM are selected with particle swarm optimization(PSO) method for the training set. Finally,decision fusion is used for the apple grading based on decision tree result and SVM model result. In the experimental case,the actual fruit diameters were measured with vernier caliper for 5 apples,and the machine vision method with pixel equivalent was also used for measuring the fruit diameters of the same apples. Measurement error was about 2.83%. Then 30 apples were selected for training SVM modeling,and 120 apples were used to test the proposed method. The results showed that the recognition accuracy based on the decision fusion of image features could reach 95%. The proposed model has good performance of accuracy and stability. So the proposed method is believed to be feasible for online grading of apples. It also provides a frame of reference for other types of fruits.

image processing;support vector machine;computer vision;apple grading;decision fusion;three-layer Canny;feature analysis

10.11975/j.issn.1002-6819.2017.01.039

TP391.4

A

1002-6819(2017)-01-0285-07

黄 辰，费继友. 基于图像特征融合的苹果在线分级方法[J]. 农业工程学报，2017，33(1)：285－291.

10.11975/j.issn.1002-6819.2017.01.039 http://www.tcsae.org

Huang Chen,Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2017,33(1):285－291.(in Chinese with English abstract)doi：10.11975/j.issn.1002-6819.2017.01.039 http://www.tcsae.org

2016-06-27

2016-10-24

国家自然科学基金资助项目（51376028）；国家科技支撑计划（2015BAF20B02）。

黄 辰，女，辽宁营口人，工程师，博士生，主要从事运动控制研究。大连大连交通大学机械工程学院，116028。Email：huangchen054@163.com

※通信作者：费继友，男，吉林松原人，教授，博士生导师，主要从事现代测试技术研究。大连大连交通大学机械工程学院，116028。Email：fjy@djtu.edu.cn