联合图像最优特征提取及改进RBF神经网络的苹果质量估计

赵 敏 王成荣 李 苒

目前,中国水果分级主要采用人工方法,主观性强、效率低、误差大[1]。苹果分级通常以果径、果型、色泽、酸甜度等指标作为分级标准,国外分级系统较为成熟,如美国的MERLIN型、OSCARTM型等水果分级生产线,这些设备更适用于轴对称形状的水果分级,但造价成本较高[2]。由于独特的水土条件,新疆阿克苏苹果有明显的“高低肩”现象,如果仍采用以往的分级标准,往往会产生因测量位置不同导致苹果大小不同的现象[3]。

随着机器视觉、机器学习技术的快速发展,无损、非接触式水果质量估计方法备受关注[4]。何婷婷等[5]采用伽马变换图像预处理和阈值图像分割方法得到番茄二值图像信息,但该方法对水果摆放位置要求较高,并不适用于随机分布在传送带上的水果应用场景;张立杰等[6]利用两通道图像融合深度图像以提高苹果分级效率;Huynh等[7]选取顶部图像投影面积和图像长短轴作为图像特征;李颀等[8]采用最小外接矩形法以得到最大纵径、最大横径图像特征。但上述方法只利用了苹果图像部分特征,苹果分级分类准确率还需进一步研究。何进荣等[9]利用多卷积神经网络对图像信息进行学习,苹果分级准确率达97.84%;Demir等[10]使用多元线性回归和神经网络模型对杏仁等进行质量预估,并验证了该方法的有效性。但神经网络超参数配置情况直接决定了苹果质量估计的效率和准确性。

研究拟以阿克苏苹果质量估计分级为例,对图像信息获取、图像特征选取和图像信息学习进行分析,建立苹果图像采集系统,利用改进的离散蝗虫优化算法(grasshopper optimization algorithm,GOA)[11-14]优化图像特征最佳子集目标函数,并采用蝗虫优化算法优化后的RBF(radial basis function)神经网络[15-16]进行学习、训练,最终得到苹果预估结果,以期为快速、无损、高准确率检测苹果质量提供依据。

1 苹果图像信息获取

建立基于机器视觉的苹果图像信息获取模型(图1),该模型主要包括苹果图像采集模块、图像预处理模块、目标区域分割模块、特征提取模块、最佳特征子集选取模块和质量估计模块等。

图1 苹果图像信息获取模型

1.1 苹果图像采集

建立苹果图像采集视觉系统,采用PVC黑色发泡板制作暗箱,在暗箱的顶部、侧面(右侧,平行传输带前进方向)中心位置,以及传输带前进方向左右30°、60°方向,共放置6个大恒图像工业相机模组(分辨率1 080,供电电压5 V)(见图2)。每个摄像机配置一个LED补光灯(额定功率6 W)。搭建基于MPI(message passing interface)通信协议,由6个从节点、1个主节点组成的并行计算机系统。6个摄像机通过USB3.0接口分别与6个从节点连接,拍摄的图片以“.JPG”格式保存,1个从节点负责处理1个摄像机采集到的图片信息,主节点主要完成图像特征选取和图像信息学习等任务,以提高图像信息处理效率。

图2 图像采集摄像头与MPI并行计算机

1.2 图像预处理与目标区域分割

对摄像机采集到的原始图像进行灰度化处理,并利用中值滤波算法进行预处理,以降低图像的噪声。采用文献[4]提出的改进Canny算子提取苹果轮廓,进一步降低光线噪声影响。利用形态学进行填充操作,得到苹果区域分割图像。图像预处理与目标区域分割示意图如图3所示。

图3 苹果图像预处理与目标区域分割示意图

1.3 图像特征

苹果投影面积P、周长G、横径W、纵径H、最大外接圆半径Rmax、最小内接圆半径Rmin、果形指数S、果径平均值Lavg是目前常用的图像特征。通过Canny算子提取苹果轮廓和形态学填充操作预处理后,采用最小外接矩形法得到特征具体取值,且

S=W/H,

(1)

Lavg=(W+H)/2。

(2)

对于包括N个苹果的待检测集合{Qx}(x=1,…,N)(Qx表示第x个苹果样本),为进一步提升后续神经网络训练和检测泛化能力[4],对图像特征进行归一化处理(以特征P为例):

(3)

式中:

2 最佳特征子集选取与苹果质量估计

2.1 最佳特征子集选取目标函数

定义最佳特征子集选取向量I=(i1,…,ij,…,i8),若ij=1(j=1,…,8),表示O(P,G,W,H,Rmax,Rmin,S,Lavg)中第j个特征被选取、保留;若ij=0,则表示第j个特征被放弃。

对于苹果样本集合{Qx}(x=1,…,N),可以按照实际质量等级划分为K个分类{Ca}(a=1,…,K),其中,Ca为第a个分类集合。最佳特征子集选取的目的是,利用I=(i1,…,ij,…,i8)对O(P,G,W,H,Rmax,Rmin,S,Lavg)进行特征子集选取,在最大限度降低特征之间冗余度的同时,尽可能保持原有数据分类能力。参考文献[17],当式(4)所示的最佳特征子集选取目标函数取最小值时,对应Ibest=(i1,…,ij,…,i8)即为最佳特征子集提取向量。

(4)

ψN×K=(φx,a),

(5)

(6)

Θ8×N=(IT,IT,…,IT),

(7)

UK×K=(χa,b),

(8)

式中:

ψN×K——隶属度矩阵;

φx,a∈[0,1]——Qx与Ca的隶属程度(可利用最大信息系数法[17]求解);

Φ(6N×8)——特征矩阵;

Θ8×N——特征选取向量矩阵;

UK×K——类间相似矩阵;

χa,b——Ca与Cb的类间相似度。

通过对最佳特征子集选取目标函数进行优化求解,可以得到最佳特征子集提取向量,此时,最佳特征子集提取向量中非零元素对应的特征即为最终被选取的特征。

2.2 改进离散蝗虫优化算法求解最佳特征子集选取目标函数

求解最佳特征子集选取目标函数属于NP难题,且变量I=(i1,…,ij,…,i8)是离散的。为此,在蝗虫优化算法(grasshopper optimization algorithm,GOA)[18]的基础上,提出改进离散GOA优化算法(improving discrete GOA,IDGOA)。设定IDGOA包含Z个蝗虫个体,对于第z个蝗虫(z∈[1,…,Z]),其编码Fz(b1,…,bn)(n为编码位数)定义为Fz=I,即

bj=ij,bj=1 or 0,n=8。

(9)

定义IDGOA目标函数f(Fz)为最佳特征子集提取目标函数,即

(10)

为进一步提升IDGOA全局收敛能力,重新定义“自适应取反”“自适应学习”和“随机学习”3种个体更新方式。IDGOA优化求解最佳特征子集提取目标函数实现过程为:

步骤1:种群初始化。按式(9)对IDGOA个体进行初始化,设定最大迭代次数Tmax。

步骤2:个体更新。t时刻,对种群内目标函数值最差的个体Fworst(t)执行“自适应取反”操作,即随机选取Fworst(t)内e(e1∈[1,…,8])个编码进行取反。

(11)

式中:

α1∈(0,1)——比例系数。

(12)

式中:

α2∈(0,1)——比例系数。

步骤3:停止条件判定。若不满足,则返回步骤2;否则,停止迭代,输出结果。种群目标函数最优个体对应的编码集合即为最佳特征子集选取向量Ibest。

从IDGOA实现过程可以看出,算法初期,种群内个体差异性较大,蝗虫选择大范围向最优个体学习,有利于提高算法收敛速度;算法后期,种群内个体差异性降低,蝗虫采取随机学习的形式进行更新,扩展了算法搜索空间,有利于提高算法收敛精度。试验采用IDGOA对最佳特征子集提取目标函数进行优化求解,进而得到对应的最佳特征子集,此时利用最佳特征子集对每个图像特征进行提取,并以此作为RBF神经网络输入,以提升RBF神经网络稳定性。

2.3 改进RBF神经网络

RBF神经网络结构简单、鲁棒性好,适用于高维、复杂、非线性问题。RBF神经网络由输入层、隐含层和输出层组成,其表达形式为:

X=(x1,…,xn),j=1,…,q,

(13)

式中:

X=(x1,…,xn)——输入变量;

n——样本数量;

y(X)——输出值;

ωij——加权系数;

q——隐含层包含的神经元个数;

cj——第j个神经元中心;

φj(·)——第j个径向基函数[选取高斯函数为径向基函数,以φj(·)为例]。

(14)

式中:

σj——扩展常数。

损失函数式为:

(15)

式中:

yi——第i个样本预测苹果质量,g;

Λ(·)——输出层激活函数(选取ReLU函数);

(xi,yi)——第i个样本;

n——样本规模。

由式(13)、式(14)可知,神经元中心(c1,…,cq)、加权系数[ωij]n×q、扩展常数(σ1,…,σq)以及隐含层神经元个数q是RBF神经网络需要配置的参数,这些超参数决定了RBF神经网络预测结果的好坏。为此,试验提出改进的RBF神经网络(improving RBF,IRBF),即采用GOA对超参数进行优化,从而得到RBF神经网络最优超参数配置,最后通过实验验证IRBF性能。

2.4 基于IRBF的苹果质量估计实现流程

利用IRBF估计苹果质量,最终得到每个待检测苹果的质量值,具体实现过程为:

(16)

(17)

N1+N2=N,N1∶N2=7∶3,

(18)

式中:

N1、N2——训练样本和测试样本中苹果个数。

步骤2:GOA优化IRBF参数。将IRBF待优化参数赋予GOA个体编码,即

(19)

从式(19)可以看出,GOA个体编码分为4个区域,蝗虫进化时,每个区域独立执行GOA个体更新操作。GOA目标函数定义为:

(20)

式中:

WTi——训练样本集合中第i个苹果的真实质量。

采用GOA对f(Fz)进行优化求解,当满足停止迭代条件时,GOA种群最优个体对应编码即为IRBF最佳参数配置。

3 预测结果分析

对所提苹果质量估计方法的可行性进行验证。随机选取50个成熟的新疆阿克苏苹果,每个苹果质量为220～350 g,采用电子秤得到每个苹果的精确质量值。按苹果质量大小将阿克苏苹果划分为5个等级:一级果重320～350 g,二级果重290～319 g,三级果重260～289 g,四级果重220～259 g,五级果重<220 g。此时,按照实际质量,50个苹果被划分到5个分类中。

3.1 最佳特征子集选取验证实验

采用试验提出的IDGOA对最佳特征子集选取目标函数进行优化,得到最佳特征子集,选取离散蝗虫优化算法(DGOA)、离散粒子群算法(DPSO)验证IDGOA收敛能力,图4为3种智能优化算法收敛对比曲线图。

图4 3种智能优化算法收敛曲线

由图4可知,IDGOA在收敛精度上明显好于其他两种算法。为进一步验证试验所提最佳特征子集提取方法的有效性,选取文献[17]提出的CBF特征提取算法和经典的ReliefF特征提取算法进行对比,评价指标为分类正确率[19]及式(4)的最小值g2。

由表1可知,在特征提取数量上,试验算法只需提取5个特征,少于ReliefF算法和FCBF算法;在分类正确率上,试验算法分类正确率达98.83%,明显优于其他两种算法。表明研究所提最佳特征子集提取算法在最大限度减少被选取特征数量的同时,保持了较高的分类能力。

表1 3种特征子集选取算法对比结果

3.2 验证苹果质量估计

将50个苹果按7∶3的比例划分为训练样本和测试样本,采用IRBF对35个模型进行训练,对15个苹果进行质量估计,评价指标为均方根误差[1](RMSE)、平均相对误差率(err)和算法运行时间(T)。

(21)

为进一步验证所提质量估计算法的性能,选取文献[1]、文献[8]所提质量估计算法进行对比。图5为3种质量估计方法预测结果散点图,表2为3种质量估计方法评价指标对标结果。

表2 3种质量估计方法评价指标对标结果

图5 苹果质量估计散点图

由图5和表2可知,相比于其他两种估计算法,试验算法的质量估计结果更多落在y=x直线上,且其RMSE和err明显优于其他两种算法,表明试验所提质量估计方法的结果更加精确。在算法运算时间上,3种算法的运算效率相当。

为进一步验证试验所提算法对其他水果的适用性,分别对芒果、桔子、香蕉等进行质量估计。由表3可知,对于芒果、桔子等近似球形水果,3种算法均能够得到较好的质量估计结果,且试验所提算法的RMSE和err要好于其他两种算法。对于香蕉类似长圆柱型水果,试验所提算法的err达7.74%,在可接受范围内,但其他两种算法已无法进行质量估计。

表3 不同水果质量估计评价指标对比

综上,试验所提算法对近似球形水果,特别是“高低肩”等不规则形状水果具有很高的质量估计精度,这是因为在图像采集阶段,分别从6个角度获取图像信息,尽可能得到不规则球形水果的多方位信息;在图像特征提取阶段,利用IDGOA对目标函数进行优化,IDGOA良好的全局寻优能力,保证了得到的最佳特征子集能够在尽量少选取特征的同时,还保持原始数据分类能力;在质量估计阶段,采用优化后的RBF神经网络能够进一步提升质量估计精度。因此,试验所提方法更适用于球形水果质量估计,估计精度更优。

4 结论

研究设计了一种联合图像最优特征提取和神经网络学习的苹果质量估计方法,该方法综合运用图像视觉信息采集、MPI、图像最优特征选取和神经网络学习等技术,苹果质量估计平均相对误差率达到了1.23%级别,算法运算效率能够满足实时性要求,更加适用于具有“高低肩”特性的阿克苏苹果质量估计和分级,也能够推广应用到其他类似轴对称形状的水果质量估计。下一步,将对苹果品质分类问题进行深入分析研究,以期为新疆阿克苏苹果质量及品质分类提供高效方案。