改进人工蜂群优化的极限学习机*

毛 羽， 毛 力， 杨 弘， 肖 炜

(1.轻工过程先进控制教育部重点实验室 江南大学 物联网工程学院，江苏 无锡 214122；2.中国水产科学研究院 淡水渔业研究中心，江苏 无锡 214081)

0 引 言

近年来，一种新型的前馈神经网络—极限学习机(extreme learning machine,ELM)被Huang G B等人提出[1～4]。由于ELM在训练之前可以随机产生连接权值以及阈值，克服了传统前馈神经网络的不足。ELM因其较快的学习速度和优良的泛化性能，引起了国内外广泛的研究和关注。ELM不仅仅适用于回归、拟合问题，还适用于分类、模式识别等领域，因此,得到了广泛的应用[5,6]。文献[4]指出，为了达到理想的精度，需要设置大量的隐含层节点。为此有学者使用智能优化算法结合ELM得到了很好的效果。

近年来，有学者使用了人工蜂群(artificial bee colony,ABC)算法对单隐含层前馈神经网络(single-hidden layer feedforward neural networks,SLFNs)的隐含层节点参数进行优化。文献[11]首次将ABC算法用于优化神经网络的连接权值和阈值，并得到了较好的效果；文献[12]使用了ABC算法对前馈神经网络的连接权值和阈值进行优化；文献[13]提出了ABC-反向传播(back propagation,BP)算法将ABC算法和BP算法进行结合，先使用ABC算法对前馈神经网络的隐含层节点参数进行优化，再使用BP算法对其进行微调。

本文在上述工作的基础上，提出了一种改进的ABC优化的极限学习机即差分进化与克隆算法改进人工蜂群优化的极限学习机(differential evolution ABC-ELM,DECABC-ELM)算法，在ABC的基础上，借鉴了差分进化(DE)算法的差分变异算子和免疫克隆算法的克隆扩增算子，ABC收敛速度慢、容易陷入局部最优解的缺点进行了改进，并使用DECABC算法优化SLFNs的隐含层节点参数，再使用Moore-Penrose(MP)广义逆求得SLFNs的输出权值。为了体现算法的有效性，将DECABC-ELM和文献[8]中的自适应进化极限学习机(self-adaptive evolutionary ELM,SaE-ELM)，文献[9]中的粒子群优化极限学习机(particle swarm optimization ELM,PSO-ELM)，文献[10]中的混合智能优化算法(DEPSO-ELM)以及使用原始ABC算法优化的ABC-ELM在分类数据集和回归数据集上进行了对比，结果显示DECABC-ELM的效果较好。

1 ELM

对于N个任意不同的训练样本集(xi,yi) ,i=1,2,…,N,xi∈Rd,yi∈Rm,则一个具有L个隐含层节点的前馈神经网络的输出为

(1)

式中wj∈Rd为输入层到隐含层节点i的连接权值；bj∈R为隐含层节点j的神经元阈值；g(·)为隐含层节点的激活函数；g(wj·xi+bj)为第i个样本在隐含层节点j的输出；wj·xi为向量的内积；βj为隐含层节点j和输出层之间的连接权值。

不同于传统的梯度下降迭代算法，Huang G B等人证明了[14]当隐含层节点个数与训练集样本数相等时，任给w和b，在具有g(·)为激活函数的SLFNs中，能够以零误差接近训练样本，即

(2)

这里设H为隐含层输出矩阵，即H={hij}，hij=g(wj·xi+bj)，则式(1)可以表述如下

Hβ=T

(3)

由于w和b在训练前可随机选取，并且在训练过程中保持不变，因此，隐含层输出矩阵H为定值，根据式(3)，输出权值矩阵 可以通过求其最小二乘解得到

(4)

式中H+为隐含层输出矩阵的Moore-Penrose(MP)广义逆。

2 ABC算法[15]

ABC算法的计算过程如下：

1)产生初始解：在初始化阶段，产生SN个初始解

(5)

2) 雇佣蜂搜寻阶段：从初始位置开始，每个雇佣蜂个体在当前位置的附近搜索新的蜜源，其更新公式

vi,j=xi,j+rand[-1,1](xi,j-xk,j)

(6)

式中vi,j为新的蜜源位置信息；xi,j为原蜜源位置信息；rand[-1,1]为取-1～1之间的随机数；xk,j为第k个蜜源的j维信息，k∈{1,2,…，SN}且k≠i。

当雇佣蜂获取到新的蜜源位置信息后，将计算蜜源的适应度值，如果新蜜源的比原蜜源适应度好，则采用新蜜源位置;否则，继续采用原蜜源位置信息，且开采次数加1。

3) 跟随蜂跟随阶段：跟随蜂根据位置信息，依概率选择适应度较高的蜜源信息，在雇佣蜂的基础上产生一个变化的位置，去寻找新的蜜源。其概率选择公式如下

(7)

式中fitness(xi)为第i个跟随蜂的适应度值，Pi为第i个跟随蜂被选择的概率。一旦跟随蜂被选择，即按照式(6)进行位置更新操作。

4) 侦查蜂搜寻阶段：当蜜源开采达到一定次数却未改变适应度值时，雇佣蜂转为侦查蜂并寻找新的蜜源位置，其搜索公式同式(5)。

3 DECABC-ELM

ELM的输入层与隐含层之间连接权值w以及隐含层神经元阈值b随机生成，个别隐含层节点的作用非常小，造成ELM需要设置大量隐含层节点才能达到理想精度。为提高ELM的性能，本文提出了一种改进的ABC优化算法来优化连接权值w和阈值b。

在数学教学中，无论是数与代数、图形与几何，还是统计与概率等知识，处处蕴含着数形结合思想。教材借助几何图形的直观来帮助学生理解抽象概念。生动形象的图形使得抽象的知识变得趣味化、直观化，学生在学习时，不再感到枯燥乏味，反而能从中获得有趣的情感体验，从而实现了主动探索，把握了概念本质。

对于N个任意不同的维度为D的训练样本集，激活函数为g(·)的具有L个隐含层节点的ELM，DECABC-ELM的计算步骤如下：

1)初始化

按照式(5)产生SN个初始解，其中每个个体的编码方式如下

根据ELM算法，编码中wj,D维向量，每一维均为-1～1之间的随机数j=1,…L为；bj为0～1之间的随机数；G为蜂群的迭代次数。

2)雇佣蜂搜索阶段

将DE算法中的差分变异算子和雇佣蜂搜索公式进行结合

vi,j=xi,j+rand[-1,1](xbest,j-xk,j+xl,j-xm,j)

(8)

式中xbest,j为当前蜂群最优个体；xk,j，x1,j和xm,j为除当前个体外随机选择的其他3个不同的个体，即i≠k≠l≠m。每当雇佣蜂到达一个新的位置，将位置信息，即ELM的连接权值w和阈值b对训练集进行验证并得到适应度值，如果适应度值较高，则使用新的位置信息代替旧的位置信息。

将免疫克隆算法中的克隆扩增算子引入到跟随蜂更新过程。

首先将跟随蜂根据其适应度进行克隆，克隆的数目和其适应度成正比

(9)

式中Ni为第i个跟随蜂的克隆数目；SN为群体数目；fitness(xi)为第i个跟随蜂的适应度值。

根据式(7)选择跟随蜂的位置进行变化，变化公式同式(6)。

跟随蜂位置信息变化后，通过新位置的浓度和适应度选出适应度较高的食物源。其中，适应度概率同式(7)，浓度概率以及选择概率见式(10)、式(11)。

浓度概率计算

(10)

式中Ni为和第i个跟随蜂适应度值相近的跟随蜂数目；Ni/SN为适应度相近的跟随蜂在群体中的数量比例；T为浓度阈值；HN为浓度大于T的跟随蜂数目。

选择概率计算

Pchoose(xi)=αPi(xi)+(1-α)Pd(xi)

(11)

利用轮盘赌的形式对新产生的跟随蜂群体进行选择，并和原食物源进行对比，如有改善，则替换原食物源。

4)侦查蜂搜寻阶段

如果食物源信息在一定时间内没有更新，则将雇佣蜂转换为侦查蜂，使用步骤(1)的方法重新生成该个体。

5)当迭代次数到达设定或适应度值达到一定精度后，从最优个体中提取出的ELM的连接权值w和阈值b，并使用测试集进行验证。

4 仿真实验

为验证DECABC-ELM的效果，与SaDE-ELM，PSO-ELM，DEPSO-ELM和ABC-ELM分别在回归和分类数据集上进行了对比实验。所有的实验中种群进化最大次数均设定为50次，种群规模SN为80。所有实验均运行10次取均方根误差或分类正确率的平均值和标准差作为实验结果，最优结果以粗体标出。

4.1 Sinc函数仿真实验

5种算法通过拟合Sinc函数进行对比，Sinc函数的表达式如下

(12)

产生5 000个[-10,10]均匀分布的数据x，计算得到5 000个数据集{xi,f(xi)},i=1,…,5 000，再产生5 000个[-0.2,0.2]均匀分布的噪声ε；令训练集为{xi,f(xi)+εi},i=1,…,5 000，再产生另一组5 000个数据集{yi,f(yi)},i=1,…,5 000作为测试集。逐渐增加5种算法的隐含层节点数对函数进行拟合，其他参数参考文献[8～10]中的参数设置，ABC-ELM和DECABC-ELM算法参数设置相同。结果如表1所示，可知随着隐含层节点的增加，平均测试误差和标准差逐渐减小，当隐含层节点过多时，会出现过拟合的情况。在大部分情况下，当隐含层节点数相同时，DECABC-ELM具有更小的平均测试误差和标准差。

表1 Sinc函数拟合结果对比

4.2 回归数据集仿真实验

使用加州大学欧文分校的机器学习库中的4个真实回归数据集对5种算法的性能进行对比实验,包括均方根误差(RMSE)和标准差(Std.Dev.)。数据集名称分别为：Auto MPG(MPG)，Computer Hardware(CPU)，Housing和Servo。

实验过程中数据集中的数据被随机分为训练集和测试集，其中70 %作为训练集，剩余30 %作为测试集。为减少各个变量差异较大的影响，在算法运行前先对数据进行归一化处理，具有平均最优RMSE的实验结果被记录在表2～表5中。可以看出，DECABC-ELM在所有的数据集拟合实验中获得了最小的RMSE，但在Auto MPG和Computer Hardware中，DECABC-ELM的Std.Dev.却比其他算法差，即稳定性有待提升。从训练时间和隐层节点数上看，PSO-ELM和DEPSO-ELM收敛速度较快，且使用的隐含层节点数较少，但精度差于DECABC-ELM。综合考虑，DEABC-ELM的性能较为优越。

表2 Auto MPG拟合结果对比

表3 Computer Hardware拟合结果对比

表4 Housing拟合结果对比

表5 Servo拟合结果对比

4.3 分类数据集仿真实验

使用加州大学欧文分校的机器学习库。4个真实分类数据集名称分别为：Blood Transfusion Service Center(Blood)，Ecoli，Iris和Wine。与分类数据集相同，实验数据中70 %作为训练集，30 %作为测试集，具有最优分类率的实验结果被记录在表6～表9中。

表6 Blood分类结果对比

表7 Ecoli分类结果对比

表8 Iris分类结果对比

由表可以看出，在4种分类数据集中DECABC-ELM均取得了最高分类正确率。但DECABC-ELM在稳定性上依然不够理想。DECABC-ELM算法较PSO-ELM，DEPSO-ELM和ABC-ELM 3种算法用时更长，较SaE-ELM短。相较于其他算法，DECABC-ELM使用了较少的隐含层节点即可达到较高的分类正确率。综上，DECABC-ELM的性能较优。

5 结束语

通过引入差分进化算法的差分变异算子和免疫克隆算法的克隆扩增算子，改进了人工蜂群收敛速度慢、易于陷入局部最优解等缺点，从而能够快速求出ELM的接权值w和阈值b，优化ELM使其拥有了更好的计算速度和精度。提出的DECABC-ELM算法分别在分类和回归数据集上进行了验证，并获得了良好的效果。如何提高算法的稳定性是下一步要研究的内容。

参考文献:

[1] Wang L,Ren T,Nie B,et al.Development of a spontaneous combustion TARPs system based on BP neural network[J].International Journal of Mining Science and Technology,2015,25(5):803-810.

[2] Ji T,Lu S,Tang M,et al.Application of BP neural network model in fracturing productivity prediction of Fuyu tight oil reservoir in Jilin oilfield[J].Acta Geologica Sinica:English Edition,2015,89(s1):154-155.

[3] Wu Z Q,Jia W J,Zhao L R,et al.Maximum wind power tracking based on cloud RBF neural network[J].Re-newable Energy,2016,86:466-472.

[4] Huang G B,Zhu Q Y,Siew C K.Extreme learning machine:Theory and applications[J].Neurocomputing,2006,70(1):489-501.

[5] 杨 勤,董洪伟,薛燕娜.核多元基因选择和极限学习机在微阵列分析中的应用[J].传感器与微系统,2016,35(5):146-148.

[6] 许梦阳,黄金泉,潘慕绚.用于航空发动机动态辨识的MSMEA-ELM算法[J].传感器与微系统,2016,35(12):1-4.

[7] Zhu Q Y,Qin A K,Suganthan P N,et al.Evolutionary extreme learning machine[J].Pattern Recognition,2005,38(10):1759-1763.

[8] Cao J,Lin Z,Huang G B.Self-adaptive evolutionary extreme learning machine[J].Neural Processing letters,2012,36(3):285-305.

[9] 王 杰,毕浩洋.一种基于粒子群优化的极限学习机[J].郑州大学学报:理学版,2013,45(1):100-104.

[10] 林梅金,罗 飞,苏彩红,等.一种新的混合智能极限学习机[J].控制与决策,2015,30(6):1078-1084.

[11] Huang G B,Chen L,Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes[J].IEEE Transactions on Neural Networks,2006,17(4):879-892.

[12] Karaboga D.An idea based on honey bee swarm for numerical optimization[R].Erciyes:Erciyes University,2005.

[13] Karaboga D,Akay B,Ozturk C.Modeling decisions for artificial intelligence[M].Berlin Heidelberg:Springer,2007:318-329.

[14] Karaboga D,Ozturk C.Neural networks training by artificial bee colony algorithm on pattern classification[J].Neural Network World,2009,19(3):279-292.

[15] Sarangi P P,Sahu A,Panda M.Intelligent computing,networking,and informatics[M].India:Springer,2014:511-519.