基于布谷鸟优化算法的加权极限学习机模型

王琴

（海南医学院，海南 海口 570102）

基于布谷鸟优化算法的加权极限学习机模型

王琴

（海南医学院，海南 海口 570102）

鉴于极限学习机的待定参数对模型极大的影响力，利用布谷鸟优化算法对核参数和惩罚因子进行优化选择，以进一步提高模型的预测精度，然后利用非线性权值函数对极限学习机的不同样本数据进行加权，得到新的加权极限学习机模型，提高模型的鲁棒性能。

极限学习机；核函数；加权矩阵；布谷鸟优化算法

极限学习机（ELM）［1］是训练单向隐藏层神经网络的一种算法。ELM通过随机产生且不需要任何调整的隐藏层参数来实现非线性映射的逼近。ELM有很多优点，比如易于操作，快速的训练速度，较好的泛化能力等。

近些年，核学习方法已经被广泛研究并且在各个方面得到应用，如分类、函数逼近、异常检测等。其最典型的特征就是Mercer核的运用，Mercer核通过从低维空间向高维空间实现特征变换，在再生核空间中将非线性问题线性化。在ELM中，随机初始化隐藏层的处理可以看成是产生一个从输入数据映射到特征空间的非线性映射。如果ELM核映射未知，ELM能定义核函数，随之产生核极限学习机（KELM）［2］。在KELM中，隐藏层的个数即隐藏层特征空间的维数可以为无穷大，也不需要指定，这样KELM就能获得较好的泛化能力，且通过核技巧降低运算成本。

鉴于不同样本点对ELM的输出会有不同影响，为了更好地处理这些不平衡数据的预测，加权极限学习机［3］（WELM）通过对不同样本进行加权，合理分配不同样本的权值，大大提高ELM的学习能力。

权重函数的选择对WELM的鲁棒特性影响很大，ELM中的核参数γ和惩罚参数C的调整对降低泛化误差，获得精确的ELM模型也起着至关重要的作用。本文运用最新研究的布谷鸟优化算法（COA）［4］对ELM模型参数进行优化选择，采用非线性权值对ELM进行加权，通过多次迭代最后输出理想结果。

1 核极限学习机

ELM输出为：

2 加权极限学习机

3 基于COA的参数调整

目前，有很多不同的演化算法已经广泛地应用于ELM的参数优化，如遗传算法、粒子群算法等。COA是基于布谷鸟特殊的孵育寄生行为而提出的一种新兴仿生智能优化算法，COA具有全局搜寻能力强、聚集性更快、简单易实现等优点，相比其他演化算法，更具潜力。

COA以初始化那些产卵于其他鸟类栖息地的布谷鸟种群开始，然后在宿主鸟巢内随机产卵。布谷鸟的卵与宿主鸟的卵相似程度越高，则被宿主鸟孵化并长大成为成熟的布谷鸟的机会越大。宿主鸟会发现其中部分卵（约10%），然后将其移出巢穴。某个区域被孵化长出来的鸟卵数量就代表了这个区域的适度值。为了提高寄生卵的存活率，布谷鸟会迁移到更合适的环境去产卵。所以最终卵存活的最佳栖息地即为COA的优化目标。

布谷鸟随机产下的卵置于一定数量的宿主鸟巢中，宿主鸟巢在一个大的范围内，这个范围叫做最大产卵半径（ELR），其取决于鸟卵总数量，当前卵数以及变量上限与下限，所以ELR定义如下：

式（8）中，λ表示调节系数，Numcur和Numtotal分别表示鸟卵总数量和当前卵数，Varhi和Varlow分别表示优化问题中每个变量的上限和下限。

基于上述理论，COA的优化过程可描述如下：①初始化布谷鸟种群；②确定每只布谷鸟的产卵数，计算每个布谷鸟的ELR；③删除被宿主鸟察觉的寄生鸟卵，使其他未被识别的卵被孵化并长大为成熟的布谷鸟；④计算环境适应度，限定布谷鸟数量的最大值，剔除适应度小的布谷鸟；⑤聚类布谷鸟种群，寻找迁徙的目标栖息地；⑥新的布谷鸟种群迁徙至目标栖息地；⑦重复②至⑥直至满足迭代终止条件。

4 基于COA的WELM

如上所述，基于COA的WELM算法步骤如下：①对给定数据，利用COA寻找到ELM的最佳参数组合γ和C，确定ELM模型；②通过ELM模型计算ξi，然后确定；③通过式（6）确定加权矩阵W，得到WELM模型；④根据WELM再次计算ξi和，重新得到W；⑤若vk=vk+1，则算法结束，建立WELM，否则再回到步骤3。

5 结语

本文将COA对ELM的参数进行综合寻优，获得最佳的WELM参数组合，基于COA的参数优化选择不仅可以缩短WELM的训练时间，也降低了初值选择对模型输出的影响，并对ELM采用非线性的权值对样本进行处理，降低奇异数据对模型输出的影响，提高ELM模型的鲁棒性能。

［1］Huang GB，Zhu QY，Siew CK.Extreme learning machine: Theory and applications［J］.Neurocomputing，2006（1）：489-501.

［2］Huang GB，Zhou H，Ding X，et al.Extreme learning machine for regression and multiclass classification［J］.IEEE Transactions on Systems,Man and Cybernetics part B,Cybernetics，2012（2）：513-529.

［3］Zong W，Huang GB，Chen Y.Weighted Extreme learningmachine for imbalance leaming［J］.Neurocomputing，2013（3）：229-242.

［4］Rajabioun R.Cuckoo optimization algorithm［J］.Applied Soft Computing，2011（8）：5508-5518.

［5］陶莉莉，钟伟民，罗娜，等.基于粗差判别的参数优化自适应加权最小二乘支持向量机在PX氧化过程参数估计中的应用［J］.化工学报，2012（12）：3943-3950.

Weighted Extreme Learning Machine Optimized by Cuckoo Optimization Algorithm

Wang Qin
（Hainan Medical University，Haikou Hainan 570102）

In view of the great influence of undetermined parameters of extreme learning machine on the model,cuckoo optimization algorithm was utilized to optimize the kernel parameter and penalty factor in order to improve the prediction accuracy,novel weighted extreme learning model was obtained through weighing different sample data of extreme learning machine by nolinear weighting function afterwards,consequently,the robustness of the model was enhanced.

extreme learning machine；kernel function；weighted matrix；cuckoo optimization algorithm

TP393.08

A

1003-5168（2017）05-0036-02

2017-04-15

王琴（1984-），女，讲师，研究方向：机器学习及信号处理。