浅谈RVM核函数优化算法比较

张丹丹

（中国民航大学电子信息与自动化学院 天津 300300）

浅谈RVM核函数优化算法比较

张丹丹

（中国民航大学电子信息与自动化学院 天津 300300）

相关向量机（RVM）预测模型是在2000年Tipped博士首次提出的基于贝叶斯框架构建学习机的一种概率稀疏模型，而且RVM还能处理回归以及分类问题。本文总结了相关向量机的基本原理及主要应用领域，并详细阐述了三种相关向量机核函数的优化模型，而且说明了每一种RVM核函数优化算法的优点以及缺点，并作出比较。希望对研究者今后的研究有所启发，以促进该领域的发展。

相关向量机；核函数；优化算法

1 前言

RVM的训练是在贝叶斯框架下进行的，可以用它进行回归及分类模式分析。RVM克服SVM缺点：RVM的关联向量数要低于SVM，拥有更优的泛化性能；能够获取点估计以及区间估计；不需要经过多次的验算获得最优的和C或ε类似的主观设置值。与SVM类似的是RVM也利用核方法，把自变量映射到一个高维空间里面，获得因变量和自变量线性回归的稀疏解，然而核函数参数对RVM的性能会有很大的影响，怎样方便快速地找到综合性能最优的核函数参数到现在依旧没有解析解理论指导，因为RVM的分类功能建立在回归的基础之上，本文尝试使用了几种算法获取回归综合性能比较好的核参数数值解。

2 三种RVM核函数优化算法

2.1 RVM核参数优化的遗传算法

遗传算法是一类随机优化算法，模拟了自然选择和遗传中发生的复制、交叉和变异等现象，从任一初始种群出发，通过随机选择、交叉和变异操作，得到一群更适应环境的个体，使群体进化到搜索空间中越来越好的区域，这样不断繁衍进化，最后收敛到一群最适应环境的个体，求得问题的最优解。

以实验Sinc的训练及测试数据为基础，使用Gauss核函数，改进Tipping的RVM实验程序，以σ为自变量，test RMS作为因变量构造适应度函数，利用Matlab7遗传算法工具箱，通过实验可以得到σ以较高的概率收敛在最优值附近，采用多次计算或依据较优解确定初始范围的办法，可以更准确地获取最优解。

2.2 QPSO核函数优化算法

受粒子群算法和量子力学的启发，Sun博士等人在2004年提出基于量子δ势阱的粒子群模型的QPSO算法，该算法把量子行为引入到PSO算法里面，拥有全局收敛性，控制参数少，收敛速度快和寻优能力强这些优点。

采用高斯径向基函数核函数作为RVM预测模型的核函数，该核函数具有较强的非线性处理能力，定义为K（x，y）=exp（-（x-y）2/2γ2），γ为核宽度，其对预测模型具有很大的影响，QPSO优化RVM预测模型核函数的大致步骤为：第一步初始化粒子初始位置、速度、粒子数量、寻优范围、迭代次数、学习因子；接下来根据公式计算每个粒子的fitness，得出每个粒子的最优位置以及全局最优位置；在得出mbest；对粒子位置进行更新；然后判断终止条件是否满足条件，若不满足，则继续计算粒子的最优位置以及全局最优位置；若满足条件则输出寻优得到的RVM核函数最佳核宽度因子γ。

通过实验可以得出不同的核宽度因子对组合模型的预测影响。通过与真实值的比较可以发现，不同的γ对数据预测的准确性有很大的差异，当是最佳值时，预测值非常逼近真实值，而随着γ增大，预测曲线与真实曲线产生了更大的偏差，从而说明核参数优化的重要性。

2.3 基于QGA优化RVM核函数

选用高斯径向基核函数作为RVM的基函数。QGA是在传统GA中引入量子计算的概率以及机制形成的新型算法，充分使用量子计算具有天然的并行性，极大地加快了处理信息的速度。与传统GA不同的是，QGA中的染色体用量子比特取代GA中的二进制串，采用量子比特编码，使得一个染色体可以同时表达多个量子态的叠加，即仅通过一个小数量种群的量子个体来代替传统数量较大的个体。此外，量子门操作这一独特的处理步骤，使得QGA拥有良好的全局寻优能力。QGA拥有更好的多样性特征以及更佳的收敛性。因此，采用GA的改进算法QGA自适应地选取最优核参数。

基于QGA优化RVM核函数的步骤为：第一步初始化参数（种群数量、代数等）；第二步核函数参数的量子比特编码形成初始种群P（t）；第三步：测量种群P（t）的各个个体形成二进制种群Q（t）；第四步：交叉验证训练RVM；第五步：计算各个个体（待选参数值）的适应度；第六步：保留最优个体及对应的适应度为进化目标；接下来判断是否满足终止条件，若不满足则返回到第四步，若满足则输出RVM最优核参数。

利用QGA优化RVM的好处是为了能够得到最好的分类准确率。通过实验可以表明QGA算法在测试过程中每次都能自动的选取到最好的核函数参数，说明了QGA算法在优化RVM过程中并行计算的优势。

3 结束语

RVM是贝叶斯框架下的新兴统计学习方法，拥有一部分SVM所没有的优点。RVM使用核函数将回归线性化，求得稀疏解，在现有核函数下避免过拟合，实验表明核函数的参数对RVM回归的综合性能造成很大影响。介绍的三种优化核函数的算法中，遗传算法是一类随机优化算法，模拟了自然选择和遗传中发生的复制、交叉和变异等现象，经过迭代进化，最后收敛到一群最适应环境的个体，自动但不茫然，高效率地求得问题的最优解；QPSO算法将量子行为引入到PSO算法中，具有全局收敛性，控制参数少，收敛速度快以及寻优能力强这些特点；QGA具有很好的全局寻优能力、多样性特征以及更好的收敛性。

[1]范庚，马登武，张继军，等.基于自适应RVM的电子系统缓变故障预测方法[J].北京航空航天大学学报，2013，39（10）：1319～1324.

[2]Michael E.Tipping.The Relevance Vector Machine[J].Advances in Neural Information Processing Systems 12，652～658.Cambridge，Mass:MIT Press.

[3]白霜.基于PSO优化混合RVM模型的进出口贸易预测算法[J].计算机与自动化，2014，24（8）：1006～2475.

[4]王波，刘树林，蒋超，张宏利.基于量子遗传算法优化RVM的滚动轴承智能故障诊断振动与冲击学报，2015，34（17）：923～928.

[5]Wu Z，Guang N E.Ensemble empirical mode decomposition:A noise-assisted data analysis method[J].Advances inAdaptive Data Analysis，20091(1): 1～41．

P332.8

A

1004-7344（2016）20-0306-01

2016-7-1

张丹丹（1991－），女，河南人，硕士研究生，研究方向为故障检测与诊断。