一种新的支持向量机核参数选择方法

赵剑

摘要：支持向量机是近年来比较流行的一种机器学习方法，以其出色的学习性能在模式识别等领域得到广泛应用。核函数是支持向量机的核心部分，对其工作性能起到重要作用，其中核參数直接决定分类器识别率的高低。现有的核参数选择方法计算复杂度很高，因此本文介绍了一种新的跟踪核参数路径的算法，该方法从核参数的学习出发，为支持向量机解决模型选择问题，记录选用各个核参数得到的最优解，而不是反复训练多个支持向量机，在一定程度上降低了计算复杂度，提高了学习效率。

关键词：支持向量机;核函数;核路径算法

1 引言

支持向量机（Support Vector Machine，SVM）是近年来在模式识别与机器学习领域中出现的新工具，SVM以统计学习理论为基础，基于结构风险最小化原则之上，有效地避免了经典学习方法中过学习、维数灾难、局部极小等传统学习存在的问题，在小样本条件下仍然具有良好的泛化能力。目前支持向量机在文本分类、手写体识别、图像分类、生物信息学等领域获得了较好的应用。

支持向量机的基本思想是：通过非线性映射将输入空间变换到一个高维特征空间，在这个高维空间中寻找输入变量和输出变量之间的一种非线性关系（如图1所示）。在训练中该算法仅使用到高维空间中的内积，通过引入核函数，高维空间的内积运算就可用原空间中的函数来实现，甚至没有必要知道的形式。通过采用适当的核函数就可实现某一非线性变换后的线性分类，而计算复杂度却没有增加，从而在一定程度上避免了维数灾难问题。

由以上可以看出，核函数是支持向量机的关键部分，它决定了支持向量机中非线性的原始数据空间到高维特征空间的映射关系。目前较为常用的核函数主要有以下三种：

核函数的形式和参数的变化会隐式地改变从输入空间到特征空间的映射，进而对特征空间的性质产生影响，最终改变各种核函数方法的性能。

从形式上核函数主要分为全局核函数和局部核函数两种，其中全局核函数的典型代表是多项式核函数，而局部核函数以径向基核函数最为常用。一般来说局部核函数的学习能力优于全局核函数，而推广能力却不及全局核函数。

另外，在SVM 的实际应用中涉及到核函数参数确定的问题。核函数参数的确定直接关系到分类器识别率的高低，因此选择合适的核函数参数非常重要，这也是本文讨论的重点。目前解决这一问题最常用的方法为交叉验证法，该方法的原理是选定的一组核参数，构成与此对应的SVM模型，将训练样本分成容量相同的k个子集，并对模型训练k次，在第i（i=1，…，k）次训练时，要用除第i个子集的所有子集训练模型，再用得到的模型对第i个子集计算误差，以k次误差的平均数值作为模型推广能力的近似值，这样反复训练最后选择一组核参数使得模型推广能力最好。另外还有基于网格搜索的支持向量机参数确定法^[5]、基于Gram矩阵的支持向量机参数确定法以及贝叶斯法等。虽然这些方法都能在一定程度上提高分类正确率，但都需要反复训练多个支持向量机，造成了较大的计算复杂度，同时也不一定能找到最优解。

针对此问题，本文介绍了一种跟踪核参数路径的算法，该方法从核参数的学习出发，为SVM解决模型选择问题，记录选用各个核参数得到的最优解，而不是反复训练多个SVM。该算法基本思想可以概括为：给定一组核参数训练得到最优解，那么该核参数邻域的某一个取值所对应的最优解就可以从前一组结果精确推导出。这种记录最优解的方法不可避免分段线性化以至非线性，因此实际迭代中存在断点。在训练过程中，应近似估计断点从而继续下一个范围的迭代。

总结

本文介绍了一种新的跟踪核参数路径的算法，该方法从核参数的学习出发，为支持向量机解决模型选择问题，记录选用各个核参数得到的最优解，而不是反复训练多个支持向量机，在一定程度上降低了计算复杂度，提高了学习效率。

在支持向量机的训练中，正则化参数的选择也很关键，因为不仅关系模型的分类性能，而且决定着运算迭代的次数，影响核路径的运算效率，在假设核参数固定的情况下，经过适当参数代换，也可以采用本文介绍的方法确定。目前，有关专家提出了在二维平面内同时跟踪正则化参数和核参数以寻求最优解的方法，它不同于基于网格的核参数确定方法，在运算效率和精度方面应优于后者，成为解决核参数选择问题的一个重要研究方向。

参考文献：

[1]张学工.关于统计学习理论与支持向量机.自动化学报，2000，26（1）：32-33.

[2]杨斌，路游.基于统计学习理论的支持向量机分类方法.计算机技术与发展，2006，16（11）.

[3]Zhonghui Hu，Yunze Cai，Ye Li.Support Vector Machine Based Ensemble Classifier.2005 American Control Conference.June 8-10，2005.

[4]王华忠，俞金寿.核函数方法及其模型选择.江南大学学报，2006，5（4）.

[5]王兴玲，李占斌.基于网格搜索的支持向量机核函数参数的确定.中国海洋大学学报，2005，35（5）：859-862.

[6]李晓宇，张新峰.一种确定径向基核函数参数的方法.电子学报，2005，33（12）.

[7]Gang Wang，Dit-Yan Yeung，Frederick H.Lochovsky.A Kernel Path Algorith for Support Vector Machine.Proceedings of the 24th International Conference on Machine Learning，Corvalis，OR，2007.