支持向量机分类与回归

宋晓晶　封丹丹

摘 要 支持向量机（support vector machine， SVM）是一种基于统计学习理论的新型的机器学习方法，由于出色的学习性能，已经成为当前机器学习界的研究热点。本文系统地介绍了支持向量机分类和回归的理论基础，运用统计软件对分类和回归进行数值模拟实验并分析结果。

关键词 支持向量机 统计学习理论 分类 回归

中图分类号：P39 文献标识码：A

1 SVM理论

支持向量机是建立在统计学习理论基础上的一种数据挖掘方法，可以处理回归问题（时间序列分析）和模式识别（分类问题、判别分析）等诸多问题。国际上有很多关于SVM的研究报道，目前已经被成功应用到各种实际问题，如粒子鉴定、脸谱识别、文本分类、生物信息等。支持向量机的实现原理是：通过某种事先选择的非线性映射（核函数）将输入向量映射到一个高维特征空间，在这个空间中构造最优分类超平面。

1.1支持向量机

对于给定的训练样本集（x1，y1），（x2，y2），…，（x，y），如果样本是线性可分离的，设划分超平面L的方程为：（w x）+b=0，为了使分类面对所有样本正确分类并且具备分类间隔，就要求它满足如下约束：

yi（w x）+b）≥1 i=1，2，…，

分类间隔为2/||w||，因此建立线性支持向量机的问题转化为求解如下一个二次凸规划问题：

（1）

应用Lagrange乘子法并考虑满足KKT条件，求得最优超平面决策函数为：

（2）

其中，为确定最优划分超平面的参数，为两个向量的点积。

1.2 非线性支持向量机

SVM方法真正价值是用来解决非线性问题。思路是通过一个非线性映射 ，把样本空间映射到一个高维乃至无穷维的特征空间。之后根据Mercer定理，如果只用到映象的点积，则可以用相对应的核函数K（x，y）=（ （x） （y））来代替，不需要知道映射的显性表达式。这是从线性支持向量机到非线性支持向量机的关键一步。在特征空间中应用线性支持向量机的方法，分类决策函数式（2）变为：

（3）

考虑到Mercer定理，上式化简为：

（4）

这就是非线性支持向量学习机的最终分类决策函数。在实际运算中，我们只需求出支持向量及其支持的“强度”和阈值，通过核函数的计算，即可得到原来样本空间的非线性划分输出值。

1.3 SVM回归

SVR是将模式识别问题中得到的结果在回归情况下的推广。在回归情况下需要引入不敏感损失函数，它的含义是如果预测值和实际值之间的差别小于，则损失等于0，尽管预测值与观测值可能并不完全相等。具体形式为：

（5）

假设对于给定的训练数据，用线性函数拟合数据，用（5）式作为损失函数，那么就产生了对回归的支持向量估计。通过使回归函数尽可能的平坦来控制函数的复杂性，并综合考虑拟合误差，可以得到线性回归估计的优化问题。然后利用Lagrange乘子法结合KKT条件，最终确定对应的决策函数形式为：

（6）

与分类情况下类似，线性SVR可以通过引入核函数推广到高维空间中，然后求解优化问题在高维空间中构造决策超平面。

2 仿真实验

2.1 数值实验

（1）实验数据源于1936年费希尔发表的一篇重要论文。彼时收集了三种鸢尾花的花萼和花瓣数据，包括花萼的长度和宽度，花瓣的长度和宽度。其中包含150个样本，每类样本50个。我们根据这四个特征来建立SVM模型实现对三种鸢尾花的分类判别任务。对分类结果可视化，如图1所示。从图中可以看到，鸢尾花中的setosa类别同其他两种区别较大，而剩下的两种类别相差很小，甚至存在交叉难以区分。

（2）随机生成一组对数序列，然后采用SVR方法进行拟合，所得实验结果如图2所示。其中红线表示真值，蓝线表示拟合所得的结果，对比可以看出SVR回归的误差非常小，几乎是反映样本数据的最优函数关系。

2.2结论

SVM是一种有坚实理论基础的新颖的小样本学习方法，实现了高效的从训练样本到预报样本的推理。SVM的最终决策函数只由少数的支持向量所确定，而不是样本空间的维数，在某种意义上避免了“维数灾”。而且该方法不但算法简单，而且具有较好的“鲁棒”性。因此，近年来SVM方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用。

参考文献

[1] 李曉宇， 张新峰， 沈兰荪. 支持向量机（SVM）的研究进展[J]. 测控技术， 2006， 25（5）：7-12.

[2] 梁燕. SVM分类器的扩展及其应用研究[D]. 湖南大学， 2008.

[3] 刘靖旭. 支持向量回归的模型选择及应用研究[D]. 国防科学技术大学， 2006.

[4] 陈永义， 俞小鼎， 高学浩等. 处理非线性分类和回归问题的一种新方法（Ⅰ）—支持向量机方法简介[J]. 应用气象学报， 2004， 15（3）：345-354.

[5] Scholkopf B， BurgesCh-J C and Smola A J， edited. Advances in Kernel Methods-Support Vector Learning. MIT Press， Cambridge， 1999.endprint