支持向量机理论与应用

刘铭　吴朝霞

【摘 要】支持向量机（support vector machine，SVM）是基于统计学理论的一种典型的机器学习方法，具有坚实的理论基础，较强的推广能力，在解决小样本、非线性、高维度的问题上SVM表现出较好的学习性能。随着研究的深入，SVM被广泛应用于各个领域，本文介绍了统计学和支持向量机的基本理论，支持向量机的相关应用研究及未来研究方向和发展前景。

【关键词】支持向量机；统计学习理论；应用

中图分类号： TP18 文献标识码： A 文章编号： 2095-2457（2018）23-0068-002

DOI：10.19694/j.cnki.issn2095-2457.2018.23.027

【Abstract】Support vector machine（SVM）is a typical machine learning method based on statistical theory，It has a solid theoretical foundation and strong promotion ability.SVM Shows excellent performance on small sample，nonlinear and high dimensional problems.With the deepening of the research，SVM is widely used in various fields.This paper introduces the basic theory of statistics and SVM，the related application research of SVM and future research directions and development prospects.

【Key words】Support vector machine（SVM）；Statistical learning theory（SLT）；Application

0 概述

支持向量机（support vector machine，SVM）[1] 由Vapnik等提出，以统计学理论和结构风险最小化原理为基础的通用有效的机器学习方法，具有简洁的数学形式、标准快捷的训练方法，被广泛应用于模式识别、函数估计、时间序列预测等领域。

SVM在解决小样本、非线性、高维度的问题上较其它算法表示出优异性，国内外学者对SVM进行了大量深入的研究，并对一些算法进行了改进和优化，使支持向量机的性能不断得到改进，如针对训练时间长，占用内存大的缺点相继提出了快算法、分解算法、序列最小优化算法（SMO）、最小二乘SVM等快速算法。支持向量机最早被应用于模式识别中，随着SVM相关理论的不断完善，之后被广泛应用于工作生活中的各个领域。

1 SVM理论

1.1 统计学习理论

统计学习理论[2]是一种专门研究小样本的学习理论，通过一定的学习方法，找到数据的内在依赖关系，从而对数据进行相关的预测。在统计学习理论中VC维表示机器学习的复杂性。对VC维一个直观的定义：假设一个有h个样本的样本集，它能够被一个函数集中的函数按照所有可能的2h种组合分开，则此函数集能将该样本集打散。函数集能够打散的最大样本数目h就表示函数集的VC维。VC维越大表示机器学习能力越强。

统计学习理论系统地研究了对于各种类型的函数集、经验风险和期望风险之间的关系，即推广性的界[3]。对于两类的分类问题，函数集中所有函数、经验风险Remp（w）和期望风险R（w）之间的关系可简化表示为：

2 支持向量机应用

SVM具有良好的泛化能力，较强的理论作支撑，国内外学者对支持向量机算法做了大量深入的研究，并在此基础上对算法进行了优化，使支持向量机的性能不断得到改进。支持向量机被广泛地应用于各个领域，如模式识别方面的人脸识别、图像分类、笔记鉴别、语音识别等和病毒检测、垃圾邮件过滤、网络入侵检测等诸多数据分析领域。

2.1 人脸识别

人脸识别的核心思想是用知识的或统计的方法对人脸建模，在复杂的背景中比较可能的待检区域和人脸模型的匹配度，判断是否存在人面像并分离。

目前人脸识别检测技术已经较成熟并应用到各个领域，Osuna最早提出将SVM方法用于人脸识别技术中，通过训练非线性SVM分类器对人脸和非人脸进行检测分类。文献[5]中提出基PCA+LDA+SVM的人臉识别改进框架，文献[6]利用粒子群优化算法对SVM两个重要餐宿惩罚参数和核函数进行全局优化得到最优解，用于训练最终的分类器进行人脸识别，得到更高的识别准确率。

2.2 图像分类

图像在人们的生活和工作中已经成为传递和获取信息的一种重要手段，快速定位图像，合理分类图像对提高基于内容的图像检索准确性非常重要。文献[7]提出基于SVM的简单图像和复杂图像分类方法，文献[8]将半监督学习的思想和支持向量机有效的结合，提出基于均值漂移的标签均值半监督SVM的图小分类方法，算法参数的取值方法通过均值漂移结果进行改进，使图像分类结果得到较高的分类正确率和时间效率。

2.3 网络入侵检测

入侵检测技术通过在计算机网络系统的关键节点上收集信息并进行分析，对系统中违反安全策略的行为及时作出响应。网络入侵检测中的数据非常庞大复杂，具有高维、小样本、线性不可分的特性。SVM作为一种在小样本机器学习的基础上发展起来的方法，通过风险最小化原理来解决小样本、非线性、高维度等问题，并且能够在先验知识不足的情况下仍然保持较高的分类准确率，非常适合应用于网络入侵检测系统。

3 总结与展望

支持向量机以统计学习理论为基础，有完备的理论依据，SVM被应用于很多领域并取得良好效果。但传统支持向量机学习算法的研究侧重对方法的探索而对数据集本身特点关注不够，算法学习效率与数据规模有关，处理这类问题有可能导致算法运行较慢无法求解，在实际应用中没有价值。因此，如何从实际问题出发探索支持向量机算法的建模和改进是一个值得深入研究的问题。

【参考文献】

[1]CRISTIANINI N，TAYLOR J S.支持向量机导论[M].李国正，王猛，曾华军，译.北京：电子工业出版社，2004.

[2]Vapnik V.The nature of statistical learning theory[M]. Springer Science & Business Media，2013.

[3]mola A J，Williamson R C，Sch？觟lkopf B.Generalization bounds for convex combinations of kernel functions[J].1998.

[4]马蕾，汪西莉.基于支持向量机协同训练的半监督回归[J].计算机工程与应用，2011，47（3）：177-180.

[5]袁程波，基于PCA和SVM的人脸识别关键技术研究与实现[D].成都：电子科技大学，2017.

[6]廖周宇，王钰婷，谢晓兰，刘建明基于粒子群优化的支持向量机人脸识别[J].计算机工程，2017，43（12），248-254.

[7]田云.基于二次分割的多特征图像分类方法研究[D].太原，山西大学，2011.

[8]王朔琛.基于半监督支持向量机的图像分类方法研究[D].西安：陕西师范大学，2015.