最小二乘支持向量机的理论及应用研究

张 娜，张永平

(1.宿迁高等师范学校 计算机系，江苏 宿迁223800;2.中国矿业大学 计算机学院，江苏 徐州221116)

0 引言

支持向量机［1－3］(Support Vector Machines，SVM )最初于20世纪90年代由Vapnik 提出，是一种新的通用机器学习方法，和传统的学习方法和人工神经网络比较，因其训练算法的快捷、数学原理的简要和泛化能力的优良而备受研究者关注，能成功地应用在分类识别、预测推算和综合评估等领域，是借助最优化方法来解决机器学习问题的新工具。

当前，支持向量机在很多方面都得到了普遍应用，如解决分类、回归、异常值检测以及时间序列预测等，在这些方面支持向量机可以表现出较好的优势和十分广阔的应用前景［4－5］。但是当遇到样本容量比较大时，它的速度将会明显变慢，不利于在线应用。

1 最小二乘支持向量机的概述

支持向量机算法虽然有很多优点，但是由于它的复杂度与样本数据相关，在样本数据的个数很大时，用此方法求解规划问题将会特别复杂，求解的速度也会变慢，为了解决复杂度问题J.A.K.Suykens 等人提出了最小二乘支持向量机(LS－SVM)，它是在标准的支持向量机算法上的一种改进，具有算法简单、易于实现、计算速度快等优点，近些年来得到了较广泛的研究和应用。

2 最小二乘支持向量机的数学原理

对于n 维样本向量中某范围的样本(x1，y1)，...，(xi，yi)∈Rn，如果想把它映射到特征空间φ(x1)中，需要使用非线性映射变量Ψ()并利用Ψ()完成该样本从原空间到特征空间的映射。在此特征空间中的最优函数可表示为:

以式(1)实现了函数在特征空间上的映射。其最小化可表示为:

其中用‖ω‖2，c，Remp 分别来表示运算中的繁杂度、误差惩罚函数和误差范围函数。ξi为松弛因子用ξi的二次项值来表示LS－ SVM 在优化目标函数中的误差，故优化问题为:

用Lagrange 方法求解这个优化问题:

其中ai(i=1，2，…，n)是Lagrange 乘子。

根据优化条件:

此式中ai=c·ξi(φ(xi)·ω+b+ξi－ yi)=0

把核函数K(xi，xj)=φ(xi)φ(xj)定义为是满足条件的对称函数，那么优化问题可以转换为求解线性方程:

最后用最小最优化二乘求解方法得出a 和b 的值，同时得到此预测函数为:

上式中K(xi，x)=φ(xi)·φ(x)。

3 最小二乘支持向量机的研究与应用

LS－SVM 是在SVM 算法的基础上发展与完善的，与人工智能网络方法所使用的最小化经验风险不同，它是利用最小化的结构风险法来解决问题。目前的研究中针对最小二乘支持向量机的应用领域较多，对LS－SVM 的理论知识学习的较为广泛，而对LS－ SVM 的应用研究方面有很多有待加强与提高。常用的LS－ SVM 工具是基于Matlab 的LS－ SVM lab 工具箱［5］，它主要包括分类、回归、时间序列预测和无监督学习。用C 语言实现工具箱中代码的编写。在计算机系统中可以用linux 和windows 实现工具箱的使用，绝大部分的函数都能计算两万多个数据。

最小二乘支持向量机的工具箱有3 个版本形式，分别是:基础版本，高级高级版本、在C 语言环境下运行的版本。针对算法的不同，每个版本中包含的函数也各有差异。杨奎河、单甘霖、赵玲玲等［7］为了更好地提高机械设备中故障诊断的精确度，将小波包分析与最小二乘支持向量机进行了有机结合，提出一种故障诊断的模型，并且将此类基于最小二乘支持向量机的模型与以往的支持向量机诊断模型相比较，通过仿真实验，最终表明新模型的性能较强，抗干扰能力优越。刘京礼、石勇针对最小二乘支持向量机模型丢失稀疏性和鲁棒性的原因，提出了使用核主成分法对样本数据中存在的噪声特征进行剔除，通过与先前的增强最小二乘支持向量机模型稀疏性的方法相比较，压缩特征对象，最终得出一个双层L 范数最小二乘支持向量机模型(KPCA－L1－LS－SVM)，在数据集合的仿真测试中对此模型进行测试结果表明了模型的可行性。谭玉玲［8］等通过最小二乘支持向量机的优化指标采用法，从而取代一般支持向量机的不等式约束，为了减少计算的繁琐和复杂，是速度有更高提升，将二次规划问题转化为线性方程组求解，最终用于柴油机故障诊断，并取得成功。骆嘉伟，苏涵沐，陈涛［9］在LS－SVM 密度的基础上提出新的隶属度设计方法，使样本之间的距离计算发生改变，对于每个样本而言，都可以生成一个阈值与之相对应，这样既增加了分类速度同时也提高了样本的抗噪声能力。张舰、彭启琮等［10］主要研究了LS－SVM 在处理非线性均衡性能时的有效性问题。通过与通信中的非线性均衡问题相比较，研究了使用LS－SVM 事先均衡性的问题，并且结合了信息的非线性与噪声干扰性，通过同最优贝叶斯均衡器性能的比较，显示了LS－SVM 处理非线性均衡问题更有效更快捷。由于LS－ SVM 算法使用误差和平方损失函数和等式约束，将优化问题转化为求解一组线性方程，因而加快了训练过程，使其能够很好地应用到实际通信系统中。姜斌、王宏强、付耀等［11］利用LS－SVM 对海杂波混沌序列进行预测。最后进行了计算机实验，仿真结果证明了该方法具有较高的预测精度。

另外，最小二乘支持向量机可以应用于短期电力负荷的研究中。针对短期电力负荷中的研究对象不确定性和多变量复杂性［12］，利用LS－SVM 方法可以提高短期电力负荷的预测性和泛化性，所以对于电力系统的预测来说LS－SVM 算法是种较为有效的方法。

4 结 语

最小二乘支持向量机用最小二乘线性系统作为损失函数取代支持向量机中的二次规划方法，将不等式约束条件变为等式约束，从而将二次规划问题转变为线性方程组的求解，提高了求解问题的速度和收敛精度。本文通过数学理论和研究应用方面对最小二乘支持向量机进行具体的阐述，结果表明最小二乘支持向量机拥有更好的泛化能力，更为简化计算过程，更加精确的计算结果，更少量的内存空间。和标准支持向量机相比较，最小二乘支持向量机是个很有前途的研究领域，未来将被应用的更多的科学领域。

［1］Vapnik V.Statistical Learning Theory［M］.New York:John Wiley＆Sons，1998.

［2］Vapnik V.统计学习理论的本质［M］.北京:清华大学出版社，2000.

［3］J Cortes C，Vapnik.Suplm rt－ vector networks［J］.Machine Learning，1995，20 (3):273－297.

［4］J Burges C J C.Atutorial on support vector machines for pattern recognition［J］.Know ledge D iscoveR and Data M ining，1998，2(2):121－167.

［5］PontilM，Verri A.Support Vector Machines for 3－Dob－ject Recognition［J］.IEEE Trans on Pattern AnalM achineIntell1，1998，20(2):637－646.

［6］阎威武，邵惠鹤.支持向量机和最小二乘支持向量机的比较及应用研究［J］.控制与决策，2003，18 (3):358－360.

［7］杨奎河，单甘霖，赵玲玲.最小二乘支持向量机在故障诊断中的应用［J］.计算机科学，2007，34 (1):289－291.

［8］谭玉玲.最小二乘支持向量机方法在农用柴油机故障诊断中的应用研究［J］.安徽农业科学，2009，37(22):10698－10699.

［9］骆嘉伟，苏涵沐，陈涛.基于最小二乘模糊支持向量机的基因分类研究［J］.计算机应用研究，2010，27(2).

［10］张舰，彭启琮，邵甜鸽.基于最小二乘支持向量机的非线性均衡［J］.计算机工程与用，2007，43 (13):92－95.

［11］姜斌，王宏强，付耀，等.基于LS－ SVM 的海杂波混沌预测［J］.自然科学进展，2007，17 (3):415－420.

［12］杨延西，刘丁.基于小波变换和最小二乘支持向量机的短期电力负荷预测［J］.电网技术，2005，29(13):60－64