*1极坐标核在样本分类问题中的应用研究

郭金玲

(山西大学 商务学院,山西 太原 030031)



*1极坐标核在样本分类问题中的应用研究

郭金玲

(山西大学 商务学院,山西 太原 030031)

〔摘要〕核函数选择是支撑向量机(Support Vector Machine,SVM)研究的热点和难点．针对目前SVM核函数的选择没有统一规则的现状,探讨极坐标核在样本分类问题中的应用,提出一种结合样本分布特征进行SVM核选择的方法．首先分析极坐标核的映射原理,采用主成分分析方法(Principle Component Analysis,PCA)对高维数据集合理降维,在得到样本集分布特征的基础上进行SVM核选择,在Matlab环境中,采用四组数据集进行分类实验,验证结合样本分布特征选择SVM核函数的分类效果．实验结果表明,呈类圆形分布的样本集采用极坐标核进行分类,识别率达到100%,训练时间最短,优于采用高斯核SVM的分类效果．该方法提高了SVM的泛化能力,方案具有可行性和有效性．

〔关键词〕支撑向量机;极坐标核;样本分类;降维

0引言

SVM是Vapnik等于1995年首先提出的一种用来解决高维样本分类及预测问题的技术[1,2]．因为实验样本维数较高时,在低维空间较难被高效率地划分开,SVM技术可以高效解决高维样本分类问题[3,4]．

SVM的分类过程主要涉及到非线性映射Φ,通常,Φ以内积〈φ(xi)，φ(xi)〉形式出现．内积计算复杂度较高,通过引入核函数,将内积运算转化为在输入空间的计算,从而降低映射计算的复杂度[1]．即

(1)

其中,K(xi，xj)代表核函数．

SVM的求解为以下最优化问题:

(2)

分类函数f(x)如公式(3):

(3)

SVM的分类性能和核函数的选择有着直接的联系,由于高斯核K(x,x′)=exp(-||x-x′||/σ2分类效果好,参数范围选择较宽,近年来,高斯核函数Kgau得到了广泛的应用[5-7]．但是针对一些具有特殊几何分布的数据集,如何选择合适的核函数是近年来的研究难题[8-10]．

考虑到极坐标核KPolar可高效解决直角坐标不可分,极坐标线性可分的应用特点,文中分析了极坐标核的映射原理,探讨极坐标核在数据分类问题中的应用,在Matlab环境中,分别采用两组真实数据集和两组人工构造数据集进行数值实验并对实验结果进行了分析．

1数据预处理

文中实验部分主要采用二维样本集,通常真实数据集维数较高,本文采用主成分分析方法 (Principle Component Analysis,PCA)进行高维数据的降维处理．PCA方法是一种常用的数据降维处理技术,算法直观,应用广泛[11],具体算法如下:

设样本集X={x1,x2,…,xl},维数为k.

Step1:计算协方差矩阵C:

Step2:计算C的特征值λ和特征向量e:

Step3: 样本集降维:

Step4: 输出降维后的数据集X′:X′={z1,z2,…,zl}, 维数为m,且m个主成分累计贡献率达85%以上．

运用PCA算法可以在最大程度地保留高维数据集的内部分布特征的基础上,进行合理降维[11]．

2实验样本集

显然,如果样本集的几何分布特征基本呈圆形,经过以上函数映射到特征空间后,可被高效地分成两类,且线性可分．

为验证极坐标核的分类效果,进行数值实验．四组样本集的分布特征、维数、样本个数等见表1,样本集具体几何分布见图1、图2、图3及图4．

表1　实验样本集

采用PCA方法对高维数据集D2进行降维处理,图2为降维后的二维数据集E2的几何分布情况．

3数值实验

在Matlab环境中,分别选取极坐标核KPolar及高斯核Kgau进行分类实验．图5、图7、图9、图11为数据集采用KPolar的分类情况,图6、图8、图10、图12为数据集采用Kgau的分类情况．

图1 D1几何分布图图2 E2几何分布图

图3 D3几何分布图图4 D4几何分布图

图5 D1分类结果图(KPolar)图6 D1分类结果图(Kgau)图7 E2分类结果图(KPolar)图8 E2分类结果图(Kgau)图9 D3分类结果图(KPolar)图10 D3分类结果图(Kgau)图11 D4分类结果图(KPolar)图12 D4分类结果图(Kgau)

结合实验数据分析,采用两种核函数对数据集D1，E2进行分类,识别率均为100%,但是采用极坐标核的实验时间大大低于高斯核,效率较高．采用极坐标核对D3进行分类的识别率为100%,高斯核对应识别率为98%．不呈圆形分布的数据集D4采用高斯核分类效果更好．

4结束语

本文探讨了极坐标核在数据分类问题中的应用情况,实验结果证明采用极坐标核对类圆形分布的数据集进行分类时,识别率高,性能更佳．在类圆形样本集分类问题中,结合文中的实验结果进行核选择,可提高SVM学习方法的泛化能力,有一定的实用价值．

参考文献：

[1]VAPNIK V.The nature of statitiscal learning theory[M].New York:Spring Verlag Press,1995

[2]邓乃扬,田英杰.支持向量机理论-理论、算法与拓展[M].北京:科学出版社,2009

[3]刘绍毓,周杰,李弼程,等.基于多分类SVM-KNN的实体关系抽取方法[J].数据采集与处理,2015,30(1):202-210

[4]KRAWCZYK B,WOZNIAK M,HERRERA F.On the usefulness of one-class classifier ensembles for decomposition of multi-class problems[J].Pattern Recognition,2015,48(12):3969-3982

[5]WANG Xiaoming,CHUNG F L,WANG Shitong.Theoretical analysis for solution of support vector data description [J].Neural Networks,2011,24(4):360-369

[6]GAO S,TSANG I,W H,CHIA l T,et al.Local features are not lonely laplacian sparse coding for image classification[J].CVPR,2010,18(6):126-138

[7]CHOI Y S.Least Squares One-class support vector machine[J].Pattern Recognition Letters,2009,30(13):1236-1240

[8]张莉,周伟达,焦李成.一类新的支撑矢量机核[J].软件学报,2002,13(4):713-718

[9]刘松华.核矩阵低秩分解与核空间信息能度研究及应用[D].西安:西安电子科技大学,2011

[10]郭金玲,王文剑.一种基于数据分布的SVM核选择方法[J].华侨大学学报(自然科学版),2013,34(5):525-528

[11]COX T,COX M.Multidimensional scaling[M].London:Chapman & Hall,1994

The Study of Polar Kernel Function Application in Classification Problem

GUO Jinling

(Business College, Shanxi University, Taiyuan 030031, China)

〔Abstract〕In Support Vector Machine study, kernel function selection is hot and difficult. Aiming at the current situation of no unified rules for SVM kernel function, the paper explores polar kernel function application in classification problem, puts forward a new way to select the kernel function based on the characteristics of dataset distribution. First Analysis of the mapping principle of the polar kernel function, then dimension reduction of the high dimensional dataset were processed with Principle Component Analysis method. On the basis of determining dataset distribution, how to select the kernel function was discussed. In the matlab environment, four groups of dataset were adopted to improve the classification experiment. The experimental results illustrate that the classification recognition rate of circle datasets reaches 100% with polar kernel and the training time is the shortest. The classification effect is better than that of using gaussian kernel SVM. The method can improve the generalization ability of SVM and the scheme is practical and feasible.

〔Key words〕support vector machine; polar kernel; data classification; dimension reduction

*收稿日期：2015-12-25

作者简介：郭金玲(1982-),女,山西省长子人,硕士,山西大学商务学院讲师,主要从事机器学习与数据挖掘研究．

〔文章编号〕1672-2027(2016)01-0043-04〔中图分类号〕TP301

〔文献标识码〕A