基于核方法的相关自适应子空间分割

洪岚，魏莱

基于核方法的相关自适应子空间分割

洪岚，魏莱

（上海海事大学信息工程学院，上海 201306）

人脸识别是模式识别研究的热门课题，有很重要的应用价值。针对在高维非线性人脸数据集的识别困难问题，提出一种基于核方法的相关自适应子空间分割方法（KCASS）。将相关自适应子空间分割（CASS）与核方法相结合，构成Kernel CASS方法。实验证明，该方法在效率上和识别效果上较之前的分类方法有进一步改善。

人脸识别；核方法；子空间分割

0 引言

人脸识别[1]是近年来模式识别的研究热点，有着广泛的应用。但人脸图像是非线性数据集，而且还是高维度小样本问题，再加上光照、表情、姿态、遮挡、化妆、发型等等的变化都使识别增加了难度。人脸识别有很多方法：稀疏表示、协同表示等。这些方法取得了很好的识别效果。本文在研究它的基础之上，发现稀疏表示的表示系数过于稀疏，协同表示的表示系数过于稠密。导致它们的识别率不最佳。CASS方法可以改进它们的缺点，CASS的表示系数兼具二者的特点。但是CASS只能用于数据集是线性分类的情况，不能作非线性分类。人脸图像是高维非线性数据集，CASS无法直接处理。核方法解决了这一个难题，本文将CASS与核方法相结合，构成Kernel CASS方法。在非线性人脸数据集的识别上取得了良好的效果。

1 相关研究

目标识别问题是给定一个训练样本集和测试样本，从给定的类别中判别测试样本的类别。这里介绍三个经典的算法：稀疏表示、协同表示、相关自适应子空间分割。

1.1 稀疏表示（Sparse Representation，SR）

稀疏表示[2]是用少数的基向量线性组合表示测试样本。稀疏表示的目标函数为：

x是测试样本，X 是训练集，X=[X1,…,Xk]∈Rd×n，Xi表示第i个人脸图像。训练集共有n个样本，都是d维的。w是系数向量，我们希望w中除了与测试样本x同类的系数外，其余系数都是0。||w||0是l0范数，但最小化l0范数是NP难的，如果系数向量w足够稀疏，最小化l0范数和最小化l1范数是等价的。所以，目标函数改为：

加上噪声ξ，SR的目标函数如下：

或者写成Lasso形式：

λ是正则化参数，用来平衡上式中的两项。

得到w后，对每一个类别的系数向量与训练集X线性组合重构出测试样本，它们的残差用ri()x表示。令残差最小的类别就判别为测试样本的类别。从而得出人脸图像的识别结果。

其中：

SR比之前的分类方法在效果上有了进一步提升，在人脸识别问题上有不错的表现，但也有它的局限性。当每个类的训练样本数量偏少时，SR的误差会比较大，增加样本数量可以解决此问题，但得到足够的样本是很困难的。CR更适合解决小样本问题。

1.2 协同表示（Collaborative Representation,CR）

CR[3]用所有类的训练样本来表示测试样本。加上噪声ξ，CR的目标函数如下：

1.3 采用迹套索的相关自适应方法（Correlation Adaptive Subspace Segmentation by Trace Lasso,CASS）

相关自适应方法CASS[4]使用迹套索||XDiag(ω)||*作为正则化参数，得到的相似度矩阵是稀疏的,也会有好的分组效应。CASS和SR、CR比，不会过分稀疏或稠密，也优于 SR、CR。

CASS目标函数为：

考虑噪声的情况下，写为：

数据不相关或高度相关时，迹套索分别会等价于l1范数或l2范数。

2 基于核方法[5]的分类方法

输入空间的数据可以通过核方法映射到高维或无限维特征空间，用于处理非线性数据集分类。人脸数据集是高维度小样本的非线性数据集，所以引入核方法和之前的方法相结合，会有更好的识别效果。

3 基于核方法的相关自适应子空间分割KCASS

受文献[6]的启发，在各种光照、表情、姿态、遮挡的人脸识别问题上，将CASS与核方法相结合，通过核方法把样本集投影到高维核特征空间，在高维核特征空间中形成新的字典，用核函数代替复杂的内积运算，达到提高人脸识别的效果。

CASS方法有效改进了SR和CR方法的不足，得到的系数矩阵既不会过分稀疏也不会过分稠密，该方法在线性数据集上取得了很好的效果。但人脸图像都是高维非线性的，CASS并不能对人脸图像有很好的识别。所以引进了核方法应用到CASS上。假设有一个人脸数据集X，已知有c个类别，共有n个训练样本。目标是给定一张人脸图像，需要判别出该图像属于哪一个人脸。

把测试人脸图像和整个人脸数据集通过非线性映射Φ映射到高维特征空间F上。

F是D维的。测试样本x可以由训练样本Φ(xi)来线性表示：

式（12）中的w=[w1,w2,…,wn]T是系数向量

CASS可以写为：

我们要通过引入核函数来解决非线性人脸识别问题，目标是解出系数向量w

设有变换矩阵P∈RD×d,可得：

式（14）改为：

投影矩阵P应该与Φ有关,P可表示为：

即：

代入（18）到（16），得：

映射Φ的具体形式不必知道，由于核函数K的计算比映射Φ容易。有如下基于核函数的降维方法：

令：

K满足Mercer定理的条件，K可以作为核函数。

由式（20）（21）得：

上式中K和K（∙,x)都是可以计算出来的，要求w得问题转化为求B。

Φ(X)的协方差矩阵为：

其中xˉ是 Φ(xu)的均值

λ和v分别是矩阵Ck的特征值和特征向量

由再生核理论可得：

定义核函数为：

由上面几个式子可得：

解出K的特征值和特征向量并分别按从大到小排序。对特征向量做归一化。

将大于提取效率p的特征向量取出构成

如果Φ(xu)开始的时候没有中心化，那么先对Φ(xu)做中心化处理。并对核矩阵做下列处理：

求出B后，通过BTK（∙,x)=BTKw可求出系数向量w。

4 实验

本节中，通过对本文提出的KCASS方法与KSR、KCR在人脸数据库上的实验来证明该方法的有效性。选用常用的ORL人脸数据库和YALE B人脸数据库来完成。实验环境为Win7系统，MATLAB R2015b，CPU：i5-5200U，内存：4G的笔记本电脑上运行。SR、CR、核函数（高斯核函数）、KPCA等都使用了已公开的代码。实验的系数不是固定不变的，根据人脸库的情况调整所得。

4.1 Yale B人脸数据库

Yale B数据库包含有2414幅共38名志愿者的人脸图像。每人约64张。主要考虑到多种光照的情况来采集图像。部分人脸图像见图1。在实验降维维度进行多个参数尝试。测试样本和训练样本各32张图像。实验运行10次。

图1

表1

图2

4.2 ORL人脸数据库

ORL收集了40个志愿者从不同角度、姿势共400张人脸图像。选择5张做测试样本，5张是训练样本。参数λ=0.001。

表2

图3

4.3 实验结果分析

从在两个人脸库的实验可看出：KCASS由于兼顾了稀疏性和分组效应，它的识别性能大部分略高于KSR，同时KCASS和KSR都是明显高于KCR的。KCASS对不同光照、不同角度的识别能力较强。

5 结语

基于核方法的相关自适应子空间分割能够有效解决非线性空间下的判别分类问题。相关自适应子空间分割采用了迹套索，能够在稀疏性和分组效应上做出平衡，更有效地做子空间分割。而核方法在解决非线性空间的问题中发挥出色。把核方法和相关自适应子空间分割相结合，在非线性数据集中的判别分类问题上有进一步优化的表现。

[1]Zhao W，Chellappa R，Phillips P，et al．Face Recognition：A Literature Survey．ACM Computing Surveys（CSUR），2003，35（4）：399-458．

[2]J.Wright,Y.I.Ma,J.Mairal,G.Sapiro,T.S.Huang,Shuicheng Yan,Sparse Representation for Computer Vision and Pattern Recognition,in:Proceedings of the IEEE，98（6），2010：1031-1104.

[3]Yang W k,Wan Z Y,Sun C Y,A Collaborative Representation Based Projections Method for Feature Extraction,Pattern Recognition 48（2015）：20-27.

[4]LU C Y,FENG J S,LIN Z C,et al.Correlation Adaptive Subspace Segmentation by Trace Lasso[C].IEEE International Conference on Computer Vision.[S.l.]:IEEE,2013:1345-1352.

[5]李航.统计学习方法[M].北京：清华大学出版社，2012（3）：115-123.

[6]L Zhang,W D Zhou,P C Chang,et al.Kernel Sparse Representation-Based Classifier.IEEE Transaction on Signal Processing.4-APRIL 2012.

Adaptive Subspace Segmentation Based on Kernel Method

HONG Lan,WEI Lai
（College of Information Engineering,Shanghai Maritime University,Shanghai 201306）

Face recognition is a hot topic in pattern recognition,and it has important application value.In order to solve the problem of high dimen⁃sional nonlinear face recognition,proposes an adaptive subspace segmentation method based on kernel method(KCASS).CASS and kernel method are combined to form the Kernel CASS method.The experimental results show that the proposed method is more efficient and effec⁃tive than the previous classification methods.

Face Recognition;Kernel Method;Subspace Segmentation

1007-1423（2017）24-0035-05

10.3969/j.issn.1007-1423.2017.24.008

洪岚（1984-），女，硕士研究生，研究方向为模式识别、机器学习

魏莱（1980-），男，副教授，博士，研究方向为模式识别、机器学习等

2017-05-08

2017-08-01