具有最大散度无关性的局部保持投影算法

李 姝，于金刚

1(沈阳理工大学 装备工程学院，沈阳 110159) 2(中国科学院 沈阳计算技术研究所，沈阳 110168) E-mail ：lishucx@163.com

1 引 言

在复杂环境下的人脸识别中，由于受到人脸本身表情、年龄以及外部的光照等方面的影响，导致人脸图像存在许多的非线性结构.虽然经典的基于流形学习的人脸识别算法，如保持局部非线性结构不变的局部保持投影(Locality Preserving Projections，LPP)[1，2]算法，对于解决现实中的非线性问题有一定的贡献，但其忽略了人脸类间信息的价值.在实际应用中，高分辨率的人脸识别系统需要满足对于同一张人脸提取的特征具有稳定性，对于不同人脸提取的特征有差异性，因此要想达到高效的特征提取，引用类间信息是十分重要的.

本文基于LPP算法和最大散度准则(Maximum Scatter Difference Criterion，MSDC)[3，4]，提出了一种具有最大散度无关性的局部保持投影算法MULPP.该算法通过将最大散度差准则引入到LPP算法之中，即将最佳的类间信息引入到目标函数之中，使算法具有最大的类间散度和最小的类内散度，提高分类性能；并且将统计不相关的约束条件引入到算法中，通过求取最优的统计无关鉴别矢量集，能够有效地消除特征投影变换后各个特征分量之间的相关性，与此同时具有共轭正交性的鉴别矢量集，消除了特征间的冗余，更利于数据重构.此算法提高了人脸识别系统的识别性能，不需要复杂的分类器就能达到较高的识别率.

2 MSDC准则

MSDC准则是一种线性鉴别准则，其通过寻找到一个最优的变换矩阵，利用线性变换的方法，将高维空间数据集投影到低维空间，使得样本的类间散度与类内散度差最大，即不同类的样本在投影后有最大的类间距离，同类样本有最小的类内距离.另外，MSDC准则不同于Fisher鉴别准则[5]，其采用广义最大散度差作为数据集投影后类间、类内的度量标准，而不再沿用广义的Rayleigh商.

设有样本空间向量集X={x1，x2，…，xl}∈Rd，共l个类.第i类的训练样本数为Ni个，则第i类样本平均值为mi，总样本平均值为m，样本总体散度矩阵为St，样本类内散度矩阵为Sw，样本类间散度矩阵为Sb，它们定义分别为：

(1)

(2)

(3)

St=Sw+Sb

(4)

(5)

MSDC准则定义函数如下：

(6)

=maxvT(Sb-C·Sw)v

(7)

(8)

3 统计不相关最优鉴别矢量集

虽然具有局部保持投影的LPP算法成功地应用于人脸识别领域，并取得了较好的实验效果，但是通过LPP算法获得的投影特征矩阵列向量并不是两两正交的，特征间仍然有冗余性，不便于数据重构；再则，类间特征尽可能是统计无关的，这样会便于分类.鉴于此，将正交完备性概念引入鉴别矢量集是非常有意义的[6-9].

统计不相关定义：如果随机变量ξ和η满足等式(9)，则称ξ和η为统计不相关的.

E[ξ-Eξ][η-Eη]=0

(9)

已知Fisher鉴别函数为公式(10)，其中v为任一n维非零列矢量.

(10)

样本最优鉴别矢量中，我们将v1作为第一个矢量方向，第r(r≧1)个矢量方向依次为v1，v2，…，vr，则第(r+1)个最优矢量方向是vr+1，它既是令Fisher鉴别准则函数表达式达到最大值的向量，它又满足共扼正交条件式(11).

(11)

引理2. 具有统计无关性的最优鉴别矢量集的第r+l个最优鉴别方向vr+1是广义特征方程(12)中最大特征值对应的特征向量.

PkSbv=λSwv

(12)

4 MULPP算法设计

本文在LPP方法的基础上，引入了统计无关特性和最大类间信息散度准则，提出一种提出了具有最大类间散度无关性的局部保持映射算法(MULPP).本文提出的算法，可以使投影映射后的特征既保持了原有局部非线性特性，同时又保留了类别信息，在保持类内间距最小的同时，使类间间距最大.MULPP算法目标函数定义如下：

MULPP算法目标函数定义如下：

(13)

(14)

简化后的目标函数J(V)被减数部分为：

=vTMBMTv

(15)

化简目标函数J(V)的减数部分为：

(16)

=2vTXLXTv

其中，D为对角矩阵Dii=∑jWij，L=D-W是Laplacian矩阵.将2vTXLXTv这部分作为投影变换后的类内离散度量矩阵.

将(15)和(16)代入(13)得到

=maxvT(MBMT-2rXLXT)v

(17)

=maxvT(MBMT-2rXLXT)v

另外，考虑令yi和yj的特征具有统计无关性，则统计无关约束条件需要满足下列关系：

(18)

(19)

由下式可知

(20)

其中，G=I-eeT/n，e=(1，1，…，1)T为n维列向量.

已知单位矩阵的任何正交变换仍是单位矩阵.对于在统计无关空间中任意两个共轭正交向量，都可得到其相应的最优鉴别矢量，使训练样本集在它们上的投影具有统计无关性.最终，MULPP算法的最优模型表示为：

(21)

5 实验结果与分析

在AT&T和Yale两个标准人脸图像库上进行实验验证.分别测试、比较主成分分析(PCA)方法、局部保持投影(LPP)、最大散度准则(MSDC)、典型相关分析(CCA)和本文所提出的MULPP算法的识别性能.

5.1 基于AT&T人脸库实验

AT&T人脸图像库是由剑桥大学AT&T实验室创建，它又被称为ORL人脸库，相对于其他人脸图像库，AT&T人脸库是一个容量较小的人脸库，它包含有400张人脸灰度图像，其中由40个人，每人10幅人脸图像构成.所有人脸图像均为尺度10%左右、旋转20%左右、和倾斜20%左右的单一黑色背景正面图像[9].图1为某个人在AT&T人脸图像库中的10个样本图像.

图1 AT&T人脸数据库中某一人的十幅图像Fig.1 Ten images of one person in AT&T face database

样本选取，随机地从AT&T人脸库里选择某一人的5幅人脸图像作为识别的训练样本，剩余的 5幅图像为测试样本.测试样本P测试=200，训练样本P训练=200，实验采取独立训练10次，求取平均识别率的方法.样本主分量p=50.本实验的目的：测试、比较各个算法在AT&T人脸库上的表现.图2表示在不同特征维数下，各算法的识别率变化情况.

图2 各算法识别率比较Fig.2 Recognition rates of comparing various projection methods

从图2和表1可知MULPP算法在20维度时，已经达到最高识别率98.99%.相比较其他算法，MULPP算法具有很高的识别率，而且达到最高识别率所需的特征维数较低；在特

表1 各算法在AT&T库最高识别率及相应特征维数Table 1 Comparison of maximum recognition rates between methods on the AT&T database

征维数10以后，MULPP算法识别率都在96%以上一直高于其他算法.并且在特征维数20以后，MULPP算法的识别率始终稳定在98%～99%之间，表明其具有较好的稳定性.对比实验表明了，MULPP算法对于存在人的脸部细节和表情变化，及人脸图像存在旋转变化、尺度变化和倾斜变化的AT&T人脸库中的表现非常出色.其可以在较低的维数下，达到较高的识别率.

(3)0～9.8 m孔段：钻孔孔径550 mm，下入∅425 mm×8 mm表层套管9.9 m，并用强度为M10的水泥砂浆固井；

5.2 基于YALE人脸库实验

Yale的人脸图像库也是人脸识别中常用到的图像库.Yale的人脸图像库图像数据比较少，只包含15个人，共165幅人脸照片，每人拥有11张不同的表情[9].Yale人脸图像库图像有表情和光照的变换.图3是Yale人脸图像库中其中一个人的所有样本.

图3 Yale人脸图像库Fig.3 Face examples from the Yale database

实验从YALE人脸图像中15个人里，每人随机地选取5张人脸图像作训练样本，测试样本为剩余的6张图像，则训练样本总数P训练=75，测试样本总数P测试=90.采用独立训练10次，求平均识别率的方法.样本主分量数 p=50.图3表示PCA算法、CCA算法、LPP算法、MSDC算法与MULPP算法分别在Yale人脸图像库中特征维数与识别率对比.表2表示上述5类算法分别在YALE人脸图像中的又具有的最高识别率，及对应特征维数.

表2 YALE库中各算法最高识别率及对应特征维数Table 2 Comparison of maximum recognition rates between methods on the YALE database

图4 各类算法识别率比较Fig.4 Recognition rates of comparing various projection methods

从表2和图4可知：MULPP算法的最高识别率是98.67%.相比较其他算法，MULPP算法在20维度时已经到最高识别率，而其它算法的最高识别率在86.11%到92.97%之间，且需要达到较高的特征维数.在YALE人脸图像的实验中，MULPP算法的综合识别性能都优于其它算法，算法曲线图变化平稳、稳定性强.在Yale图像库实验结果表明，在人脸图像角度及方位保持不变，但存在外界光线的干扰和表情变化，及部分图像不完整情况时，MULPP算法仍然表现出很高的识别率.

6 结 论

本文提出了一种具有最大散度无关性的局部保持投影算

法.该算法采用统计不相关性的最佳鉴别矢量的计算方法，通过求取最优的降维映射矢量集，既消除了信息间的冗余，又使得投影后的异类特征保持最大的类间距离，而同类特征保持最小类内距离，从而提高算法的识别率.

本文提出的算法能够使同类特征点相互集中，异类特征点相互分离，从而形成高聚簇作用.即使在人脸图像存在表情不一、角度偏转和图像不完整的情况下，识别算法仍然能表现稳定.通过实验表明，MULPP算法具有良好的分类性能，及较高的稳定性，在低维特征空间，就达到了较高的识别率.

[1] Gupta D，Kaushik P.Face recognition using binary locality preserving projections[J].Biometrics & Bioinformatics，2014，6(5)：216-221.

[2] He X F，Yan S C,Hu Y X，et al.Face recognition using laplacianfaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(3)：328-340.

[3] Song F X，Cheng K ，Yang J Y ，et al.Maximum scatter difference，large margin linear projection and support vector machines[J].Acta Automatica Sinica，2004，30(6)：890-896.

[4] Lin Yu-sheng，Wang Jian-guo，Yang Jing-yu.A New efficient feature extraction method based on maximum scatter difference criterion[J].Computer Science，2007，34(12)：157-160.

[5] Zheng Yu-jie，Yang Jing-yu，Xu Yong，et al.A new feature extraction method based on fisher discriminant minimum criterion[J].Journal of Computer Research and Development，2006，43(7)：1201-1206.

[6] Lin Ke-zheng，Rong You-hu，Wu Di，et al.Orthogonal complete discriminant locality preserving projections of kernel[J].Pattern Recognition and Artificial Intelligence，2015,32(5)：1589-1592.

[7] Li Kun-lun，Geng Xue-fei，Cao Jing-yuan.Face recognition based on discriminant sparsity preserving projection[J].Journal of Chinese Computer Systems，2017，38(2)：376-380.

[8] Qi Yong-feng，Yang Hong-wei.A face recognition method based on sparse random projection[J].Radio Engineering，2015，45(3)：19-21.

[9] Lin Ke-zheng，Wu Di，Liu Shuai，et al.3D face recognition algorithm based on partial differential equations deformable mode[J].Computer Application Research，2015，32(9)：2827-2843.

附中文参考文献：

[4] 林宇生，王建国，杨静宇.一种新的基于最大散度差准则的特征抽取方法[J].计算机科学，2007，34(12)：157-160.

[5] 郑宇杰，杨静宇，徐 勇，等.一种基于Fisher鉴别极小准则的特征提取方法[J].计算机研究与发展，2006，43(7)：1201-1206.

[6] 林克正，荣友湖，吴 迪，等.核的正交完备鉴别局部保持投影[J].模式识别与人工智能，2015,32(5)：1589-1592.

[7] 李昆仑，耿雪菲，曹静媛.鉴别稀疏保持投影的人脸识别算法[J].小型微型计算机系统，2017，38(2)：376-380.

[8] 齐永峰，杨宏伟.一种基于稀疏随机投影的人脸识别方法[J].无线电工程，2015，45(3)：19-21.

[9] 林克正，吴 迪，刘 帅，等.基于PDE形变模型的三维人脸识别算法研究[J].计算机应用研究，2015，32(9)：2827-2843.