类内子流形局部间隔对齐的人脸图像判别方法

蒲晓蓉，樊 科，黄 东

(电子科技大学计算机科学与工程学院 成都 611731)

类内子流形局部间隔对齐的人脸图像判别方法

蒲晓蓉，樊 科，黄 东

(电子科技大学计算机科学与工程学院 成都 611731)

提出利用类内子流形对高维人脸图像进行判别分析的新方法，沿对齐的类间局部间隔法向扩展类内子图，获得一系列线性投影，并正交化线性投影得到一组子空间的正交基向量。使用局部相邻关系增大类间差异，并将类内结构保存到与类间间隔区域对齐的子空间中，能有效降低因人脸图像拍摄角度、姿态、光照、眼镜和性别等因素导致的数据多模态或低维流形的高曲率对识别性能的影响。在Yale Face Database B和UMIST face database上进行的实验证明，较之LPP和FDA等方法，该方法能更加可靠地保留类内和类间的子流形结构，且有更高的识别准确率。

判别分析; 人脸识别; 特征提取; 图像分类

人脸图像数据在原输入空间中具有极高的维度(常高于104)。尽管如此，图像数据中通常存在隐含的非常低维的子流形[1]。将局部信息用于高维图像数据的判别分析是目前非常重要的研究方向[2]。

传统的分析方法以主元分析(PCA)[3]和Fisher线性判别分析(FDA)[4]为代表。由于它们只关心全局的欧氏子空间结构，因此处理多模态或者非高斯分布的数据比较困难。考虑局部结构的流形学习[1]是处理上述问题的一种有效方法。流形方法可以分为线性和非线性投影方法。本文主要关注在人脸识别中适用的线性方法，该类方法可以得到明确的投影矩阵，便于计算新样本在特征空间的投影。

文献[5]提出局部保持投影(LPP)对拉普拉斯特征映射进行线性逼近。LPP用于人脸识别(laplacianface)[6]获得了优于PCA和LDA的效果。局部Fisher判别分析(LFDA)[7]有效地结合了FDA和LPP的思想，通过局部变尺度方法(local scaling method)[8]构建带权重的连通图，将类内结构分成多模态簇，而其最优投影通过同时最小化局部类内差异和最大化剩下的差异得到。间隔Fisher判别分析(MFA)[9]将LPP扩展到类内和类间子图。MFA构建一个本征图和一个惩罚图分别刻画类内的紧密性和类间的可分性。LFDA和MFA都得到了较好的识别准确率，但LFDA在子流形呈多模态的情况下非常有效，MFA更适用于子流形连通且非凸的情况。

本文提出一种新的判别方法——局部间隔对齐(LMA)。LMA的类内表示基于LPP方法；类间间隔的结构描述为一种局部化的、类似FDA的类间方差。LMA方法能沿着对齐的类间局部间隔法向扩展类内子图，并获得一系列线性投影，通过正交化线性投影能得到一组子空间的正交基向量。最终，LMA的投影可以表示为一个保留原空间尺度结构的旋转映射。LMA参考了许多已存在算法的结构保持特性，使其对多模态和非凸的子流形的判别分析都有较好的效果。

1 局部间隔对齐算法

图1 两类问题的几何结构示意图。

假设光滑的间隔区域Fb位于c类d维输入数据间，如图1b所示。对第i类数据，希望通过间隔区域获取所有类之间的差异，找到局部的方向向量能将其与其他c-1类数据尽量分开。注意到所有的类间邻居都处于c-1类的靠近第i类的边界上，因此所有的间隔区域Fb可以看作一个横跨这些局部方向的子空间。通过对齐这些局部方向可以得到该子空间，就能最大分离所有的c类数据。

另外，真实世界的图像和视频数据中，类内数据也有自身的低维结构Fw，如图1c所示。例如，人脸图像不同的姿态、光线和表情的变化都能通过基于类内邻接图的流形学习算法学习。因此允许预测新的输入数据在特征空间的位置，从而进一步提高投影的泛化能力。本文算法力求在输入数据投影到特征空间时保留类内的局部几何结构，完全不同于采用Fisher判别式最小化类内变化的传统方式。本文算法的主要思想为：(1)通过对齐类间局部间隔来最大化类间的可分性；(2)通过对齐类内结构保证类内的泛化能力。

1.1 类间局部间隔

首先，对数据点xt(t=1,2,…,n)进行局部间隔建模。不失一般性，考虑k局部线性可分的情况。

定义 如果存在线性分类器将数据点x与k个最近的类间邻居分开，则称x是k局部线性可分的。

图2 局部线性可分的几何解释

1.2 类内局部结构

1.3 线性局部间隔对齐

非线性映射可以使高维数据的潜在几何结构在可视化的低维子空间显示出来。但是，在实际使用中，尤其是聚类和图像识别等情况下，需要在输入新数据进行样本外扩展时进行全局邻居搜索。而线性投影由于具有闭合解析解，计算复杂度大大降低，所以具有相当的应用优势。

经过投影，类内邻近的一对数据在特征空间也是相互靠近的，而不同类的数据则相互分离。另外，本文算法还具有相隔较远同类数据不会被强迫靠近在一起的特性。

2 实验与讨论

为了验证本文局部间隔对齐算法的有效性，使用如图3和图4所示的Yale Face Database B[10]和UMIST face database[11]数据库与LPP、FDA、LFDA和MFA算法进行对比。

图3 Yale B数据库中的两个被试的部分样本

图4 UMIST中的某被试的部分样本

由于输入的高数据维数带来的矩阵病态，实验数据统一使用线性PCA进行预处理(选取特征值总和的前99.99%)。另外，由于局部方法的性能和选取的邻居个数有关，在实验中使用统一的邻居数k(简化起见MFA和LMA中kw=kbk)。每一个图片集被分成测试集(R)和训练集(E)两部分。以“R4Ek3”为例，表示对每一个人随机地选取4张训练图片，所有没有用于训练的图片作为测试集，邻居数k=3。分类算法使用k近邻分类器。

2.1 Yale B人脸数据集

该数据库包含10个对象的各576张图像，共计9种姿态×64种光照条件的5 760张灰度图片，图像尺寸被统一为100×100像素点。其中姿态的不连续变化使得数据潜在的子流形呈多簇，而光照的连续变化使得数据分布连通非凸。所有算法选取不同的随机训练集20次，平均识别准确度(%)比较结果见表1和表2。表1中的类根据对象标记，随机选择10人每人576张图片中的1 000张(100张/人)作为训练集，剩余的4 760张作为测试集。表2中的类根据姿态标记，随机选择的9×100张图片作为训练集，剩余的4 860作为测试集。表1和表2的实验结果表明LMA的性能优于所对比的其他算法。

表1 Yale B上识别被试身份的比较结果

表2 yaleB上识别被试姿态的比较结果

2.2 UMIST人脸数据集

该数据集包含20个对象共564张人脸图像，每个对象都包含从正面到侧面的连续姿态变化，类内结构随着训练集的增加由多模态变为连通的单模态。所有算法选取不同的随机训练集50次，平均识别准确度(%)比较结果如表3所示。随着训练集的增加，FDA和LPP的准确率与LFDA、MFA和LMA逐步接近。这是由于训练集越大，类内局部结构越趋于连通非凸而非多模态，于是LPP、LFDA、MFA和LMA的局部保持作用被减弱。另外，LFDA和MFA在投影维度较小时都有稳定的识别率。LFDA在训练集稀疏时表现优秀，而MFA更适合训练集稠密的情况。从表3可见LMA的准确率和稳定性优于所对比的算法。

表3 UMIST数据集上相关算法比较结果

3 结 论

本文提出了一种将局部信息结合进线性判别分析的局部间隔对齐算法，该方法使用局部的相邻关系来增大类间差异，并且类内结构被保存到与类间间隔区域对齐的子空间中，使得该方法比LPP、FDA、LFDA和MFA更可靠地保留了类内和类间的子流形结构。在人脸数据集上的实验证明，本文方法比相关算法有更高的识别准确率。下一步将改进算法来以解决欠采样数据或不完整的数据分类问题，拟引入自适应的邻居选择策略。

本文研究工作得到电子科技大学青年科技基金(L08010601JX0674)的资助，在此表示感谢。

[1]TENENBAUM J B, SILVA V D, LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290: 2319-2323.

[2]蒲晓蓉, 郑自明, 周 伟. 基于子空间投影的残缺人脸图像识别新算法[J]. 电子科技大学学报, 2006, 35(2):208-220.

[3]TURK M, PENTLAND A. Eigenfaces for recognition[J].Journal of Cognitive Neuroscience, 1991, 3(1): 71-86.

[4]BELHUMEUR P N, HEPANHA J P, KRIEGMAN D J.Eigenfaces vs fisherfaces: Recognition using class specific linear projection[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1997, 19(7): 711-720.

[5]HE X, NIYOGI P. Locality preserving projections[C]//Proceedings of Neural Information Processing Systerm.Vancouver, Canada: MIT Press, 2003: 153-160.

[6]HE X, YAN S, HU Y, et al. Face recognition using laplacianfaces[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2005, 27(3): 328-340.

[7]SUGIYAMA M. Dimensionality reduction of multimodal labeled data by local Fisher discriminant analysis[J]. Journal of Machine Learning Research, 2007, 8: 1027-1061.

[8]ZELNIK M L, PERONA P. Self-tuning spectral clustering[C]//Advances in Neural Information Processing Systems.Cambridge: MIT Press, 2005: 1601-1608.

[9]YAN S, XU D, ZHANG B, et al. Graph embedding and extensions: a general framework for dimensionality reduction[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2007 , 29(1): 40-51.

[10]GEORGHIADES A S, BELHUMEUR P N, KRIEGMAN D J. From few to many: Illumination cone models for face recognition under variable lighting and pose[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2001, 3(6):643-660.

[11]GRAHAM D B, ALLINSON N M. Face recognition: from theory to applications[M]. [S.l.]: Springer, 1998: 446-456.

编 辑 蒋 晓

Discriminant Analysis of Face Images by Local Margin Alignment

PU Xiao-rong, FAN Ke, and HUANG Dong

(School of Computer Science and Engineering, University of Electronic Science and Technology of China Chengdu 611731)

This paper proposes a new approach to perform the discriminant analysis on the labelled high dimensional image data with intra-class sub-manifolds. Real world images are usually taken from the different camera views. Pose, illumination, glasses and gender of the persons taking the facial images usually lead to multi-modality or high curvature of the underlying manifold structures. These variations result in the degraded performance of many existing algorithms. This paper proposes to preserve the within-class local structure, while imposing constrain on the variances only in the directions normal to the between-class margin. The experiments on Yale-B and UMIST face database show that the proposed algorithm outperforms many approaches such as LPP(locality preserving projections)and FDA (fisher discriminant analysis).

discriminant analysis; face recognition; feature extraction; image classification

TP39

A

10.3969/j.issn.1001-0548.2010.06.023

2009- 04- 15;

2010- 03- 28

国家自然科学基金 (60973070); 四川省产业技术与开发项目

蒲晓蓉(1969- )，女，博士，主要从事生物特征识别、计算智能等方面的研究.