基于因子分析与稀疏表示的多姿态人脸识别

张疆勤，廖海斌，李 原

1.安徽科技学院 网络中心，安徽 滁州 233100 2.武汉大学 电子信息学院，武汉 430072

基于因子分析与稀疏表示的多姿态人脸识别

张疆勤1，廖海斌2，李 原1

1.安徽科技学院 网络中心，安徽 滁州 233100 2.武汉大学 电子信息学院，武汉 430072

1 引言

人脸识别技术在安全、金融、法律、人机交互等领域具有广阔的应用前景，因此得到了研究人员的广泛关注。目前，尽管已经产生了许多自动人脸识别产品和算法，但它们无法可靠地处理真实世界中人脸的识别问题。根据美国国家标准技术局（NIST）举办的人脸识别开发商测试大会（FRVT2006）表明[1-2]：当对由同一个相机拍摄得到的相同姿势、不同表情的图像进行识别时，一些算法取得了理想的结果。在一定条件，有些技术甚至超过了人类的人脸识别能力。而在对真实世界人脸图像进行识别时，即使图像质量一致且在已知姿态、光照与表情（Pose Illumination and Expression，PIE）条件下获得，可以得到的最佳识别率也只有73%。由此可见，现有的人脸识别系统性能与人类的识别能力差距还相当大。

由上分析可知，自动人脸识别在实际应用中面临着巨大挑战，真实世界中人脸的姿态和遮挡变化是人脸识别面临最大难题之一。

多姿态人脸识别近几年研究比较多，它被称作是计算机视觉与模式识别领域尚未较好解决的重要问题之一，针对多姿态人脸识别的问题提出的方法大致可以分为三类[3]：常规方法[4-6]、二维研究方法[7-8]、三维研究方法[9-10]。常规算法主要解决由光照、表情、年龄等变化引起的问题，而对于观察视角的不同引起的人脸图像的变化研究较少。三维研究方法一般是需要从尽可能多的角度采集人脸组成人脸三维模型，并使用三维模型来构建人脸库，待识别人脸与这些三维模型逐个匹配来进行识别。三维研究方法的问题是计算量大，需要巨大存储空间，而且当前人脸库不能满足其需要，因此其走向实用化需要较长时间。二维研究方法多是寻找各个较多姿态人脸到正脸的变换关系，并将待识别人脸转成正脸来进行识别，其理论依据是同一个人不同姿态的人脸图像差异比不同人相同姿态人脸之间的差异还要大。二维研究方法与三维研究方法相比，它的优点是计算复杂度低，计算速度快，存储容量小。

由于人脸遮挡与伪装的随意性，因此它是人脸识别面临的最大问题之一。目前，针对人脸遮挡与伪装问题主要分为三类解决方法：（1）采用局部特征的方法；（2）采用人脸分块识别的方法；（3）采用稀疏表示与冗余理论的方法。局部特征主要描述人脸的细节变化[11-12]，比如面部器官的特点以及面部的一些奇异特征，用来进行精细的确认。所以这种方法即使人脸有一小部分遮挡，其影响相对全局特征来说会相应小些。但是这种方法忽略了全局轮廓信息，不利于整个识别率的提高。后来，学者们又提出分部人脸识别方法[13-14]。这种方法主要通过对人脸进行分块后，分别进行识别，最后融合各分块得出最终结果。当人脸某部分存在遮挡时，通过降低其权值的方法来达到对遮挡的鲁棒性。通过实验证明，基于分部的方法在一定程度上改善识别算法对于遮挡的适应能力。但是在他们提出的方法中，人脸分块的产生均由作者自身的经验和主观的臆断进行，而并没有提出一种较为科学的人脸划分方法；且在权值选择时，大多也是采用先验经验的方法确定，缺乏自适应性。基于稀疏表示的方法[15]（Sparse Representationbased Classification，SRC）是最近兴起的一种方法，它主要利用压缩感知理论和线性组合的思想进行有效的人脸分类。与现有多数方法相比，SRC方法直接利用了高维数据分布的稀疏性进行统计推断，可以有效地应对维数灾难问题。同时，SRC方法直接利用原始像素进行人脸识别，避免了各种预处理过程造成的信息丢失。由于SRC方法利用了数据的冗余性，因此当人脸存在部分遮挡时，利用其冗余数据仍然可以进行识别。但这种方法要求训练样本足够多，且样本间存在稠密对应关系。也就是说这种方法虽然对人脸遮挡具有很好的鲁棒性，但对人脸姿态变化很敏感。这是因为当人脸具有姿态变化时，同一个人不同姿态情况下很难对应起来，这违背线性组合的前提条件。

为了克服稀疏表示方法对人脸姿态变化表现敏感的问题，本文提出基于因子分析与稀疏表示的多姿态、遮挡人脸识别方法。通过对人脸进行因子分析，分离出人脸姿态因子，得到合成的正面虚拟人脸；然后，再利用稀疏表示方法在虚拟人脸上进行人脸分类识别。本文提出的这种方法不但能解决人脸的姿态变化问题，同时对人脸的遮挡问题也具有很好的鲁棒性。

2 因子分析模型

2.1 两因子分析

把内容和风格看作影响一个事物的两个互相独立的因素。在本文中，将正规人脸（正面，中性，光照归一化）看成是内容，而人脸的姿态、光照、表情等变化看成是风格[16]。人脸识别的任务就是根据人脸内容信息识别出不同的人，如果能将影响人脸特征的风格因素（不利因素）分离出来，并加以去除，那将有利于人脸识别。

如果人脸内容ωi具有风格δj，这个人脸样本的观测x可以表示成：其中，a表示由人脸图像所决定的内容信息，b表示由人脸图像所决定的风格信息，而 f(a，b)表示这个信息相互影响的作用函数。这里的观测可以看作原始图像。由于本文只考虑人脸姿态与遮挡变化，因此这里的b表示人脸的姿态因子，用两个简单的符号P和C来标记姿态和内容，这样有：

其中，aC是表示内容的向量，bP是表示姿态的向量。

2.2 因子训练与分离

根据前期的工作表明，在实用人脸识别中，人脸的姿态因子显著性往往比人脸的内容因子的显著性大[16]。当出现这种情况时，就必须降低xCP中姿态因子的影响，让同一内容下的风格姿态差异对xCP差异影响尽可能得小。最近Jenkins R.等人[17]在《Science》杂志上发表文章指出100%人脸自动识别方法，其中主要用到平均人脸处理方法。并且Jenkins R.等人通过PCA证明由平均脸生成的特征脸在识别中的准确率优于由训练集图像生成的特征脸。因此谭晓衡等人[18]在其专利中提出一种基于平均脸的正脸补偿算子的多姿态人脸识别方法。他们的方法主是通过统计平均的方法训练出侧脸的正脸补偿算子，对输入的侧脸加上其相应的正脸补偿算子后，使用PCA进行降维，最后使用距离度量法进行识别。这种方法简单有效，但专利中对人脸姿态具体的划分并未做详细说明，训练样本也是简单地使用了20个人，不具代表性和统计意义。且分类方法只是简单地使用基于PCA的距离法，文中也没有给出具体的识别率与参考比较。本文也将采用平均脸的统计方法进行姿态因子训练，且采用加性模型进行因子分离。姿态因子训练与分离具体实施包括如下三个过程。

（1）人脸归一化

由于本文是采用统计平均的方法，因此对归一化要求低。具体做法是：将各姿态人脸与正脸图像的人眼固定在指定的位置，并将图像缩放到相同的大小，然后对人脸图像进行直方图均衡化，去除不同光照带来的噪声影响。

（2）人脸姿态训练

从XJTU人脸库[19]中取500个人，每个人从视点数据库中取有姿态变化的19张人脸图像作为姿态训练库。部分姿态人脸训练库如图1所示。

图1 人脸姿态训练库

那么在水平偏转角度为k下的姿态因子可以表示为：

（3）姿态因子分离

由第二步得到人脸样本的姿态因子后，就可以根据其姿态减去其相对应的姿态因子，得到与人脸姿态无关的特征，即降低了人脸风格信息。称之为平均脸加性模型：

其中，y为进行姿态因子分离后的人脸特征，yPk为输入的侧脸图像，Fk为姿态因子。

3 基于稀疏表示的人脸分类

基于稀疏表示的人脸识别方法实质为线性方程组的求解问题[15]：

其中，A由全体人脸训练样本向量组成，y为待测试的人脸图像向量，x为待求的线性组合系数，‖x‖1为x的1-范数。有关稀疏表示的人脸识别方法详细介绍可以参见文献[15，20]。

稀疏表示人脸识别转化为式（7）的最小化求解问题。理论上-x1应该只与训练样本中的某一类的测试样本相关，其对应的表征系数非0，而其他类样本均为0。根据非0系数就可以对待测样本进行分类。然而，由于噪声以及建模误差会引起待测样本的部分非相关的类别表征系数出现数值很小的非0元素，给正确分类带来影响。考虑到待测样本在训练样本集合上稀疏表示是基于整体训练集合的，据此考虑将待测样本在训练样本集合上的表示系数有效性累计，以累计值最大作为判定分类的依据。因此基于稀疏表示的人脸识别为：

其中，f(·)是个特殊函数，表示将稀疏表示系数的负因子置0；δi:RN→RN是个选取函数，仅选择稀疏表示系数中第i类子空间矩阵所对应的表示系数，并且将其他置0；pi(y)是训练样本集合中第i类子空间与其对应的稀疏表示系数的有效性累计因子。

4 实验结果与分析

4.1 人脸姿态分离

实验从XJTU人脸库中取500个具有代表性的人，每个人从视点数据库中取有姿态变化的19张人脸图像作为姿态训练库。其平均脸如图2所示，其中（a）为-30°的平均侧脸，（b）为平均正脸，（c）为对应的姿态因子。人脸姿态因子分离如图3所示，从图3可以看出通过因子分离后的人脸虽然从图像表面来看不像人脸（对于电脑识别来说并不会影响其识别），但是，通过因子分离后恢复了其正脸的轮廓信息（这对识别率的提高很重要）。

图2 平均脸与姿态因子示意图

图3 人脸姿态因子分离对照图

这里需要说明的是，通过对称处理可以从感观上使输入的侧脸趋于正脸，但是对于识别率的提高并没有什么作用。因为对大多数人脸来说，从正面角度来看大致是一个左右对称的图形，而对于有偏转的侧脸，左右两边的信息是不同的。由于遮挡的作用，面向外侧的脸部信息量要多于背向外侧的信息量。如果简单地进行对称处理会去掉内侧包含的外侧没有的信息，且中间部分会出现图像像素的突变，因而会导致识别率的下降。

为了进一步显示进行因子分离后效果，分别对分离前和分离后的人脸进行1层小波变换，结果如图4所示。其中低频子带分量为图像的平滑像；高频子带分量保持了人脸的轮廓边缘信息。从图中可以看出，有偏转的图像，不管是原图像还是因子分离后的图像，其高频子带都与正面人脸的高频子带完全不同。但是，通过观察右上角和右下角的高频子带图像（因子分离后）发现其基本趋于一致；而此时左上角和左下角的高频子带图像（因子分离前）却完全相反。说明经过因子分离后，使不同偏转角度图像的轮廓边缘趋于一致，即恢复了偏转图像的正脸轮廓信息。4.2.1 基于因子分析的人脸识别实验比较

图4 小波变换

图5 实验所用的人脸库

为了验证基于因子分析的人脸识别方法对多姿态人脸的鲁棒性，设计实验比较基于因子分析+Fisherface脸法（本文方法）与Fisherface脸法、非线性方法（KFDA）进行人脸识别。其识别结果如图6所示，从图中可以看出本文方法的识别最高，当样本数小于4时，Fisher脸法与KFDA方法的识别率都低于50%。说明针对此人脸库这些方法基本失效。这是因为此人脸库具有巨大的姿态变化，选用的测试人脸故意没有选用正脸，导致测试人脸与其匹配的人脸最少相差20°，最大相差180°。由于存在大量的姿态因子的干扰，因此线性判别方法无法将不同类别的人脸分开。此时传统的方法是采用非线性的方法，把低维数据空间转换到高维空间，在高维空间进行线性判别分析。传统的非线性方法（KFDA）的识别率比Fisher脸法有所提高，但提高的识别率不是十分理想。本文采用因子分离后再进行线性判别的方法，不但简单，而且得到了不错的识别率，此时识别率为超过50%。

与此同时，从表1可以看出本文算法的识别时间与Fisher脸法相比相差无几，而非线性方法的识别时间是最多的。从以上分析可以看出基于因子分析的人脸识别方

图6 不同方法识别结果

以下实验采用分频融合的方法，即先对原图像进行姿态因子分离；然后对因子分离后的图像进行1层小波分解，在4个不同子带图像中进行基于稀疏表示的人脸分类识别，最后融合4部分的结果进行最后判别。

1.11 统计学分析 应用SPSS22.0软件对数据进行统计学分析，计量资料以（±s）表示，多组间对比采用单因素方差分析，两两对比采用q检验，P＜0.05为差异有统计学意义。

4.2 人脸分类识别

本文所用实验人脸数据为XJTU人脸库。XJTU人脸库由西安交通大学人工智能与机器人研究所创建，包括人脸视点和光照两个子库，共采集并整理了1 247位志愿者的33 669幅人脸图像。其中，每位志愿者拍摄19张视点图像和8张光照图像。从XJTU人脸库中抽取100个不同于姿态训练库的人作为人脸识别的数据库。每个人包括19张不同视点图像和3张不同光照的图像，其部分图像见图5。法在人脸具有较大外因素干扰的复杂条件下具有比传统方法更好的识别效果。

表1 不同方法识别时间 s

图7 不同方法对遮挡的实验结果

4.2.2 基于稀疏表示方法的人脸识别比较

为了验证稀疏表示（SRC）方法对分类的有效性，本节首先将基于SRC的人脸识别方法与几种经典的分类方法进行比较即，最近邻法（NN），最近子集法（NS），支持向量机（SVM）。实验时，用本文提出的因子分析方法对人脸进行姿态因子分离后再分别采用不同的分类方法进行识别，训练样本为10。识别结果如表2所示。从表中可以看出，对于本人脸库SRC的分类方法识别率最高。分析其原因，对于NN方法，测试样本的类别为距离其最近的训练样本的类别，当训练样本足够稠密，以至于测试样本可以用一个训练样本表示时，基于稀疏表示的分类方法等同于NN方法。对NS方法，测试样本的类别为距离其最近的子空间的类别，当测试样本可以用训练集中某类样本的线性组合表示时，基于稀疏表示的方法等同于NS。

表2 不同分类器的识别结果

为了进一步说明SRC方法对遮挡的鲁棒性，下面对测试图像作一些改变，对测试图像用不同大小的白色方块挡住人脸面部（如图7（a））。模拟0%到50%不同水平的连续遮挡，每个测试图像的遮挡位置是随机选择，且对计算机来说也是未知的。图7（a）是遮挡30%的图像，图7（b）为估计稀疏误差7（c）显示了4种不同分类方法对不同程度遮挡的识别率。同样地，SRC方法优于其他3种方法。当30%遮挡时，算法表现得相当好，识别率达基本不受什么影响；即便是遮挡达到40%时，其识别率也只下降10%左右，而此时其他三种方法下降50%左右的识别率。SRC方法对遮挡有如此好的错误纠正和鲁棒性的关键是合理地利用了冗余和稀疏性。

目前对于多姿态人脸识别，研究者们提出了许多解决方法。与本文相关且具代表性的有J.D.Simon等人提出的因子分析方法[21]，和最近谭晓衡提出的基于正脸补偿算子的多姿态人脸识别方法[18]。J.D.Simon等人将具有多姿态人脸的观察空间看成是由姿态无关的身份空间乘以一个姿态因子再加一个噪声项组成。通过（期望最大法）EM算法求解性线变化和噪声参数，得出每个人的身份空间。他们具体做法是采用分部的方法，对每个分部分别建立因子分析模型和求解结果，最后融合每个分部得出最终结果。为了更公平地与J.D.Simon等人提出的因子分析方法进行比较，本实验也采用分部的方法，对人脸进行分块，然后对每块进行姿态因子分离，最后融合各部分进行最终判别。

三种方法的最佳识别率见表3，可以看出在人脸无遮挡时，文献[21]的方法识别率最高，在人脸具有姿态变化20°到180°时，最佳识别率达到91.5%，本文方法次之，达到88%，文献[18]的方法最低只有75%。虽然文献[18]通过平均脸的方法训练出正脸补偿因子，但是其在分类识别时只采用了最简单的PCA+距离的分类器。所以识别率没有本文高。文献[21]的方法虽然比本文方法识别率高了3.5%，但是以复杂算法为代价。而本文通过更简单的方法达到与其相当的识别率。当人脸有20%遮挡时，其他两种方法识别率都有10%左右的下降，而本文方法却保持不变。

表3 不同方法的最佳结果比较

5 结束语

针对人脸姿态与遮挡变化问题，本文提出基于因子分析和稀疏表示的人脸识别方法。这种结合方法不但能充分发挥稀疏表示方法对人脸的噪声和遮挡的鲁棒性，还能克服其对人脸姿态变化的敏感性。与其他技术相比，本算法使用平均统计方法训练姿态因子，没有采用将人脸库中人脸组成一个大矩阵来进行训练的方法，减少了计算量。同时对人脸归一化要求低，人脸库容易选择。此外，本文使用的算法简单，通过简单的加减运算就能达到很好的识别效果，而且对各种姿态人脸进行识别都能通用。

[1]Zhao W，Chellappa R，Phillips P J，et al.Face recognition：a literature survey[J].ACM Computing Surveys，2003，35（4）：399-458.

[2]Phillips P J，Scruggs W T，O'Toole A J.FRVT 2006 and ICE 2006 large-scale experimental results[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32 （5）：831-845.

[3]Zhang Xiaozheng，Gao Yongsheng.Facerecognition across pose：a review[J].Pattern Recognition，2009，42：2876-2896.

[4]Turk M A，Pentland A P.Face recognition using eigenfaces[C]// Proceedings of the IEEE Conference on CVPR.Maui，HI：[s.n.]，1991：586-591.

[5]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces vs. Fisherfaces：recognition using class specific linear projection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[6]卢春梅，牛海军，郝琳波.消除光照和姿态变化影响的人脸识别[J].计算机工程与应用，2008，44（10）：166-168.

[7]Kahraman F，Kurt B，Gokmen M.Robust face alignment for illumination and pose invariant face recognition[C]//Proceedings of the IEEE Conference on CVPR.Minneapolis，MN：[s.n.]，2007：1-7.

[8]龚卫国，黄潇莹，李伟红.基于正弦变换的人脸姿态校正及识别研究[J].计算机工程与应用，2010，46（22）：213-216.

[9]Blanz V，Vetter T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（9）：1063-1074.

[10]Jiang D，Hu Y，Yan S，et al.Efficient 3D reconstruction for face recognition[J].Pattern Recognition，2005，38（6）：787-798.

[11]Ahonen T，Hadid A，Pietikainen M.Face recognition with localbinary pattern[C]//Proc ofthe European Confon Computer Vision.Berlin：Springer，2004：469-481.

[12]Li S Z，Hou X W，Zhang H J，et al.Learning spatially localized parts based representation[C]//Proc of the Int'l Conf on Computer Vision and Pattern Recognition.Washington：IEEE Computer Society Press，2001：207-212.

[13]Ivanov Y，Heisele B，Serre T.Using component features for face recognition[C]//Proceedings ofthe 6th International Conference on Automatic Face and Gesture Recognition. Washington，DC，USA：IEEE Computer Society，2004.

[14]Ahonen T，Hadid A，Pietikainen M.Face description with local binary patterns：application to face recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（16）：2037-2041.

[15]Wright J，Yang A Y，Ganesh A.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.

[16]廖海斌，陈庆虎，鄢煜尘.基于因子分析的实用人脸识别研究[J].电子与信息学报，2011，33（7）：1611-1616.

[17]Jenkins R，Burton A M.100%accuracy in automatic face recognition[J].Science，2008，319（25）：435-439.

[18]谭晓衡，张建慧，陈林，等.基于正脸补偿算子的多姿态人脸识别方法：中国：201010591396.3[P].2011-04-14.

[19]AI& R Institute of Artificial Intelligence and Robotics. Oriental face database[EB/OL].[2011-08-11].http：//www.aiar. xjtu.edu.cn/groups/face/Chinese/Homepage.htm.

[20]廖海斌，郝宁波，陈庆虎.基于奇异值与稀疏表示的稳健性人脸识别[J].电视技术，2010（7）：99-103.

[21]Prince S J D，Warrell J，Elder J H，et al.Tied factor analysis for face recognition across large pose differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（6）：970-984.

ZHANG Jiangqin1,LIAO Haibin2,LI Yuan1

1.Network Information Center,Anhui Science and Technology University,Chuzhou,Anhui 233100,China 2.School of Electronic Information,Wuhan University,Wuhan 430072,China

Under uncontrolled environment,one of the greatest remaining research challenges in face recognition is to recognize faces across different poses and occlusion.The face recognition method via Sparse Representation（SRC）considers that the test image can be represented as a sparse linear combination of the training images,and further use the combination coefficients for face recognition.This method is robust to face occlusion and noise,butor performance to face pose varying.The reason is that SRC requires exact alignment between each testing and training image,the variation of pose results in alignment error which is contrary to the prerequisite of the linear combination.In order to overcome of face occlusion and pose variations problem,this paper applies factor analysis to human faces to separate the face pose factors and obtain virtual frontal faces for SRC face recognition.Experimental results demonstrate that the presented algorithm possesses good robustness for the face variation of poses and occlusion.

face recognition;factor analysis;factor separation;sparse representation

在非可控环境下，人脸识别面临的最大难题之一是姿态变化与遮挡问题。基于稀疏表示的人脸识别方法将测试人脸表示成训练人脸的稀疏线性组合，根据其组合系数的稀疏性进行人脸识别。该方法对人脸的噪声和遮挡变化具有很好的鲁棒性，但对人脸的姿态变化表现力极差，这是因为当人脸具有姿态变化时，同一个人不同姿态情况下很难对应起来，这违背线性组合的前提条件。为了克服稀疏表示方法对人脸姿态变化表现力极差问题，对人脸进行因子分析，分离出人脸姿态因子，得到合成的正面人脸；利用稀疏表示进行人脸分类识别。实验结果表明，该方法对人脸的遮挡和姿态变化具有很好的鲁棒性。

人脸识别；因子分析；因子分离；稀疏表示

A

TP391.4

10.3778/j.issn.1002-8331.1210-0298

ZHANG Jiangqin,LIAO Haibin,LI Yuan.Multi-view face recognition based on factor analysis and sparse representation.Computer Engineering and Applications,2013,49（5）：154-159.

中央高校基本科研业务费专项资金资助（No.20102120103000004）；河南省重大科技攻关项目（No.072SGZS38042）。

张疆勤（1979—），女，实验师，主要研究方向为图像处理与模式识别；廖海斌（1982—），男，博士，主要研究方向为图像处理与模式识别。E-mail：liao_haibing@163.com

2012-10-29

2012-12-04

1002-8331（2013）05-0154-06