基于多尺度训练库与多特征融合的人脸识别

王 瑶，王正勇，何小海，雷 翔

(四川大学 电子信息学院 图像信息研究所，四川 成都 610064)

基于多尺度训练库与多特征融合的人脸识别

王 瑶，王正勇，何小海，雷 翔

(四川大学 电子信息学院 图像信息研究所，四川 成都 610064)

针对光照差异、表情变化、遮挡等因素造成人脸识别率低的问题，提出一种基于多尺度训练库和加权特征的鲁棒性人脸识别算法。首先根据不同大小的图片具有不同信息量的特点定义并建立多尺度训练库，然后采用RPCA方法对人脸图像进行分解，之后进行HMLBP特征和Eigenface特征提取，最后引入一个权重因子将两种特征进行加权融合，并采用基于稀疏表达的方法对人脸图像进行识别。实验结果表明，相比其他人脸识别算法，本文提出的算法对标准人脸库保持较高识别率，最高可达99%，同时对遮挡人脸库也具有较好的识别效果，鲁棒性较高。

多尺度训练库；加权特征融合；RPCA；人脸识别

人脸识别作为计算机技术领域的热点研究问题，以其自身的优越性广泛应用在图像处理、机器智能与模式识别、智能监控、身份鉴定等领域。在人脸识别过程中，由于光照条件、拍摄距离以及图像采集设备等差异影响了人脸识别的效果，导致识别率降低，给人脸识别技术带来了一定的挑战。

在人脸识别的发展中，学者们提出了许多算法。Matthew Turk和Alex Pentland[1]将主成分分析方法(Principal Component Analysis，PCA)引入人脸识别领域，提出了一种基于Eigenface的人脸识别方法[2]。Belhumeur[3]等人将PCA和线性判别分析(Linear Discrimination Analysis，LDA)相结合提出了一种基于Fisherface的人脸识别方法[4]。这些方法取得了一定的成果，但均建立在样本服从多元正态分布的假设前提下。而研究表明，人脸空间更可能存在于低维非线性流形子空间中，为了解决这个问题，研究者提出了对图像进行分类的支持向量机(SVM)方法[5]，随着分类算法的不断发展，还涌现了其他许多改进算法，如增量主成分分析(IPCA)、增量线性鉴别分析(ILDA)、增量支持向量机(ISVM)、独立主成分分析(ICA)等[6-9]。这些方法有效地解决了样本非线性的问题，但是在人脸图片光照、姿态、表情变化较大时识别性能并不十分理想。针对这一点，研究人员提出了基于压缩感知的分类方法，如Wright等人提出的基于稀疏表示分类器人脸识别(SRC)[10]。SRC方法将所有训练图像进行稀疏表示，依据压缩感知理论求出最稀疏表示，对人脸图像进行分类。SRC方法虽然很好地改善了人脸分类效果，但只是简单地将经过PCA降维获得的数据作为单一特征用作识别，且对遮挡人脸识别效果不理想。Meng Yang等人在文献[11]中提出了一种鲁棒的稀疏编码算法，该算法对遮挡人脸识别率有很大的提高，但由于权重需要经过不断的迭代计算，导致程序运行时间较长。J B Huang等人在稀疏编码时间上进行改进，在文献[12]中提出了基于原型表示的快速稀疏表示算法(FSR)，FSR方法采用K-SVD算法选取出具有代表性的样本来构造人脸超完备字典，精简了训练字典，大大提高了算法运行速度，然而识别率较原始的稀疏方法有所降低。

针对上述问题，本文提出了一种基于多尺度训练库与多特征融合的鲁棒性人脸识别算法。算法定义和建立了多尺度训练库，对不同大小的测试人脸图片进行多尺度归一化；并引入一个权重因子将分层多尺度LBP(HMLBP)[13]特征和Eigenface特征进行加权融合，有效地结合了两种特征的优势。本文对多尺度人脸图片组成的测试库以及人脸有遮挡和无遮挡情况分别进行了实验，实验结果表明，无论人脸尺度大小、有无遮挡，本文算法相比于其他人脸识别算法都具有较好的识别率，能应用于各种情况的人脸识别，具有较高的鲁棒性。

1 本文人脸识别算法

本文算法首先针对不同大小图片具有不同信息量的问题定义了多尺度训练库的概念，并基于多尺度训练库对不同大小的测试人脸图片进行多尺度归一化，然后采用鲁棒性主成分(RPCA)对人脸图像进行分解[14]，将得到的低秩部分进行HMLBP特征和Eigenface特征提取，再引入一个权重因子将特征进行加权融合，最后用基于稀疏表示的方法进行人脸识别。算法具体的实现流程如图1所示。

图1 本文算法流程

1.1 基于多尺度训练库的人脸归一化

在实际的应用中，有时会涉及到对不同大小的人脸图片进行识别，如基于视频的人脸识别。由于拍摄过程中个体与摄像头距离远近的差异，导致采集到的视频中人脸图像大小存在差异。对于不同大小的图片，图片的信息量不同，经特征提取、数据降维后保留的图片主要信息也不同。若输入的测试图片与训练库的大小不匹配，简单地将各种尺度的测试图片归一化成单一尺度，将会影响识别的准确性，这也是人脸识别研究过程中容易被忽视的一点。因此本文提出了一种多尺度训练库的概念，在多尺度训练库下对不同大小的测试图片进行多尺度归一化，对于不同大小的输入人脸图片都能获得较好的识别率。人脸训练库的匹配与多尺度归一化过程主要分为如下几个步骤：

1)预先对大小为X1×Y1,X2×Y2,…,Xn×Yn的训练人脸图片建立n种大小的图片训练库T1,T2,…,Tn。

2)将多尺度人脸训练库按从大到小的顺序排列，假设为T1>T2>…>Tn。

3)读取测试人脸图片y，设其大小为N×M。

4)设计如下规则将测试人脸图片与训练人脸库进行匹配

(1)

式中：k=N×M表示测试人脸图片大小；k1=X1×Y1，k2=X2×Y2，…，kn=Xn×Yn表示n种不同的训练人脸图片大小；G为最终匹配的人脸训练库。

5)将测试人脸y按匹配的人脸训练库G中的人脸图片大小用双线性插值算法进行归一化。

实验表明，本文提出的基于多尺度训练库的人脸归一化方法有效提高了人脸识别率，具体实现和效果将在本文的实验结果部分给出。

1.2 基于低秩分解的人脸图像预处理

在实际应用中，人脸图像往往包含光照变化、阴影、遮挡等影响，这些影响给人脸识别带来了挑战，在这些环境的影响下获得的人脸图像得到的像素矩阵往往呈现出高秩的特点。本文采用RPCA方法对人脸图像进行分解，得到反映人脸本质特征(如头发、五官等)的低秩部分和反映人脸差异(遮挡物体，如墨镜、围巾或污染等)的稀疏误差部分。

假设有K张人脸图，每一张人脸图像的大小为N×M，本文算法将每一张人脸图像的像素值按列取出，即每一张图像为一列，构成了一个(N×M)×K的矩阵D,将其表示为低秩矩阵A以及稀疏误差矩阵E两部分

D=A+E

(2)

式(2)可转化为式(3)来描述

(3)

式中：λ为权重参数，是一个正数；‖·‖*为求矩阵的核范数；‖·‖1为求矩阵的1范数。本文将式(3)描述的问题转化为求解增广的拉格朗日乘法问题[15]，如式(4)所示

l(A,E,Y)= ‖A‖*+λ‖E‖1++

(4)

式中：Y为拉格朗日乘子；μ是一个正参数；为求取矩阵a、b内积；‖·‖F为求取矩阵的F范数。图2给出了有遮挡和无遮挡人脸预处理前后的效果图，图中D为原始的人脸图片，A为经过低秩分解预处理得到的人脸图片,E为稀疏误差部分，从图中可看出经过预处理，有效去除了阴影、遮挡等影响。

图2 基于低秩分解的人脸预处理效果图

1.3 加权特征融合决策

在人脸识别领域很多研究学者提出多个分类器的组合可以更有效进行人脸分类，如Salimi-Khorshidi G等人提出多分类器识别框架[16]。通过这些领域的研究，人们发现多特征组合有望降低对分类器的复杂性要求，并提高识别率。在人脸识别领域通常采取基于全局特征和基于局部特征两种方法来进行识别，两种方法各有优劣。全局特征主要表示人脸的主要信息，对细微的变化不敏感。局部特征主要表示人脸的细节信息，对光照具有较强的鲁棒性。源于此思想，本文提出一种将HMLBP特征和Eigenface特征加权融合的方法，结合了局部特征和全局特征的优点。

1.3.1 HMLBP特征提取

传统的单尺度局部二值模式(Local Binary Patterns，LBP)[17]难以捕捉图像的细节信息特征，结合双线性插值运算圆形领域的LBP算子可以选择任意半径任意数目的邻域像素点进行编码，比单尺度的LBP特征更能表示一幅图像的信息。其编码计算公式如下

(5)

式中：gc是中心像素点的灰度值；gP是其周围相邻像素点的灰度值；P为相邻点的总个数；R为圆形邻域的半径。

为了进一步提取具有代表性的图像特征，研究者提出了“统一化模式”的概念，LBP二进制编码中包含从0到1，或从1到0转变不多于两个的模式称为统一化模式，否则为非统一化模式。本文首先对每张输入的人脸图片建立每个像素的最大半径的LBP映射，然后将像素点根据统一化和非统一化两种模式划分为两组，对统一化模式的像素点建立第一层LBP直方图，剩下的非统一化模式的像素点将邻域半径逐次减小，获取下一层统一化模式的LBP直方图。直到半径减小为1时，将所有生成的直方图混合得到HMLBP特征，其原理如图3所示。对低秩分解得到的矩阵A进行HMLBP特征提取后得到一个D1×K的特征矩阵CMHLBP,其中D1为HMLBP特征维数。

图3 HMLBP特征提取原理图

1.3.2Eigenface特征提取

本文将低秩分解得到的矩阵A用式(6)进行K-L变换

(6)

BBT×νi=λi×νi

(7)

对式(7)作如下变换

BBT×(B×νi)=λi×(B×νi)

(8)

S的特征向量B×vi即为一个Eigenface特征，对矩阵A进行Eigenface特征提取后得到一个D2×K维的特征矩阵CEigenface，D2为Eigenface特征维数。

1.3.3 加权特征融合方法

由于不同特征提取算法的优势不同，使用单一的特征进行识别无法适用于多种情况下采集得到的人脸图片，多特征间的线性加权组合通常比单特征带来更好的人脸识别效果，并且相比于其他运算规则(例如积、平均、最大、最小)能取得更好的融合效果。因此，本文设定一个权重因子ω，采用线性加权的方式来融合HMLBP特征和Eigenface特征。组合方式如式(9)所示

C=ωCHMLBP+(1-ω)CEigenface， 0≤ω≤1

(9)

式中：ω用来控制HMLBP和的Eigenface相对比重。当ω=0时，它等同于使用单一的Eigenface特征，同理当ω=1时，等同于使用HMLBP特征。加权特征融合的方法结合不同特征的优势，有效选择并保留了更具代表性的特征，取得了更好的识别效果。图4为本文多特征融合示意图，加权特征的优势将在本文实验结果部分给出证明。

图4 多特征融合示意图

2 实验结果

测试人脸图片进行加权特征融合后采用基于稀疏表示的方法进行人脸识别，为了对本文算法的有效性进行评估，在本节给出了单一尺度与多尺度训练库、不同特征以及遮挡人脸方面的实验测试，最后将本文算法与其他几种常见人脸识别算法进行了比较，验证了本文算法的有效性。

2.1 多尺度训练库的识别率测试

本文在多尺度训练库识别率测试实验中选取了ORL人脸图像库。ORL人脸图像库包括了40个不同的人的400幅图像，每人10幅不同表情、不同角度和不同脸部细节的人脸图像。在实验部分，由于不同的特征维数会导致不同的识别率，在经过大量实验测试并出于兼顾识别率和时间效率方面的考虑，将加权特征维数定为132维。ORL人脸库实验过程中随机选取每人5张图片生成训练库，预先搭建训练图片大小为89×73、67×55、44×36、22×18的4种训练库。表1给出了含有不同大小人脸图片的ORL测试人脸库在同时归一化到几种单一尺度的训练库以及按本文设计的规则归一化到多尺度训练库时的识别率。测试库1随机选取ORL人脸图片大小为89×73、67×55、44×36、22×18这4种尺度，每种5张，共800张人脸图片。测试库2随机选取ORL人脸图片大小为100×82、78×64、56×46、33×27这4种尺度，每种5张，共800张人脸图片。实验结果表明，不同大小的测试人脸图片，在多尺度训练库的匹配下，识别率最高，算法的实用性更强。

表1 不同训练库对人脸识别率的影响 %

2.2 特征权重的选取实验

不同特征权重的选取将会带来不同的人脸识别效果，图5以ORL人脸HMLBP特征维数D1=100，Eigenface特征维数D2=32为例，对特征融合的权重ω进行了讨论，对权重进行了分析，发现当HMLBP特征权重取ω=0.1且Eigenface取1-ω=0.9时识别效果最好，ORL人脸库识别率最高可达97.50%。

图5 权重ω对识别率的影响

2.3 不同特征的识别率测试

本文测试了不同的特征对人脸识别率 的影响，为了证明加权特征提取方法识别率的优势，本文对不同特征，包括下采样(采用双线性方法将图片缩放为12×11像素，即特征维数d=132)、特征脸特征、HMLBP特征以及本文提出的加权特征，对不同人脸库识别率的影响做了实验。人脸库选择ORL、AR、ExtendedYaleB、自制库(见图6)等人脸库。AR人脸库包含100个人的1 400张正面人脸图像，人均14张不同人脸表情和光照环境变化人脸图片。Extended YaleB人脸库包含了38个人在64种光照条件下的人脸图片，其中正脸图片2 414张。自制库是由四川大学图像信息研究所拍摄并用作人脸识别测试的人脸图像库，其中包含了44个人，人均10张不同表情、不同角度和不同脸部细节的人脸图片。

图6 自制图像库中部分人脸图像

表2给出了本文算法在不同的特征下对人脸识别率影响的实验测试，图7给出了ExtendedYaleB库中部分图片使用单独HMLBP、Eigenface特征以及本文提出的加权特征的识别结果，每一行为每种特征的识别结果，其中虚线框出的图片表示能正确识别。结果表明本文提出的加权特征融合方法对比于单一特征方法对人脸识别率有一定的提高。

表2 本文算法在不同特征下的识别率 %

图7 不同特征的人脸识别结果

2.4 人脸遮挡时的识别率测试

在识别遮挡人脸的实验部分，选取AR遮挡人脸库(见图8)进行测试。AR遮挡人脸库包含了100个人的1 200张正面遮挡人脸图像，人均12张人脸图片，其中包含了每人6张太阳镜遮挡和6张围巾遮挡。

图8 AR遮挡人脸图像库中部分人脸图像

在测试遮挡人脸的识别率实验中，随机选取AR无遮挡库中每人各8张人脸图片作为训练，选取AR无遮挡库中每人剩下的6张人脸图片和AR遮挡库中每人各4张遮挡人脸图片(太阳镜、围巾遮挡各2张)，即每人10张图片作为测试。从表3可以看出，与原始的稀疏人脸识别方法(SRC)和快速稀疏人脸识别方法(FSR)相比，本文提出的算法对遮挡人脸同样具有较高的识别率，算法鲁棒性更强。

表3 不同算法对AR遮挡人脸库识别结果

2.5 采用不同识别算法的识别率测试

图9中展示了本文提出的算法与PCA，LDA，IPCA，ILDA，SVM，ISVM，ICA，SRC，FSR这9种常见的人脸识别算法在不同人脸库上识别率的对比，实验结果表明，相比于其他算法，本文算法在不同人脸库上均能保持较好的识别率，体现了本文算法的优越性。

图9 不种算法对人脸识别率的影响

3 总结

人脸识别作为当今热门的身份识别技术之一，利用生物特性进行身份识别，以其较为快速、方便、准确的优点被用于许多领域，特征提取对于提高人脸识别的准确率和速率具有很大的贡献。本文根据不同大小的测试图片建立多尺度人脸图片训练库，用RPCA方法对人脸图片分解得到的低秩部分进行加权特征提取，最后采用基于稀疏表达的方法进行识别。实验结果表明，本文提出的算法相比于其他人脸算法具有较高的识别率，鲁棒性更强。本文研究虽然取得了一定成果，但是也存在一些问题需要进一步探讨研究。对于多尺度库的搭建、尺度的选取以及对于多特征融合问题，采用的具体特征以及特征的具体个数仍然需要进一步讨论。目前光照变化、夸张表情和人脸对齐等仍然是人脸识别面临的几大难题，通过预处理或是寻找更加鲁棒的分类算法是下一步研究的方向。

[1]ABDI H，WILLIAMS L J. Principal component analysis[J]. Wiley Interdisciplinary Reviews：Computational Statistics，2010，2(4)：433-459.

[2]AGARWAL M，AGRAWAL H，JAIN N，et al. Face recognition using principle component analysis， eigenface and neural network[C]//Proc. 2010 International Conference on Signal Acquisition and Processing. Bangalore，India：[s.n.]，2010：310-314.

[3]FAN Z，XU Y，ZHANG D. Local linear discriminant analysis framework using sample neighbors[J].IEEE Trans. Neu. Net.，2011，22(7)：1119-1132.

[4]MARTINEZ A.Fisherfaces[J].Scholarpedia，2011，6(2)：4282.

[5]CHANG C C，LIN C J. LIBSVM：a library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology(TIST)，2011，2(3)：27.

[6]WENG J，ZHANG Y，HWANG W S. Candid covariance-free incremental principal component analysis[J].IEEE Trans. Patt. Anal. Mach. Intell.，2003，25(8)：1034-1040.

[7]KIM T K，WONG S F，STENGER B，et al. Incremental linear discriminant analysis using sufficient spanning set approximations[J].International Journal of Computer Vision，2007，91(2)：216-232.

[8]CAUWENBERGHS G，POGGIO T. Incremental and decremental support vector machine learning[J].Advances in Neural Information Processing Systems，2001(11)：409-415.

[9]BARTLETT M S，MOVELLAN J R，SEJNOWSKI T J. Face recognition by independent component analysis[J].IEEE Trans. Neu. Net.，2002，13(6)：1450-1464.

[10]WRIGHT J，YANG A Y，GANESH A，et al. Robust face recognition via sparse representation[J].IEEE Trans. Patt. Anal. Mach. Intell.，2009，31(2)：210-227.

[11]YANG M，ZHANG L，YANG J，et al. Robust sparse coding for face recognition[EB/OL].[2014-04-10].http://wenku.baidu.com/view/1eff46bdf121dd36a32d82db.html.

[12]HUANG J B，YANG M H. Fast sparse representation with prototypes[EB/OL].[2014-04-10].http://faculty.ucmerced.edu/mhyang/cvpr10_fsr.html.

[13]GUO Z，ZHANG L，ZHANG D，et al. Hierarchical multiscale LBP for face and palmprint recognition[C]//Proc. 2010 17th IEEE International Conference on Image Processing (ICIP). [S.l.]：IEEE Press，2010：4521-4524.

[14]WRIGHT J，GANESH A，RAO S，et al. Robust principal component analysis：exact recovery of corrupted low-rank matrices via convex optimization[EB/OL].[2014-04-10].http://www.researchgate.net/publication/45849410_Robust_Principal_Component_Analysis_Exact_Recovery_of_Corrupted_Low-Rank_Matrices.

[15]LIN Z，CHEN M，MA Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices[EB/OL].[2014-04-10].http://www.researchgate.net/publication/46587364_The_Augmented_Lagrange_Multiplier_Method_for_Exact_Recovery_of_Corrupted_Low-Rank_Matrices.

[16]SALIMI K G，DOUAUD G，BECKMANN C F，et al. Automatic denoising of functional MRI data： combining independent component analysis and hierarchical fusion of classifiers[EB/OL].[2014-04-10].http://www.researchgate.net/publication/259587259_Automatic_Denoising_of_Functional_MRI_Data_Combining_Independent_Component_Analysis_and_Hierarchical_Fusion_of_Classifiers?ev=prf_cit.

[17]ZHANG G，HUANG X，LI S Z，et al. Boosting local binary pattern(LBP)-based face recognition[EB/OL].[2014-04-10].http://www.researchgate.net/publication/220849851_Boosting_Local_Binary_Pattern_(LBP)-Based_Face_Recognition.

王 瑶(1990— )，女，硕士生，主研图像处理与图像识别；

王正勇(1969— )，女，副教授，主研图像处理与模式识别、信息与信号处理；

何小海(1964— )，教授，博士生导师，主研图像处理与信息系统、机器视觉与智能系统；

雷 翔(1987— )，博士生，主研模式识别、图像处理。

责任编辑：任健男

Face Recognition by Features Fusion Based on Multiscale Training Set

WANG Yao, WANG Zhengyong, HE Xiaohai, LEI Xiang

(ImageInformationInstitute,CollegeofElectronicsandInformationEngineering,SichuanUniversity,Chengdu610064,China)

For the low face recognition rate caused by frontal views with varying expression, illumination and occlusion, an face recognition algorithm with good robustness based on multiscale training set and weighted features is proposed. Firstly, the algorithm establishes a multiscale training set according to different size of images which contains different information. Next, images are decomposed by using RPCA. Finally, the HMLBP features and the Eigenface features are weighted combined for face recognition based on sparse representation. Experiments show that, compared with other algorithms, the proposed algorithm has a high recognition rate which can be 99% and has high robustness whatever it is based on common face database or occluded faces.

multiscale training set; weighted features combination; RPCA; face recognition

国家自然科学基金委员会和中国工程物理研究院联合基金资助项目(11176018)；国家自然科学基金项目(61071161)

TP391

A

10.16280/j.videoe.2015.01.031

2014-06-20

【本文献信息】王瑶，王正勇，何小海,等.基于多尺度训练库与多特征融合的人脸识别[J].电视技术,2015，39(1).