多特征描述及局部决策融合的人脸识别

任福继，李艳秋，胡 敏，许良凤



多特征描述及局部决策融合的人脸识别

任福继1，2，李艳秋1，2，胡 敏1，2，许良凤1，2

( 1. 合肥工业大学计算机与信息学院，合肥 230009；2. 情感计算与先进智能机器安徽省重点实验室，合肥 230009 )

提出一种多特征描述及局部决策融合的人脸识别方法。首先利用独立成分分析算法构造全局互补子空间,对待测样本进行粗分类。然后利用三种不同定义的纹理描述算法构造局部互补子空间，获取粗分类难识别样本的后验概率值，最后依据其大小设置等级分数，得到待测样本在局部互补子空间上的精确分类。在ORL、Yale和FERET人脸库上的实验结果表明，本文方法能较好的描述图像特征且具有较高的识别率和较低的时间复杂度，与其他方法对比也表明了本文方法的有效性。

信号处理；多特征描述；决策融合；互补子空间；人脸识别

0 引 言

人脸识别[1-3]是近几年来一个热门的研究课题，人脸图像的描述和分类是识别的两个主要步骤。根据无免费午餐(NFL)定理，不存在某单一算法能在任何情况下都优于其他算法，因此研究图像的多特征和多分类器融合[4-6]成为当下一个主流的发展方向。利用全局和局部特征来描述人脸是目前常用的方法。全局特征主要描述和表达人脸整体属性和信息，局部特征则主要描述面部图像细节变化信息，往往反映物体的一些内在特征[7]。相比于全局特征，局部特征具有旋转、平移和光照不变性等特点，且具有较高的精度和稳定性，但直接利用局部特征进行图像匹配存在计算量大、不适合用于建立快速高效的人机交互系统等问题。局部二值模式[8-9](Local Binary Pattern，LBP)是一种被广泛应用于人脸识别领域的局部纹理描述特征，具有对光照及表情变化的鲁棒性。近年来，有不少学者对LBP算法提出改进[10-14]，它们在一定程度上都提高了算法的识别能力，但是它们均是利用邻域点与点之间的局部大小关系来描述纹理信息，而忽略同方向上像素点与中心像素点灰度值的整体关系。当存在随机噪声点或者有光照及边缘变化时，性能就会大大降低。因此，本文定义了一种新的特征提取算法：局部均值模式(Local Average Pattern，LAP)，从水平和垂直以及对角方向来描述纹理特征。考虑到LAP存在模式过多的问题，本文进一步定义了统一化的局部均值模式(Uniform Local Average Pattern，ULAP)。对称局部图形结构描述子[15](Symmetric Local Graph Structure，SLGS)是最近才被提出的一种纹理描述算法，它是MFA Abdullah在LGS[16]算法上的一种改进，不再局限环形邻域，而且利用较少的像素点来描述纹理特征，但是其仅考虑中心像素点的水平方向，并没有考虑垂直方向，而垂直方向也包括了描述纹理的众多信息，本文进一步提出了垂直-对称的局部图形结构描述子(Vertical-Symmetric Local Graph Structure，SLGS)算子，并通过实验证明其在描述纹理上的有效性。

考虑时间复杂度的问题，在分类阶段，本文首先利用独立成分分析算法(Independent Component Analysis，ICA)[17]构造全局的互补子空间完成对人脸图像的粗分类。全局互补子空间是由两种不同的算法组成，若待测样本得到相同的分类结果，则将其直接输出；若出现不一致的情况，则认为利用全局特征无法识别该待测样本，将其进一步投影到局部互补子空间上，利用ULAP、SLGS和V-SLGS组成的局部互补子空间作精确分类。本文通过对训练集采用分层交叉处理的方式构建基分类器，结合BP[18]神经网络，将待测样本的分类结果以后验概率的形式输出，通过设置等级分数，将基分类器融合后的分类结果作为最终识别结果。

1 特征提取方法及补空间的构造

1.1独立成分分析

ICA是一种基于全局的特征描述方法，其着眼于数据间的高阶统计特性，提取到的特征不仅互不相关，而且还尽可能相互统计独立。在光照、姿态等外部条件发生变化时，具有较好的鲁棒性和泛化能力，被广泛应用在人脸识别中。其模型定义为

ICA的主要目的是从混合信号中通过变换矩阵分离出相互独立的源信号：

式中：¢为的估计值，为变换矩阵。

1.2 全局互补子空间的构造

研究进一步表明，图像的独立特征没有考虑样本间的类别差异，使其在分类上性能欠佳。有学者采用在ICA基础上融合LDA的方法，考虑到有些样本点处在重叠区域或者偏离中心，文献[19]引入模糊集理论，利用FKNN算法对LDA进行改进，求得最优模糊投影矩阵，简称FLDA算法。虽然实验取得一定的效果，但由于其投影矩阵是在去除零空间后求取的，而文献[20]证明，零空间中包含有大量的鉴别信息，显然直接去除是不合理的。文献[21]提出利用ICA与DCV结合提取特征的方法，并将其应用在人脸识别中。鉴于此，本文引入DCV算法，作为FLDA的互补算法，构造全局互补子空间对人脸图像进行粗分类。若测试样本使用两种全局互补算法得到相同的分类结果，则直接输出该判别结果。若不同，我们认为需要局部互补子空间的介入来对待测样本进行精确分类。

1.3 局部互补子空间的构造

心理学和神经学的研究都表明，对人类而言，全局和局部特征对人脸的正确识别和感知都具有非常关键的作用。因此，本文利用LAP、SLGS和V-SLGS构造局部互补的特征描述空间。

1.3.1 LAP算法

与LBP不同的是，LAP不再关注中心像素点与周围邻域单个像素点的灰度值大小关系。以某一像素点为中心取相邻的8个像素组成一个局部邻域，在该邻域内分别求取3对水平方向和3对垂直方向及对角方向像素灰度值的均值，并与中心像素值进行比较，以此获得8位二进制码，每一位乘以相应的权重系数求和得到该邻域新的纹理特征，如图1所示。

图1 基本LAP算子计算

在灰度图像中，定义c是中心像素点的灰度值，g是中心像素邻域内第个采样点的灰度值。局部均值向量表示中心像素c的均值结构，其值定义如下：

，，，，

由图1中LAP算子的定义可知，与统一化的LBP(Uniform Local Binary Pattern，ULBP)类似，LAP共有28=256种二进制模式，借鉴ULBP的思想，本文进一步提出统一化的LAP(Uniform Local Average Pattern，ULAP)。将LAP的二进制模式看作一个首尾相连的环形，当其相邻两位从0到1或1到0的跳变不超过2次时，该模式被称为统一模式(共58种)，其余的归为非统一模式，统一模式和非统一模式总共59种。统计图像上统一模式和非统一模式出现的次数，获得该灰度图像的ULAP直方图特征。

1.3.2 SLGS算法

SLGS是最近才被提出的一种纹理描述算法，它有着对称的图形结构。图2给出了其算法求解过程。SLGS的中心像素点左右两侧各有三个像素点，相比于LBP算法，利用了较少的邻域像素点，且邻域半径为1和2，可以更加充分描述图像的纹理特征。

图2 SLGS算子示意图

1.3.3 V-SLGS算法

SLGS不再局限环形邻域，具有较好的纹理描述能力，但是也存在不足之处，即仅考虑待求像素点的水平方向，而忽略了垂直方向的信息，这样会导致部分特征信息丢失。针对这个问题，本文提出了垂直-对称的局部图形结构描述子，简称V-SLGS，避免了垂直方向上信息的丢失。图3给出了V-SLGS算法求解过程。

图3 V-SLGS算子示意图

从求取纹理值角度，ULAP、SLGS及V_SLGS是利用不同邻域的灰度值对所求像素点进行描述；从整体上看，不再局限于环形邻域。三者构成一种互补模式，扩展了纹理描述区域，本文将三种特征组成局部互补子空间。图4给出应用LBP、LAP、SLGS和V-SLGS算法重构的例子，使用的是ORL人脸数据库的部分图片。

2 基于局部特征决策融合的方法

当全局特征无法对待测样本进行分类时，我们将其投影到局部互补子空间上，获得描述人脸图像的局部特征，此时将不同的描述信息采用何种方式进行融合就成为识别的关键。信息融合包括三个层面：数据级融合(低层)、特征级融合(中层)和决策级融合(高层)。相比前两者，决策级融合对学习器的依赖性小，且具有较好的容错性，能够弱化信息的不完整及错误数据的影响。考虑到决策级融合的优势，本文在局部互补子空间上，首先采用分层交叉验证的方式，利用ULAP、SLGS及V-SLGS算法构建基分类器，然后结合BP神经网络，输出待分类样本属于各个类别的后验值，并根据其大小赋予等级分数，最后对所有基分类器得到的等级分数进行融合决策。

图4 不同算法提取特征重构图

输入：学习算法ULAP、SLGS及V-SLGS，训练样本集，待分类样本；

输出：待分类样本的预测类别。

1) 对于给定的训练样本数据集，采用分层交叉验证技术将其随机划分为折(每一折中包含所有的类别，且各类样本个数相同)，从中抽取-1折用于训练生成基分类器；

(a) 令=1到循环；

(c) 第个分类器上，目标属于各个类别的等级分数为；

图5 本文方法流程图

基于概率值的决策融合，往往只关注最大后验概率值对应的类别，而忽略其他后验概率值对识别的影响。本文提出的基于等级分数的决策融合充分利用各个基分类器之间的差异性，并让各个基分类器提供的全部类别信息按照一定的权值参与决策，使得最终参与决策的信息更加全面，从而获得更为精确的识别结果，如图5所示。

3 实验结果及分析

为了验证本文方法的有效性，分别在ORL、Yale和FERET人脸库上进行了相关实验。

3.1 实验数据库

ORL人脸库是由英国剑桥AT&T实验室创建，由40个不同年龄、不同性别和不同种族的对象组成，每个人有10幅不同的人脸图像，共400幅图像。Yale人脸库由165张(15个人，每人11张)人脸图像组成，主要包括光照条件、表情的变化。FERET人脸库共包含200个人，其中每人7幅图像。对于同一个人，包括不同表情、不同光照、不同头部姿势以及不同时期(相隔18个月以上)的图像。

3.2 实验结果及分析

实验1 ORL库及Yale库上，不同算法识别率的对比

实验时，随机选取每人的幅图像构成训练样本集，剩下的图像构成测试样本集。首先将人脸图像进行分块处理，在ORL库上，将人脸图像归一化为96´96大小，分成6´6块；Yale库上将人脸图像归一化为95´95大小，分成5´5块。然后对每一块分别进行LAP求取纹理直方图特征，并将其串联。本文采用Chi平方统计法计算直方图特征相似度，最后根据最近邻准则分类。对不同人脸库分别进行5次识别实验，最后取均值。实验结果如表1所示。

图6 两种算法在不同分块时的识别率对比

表1 不同算法在不同人脸库上错误率比较

实验2 不同分块时，SLGS和V-SLGS算法的识别率对比。

实验时，在ORL和Yale人脸库分别随机选取每人的5幅图像作为训练样本，FERET库上随机选取每人4幅图像作为训练样本，各自剩下的图像作为测试样本。分别选用最近邻(NN)和BP神经网络作为分类器。将人脸库中的图像分成´块，每组实验进行五次，取平均值。实验结果如图6所示。实验结果表明V-SLGS算法在人脸垂直纹理信息描述上的有效性。

表2 多决策方法的分类结果

实验3 ORL库、Yale库及FERET库上，多决策分类结果

实验时，在ORL人脸库上，随机选取每人的3~6幅图像作为训练样本，Yale库上随机选取每人4~6幅图像作为训练样本，FERET库上随机选取每人的2~3幅图像作为训练样本，各自剩下的图像作为测试样本。实验结果如表2所示。

1中的样本代表粗分类结果相同的样本，1中错分样本表示虽然分类结果相同，但是被错分的样本。从实验结果可以看出，1中的错分数较少，这说明粗分类时，较难识别的测试样本大多都被分到不同的类。以ORL库为例，当3个训练样本时，错分的样本数是13，其中8个是1中的样本，另外5个是无法被正确分类的样本。我们注意到，经过全局补空间分类时，最初有29个样本被分到不同的类，经过局部补空间分类后，有24个样本被正确分类。训练样本是4、5、6个时的情况是类似的。从实验结果来看，1中的错分样本在整体识别错误的样本中占据比较大的比例，虽然逐渐减少，但这部分样本也直接影响着最终的识别率。因此，下一步的研究方向是寻找能使得1中的错分数更加有效降低互补算法。

实验4 不同算法的识别率对比

对参与多决策的各个算法进行识别率测试，ORL和Yale人脸库均随机选每人五幅图像作为训练样本，FERET库上随机选取每人二幅图像作为训练样本，各自剩下的图像作为测试样本。实验结果如表3。

表3 各种方法的识别率比较

针对独立特征缺少分类信息，将FLDA和DCV算法作为全局互补空间对ICA求取具有鉴别能力的特征。实验结果表明，有效的提高了独立特征的识别率。将难以识别的样本投影到局部互补子空间上进一步精确分类的结果表明本文方法的有效性。在ORL和Yale库上获得的识别率明显高于其他算法，FERET库上的识别性能从整体来看要比ORL库和Yale库差一些，究其原因，FERET库训练样本过少，在利用全局互补空间进行分类时，存在一定的误识别，这在一定程度上降低整体的识别率。从实验3表2可以看出，随着训样样本的增加，FERET库上的误识别样本明显降低，本文方法在性能好坏上仍然具有一定的优势，能够达到很高的分类精度，是一种有效且鲁棒性较高的人脸识别算法。

表4 不同算法特征维数、识别时间的对比

实验5 测试集上，不同算法特征维数、识别时间的对比

ORL和Yale库随机选取每人五幅图像作为训练样本，FERET库上随机选取每人二幅图像作为训练样本，各自剩下的作为测试样本。本文提出构造了两个互补的特征提取空间，由于全局特征利用的特征较少，使其训练及分类速度较快。对于无法识别的样本利用局部特征构造的互补空间进行精细确认，此时只需测试一个相对较小的子集，而不是整个测试集，有效的节约了训练及分类时间。具体实验结果如表4。

4 结 论

本文提出了一种互补空间特征提取和局部决策融合的人脸识别方法，与目前流行的方法进行比较具有以下优越性：

1) 本文提出的“互补空间”是从不同的角度对样本进行特征提取，既考虑到人脸整体的全局性，又兼顾了人脸的局部性，使得对人脸图像特征的描述更加全面。

2) 本文提出了一种新的纹理特征描述算法LAP，利用同一方向上的均值与中心像素点的灰度值大小关系来描述纹理特征，在不同人脸库上的实验结果表明该算法的有效性。

3) 本文在进行局部多分类器融合时，避免传统方法只关注后验概率最大类别的弊端，通过设置不同的等级分数，从而获得了较高的识别准确率。

4) 本文的测试样本分为两个部分进行测试，首先利用全局特征进行快速匹配，识别出大量样本，针对少量难以识别的样本利用局部特征进行精确匹配，有效的降低系统识别时间。

参考文献：

[1] Pandya J M，Rathod D，Jadav J J. A Survey of Face Recognition approach [J]. International Journal of Engineering Research and Applications (IJERA)(S2248-9622)，2013，3(1)：632-635.

[2] CHAI Zhenhua，SUN Zhenan，Méndez-Vázquez H，. Gabor Ordinal Measures for Face Recognition [J]. IEEE Transactions on Information Forensics and Security(S1556-6013)，2014，9(1/2)：14-26.

[3] LIAO Shengcai，JAIN Anil K，LI Stan Z. Partial Face Recognition：Alignment-Free Approach [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence(S0162-8828)，2013，35(5)：1193-1205.

[4] HUANG Zhenghua，LI Wenjuan，WANG Jun，. Face recognition based on pixel-level and feature-level fusion of the top-level’s wavelet sub-bands [J]. Information Fusion(S1566-2535)，2015，22：95–104.

[5] 朱玉莲, 陈松灿. 特征采样和特征融合的子图像人脸识别方法[J]. 软件学报，2012，23(12)：3209-3220.

ZHU Yulian，CHEN Songcan.Sub-Image Method Based on Feature Sampling and Feature Fusion for Face Recognition [J].Journal of Software，2012，23(12)：3209-3220.

[6] Perez C A，Cament L A，Castillo L E. Methodological Improvement on Local Gabor Face Recognition Based on Feature Selection and Enhanced Borda Count [J]. Pattern Recognition(S0031-3203)，2011，44(4)：951-963.

[7] YAN Yan，WANG Hanzi，Suter David. Multi-subregion based correlation filter bank for robust face recognition [J]. Pattern Recognition(S0031-3203)，2014，47(11)：3487-3501.

[8] Ojala T，Pietikainen M，Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence(S0162-8828)，2002，24(7)：971-987.

[9] GUO Zhenhua，ZHANG Lei，ZHANG David. A Completed Modeling of Local Binary Pattern Operator for Texture Classification [J]. IEEE Transactions on Image Processing(S1057-7149)，2010，19(6)：1657-1663.

[10] 赵洁玉，赵鸿萍，陈曙. 自适应阈值及加权局部二值模式的人脸识别 [J]. 电子与信息学报，2014，36(6)：1327-1333.

ZHANG Jieyu，ZHAO Hongping，CHEN Shu. Face recognition based on weighted local binary pattern with adaptive threshold [J]. Journal of Electronics & Information Technology，2014，36(6)：1327-1333.

[11] Heikkila Marko，Pietikainen Matti，Schmid Cordelia. Description of interest regions with local binary patterns [J]. Pattern Recognition(S0031-3203)，2009，42(3)：425-436.

[12] TAN Xiaoyang，Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions [J]. IEEE Transactions on Image Processing(S1057-7149)，2010，19(6)：168-182.

[13] Chakraborti T，Chatterjee A. A novel binary adaptive weight GSA based feature selection for face recognition using local gradient patterns，modified census transform，and local binary patterns [J]. Engineering Applications of Artificial Intelligence(S0952-1976)，2014，33(1)：80-90.

[14] JUN Bongjin，KIM Daijin. Robust face detection using local gradient patterns and evidence accumulation [J]. Pattern Recognition(S0031-3203)，2012，45(9)：3304–3316.

[15] Abdullah M F A，Sayeed M S，Muthu K S，. Face recognition with Symmetric Local Graph Structure (SLGS) [J]. Expert Systems with Applications(S0957-4174)，2014，41(14)：6131–6137.

[16] Abusham E E A，Bashir H K. Face Recognition Using Local Graph Structure (LGS) [J]. Lecture Notes in Computer Science(S0302-9743)，2011，6762(1)：169-175.

[17] KUO Shyechorng，LIN Chengjian，LIAO Janray. 3D reconstruction and face recognition using kernel-based ICA and neural networks [J]. Expert Systems with Applications(S0957-4174)，2011，38(5)：5406–5415.

[18] LIAO B，WANG H F. The Optimization of SIFT Feature Matching Algorithm on Face Recognition Based on BP Neural Network [J]. Applied Mechanics and Materials(S1662-7482)，2015，743：359-364.

[19] 王建国，杨万扣，郑宇杰，等. 一种基于ICA和模糊LDA的特征提取方法 [J]. 模式识别与人工智能，2008，21(6)：819-823.

WANG Jianguo，YANG Wankou，ZHENG Yujie，. A feature extraction method based on ICA and fuzzy LDA [J]. PR ＆ AI，2008，21(6)：819-823.

[20] Cevikalp H，Neamtu M，Wilkes M，. Discriminative common vectors for face recognition [J]. IEEE Transactions onPattern Analysis & Machine Intelligence(S0162-8828)，2005，27(1)：4-13.

[21] 许良凤，李艳秋，胡敏，等. 基于I-DCV的人脸识别方法 [J]. 电子测量与仪器学报，2015，29(1)：106-110.

XU Liangfeng，LI Yanqiu，HU Min，. Face recognition method based on I-DCV [J]. Journal of Electronic Measurement and Instrumentation，2015，29(1)：106-110.

[22] ZHU Ningbo，TANG Ting，TANG Shi，. A sparse representation method based on kernel and virtual samples for face recognition [J]. Optik - International Journal for Light and Electron Optics(S0030-4026)，2013，124(23)：6236-6241.

Face Recognition Method Based on Multi Features Description and Local Fusion Classification Decision

REN Fuji1,2，LI Yanqiu1,2，HU Min1,2，XU Liangfeng1,2

( 1. School of Computer and Information, Hefei University of Technology, Hefei230009, China; 2. Anhui Key Laboratory of Affective Computing and Advanced Intelligent Machines, Hefei 230009, China)

A face recognition method is proposed based on multi features description and local fusion decision. Firstly, we use Independent Component Analysis (ICA) to construct the global complementary subspace to roughly classifythetest samples. Then the texture descriptor algorithms under three different definitionsare used to construct local complementary subspace to obtain the posterior probability of sample which is difficult to classify by rough classification. Finally, we get the precise classification result of test sample on the local complementary subspace through setting grade scores based on the value of the posterior probability.The experimental results on ORL, Yale and FERET face database show that the proposed method better describes characteristics of the image and has lower time complexity and higher recognition rate. Compared with other methods, it also proves its effectiveness on the face recognition.

information processing; multi features description; fusion decision; complementary space; face recognition

1003-501X(2016)09-0001-08

TP391.4

A

10.3969/j.issn.1003-501X.2016.09.001

2015-09-01；

2016-01-14

国家自然科学基金重点资助项目(61432004)；国家自然科学青年基金(61300119)；安徽省自然科学基金项目(1408085MKL16)

任福继(1959-)，男(汉族)，四川南充人。教授，主要研究方向为计算机视觉、模式识别、信号与信息处理及情感识别。E-mail：ren@is.tokushima-u.ac.jp。

李艳秋(1988-)，女(汉族)，安徽淮北人。博士研究生，主要研究方向为图像处理、模式识别、智能计算。E-mail:liyanqiu2012@163.com。