多融合协同表示的人脸识别方法

黄　伟，王晓辉

（韩山师范学院计算机与信息工程学院，广东潮州　521041）

多融合协同表示的人脸识别方法

黄伟，王晓辉

（韩山师范学院计算机与信息工程学院，广东潮州521041）

将虚拟样本和逆表示融入到协同表示中，通过约束协同系数矩阵和逆表示系数矩阵的范数同时最小化的方式充分体现协同表达与逆表达之间的关联信息，不仅在同一个目标函数体现了协同表示和逆表示，而且也能充分利用虚拟样本的有效信息.在Yale和FERET人脸数据库中的实验表明：提出的多融合协同表示方法在不同的训练样本数下均比SRC、TSPTC和CRC的正确率有大幅的提高，证明了提出方法的有效性和鲁棒性.

协同表示；逆表示；稀疏表示；虚拟样本；人脸识别

人脸识别由于广泛的应用前景及其问题的复杂性，一直是模式识别和机器视觉领域的研究重点.目前，基于重构的方法是人脸识别研究中的一个热点.基于重构的方法将训练集对测试样本的重构能力作为分类的准则.稀疏表示（Sparse Representation Classification，SRC）［1］通过l1范数的约束在训练集中找到合适的样本对测试样本进行重构.实验表明SRC不仅有优越的性能，而且对遮挡等有很强的鲁棒性.在此基础上两步方法（Two-phase Test Sample Sparse Representation，TSPTC）［2］的提出进一步提高了识别率.尽管l1范数的约束增加了计算的复杂度，但却被视为SRC性能良好表现的主要原因. Zhang经过深入分析后认为协同表示才是SRC性能优越的根本原因［3］.同时用l2范数代替l1范数的约束提出了协同表示分类器（Collaborative Representation Classification，CRC）.Xu首次提出了逆表示（Inverse Representation，IR）［4］并将其引入到人脸识别中.逆表达最大的特点在于利用测试样本对训练样本的“表达能力”来计算测试样本与各类别的训练样本间的距离.IR的提出不仅进一步提高了人脸识别的性能，而且为我们提供了解决问题的另一种思路.

尽管各种理论和方法不断被提出［5］，但人脸识别依然是一个挑战.由于光照、人脸的姿态和表情等的变化复杂，训练集中不可能包括所有变化，因此大大降低了识别率［6］.构造虚拟样本是解决这个问题的有效方法.Xu［7］等人提出的镜像虚拟样本在一定程度上扩大了训练集中对人脸姿态变化的范围，大大提高了算法的鲁棒性.本文将在协同表示的基础上，结合测试样本的镜像虚拟样本和逆表示的思想，提出多融合的协同表示人脸识别方法，进一步提高了CRC的性能和鲁棒性.

1　相关工作简介

假设人脸库中有c类，第i类有ni个样本，其中i=1,2,…,c.N=∑ic=1ni表示训练样本总数.将每个训练样本拉伸成为一个向量，并将训练集记为X=［X1,X2,…,Xi…,Xc］，其中Xi表示第i类训练样本的集合，y表示测试样本拉成的向量.

1.1稀疏表示分类器（SRC）

稀疏表示可以看成是最近邻子空间的一种扩展.SRC假设是同一类的训练样本分布在同一个子空间.基于这样的假设测试样本可以被第t类内的训练样本重构

由于测试样本y的类别未知，假如用所有类的所有训练样本来重构测试样本，式（1）可以改写为

‖∙‖0表示l0范数，指的是矢量中非零的个数.式（3）是一个NP问题，当α足够稀疏的话l0范数等价于l1范数

考虑到误差的普遍存在，式（4）应该改写为

其中ε＞0是一个给定的误差.当得到稀疏α1就能计算每一类的训练样本重构测试样本的重构误差

最后，用以下的分类准则将测试样本分类

1.2协同表示分类器（CRC）

相对于人脸变化的复杂，训练样本的缺乏一直是人脸识别性能提高的障碍.考虑到不同类人脸的相似性，Zhang等人在分析了SRC后，指出了协同表示才是SRC性能提高的关键，并由此提出了CRC算法. CRC在训练过程中将所用类所用的训练样本全部拿来重构测试样本，同时求出重构系数，然后再根据不同类的训练样本和相应的重构系数计算该类对测试样本的线性重构，最后将测试样本归类于重构误差最小的那一类中去.对于测试样本y和训练样本集X，利用线性回归的方法求得重构系数φ

对于第i类的重构误差为

1.3镜像虚拟样本

利用已有训练样本生成虚拟样本是增加训练样本数量的有效方法.考虑到人脸的对称性以及在采集人脸图像过程中人脸姿态变化的特点，将训练样本的镜像图像作为虚拟样本对训练集进行扩充，能够有效提高算法对姿态变化的鲁棒性.假设为一张p×q像素的人脸图像，其镜像虚拟样本G定义为

从式（10）可以看出，相对于原始样本，镜像虚拟样本只对行方向上的像素进行置换，置换规则是将每一行的左右对应像素值进行对调.人脸姿态的变化主要集中在左右姿态变化，镜像虚拟样本能够使训练集容纳更多左右姿态的变化，提高对测试样本的重构能力.

2　多融合协同表示的人脸识别方法

为了进一步提高CRC的识别率和鲁棒性，将逆表示和镜像虚拟样本引入到CRC中.假设y为测试样本的镜像虚拟样本，记Y=［y,y］.设计的目标函数如下其中A=［A,…,Ai,…,Ac］T∈Rc×2和B=［B1,…,Bi,…,Bc］∈R2×c为矩阵，γ1，γ2和μ为大于0的权重参数.目标函数中第一项为协同表示，利用训练集中所有的训练样本来重构测试样本，第二项为逆表示，利用测试样本及测试样本的镜像虚拟样本来重构训练样本其余三项为范数约束项.因此只需求解一个目标函数就可同时得出协同表达与逆表达，而且通过约束两个解向量的范数同时最小化的方式很好地利用了协同表达与逆表达之间的关联.

通过最小化目标函数来求得合适的协同表示系数矩阵A和逆表示系数矩阵B.由于目标函数同时存在两个未知量，因此无法同时直接求出它们的表达式.下面通过迭代的算法分别求出协同表示系数A和逆表示矩阵B.

先根据原始协同表示求出A

求出目标函数对α的偏导数

类似地，得出B后再求目标函数对α的偏导数

以此类推，经过若干次迭代后就得到稳定的协同系数矩阵和逆表示系数矩阵.

在分类过程中，先计算融合了测试样本在不同类的训练集中的协同表示和逆表示的重构误差

最后利用式（7）完成对测试样本y的分类.

3　实验结果与分析

在通用的人脸数据库Yale和FERET中对提出算法进行实验，对比的算法包括目前较前沿的基于重构的两种算法：CRC和SRC，以及CRC的改进算法TSPTC.在实验中，前t（t=1,2,…）个样本作为训练样本，其余的样本作为测试样本.参数设置如下：γ1和γ2取值0.4，μ取值0.3，迭代次数取值为5.

Yale人脸数据库包括15个类，每类11个样本，一共165个样本.主要的变化有光照变化，表情变化和戴/不戴眼镜等.图1给出了数据库中某一类的所用样本.

图1　Yale人脸数据库中某一类的所用样本

在实验过程中，取每一类的前t（t=1,2,…,6）个样本构成训练集，其余的样本作为测试.实验结果如表1所示.

表1　Yale人脸数据库识别率对比表

从表1可以看出所有的算法在Yale人脸数据库中都取得比较高的正确识别率，多融合协同表示算法在不同的训练样本中的识别率是最高的.在t=1，其它算法的识别率均相等时，本文提出的算法仍然有超过1%的提高，并且随着训练样本的增加，很快达到100%的识别率，体现了提出算法的有效性.

FERET人脸数据库包括200个类，每类7个样本，一共1 400个样本.是目前通用的检测姿态变化的人脸数据库.图2是FERET库中某一类的所用样本.

图2　FERET人脸数据库中某一类的所用样本

在实验过程中，取每一类的前t（t=1,2,…,6）个样本构成训练集，其余的样本作为测试.实验结果如表1所示.

表2　FERET人脸数据库识别率对比表

从表2可以看出，本文提出的多融合协同表示在识别率上有大幅提高.与原始CRC相比，当训练样数t≥3时，识别率提高超过10个百分点，尤其当t=3时，识别率提高了29.71%.另一方面，从表2也可以看出在姿态变化方面，SRC整体比CRC的识别率高.针对SRC的改进算法TSPTC在姿态变化方面的性能反而不如传统SRC.相比于SRC和TSPTC，本文提出的方法在不同训练样本下均表现出更高的正确识别率，证明了多融合协同表示不仅能够充分利用协同和逆表示的有效信息，而且能够有效融合镜像的虚拟样本，提高识别率.

4　结束语

人脸图像在光照、姿态和表情方面的复杂变化以及相对于人脸数据的维数而言，训练样本数量的不足是制约着人脸识别性能提高的重要因素.尽管近几十年来对人脸识别的研究不断，但训练样本的不足依然是一个巨大的挑战.本文将协同表示、逆表示和虚拟样本融合起来，不仅在一个目标函数中体现协同表示和逆表示，而且通过约束协同系数矩阵和逆表示系数矩阵的范数同时较小的方式充分体现协同表达与逆表达之间的关联信息，大幅提高了人脸识别的正确率.在未来的工作中将讨论不同虚拟样本和协同表示、逆表示的关系以及进一步改进融合的方法，进一步提高在缺乏训练样本以及复杂的光照、姿态和表情等变化的环境下的识别率和鲁棒性.

［1］WRIGHT J，YANG Y，SASTRY S S，et al.Robust face recognition via sparse representation［J］.IEEE Transactions on.Pattern Analysis and Machine Intelligence，2009，32（2）：210-227.

［2］ZHANG L，YANG M，FENG X.Sparse Representation or Collaborative Representation：Which Helps Face Recognition［C］// Computer Vision（ICCV），2011 IEEE International Conference on，2011：471-478.

［3］XU Y，ZHANG D，YANG J，et al.A two-phase test sample sparse representation method for use with face recognition［J］. IEEE Transactions on Circuits and Systems for Video Technology，2011，21（9）：1255-1262.

［4］XU Y，LI X，YANG J，et al.Integrating conventional and inverse representation for face recognition［J］.IEEE Transactions on Cybernetics，2014，44（10）：1738-1746.

［5］吴巾一，周德龙.人脸识别方法综述［J］.计算机应用研究，2009，26（9）：3205-3209.

［6］SANDFORD A，BURTON A M.Tolerance for distorted faces：Challenges to a configural processing account of familiar face recognition［J］.Cognition，2014，132（3）：262-268.

［7］XU Y，ZHU ZL，LIU G，et al.Using the original and‘symmetrical face’training samples to perform representation based two-step face recognition［J］.Pattern Recognition，2013，46（4）：1151-1158.

Multi-Fusion Collaborative Representation Method for Face Recognition

HUANG Wei，WANG Xiao-hui
（School of Computer and Information Engineering，Hanshan Normal University，Chaozhou，Guangdong，521041）

In this paper，the virtual samples and inverse representation are integrated into collaborative representation to improve the face recognition accuracy.The relation between collaborative representation and inverse representation is gotten by minimizing the norms of collaborative representation coefficients matrix and inverse representation coefficients matrix simultaneously.So the objective function not only includes the collaborative representation and inverse representation but also uses the available information of virtual samples. The experiment results on Yale and FERET face databases demonstrate the effective and feasibility of the proposed method comparing to SRC，TSPTC and CRC.

collaborative representation；inverse representation；sparse representation；virtual sample；face recognition

TP 391

A

1007-6883（2016）03-0041-05

责任编辑朱本华

2015-12-26

广东省高等学校学科与专业建设项目（项目编号：2013LY0055）；韩山师范学院2013年自然科学项目（项目编号：LY201301）；2012潮州市科技引导项目（项目编号：2012S13）.

黄伟（1978-），男，广东潮州人，韩山师范学院计算机与信息工程学院高级实验师.