基于低秩表示中稀疏误差的可变光照和局部遮挡人脸识别*

杨国亮，丰义琴，鲁海荣

(江西理工大学电气工程与自动化学院，江西 赣州 341000)

基于低秩表示中稀疏误差的可变光照和局部遮挡人脸识别*

杨国亮，丰义琴，鲁海荣

(江西理工大学电气工程与自动化学院，江西 赣州 341000)

可变光照和有遮挡人脸识别是人脸识别问题中的一个难点。受到鲁棒主成分分析法(RPCA)和稀疏表示分类法(SRC)的启发，提出一种基于低秩表示(LRR)中稀疏误差图像的可变光照有遮挡人脸识别算法。在训练阶段，利用LRR计算每类人脸低秩数据矩阵，在此基础上求解每类人脸图像低秩映射矩阵，通过各类低秩映射矩阵将未知人脸图像投影得到每类下的低秩数据矩阵和稀疏误差矩阵，为了有效提取稀疏误差图像中的鉴别信息，分别对稀疏误差图像进行边缘检测和平滑度分析，设计了基于两者加权和的类别判据。在Extended Yale B和AR两个数据库上进行了详细的实验分析，实验结果与其它算法相比较有明显提高，证实了所提算法的有效性和鲁棒性。

低秩表示；低秩映射；稀疏误差图；人脸识别

1 引言

由于受到光照和局部遮挡等因子的影响，传统的人脸识别方法受到实用性的考验。最近几年已经有很多的专家学者开始致力于带光照变化以及局部遮挡的人脸识别研究。主成分分析法PCA(Principal Component Analysis)是将高维数据提取主要特征后实现有效降维。PCA方法对于数据中幅值小的噪声具有较好的鲁棒性，当噪声幅值较大时，算法性能严重下降。Candès E[1]和Wright J[2]提出的鲁棒主成分分析法RPCA(Robust Principal Component Analysis)对具有较大幅值的稀疏误差具有较好的恢复效果，RPCA方法是将数据矩阵分解成低秩矩阵和稀疏噪声两部分，在数据受到较大污染的情况下也能在一定程度上比较好地实现低秩矩阵恢复，具有较强的鲁棒性，因而受到机器视觉领域的广泛关注。

Wright J等人[3]在2009年提出基于Lasso回归的稀疏表示分类器方法SRC(Sparse Represenlation_based Classificaton)。SRC是将人脸识别问题看作是多元线性回归模型中的分类问题，将测试的人脸图像表示成所有训练图像的线性组合，然后利用重构样本和测试样本间的残差来判断测试样本所属的类别。针对SRC对连续遮挡情况下的鲁棒性减弱问题，Naseem I等人[4]提出了线性回归分类器方法LRC(Linear Regression Classification)。LRC是将人脸识别问题看作线性回归问题，对于每一类的所有训练样本都采用最小二乘估计，然后对测试图像进行拟合。该方法充分考虑了残差图像的稀疏特性，此外，SRC和LRC在处理人脸光照问题上具有较好的效果。

受到RPCA和SRC及LRC方法的启发，本文采用最新的低秩表示模型LRR(Low Rank Representation)将数据矩阵分解为低秩数据矩阵和稀疏噪声两部分，与RPCA不同的是，LRR[5,6]是假设对于某个字典，数据集的表示系数是低秩的，旨在寻求数据矩阵的最低秩表示。本文使用LRR对每一类的训练样本进行分解，得到低秩矩阵与稀疏矩阵和的形式。由于遮挡部分在误差图像中特征比较显著，使得稀疏误差图像不仅包含了类内信息，而且包含了类间信息，其中类间信息对分类起着关键作用。为了避免对每个测试样本都进行LRR分解，本文先利用LRR模型计算每类的低秩映射矩阵，即通过LRR模型对每类样本分别计算其低秩数据矩阵，建立每类原始样本与低秩数据样本之间的低秩映射关系(低秩映射矩阵)；然后将测试样本在每类低秩映射矩阵下进行投影，从而可以得到一系列稀疏误差图像。为了充分提取稀疏误差图的鉴别信息，使用边缘检测刻画稀疏误差图像的局部边缘信息，同时使用平滑度分析方法获取整体误差图像的全局梯度信息，采用边缘信息和平滑度信息的加权和对人脸图像进行分类。

2 基于稀疏误差图像的可变光照和局部遮挡人脸识别算法

针对可变光照和有遮挡人脸识别问题，借鉴低秩建模理论，本文提出了一种基于低秩表示模型中稀疏误差图像的鲁棒人脸识别算法，其主要步骤为：(1)对每类训练人脸利用LRR模型计算低秩数据矩阵，建立低秩数据矩阵与原始训练样本之间的低秩映射关系，得到每类人脸图像的低秩映射矩阵；(2)利用各类低秩投影矩阵计算测试样本对应的低秩数据矩阵，进而得到测试样本对应的稀疏误差图像；(3)对稀疏误差图像进行边缘检测和平滑度分析，提取稀疏误差图像中的鉴别信息；(4)采用边缘信息与平滑度信息加权和作为人脸识别依据。具体的算法框架如图1所示。

Figure 1 Framework of the proposed method

2.1 低秩表示

对训练样本数据集X=[x1,x2,…,xn]∈Rd×n，构造一个字典A=[a1,a2,…,am]∈Rd×m，使得X=AZ,其中Z是表示系数矩阵，Z=[z1,z2,…,zn]。一般情况下字典A都是过完备的，这就使得Z有很多个解，而低秩表示的目的则是为了寻找其最低秩解，即寻找一个最低秩的Z。一般地，为了简化模型结构，多选用数据矩阵本身来构造字典。问题转化为如下模型的求解：

s.t. X=XZ

(1)

由于直接求解矩阵的秩是一个NP难问题，Candès E等人[1]提出使用核范数替代矩阵的秩，并证实了该方法的有效性。因此，问题(1)可以转变成如下凸优化问题：

s.t. X=XZ

(2)

s.t. X=XZ+E

(3)

s.t. X=XZ+E

(4)

对于问题(4)的求解，文献[8]详述了比较多的求解算法，本文采用非精确增广拉格朗日乘子法IALM(Inexact Augmented Lagrange Multiplier)。为降低模型计算难度，参照文献[9,10],引入辅助变量J，模型转化为：

s.t. X=XZ+E,Z=J

(5)

其所构建的增广拉格朗日函数如下:

(6)

(7)

(8)

(I+XTX)-1(XTX-XTEk+1+Jk+1+

(XTY1,k-Y2,k)/μk)

(9)

使用IALM法分别对拉格朗日函数中的每个变量进行交替迭代寻优，具体实现步骤如算法1所示。

算法1使用IALM算法求解低秩表示模型

输入：数据矩阵X∈Rd×n，参数λ;

输出：Z*，E*。

初始化：Z0=J0=E0=0，Y1,0=Y2,0=0,μ0=10-6,μmax=1030,ρ=1.1,ε=10-8；

3.更新Z: Zk+1=(I+XTX)-1(XTX-XTEk+1+Jk+1+(XTY1,k-Y2,k)/μk);

4.更新乘子Y1,Y2:Y1,k+1=Y1,k+μk(X-XZk+1-Ek+1),Y2,k+1=Y2,k+μk(Zk+1-Jk+1);

5.更新μ：μk+1=min(ρμk,μmax) ;

6.更新k：k←k+1;

End while

2.2 低秩映射矩阵

对于任意输入的一张测试图片，无法判定其具体所属的类别，又由于遮挡部分在误差图像中特征显著，为了获得实用有效的稀疏误差图，在对每一类的训练样本数据进行LRR模型求解获取低秩数据矩阵后，在训练样本数据与低秩数据之间建立低秩映射。获取低秩映射矩阵的过程是一个离线的过程，这样，在对人脸的测试过程中，只需要将测试人脸图像在每一类的低秩映射矩阵上进行映射，再与原图作差即可获得相应的稀疏误差图像，在一定程度上减少了计算复杂度，节约了测试时间。

关于低秩映射矩阵P的获取，算法描述为：假定有一个训练样本X=[X1,X2,…,XN]∈RM×L，M=m×n为每一张训练图像的大小，N为训练的所有类别数,L为整个训练样本中图像的总数。对于第i类训练样本数据Xi,i∈(1,N)，根据算法1求解低秩表示模型，获得对应的一组(Zi,Ei)，从而计算出该类训练样本数据的低秩部分数据矩阵Yi=XiZi，为了计算实际测试人脸图像在每类上对应的低秩数据矩阵，必须通过X和Y对低秩映射矩阵P进行学习。对于每一类(Xi,Yi),可以找到一个潜在的低秩映射矩阵Pi，使得PiXi=Yi。对于低秩映射矩阵Pi的求解可以转化为模型(10)的优化问题：

s.t. Yi=PiXi

(10)

对问题(10)进行凸优化，转化成对问题(11)的求解：

s.t. Yi=PiXi

(11)

算法2基于低秩表示求解低秩映射

输入：第i类训练样本数据Xi,i∈(1,N);

1.求解LRR模型，获取低秩表示Zi;

2.计算低秩数据矩阵Yi：Yi=XiZi;

3.构建低秩映射关系：PiXi=Yi;

2.3 稀疏误差图分析

本文算法中，在训练部分对每一类的训练样本数据使用算法2获得其对应低秩映射矩阵Pi。在测试部分，数据库中任意给定的一张测试图片y，都可以通过Pi在第i类训练样本上获得相应的低秩数据图，然后将测试样本与低秩数据图作差便可获得稀疏误差图，即对于每一个输入的测试样本将通过低秩映射矩阵P产生与总类别数相同的稀疏误差图。

为了更好地提取稀疏误差图的类别信息，首先想到的是使用基于Sobel算子的边缘检测来刻画，然而边缘检测方法只能获取稀疏误差图的局部边缘信息，缺乏对全局信息的提取，进而加入对误差图求导的平滑度分析方法，从梯度的角度获取误差图全局梯度信息。本文在3.1节和3.3节分别进行了只提取边缘信息和同时提取边缘与平滑度信息作为鉴别信息并进行了实验分析。

图2为同一张测试图像在不同的类上所获取的稀疏误差图，以及对应的平滑度图和边缘信息图，图2b～图2d中的第一张图分别为正确类产生的稀疏误差图、边缘信息图以及平滑度图。

Figure 2 Images of a test sample

从图2c中可以直观地了解到，在正确类所对应的边缘信息图中的边缘线明显比非正确类的边缘线少；在图2d中可以看出，正确类对应的平滑度图表现得更加平滑。无论是平滑度图还是边缘信息图都显示，正确类对应的稀疏误差图与非正确类对应的稀疏误差图存在明显区别，这些信息刻画了样本的类间差异，可以作为分类的判断依据。

为了更好地进行描述，定义两个描述子：平滑度描述子Dsmooth和边缘信息描述子Dedge。

(12)

其中，ex和ey分别表示稀疏误差图像在x方向和y方向上的梯度，BW为稀疏误差图像的边缘检测后的二值图像。

选择对围巾遮挡下的不同稀疏误差图分别进行边缘信息和平滑度实验比较分析。分别计算测试图像在不同类别上所产生的稀疏误差图的平滑度值和边缘信息值，并将其归一化为0～1,实验结果如图3所示。

Figure 3 Extracted information from sparse error images of different face categories with scarf

图3中，被标记点对应的是测试样本所属正确类别。也就是说，在同一类别上所获得的稀疏误差图的平滑度值和边缘信息值都为最小。结合这一特征，本文采用平滑度信息与边缘信息的加权和作为判别依据，即：

(13)

由此，判别准则为：

(14)

其中，α∈(0,1)，为平滑度信息与边缘信息之间的权衡系数。

综合所有的因素，本文提出了基于稀疏误差图像的人脸识别算法，具体实现步骤如算法3所示。

算法3基于稀疏误差图像的人脸识别算法

输入：训练样本集X=[X1,X2,…,XN]∈RM×N，测试样本y∈RM;

输出：测试样本类别Subject(y)。

1.For i=1:N

根据算法1，获取低秩表示Zi;

根据算法2，求解低秩映射矩阵Pi;

End

2.求解y在Pi上的低秩映射数据矩阵Piy，i=1,2,…,N;

4.根据式(12)，计算ei的平滑度Dsmooth和边缘信息Dedge;

3 实验结果及分析

本文选用Extended Yale B和AR两个数据库对算法进行有效性验证。实验主要硬件环境：Intel Pentium(R) E5500双核处理器，主频2.80 GHz，内存2.00 GB，WindowsXP操作系统；软件环境：Matlab R2010a。实验分三部分进行，首先在带光照变化的Extended Yale B数据库上对算法进行光照变化测试；然后再进行不同光照情况下的人为遮挡人脸识别测试；最后在具有光照变化和轻微表情变化条件下带有持续遮挡的AR数据库上进行真实遮挡测试。为了充分说明本文算法的有效性，将算法与传统的LPP(Locality Preserving Projections)+NN(Nearest Neighbors)和NPE(Neighborhood Preserving Embedding)+NN，以及最近比较流行的SRC(Sparse Representation-based Classification)和LRC(Linear Regression-based Classification)四种算法进行比较。

3.1 变化光照下的人脸识别

这一部分实验在Extended Yale B数据库上进行，该数据库中包含38个人(即38类)，每人64幅不同光照条件下的正面人脸图像。为了充分证实算法处理变化光照的有效性，根据文献[13]，将每个人的所有图像按照光照影响程度分成五个子集，从子集1到子集5光照影响程度逐步变强，每个子集分别含有7、12、12、14、19幅正面人脸图。各子集部分图像如图4所示。

Figure 4 Images of the 5 subsets divided from the Extended Yale B

将子集1作为训练样本，其他四个子集分别作为测试样本，进行不同光照影响下的识别测试。本文算法与NPE+NN和LPP+NN以及SRC和LRC算法进行实验比较，表1显示的是实验测试结果。

Table 1 Recognition rates of different methods with various illuminations表1 不同光照影响下的人脸识别率 %

从表1中可以获知，在光照影响不是很大的子集2和子集3上，几种算法的识别率都很高；随着光照影响程度的加强，Our_method_edge算法在不同光照下所表现出的识别率明显低于Our_method_weighted算法，证实了边缘检测算法对光照的敏感性，同时也证实了本文对误差图采用边缘检测与梯度求导进行加权分析的正确性；在子集4上，本文加权算法依然比较稳定，识别率为91.35%，比较多地超出其他几种算法。不过在子集5的测试中，所有算法的识别率都严重下降，相对而言，SRC、LRC和本文算法的识别率表现了优势。实验结果证实了对误差图进行分析的正确性和可靠性。然而在光照影响较大的情况下，误差图的几何特征变得十分模糊，所以识别率较低。

3.2 变化光照下的人为遮挡人脸识别

针对本文加权算法Our_method_weighted，为测试其在具有不同光照影响下不同物体遮挡的人脸识别情况，分别在具有不同光照程度的子集2和子集3上进行测试，并给测试人脸图像添加不同形式的遮挡，遮挡覆盖面积从10%到90%。实验中分别给图像添加随机噪声、狒狒脸和黑块。图5为测试人脸图像分别添加30%不同形式遮挡后的效果图。

Figure 5 Effect of adding 30% of different occlusion to a test image

将子集1作为训练样本，分别在具有光照变化比较明显的子集2和子集3上进行遮挡测试。本文加权算法Our_method_weighted的测试结果如表2所示。

Table 2 Face recognition rates of our method weighted on different subsets with different occlusion表2 Our_method_weighted算法在不同光照影响下不同遮挡物人脸识别率 %

测试结果分析如下：(1)对随机噪声的遮挡，本文算法具有非常好的识别效果，表现了稳定性和极好的鲁棒性，在噪声覆盖达60%时，子集2和子集3上的识别率都可以超过96%，并且，在覆盖率90%的情况下，在子集2上依然保证有70.18%的识别率，而在光照影响更大的子集3上也有高达62.72%的识别率。(2)针对块状遮挡，也取得了比较好的识别效果。狒狒脸遮挡时，在子集2上，50%的遮挡面积下依然可以保证100%的识别率，同等情况下子集3上的识别率也可达95.18%，此外，在遮挡高达70%时，子集2上的遮挡识别率有75.44%，子集3上的识别率为42.76%，具有实际使用价值。(3)针对黑块遮挡，在遮挡面积不高于50%时，识别效果比较稳定，然而在遮挡60%时，识别率陡降，因为黑块不具有纹理，难于刻画其特征，从而使得识别难度陡增。

3.3 光照变化下真实遮挡人脸识别

这一部分实验在AR数据库上进行。AR数据库中包含100个人(50个男人，50个女人)，每人26张不同时间、不同表情、不同光照条件下的带遮挡图像。AR数据库中的部分人脸图像如图6所示。

Figure 6 Some images from a subset on AR

实验中，选用AR库中的100个人(即100类)进行训练与测试。每一类中，选择八幅正常状态下的人脸图像作为训练样本集，六幅有围巾遮挡的人脸图像作为测试集1，六幅戴太阳镜的人脸图作为测试2。

Table 3 Recognition rates of different methods on AR表3 AR数据库上各种算法的识别率 %

从表3可以比较明显地看出，本文提出的算法取得了比其他几种算法更好的识别效果，并且从中能够认识到：(1)从算法本身的性质分析，NPE、LPP都是基于局部结构信息的保持，在实验中遮挡实验无论是墨镜还是围巾遮挡所表现的识别率都不理想，鲁棒性不强；SRC、LRC则是从遮挡物图像对全局数据造成的影响出发，挖掘其特征，这两种方法在整体上对遮挡实验的识别率有了比较显著的提高；而本文提出的基于低秩表示的低秩映射方法则是在保持全局结构信息的基础上最大化地寻求局部结构信息，因而能够更加准确地识别出人脸图像所属类别。(2)同等条件下，SRC、LRC算法以及本文算法对墨镜遮挡图像识别率远远高于对围巾遮挡图像的识别率，因为围巾遮挡部分面积明显高于墨镜遮挡所占面积。(3)本文算法在只对稀疏误差图采用边缘检测时，识别率明显低于边缘检测信息与平滑度信息加权处理的识别率，因为边缘检测属于局部上提取边缘信息，平滑度分析则是从整个图像的梯度角度出发，二者相结合更能反映误差图像的结构信息。(4)与3.2节相比，本节实验的识别率有所降低，尤其在围巾遮挡时表现得更为显著。主要原因有：一为本节实验数据中围巾遮挡大概为40%，墨镜遮挡大概为20%，且实验数据除了受光照影响较大外，还包含了表情的变化，给实验结果带来了一定的干扰；二为本节所用的AR数据库中类别数为100类，而3.2节所用的Extended Yale B中样本类别数为38类，对识别率具有一定影响。

4 结束语

由于受到变化光照和局部遮挡等因子的影响，传统的人脸识别方法受到实用性的考验。因此，针对变化光照和局部遮挡的人脸识别问题，本文提出了基于低秩表示的稀疏误差人脸识别算法。使用低秩表示模型将每一类训练样本数据都分解为低秩矩阵与稀疏矩阵和的形式并求取各类低秩映射矩阵，再利用低秩映射矩阵对测试的人脸图像进行投影，获取稀疏误差图，为了提取稀疏误差图中包含的全局与局部鉴别信息，分别对稀疏误差图进行边缘信息计算和平滑度分析，采用两者加权和作为人脸图像判断依据。在Extended Yale B和AR两个数据库上的实验结果显示了本文算法比其他算法具有更高的识别率，证实了算法的有效性和鲁棒性。此外，针对光照变化明显，遮挡面积较大的人脸识别，本文算法依旧表现出了很好的稳定性，具有较好的实际应用价值。

[1] Candès E,Li X D,Ma Y,et al. Robust principal component analysis[J]. Journal of the ACM, 2011,58(3):11,Article.

[2] Wright J,Ganesh A,Rao S,et al. Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization[C]∥Proc of Neural Information Processing Systems (NIPS),2009:1.

[3] Wright J,Ma Y,Mairal J,et al. Sparse representation for computer vision and pattern recognition[C]∥Proc of IEEE,2009:1031-1044.

[4] Naseem I, Togneri R, Bennamoun M. Linear regression for face recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32 (11): 2106-2112.

[5] Liu G,Lin Z,Yu Y. Robust subspace segmentation by low-rank representation[C]∥Proc of the International Conference on Machine Learning,2010.

[6] Liu G, Lin Z, Yan S, et al. Robust recovery of subspace structures by low-rank representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1): 171-184.

[7] Recht B，Fazel M，Parrilo P A. Guarantee minimum-rank solutions of linear matrix equations via nuclear norm minimization [J]．SIAM Review，2010，52(3): 471-501.

[8] Lin Z,Chen M,Ma Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices [J]. arXiv preprint arXiv: 1009. 5055,2010.

[9] Lin Z,Liu R,Su Z. Linearized alternating direction method with adaptive penalty for low rank representation[C]∥Proc of NIPS, 2011:1.

[10] Shi Jia-rong, Zheng Xiu-yun, Wei Zong-tian, et al. Survey on algorithms of low-rank matrix recovery[J].Application Research on Computers, 2013,30(6):1601-1605.(in Chinese)

[11] Zhuang L,Gao H,Lin Z,et al. Yu. Non-negative low rank and sparse graph for semi-supervised learning[C]∥Proc of CVPR, 2012:1.

[12] Jie Chen,Zhang Yi. Sparse representation for face recognition by discriminative low-rank matrix recovery[J]. Journal of Visual Communication and Image Representation, 2014,25(5):763-773.

[13] Luan Xiao,Fang Bin,Liu Ling-hui,et al. Extracting sparse error of robust PCA for face recognition in the presence of

varying illumination and occlusion[J].Pattern Recognition,2014,47(2):495-508.

附中文参考文献：

[10] 史加荣,郑秀云,魏宗田,等.低秩矩阵恢复算法综述[J].计算机应用研究,2013,30(6):1601-1605.

杨国亮(1973-),男,江西丰城人，博士，副教授，研究方向为智能控制和图像处理与模式识别。E-mail:ygliang30@126.com

YANG Guo-liang,born in 1973,PhD,associate professor,his research interests include intelligent control，image processing, and pattern recognition.

丰义琴(1989-),女,江西丰城人，硕士生，研究方向为图像处理与模式识别。E-mail:feng5253995253@163.com

FENG Yi-qin,born in 1989,MS candidate,her research interests include image processing, and pattern recognition.

鲁海荣(1989-),男,江西宜春人，硕士生，研究方向为图像处理与模式识别。E-mail:1248278429@qq.com

LU Hai-rong,born in 1989,MS candidate,his research interests include image processing, and pattern recognition.

Face recognition with varying illumination and occlusion based on sparse error of low rank representation

YANG Guo-liang,FENG Yi-qin,LU Hai-rong

(School of Electrical Engineering and Automation,Jiangxi University of Science and Technology,Ganzhou 341000,China)

Although difficult to deal with, face recognition with varying illumination and occlusion has been widely investigated in recent years. Motivated by the popular methods of robust principal component analysis (RPCA) and sparse representation-based classification (SRC), we present a novel algorithm which uses the sparse error of low rank representation (LRR) for face recognition with varying illumination and occlusion. As for each type of training samples, we first calculate their low-rank matrix using LRR and then construct low rank projection between the training face matrix and the obtained low-rank data matrix. With the constructed low-rank projection, any test face image can obtain a low-rank matrix and a sparse error matrix corresponding on each face category. In order to fully extract the discrimination information of the sparse error image, its smoothness and edge information are analyzed respectively. Furthermore, a set of concrete classification criteria is proposed, which fuses smoothness information with the edge information using weighted sum rules. Experiment results on face databases of AR and the Extended Yale B confirm that the proposed method is robust to varying illumination and occlusion, and has better recognition rate than many other methods.

low rank representation;low rank projection;sparse error image;face recognition

1007-130X(2015)09-1742-08

2014-10-20;

2015-01-16基金项目：国家自然科学基金资助项目(51365017，61305019)；江西省科技厅青年科学基金资助项目(20132bab211032)

TP391.4

A

10.3969/j.issn.1007-130X.2015.09.024

通信地址：341000 江西省赣州市红旗大道86号 江西理工大学电气工程与自动化学院

Address:School of Electrical Engineering and Automation,Jiangxi University of Science and Technology,86 Hongqi Avenue，Ganzhou 341000,Jiangxi,P.R.China