面向人脸表情识别的多约束稀疏分类方法

桂林理工大学博文管理学院 韦宁燕

中国铁塔股份有限公司河池市分公司 韦洪浪

桂林理工大学博文管理学院 吴明林 王 星

1 引言

近几年来，随着Ma[1][2][3]等人提出了基于稀疏表示分类的人脸识别，掀起SRC在人脸识别领域应用的热潮。Rania[4]、Huang Mingwei[5]等人实现人脸表情的识别主要运用的是纹理特征提取和稀疏表示。Zhang Shiqing[6]用于表情特征提取采用局部二值化(LBP)和Gabor小波，并评估SRC的性能。Mahoor[7]等人通过对人脸运动单元进行稀疏表示从而实现表情识别，并与SVM、NNC方法进行比较。对比于人脸特征，直接运用SRC来实现表情识别，其效果并不是很好。

针对上述存在的问题，提出多约束稀疏分类(M-SRC)的算法对人脸表情进行识别。使用局部加权2DPCA进行特征提取，打破了做表情识别都需要纹理特征提取的传统，提高了运算的速度，从而提高实时性，使表情识别有可能应用于相对简单的设备中。最后结合多约束条件进行稀疏分类，去掉样本中人脸信息对表情的影响，充分发挥稀疏表示的功效。

2 特征提取

2.1 2DPCA特征提取

2DPCA是对事物主要矛盾进行统计和分析，且能从多元事物中解析出主要影响的因素，将复杂问题简单化；还能将高维数据投影到较低维空间，降低表情图像的维度，提取主要信息。

图1 局部加权2DPCA特征提取流程图

2.2 局部加权2DPCA特征提取

在表情特征提取中，不仅要把像素矩阵映射到低维空间，而且还要保留表情特征的信息。人的面部基本符合“三庭五眼”的结构特征，因此，把人脸面部均匀地划分为3×5个非重叠的小方格，通过这些小方格可以很好地定位表情器官的位置。如图1所示，每部分的主要信息点记为。每部分的信息人为地赋予一定的权重Wi，最终组合成一张表情图像的总特征值Yk。

3 多约束的稀疏分类方法

3.1 稀疏表示的分类思想

从表情库中随机取大部分人脸图像作为训练样本。设用矩阵表示第i类训练样本为，每个图像用v来表示。我们将k类共n个训练样本组合在一起形成整个训练集矩阵D：

其中，m为样本的特征像素点，ni为第i类样本数目。一个属于第i类的测试样本y表达式：

上式求解x0的过程是一个NP难问题。常用迭代求解。

用最小l1范数解求解判断测试样本y所属类别的公式为：

3.2 多约束稀疏分类(M-SRC)

在图像噪声存在的情况下，用l1范数对表情分类进行求解：

人脸图像中含有多种不重要信息，本文通过增加多约束矩阵G，把这些不重要的信息当成噪声来处理，缩小所求解的范围。式(6)可变为下式：

G中的gi为每i个人脸图像的7种表情的平均值。在表情识别过程中，人脸类别信息会影响表情信息。表情分类信息主要集中在纹理特征上，通过求平均值把各表情间重叠的人脸信息找出，并分给ω的部分稀疏解α，减少测试人脸y中的基本人脸轮廓对x的影响，从而实现对y中的人脸信息约束。使用l1解法求解式（7）：

从字典方面上看，本文提出的多约束算法中增加的多约束项可以看成对字典B进行矩阵扩展，在m不变的情况，增大样本n的列数，扩展后的B解决表情人脸库样本数不多而影响稀疏表示理论使用的问题。在迭代运算过程中，B内组成各列向量的关系会降低干扰样本对相关样本的影响。所求得的稀疏解x包含着更明显的分类信息。

3.3 稀疏表示分类步骤

综上各小节所述，稀疏表示分类的步骤总结如下：

①把所有的训练样本构成矩阵A，然后经过局部加权2DPCA处理后，组成字典B。将字典B中的每一列进行归一化，结合多约束算法改进字典B。

其中，求解稀疏解ω1的部分x1是通过第②步来求解，在一定条件下，稀疏表示理论指出可通过求解l1范数问题来求解稀疏解。根据实际情况，在第③步中，可以在式子(6)中再减去一个误差值，使得计算残差值更精确，其中k为类别总数。最后找出最小的残差值ri( y)，从而确定测试样本的类别i。

4 实验及结果分析

以下的实验主要是在PC机用Matlab进行仿真。PC的配置为处理器Intel Core i5-2450M(双核2.50GHz)，内存4GB，硬盘500GB，显卡NVIDIA GeForce GT 525M。软件版本：微软的WIN7的32位操作系统，Matlab R2011b。

4.1 JAFFE人脸数据库上的实验

对人脸库的图像进行几何归一化、灰度归一化、滤波等预处理。JAFFE[10]人脸图像经过预处理后大小为64×64，取KA的7种表情预处理后的图显示如下图2，把JAFFE人脸库的210张图片按7种表情进行分类，用11次10折交叉验证的方法对这210张图片分为10份样本，1份为测试样本，9份作为训练样本，平均每一份样本是21张表情图片。

从左到右依次为厌恶、恐惧、开心、自然、伤心、惊奇、愤怒7种表情：

图2 KA的7种表情预处理后的图像

4．1．1 直接2DPCA

把每个人脸图像直接进行2DPCA特征提取，通过多次实验比较了3种识别方法，SRC、NSC(nearest space classification)和M-SRC，结果如表1中所示。其中，NSC为邻近子空间分类法；SRC为稀疏表示分类算法；M-SRC为本文的多约束稀疏分类的算法。

表1 不同方法结合2DPCA在JAFFE数据库上的识别性能比较

SCI指数为恒量稀疏表示所求的解性能，它的范围在[0,1]，指数越大，稀疏性越好。很多学者证明稀疏表示分类(SRC)有更好的鲁棒性。而M-SRC前期对JAFFE库的预处理工作相对简易，在识别方面，虽然增加了少量的识别时间，但识别率得到提高。这是因为字典自身含有表情中大量的有效和无效信息，本方法最大程度地运用存在字典的信息，消除一些无用信息的干扰，因此，本文的算法(M-SRC)有较好的鲁棒性。

图3 取出某个测试人脸的M-SRC、SRC残差值图：(a)测试人脸裁剪图；(b) M-SRC残差值图；(c) SRC的残差值图

图3分别列出该图在M-SRC和SRC下的残差值。其中(a)图为测试人脸的裁剪图；(b)和(c)图中的横坐标分别表示愤怒、厌恶、恐惧、开心、自然、伤心、惊奇的7种表情。由(b)、(c)图可知，第7个表情的残差值最低，可判断出(a)图的类别表示惊奇。所以求解的系数x在表情类别中主要集中于惊奇处。我们分别计算(b)和(c)图中最低两个残差值的比例大约是14:1和5:2；由此可见，在该测试人脸的识别中，相对于SRC，M-SRC算法有更好的稀疏性和分类效果。

4．1．2 局部加权2DPCA

在特征提取方面，使用局部加权2DPCA进行特征提取，然后比较NSC、SRC、ISRC三种算法的识别率。识别性能如下表2所示。

平均SCI指数反映出稀疏表示分类的识别性能。其中表2的平均SCI指数是统计21个测试人脸的每个SCI指数后求平均值。从表2可以看出，相对SRC和NSC，在JAFFE人脸库中M-SRC算法在人脸识别率上有很大的提升，但花费一定的时间来计算。SRC比NSC多了个SCI指数，通过这个指数能判断出测试样本是否为有效类别。

表2 不同方法结合局部加权2DPCA在JAFFE数据库上的识别性能比较

4.2 在CK人脸数据库上的实验

实验4.1同样用于Cohn-Kanade(CK)表情库。选取裁剪成64×64的CK人脸库作为实验数据库，把其中一人的7种表情显示如下图4。

在特征提取方面，采用局部加权的2DPCA进行表情特征提取。然后比较NSC、SRC、M-SRC三种算法的识别率，实验结果如下表3所示。

通过表1、表2和表3的分析可知，SRC和NSC在识别时间占有优势，且识别率也较好。CK库的图片质量好、训练样本足够多、各表情差异明显，由此可见CK库里的识别率明显比JAFFE库的识别率好。与SRC和NSC对比，M-SRC识别率上有所的提升，特别是在图片表情特征不明显的情况下，这种优势更加明显。其实，在使用SRC算法中，并没有充分发挥出稀疏表示的作用，从而使它的识别率较低，主要原因是表情库的样本不多导致了字典D的列数不够。而本文通过M-SRC弥补了字典D列数不足的缺点，使识别率得到提高，但牺牲了一定运算时间。

从左到右依次为厌恶、恐惧、开心、自然、伤心、惊奇、愤怒7种表情：

图4 CK的7种表情预处理后的图像

表3 不同方法在CK数据库上的识别性能比较

5 结束语

本文提出的局部加权2DPCA和多约束的稀疏分类的方法(MSRC)实用性强、效率高：打破了做表情识别都需要纹理特征提取的传统。通过SRC与M-SRC的比较，发现字典D的列数构建影响着正确识别率和运算速率，D中的元素要能最大程度地表示测试样本的结构，且在不影响识别效率的情况下D的行数应尽可能远远小于列数。M-SRC通过增加人脸信息的约束条件，能去掉人脸信息的干扰，在表情识别方面相比SRC识别效率有了。

[1]Wright J, Ma Yi, et al．Robust Face Recognition via Sparse Representation [J]．Pattern Analysis and Machine Intelligence,2009,31(2)∶210-217．

[2]Kui Jia, Tsung-Han Chan, and Ma Yi． Robust and practical face recognition via structured sparsity [C]．European Conference on Computer Vision (ECCV),2012．

[3]Andrew Wagner, John Wright, Ma Yi at el．Towards a practical face recognition system∶ robust alignment and illumination by sparse representation[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI),2012,34(2)．

[4]Rania Salah, Ahmed El Kholy, Mohamed Youssri．Robust Facial Expression Recognition via Sparse Representation and Multiple Gabor filters [J]．International Journal of Advanced Computer Sciences and Applications．2013,4(3)∶82-87．

[5]Huang Mingwei, Wang Zhewei，Ying Zilu． A New Method For Facial Expression Recognition Based On Sparse Representation Plus LBP[C]．the 3rd International Congress on Image and Signal Processing．Yantai． 2010∶1750-1754．

[6]Zhang Shi-qing,Zhao Xiao-ming,Lei Bi-cheng．Robust Facial Expression Recognition via Compressive Sensing[J]．Sensors,2012,12(12)∶3747-3761．

[7]H．Mahoor,Mu Zhou,Kevin L,et al． Facial action unit recognition with sparse representation[C] Automatic Face & Gesture Recognition and Workshops(FG2011)． 2011(3)∶336-342．

[8]Yang．J,Zhang． D,Frangi．A F,and Yang．J Y．Two-Dimensional PCA∶ A New Approach to Appearance-Based Face Representation and Recognition．IEEE Transactions on Patten Analysis and Machine Intelligence,2004．26(1)∶131-137．

[9]Candès E J,Wakin M B．An Introduction to Compressive Sampling[J]．Signal Processing Magazine,2008,25(2)∶21-30．

[10]Michael J．Lyons,Miyuki K,Jiro G．Japanese Female Facial Expressions(JAFFE), Database of digital images(1997)[OL]．http∶//www．kasrl．org/jaffe．html,1997．