融合小波包细节子图及稀疏表示的人脸识别

龚 飞，金 炜，符冉迪，刘 箴，李 纲



融合小波包细节子图及稀疏表示的人脸识别

龚 飞，金 炜，符冉迪，刘 箴，李 纲

( 宁波大学 信息科学与工程学院，浙江 宁波 315211 )

针对现有人脸识别方法在光照变化、表情变化及噪声干扰等情况下识别率下降的问题，本文将主成分分析(PCA)，图像的小波包分解(WPD)和稀疏表示分类(SRC)等算法结合起来进行研究分析，提出了一种融合小波包细节子图及稀疏表示(FW-SRC)的人脸识别方法。该方法首先将图像小波包分解以后的子图像进行加权融合，对融合后的图像进行特征提取并构造特征空间，然后用样本在特征空间上的投影集构造稀疏字典，最后通过对人脸图像的稀疏表示实现分类识别。采用Yale B、AR和CMU PIE人脸库分别进行了光照、表情及噪声鲁棒性的测试，实验结果表明本文方法不仅提高了人脸识别率，而且在光照强度变化、表情变化以及噪声干扰的情况下具有良好的识别性能。

人脸识别；小波包分解；稀疏表示；FW-SRC；鲁棒性

0 引 言

人脸识别是生物特征识别技术领域中最具影响力和吸引力的研究热门之一，目前人脸识别技术已经取得了很大的成就，但是对于研究具有高效鲁棒性的人脸识别算法，仍具有很多挑战，比如在光照变化、表情变化及噪声干扰等情况下，现有许多人脸识别方法的识别率会急剧下降。以基于子空间分析的Eigenface、Fisherface等为代表的经典人脸识别算法通常都是通过将人脸图像投影到低维空间中，然后计算测试样本与训练样本的距离来进行识别分类，这些算法对光照、姿态、表情等变化较为敏感，鲁棒性较差；基于支持向量机SVM分类器的人脸识别算法只适合于小样本的识别问题，而且训练时间长，计算复杂度较高。Wright等人[1]提出了一种基于稀疏表示分类(Sparse Representation-based Classification, SRC)的人脸识别算法，该算法采用过完备基函数代替了传统的正交基函数(正交空间)，为研究人脸识别问题提供了一种新思路，基于稀疏分类的人脸识别成为近年来的研究热点。张勇等[2]考虑到线性判别分析能够更好地对样本进行分类，提出一种采用线性判别分析(Linear Discriminant Analysis, LDA)进行特征提取的稀疏分类人脸识别算法(LDA-SRC)，虽然该算法在一定程度上提高了人脸识别率，但并没有验证其光照、表情和抗噪声等鲁棒性能；Yang等[3]人提出了一种基于Gabor特征的稀疏表示分类(GSRC)方法，在一定程度上提高了人脸识别率，具有一定的表情和抗噪声鲁棒性，但其识别时间较长；Zhang等[4]验证了SRC模型中并不是稀疏性约束而是协作表示机制在人脸分类时起到了重要作用；在此启示下，为加强样本间的协作表示能力以及减弱稀疏分解时的强约束，刘梓等[5]提出了一种基于稀疏表示和贪婪搜索(Greedy Search, GS)的人脸分类方法(SRC-GS)，该方法在人脸遮挡情况下的识别率较为理想，但其没有考虑到算法其它方面的鲁棒性能，且计算复杂度较高，近年来其它一系列基于SRC的改进算法[6-7]也不断被提出。

为解决上述人脸识别方法中存在的光照、表情和抗噪声等鲁棒性较差的问题，本文在传统小波变换人脸识别方法和其它改进稀疏表示人脸分类方法的基础上，提出了一种融合小波包子图(Fusion of Wavelet Packet Sub-images, FW)和稀疏表示分类(SRC)的人脸识别方法FW-SRC(Fusion of Wavelet Packet Sub-images and Sparse Representation-based Classification, FW-SRC），该方法将小波包分解后的子图像进行加权融合，然后对融合图像进行特征提取，并构造人脸特征空间，最后用人脸样本在特征空间上的投影集构造稀疏字典进行稀疏表示人脸分类识别。实验结果表明，该方法提高了人脸识别率，减小了光照强度变化、表情变化以及噪声干扰对人脸识别的影响，具有较强的鲁棒性。

1 小波包细节子图的融合及人脸特征表达

图像的小波包分析(Wavelet Packet Analysis, WPA)是图像小波分析(Wavelet Analysis, WA)的一种改进，它为我们研究图像信息提供了一种更精确的方法，不同于小波变换的是，小波包变换对每层低频图像进行分解的同时对其它细节图像也进行分解。一个完整的全小波包分解的四叉树如图1所示，图中1为原图像，为分解的低频部分，包含了原图像的全局信息，和原图像相近；为图像的水平细节，包含了人脸图像的眉毛、眼睛和嘴巴等水平特征；为图像的垂直细节，包含了人脸的轮廓和鼻子等垂直细节；为图像的对角细节，不仅包含了部分水平和垂直细节，还是受噪声、光照和表情等影响最大的子图像。

图1 小波包全分解四叉树

小波包四叉树第一层四幅子图像如图2所示，人脸识别过程中，三幅高频子图像所包含的信息同样不可忽视。本文将图像小波包第一层分解后的四个子图进行加权融合，再对融合图像进行特征提取，融合方法如下：设有四个不同的小波包子图像，分别用、、、表示，令它们加权后的图像为,则：

图3 小波树子图像融合示例

在人脸特征提取和降维过程中，主要分量分析(Principal Component Analysis，PCA)是常用的一种技术，其主要作用是将信号转换为一组不相关的表示系数，通过系数与子空间的组合来表示原图像。PCA特征提

征脸，则特征脸空间定义为

式中为特征脸的个数。根据上述方法，图4展示了Yale B人脸库上融合小波包子图的部分特征脸。

图4 不同权值融合情况下的部分特征人脸

从图4可以看出，高频权值较大时，融合图像的特征脸偏重于人脸表面器官的细节表达，高频细节信息能够很好地体现出人脸面部器官的差异，通常这些细节在人脸识别过程中有不可替代的作用；而低频特征脸则偏重于整个人脸轮廓的表达，包含了人脸的主要信息，也能体现出人脸面部不同光照的差异。本文提出的人脸识别方法充分利用了人脸特征在频域的这些分布特性，既考虑了人脸图像的低频特征，又发挥了人脸高频细节特征在人脸识别过程中的作用，取得了不错的识别性能。

2 人脸识别稀疏分类器的构造

2.1 稀疏分类器理论模型

稀疏表示理论在近二十年一直备受关注，近年来随着压缩感知理论的成熟，稀疏表示在目标分类[1-7]、图像压缩[8]、图像去噪[9]、卫星云图处理[10]等方面都得到了广泛应用。简单来说稀疏表示的目的就是在过完备字典中，将信号表示成尽可能少数原子的线性组合，以一种更为简洁的方式来表示信号。稀疏表示理论可描述为

2.2 采用稀疏分类器的人脸识别算法

在人脸识别问题中，选用含有类目标的训练样本，用以判断测试人脸样本所属的类。将第类的训

练样本逐个提取像素值形成一个一维向量，并组成字典集，表示第类样本的训练

数目，=1,2,…,，包含所有类训练样本的字典矩阵定义如下：

那么其中属于第类样本的测试样本可以用字典原子的线性组合来表示：

3 融合小波包细节子图及稀疏表示的人脸识别方法

本文提出的人脸识别方法主要分为样本的训练阶段和测试阶段，首先在训练阶段，选择合适的小波基，对人脸训练样本图像进行一层小波包全分解，将得到的四幅小波包子图进行加权融合，然后对人脸融合图像进行特征提取并构造特征空间，将训练样本在此特征空间上进行投影，用训练样本的特征投影集构造字典，图5为生成的字典的示例。在测试阶段，选择与训练阶段相同的小波基和融合权值对测试样本进行同样的小波包分解和加权融合，然后将得到的测试人脸融合图像在特征空间上进行投影，得到测试样本的特征投影集，最后计算测试样本投影特征与稀疏表示后人脸训练样本投影特征的最小残差，并通过该最小残差来实现人脸的分类。

图5 字典A

综上所述，本文提出的FW-SRC算法步骤如下：

4 实验结果与分析

下面通过数值实验来验证本文所提出的人脸识别方法的有效性，并与SRC、GSRC、LDA-SRC方法进行比较。实验基于Yale B、AR和CMU PIE三个标准人脸库，在3.30 GHz，4G内存，32位Win7的计算机系统下进行，实验中的小波包分解采用db 1和db 2小波基。

4.1 光照鲁棒的人脸识别实验

Yale B人脸数据库[11]中包含10类人的640张人脸图像(每人64张)，根据光照角度与摄像光轴的角度，可将人脸图像分为5个子集，子集1()，子集2()，子集3()，子集4()，子集5()。由于光照角度与摄像光轴角度的差异，进入成像系统的反射光线强度不同，从而使得不同子集的人脸图像表现出不同的成像感光特性，这与不同光照强度下的人脸图像具有相同的特点，如图6所示，本文利用该数据库进行光照鲁棒性的测试。

图6 Yale B人脸库中部分人脸图像

实验前，将图像的分辨力大小统一缩放为100×114。实验时，将子集1和子集2中的全部人脸样本及子集3中部分人脸样本(共40张)用来训练，每人剩下的24张人脸图像用来测试。本次实验在低频融合权值较大情况下进行，其中FW-SRC算法的融合权值系数为：，，，。选取不同数目的人脸特征作为变量来构造特征空间，最后的识别率结果如图7。

图7 Yale B人脸库上四种方法光照鲁棒的识别率比较

从图7中可以看出，与其它三种算法相比，在光照变化强度很大的Yale B人脸库上，本文FW-SRC的识别率明显较为优越。从识别时间上来看，当取10~240个特征进行人脸识别时，SRC、GSRC、LDA-SRC和FW-SRC四种算法的识别时间范围如表1所示，从表中可以看出本文提出的算法在Yale B人脸库上的识别时间效率上也较为优越，与其它三种算法相比，本文提出的算法在时间效率上分别提高了近2~3倍。