使用稀疏约束非负矩阵分解算法的跨年龄人脸识别

杜吉祥，翟传敏，叶永青

(华侨大学计算机科学与技术学院，福建厦门361021)

人脸识别率通常会受到姿态、光照、表情以及年龄等因素的限制［1］.因此，目前人脸识别的主要工作就是如何消除这些因素给人脸识别性能所造成的影响.然而，与人们对姿态、光照和表情的重视程度相比，人脸外貌的老化因素没有得到更多的关注.2005年，有关跨年龄段的人脸识别的相关研究表明［2］:1)对人脸老化带来的形状和纹理上的变化的模拟是一项富有挑战性的任务，因为除了生物学因素外，人类的生活方式中还有生存环境也会影响到人脸外貌的变化;2)对人类头部采取三维扫描可以更好地理解老化对人脸的影响;3)用于研究人脸老化的可用的数据库不仅数量少，而且还包含一些不可控制的内外部变化因素.因此，老化因素对人脸识别的影响没有得到广泛的研究.

人脸外貌的老化是一个极其复杂的过程，它对人脸的形状和纹理产生生理结构上的变化.近年来，人类感知物理学和计算机视觉领域均提出了不少关于人脸老化的研究方法.Todd等认为生物体的结构模型会因其所受外力的大小和方向的变化而变化，基于该思想他们提出了一种静水力学模型的方法来刻画人脸结构的成长［3］.Burt和 Perrett提出了“复合人脸”(composite faces)的概念，通过把复合人脸的差图信息移植到人脸图像上的方法来增强变换后人脸图像的感观年龄，从而达到模拟老化的目的［4］.Tiddeman等则对该方法进行了扩展，提出了一种新的基于小波的方法构造出更具代表性的“复合人脸”的老化方法［5］.许志维等提出了一种基于原始非负矩阵分解算法的老化方法来预测人脸影像［6］，但该方法没有考虑稀疏约束这一条件对老化结果的影响.王章野等基于黄种人脸图像数据库提出了一种基于人脸外轮廓局部曲率标准差的个性化原型匹配算法，并取得了较好的老化模拟结果［7］.

本文采用改进的原型法来老化一张人脸图像，该方法主要借助具有稀疏约束的非负矩阵分解算法(non-negative matrix factorization，NMF)，来提取人脸纹理特征，通过实验观察系数或基的稀疏度的改变对人脸老化结果的影响;然后将该老化方法应用于人脸识别中，通过生成虚拟样本以补全各年龄段的样本;最后分析该老化模拟方法对跨年龄段人脸识别效果的影响.

1 稀疏约束的NMF算法

NMF算法［8］是对非负矩阵的一种线性的、非负的近似数据描述.假设V是一个大小为m×n的图像矩阵，其中m和n分别表示图像特征数和样本的数目，那么经过NMF算法分解后的V矩阵可以表示成式(1):

式中:W为基矩阵，H为系数矩阵，同时r的取值满足下列不等式:

使用迭代的方法通过最小化‖V－WH‖2来得到W和H:

对NMF算法增加稀疏约束条件意味着分解后的基或者系数矩阵的大部分值为0，仅有少量元素为非零值.给定一个向量X，可以通过式(2)计算其稀疏度:其中S(X)越大，意味着向量越稀疏，反之越稠密.

下面给出具有稀疏约束的NMF的定义［8］:对于给定大小为N×T的非负矩阵V，寻找满足指定稀疏度的矩阵W(N×M)和H(M×T)，使得式(3)最小化.

式中:W和H的稀疏度满足:

式中:S(Wi)为基矩阵W第i列向量的稀疏度，S(Hi)为系数矩阵H第i行向量的稀疏度.

2 人脸老化模拟方法

本文采用基于模型参数的原型法进行人脸老化模拟.人脸的老化过程伴随着形状和纹理两方面的变化，因此，对于一张给定的人脸图像，应从形状和纹理2个方面分别进行老化模拟.图1为表征人脸的形状和纹理特征.在稀疏因子约束下，人脸图像经NMF算法分解后得到的基图像更具备局部稀疏性，而人脸的老化特征也是表现在面部的某些局部区域.因此，对于纹理的老化模拟采用稀疏约束的NMF算法提取特征更加合理，而形状的老化则采用传统的PCA方法进行特征提取.

图1 人脸图像的形状和纹理Fig.1 Shape and texture for a facial image

2.1 改进的原型法

原型法(prototype method)是众多老化模拟方法中最常见的方法之一［9］，它通过计算同一年龄值的人脸图像的均值，来构造代表该年龄段的人脸原型图像:

式中:Vt和Vc分别是目标年龄和当前年龄下的特征向量，Gt和Gc则分别表示目标年龄和当前年龄下原型图像的特征向量.

本文采用的是高斯加权所有训练样本的方法，而不是选择指定年龄值的训练样本来构造原型图像.与原型图像年龄值越接近的样本，给予的权值就越高.

式中:wi为第i个样本赋予的权值，高斯函数的均值μ取为原型图像指定的年龄值，而方差δ通过实验来选取最佳值.

式中:Gi表示年龄i的特征向量，Mi为第i个训练样本的实际模型参数(特征向量).

如果给定的人脸图像在训练样本集中，那么其模型参数为系数矩阵H对应的列向量;否则，可以通过求伪逆的方法来获取:

式中:pinv(W)为基矩阵W的伪逆，vi为原始人脸图像，Hi为对应的模型系数.

2.2 实验结果评价准则

对于各种老化模拟方法得出的人脸图像，将采用图像欧式距离法［10］计算模拟图像与真实图像之间的距离.2幅图像X、Y之间的欧式距离被定义为

式中:M、N分别为图像的行数和列数;对称矩阵G=(gij)称为度量矩阵，它表示坐标xi对坐标yj的作用.

2.3 实验与结果

本文使用塞浦路斯大学的FG-NET aging database人脸图像库［11］进行人脸老化模拟实验，该数据库包含82个人的911幅图像.为了比较稀疏矩阵和基矩阵对算法的影响，实验分为2个部分:1)保持系数矩阵H稀疏，基矩阵W不施加稀疏约束条件，令 H 的稀疏度从{0.1，0.2，…，0.9}取值进行老化模拟;2)保持基矩阵W稀疏，系数矩阵H不施加稀疏约束条件，令 W 的稀疏度从{0.1，0.2，…，0.9}取值进行老化模拟.实验1)和2)中的数据维数均保持不变.

图2、图3和表1的实验结果表明，稀疏约束的NMF算法具有较强的人脸特征表征能力.从图2和图3可以看出，基于稀疏约束的非负矩阵分解算法的人脸老化模拟图像比基于PCA方法的老化图像更加接近真实人脸图像.从表1还可以看出，系数稀疏度的变化对老化结果的影响要小于基稀疏度的变化对老化结果的影响，结合具体老化图像，最终采用系数稀疏度为0.8时的老化结果作为后续年龄跨度人脸识别的虚拟样本.

图2 基于系数H稀疏(稀疏度为0.8)的NMF算法的人脸老化模拟结果Fig.2 Facial aging results based on NMF when H is sparse(sparseness is 0.8)

图3 人脸老化模拟图像与真实图像间的误差Fig.3 Errors between real images and simulated facial images

表1 模拟图像与真实图像的误差值Table 1 Errors between real images and simulated facial images

3 具有年龄跨度的人脸识别

年龄跨度的人脸识别与普通的人脸识别最大的区别在于测试样本和训练样本的人脸图像具有不同的年龄取值.实验数据库仍然采用FG-NET aging database，该数据库最大的特点是每个人有不同年龄的人脸照片6～18张，同一个人某一特定年龄的图像只有1张，因此正好适合于跨年龄段的人脸识别的研究.

3.1 训练集和测试集的划分

现有如下假设:

1)数据库中第i个人记为Pi，共有m个人含有不少于1个年龄跨度值为△A的图像对，其中△A=1，2，…，10，i=1，2，…，m;

2)数据库中Pi拥有Ni个年龄跨度值为△A的图像对{As，ij，Ae，ij}，其中 i=1，2，…，m，j=1，2，…，Ni，Ae，ij=As，ij+ △A;

3)Pi年龄值最小的图像为Ay，i.按照年龄值排序，Pi包含从 Ay，i到 As，ij的人脸图像 nij张，其中 i=1，2，…，m，j=1，2，…，Ni.

依据上面假设，某一次实验的训练集和测试集可设置为:

测试样本集 St={Ae，1j，Ae，2j，…，Ae，ij，…，Ae，mj}.

其中:k=1，2，…，100，j=1，2，…，Ni，Sot表示增加老化模拟样本前的训练样本集，Sat表示增加模拟老化样本后的训练样本集，Aa，ij表示老化模拟样本，其每一行取值由Pi的某一图像对的As，ij值决定.

对于每一个年龄跨度值△A的实验，随机地从Pi(i=1，2，…，m)中选取某一图像对(共 Ni个图像对)，并将其决定的样本序列(Ay，i，…，As，ij)或(Ay，i，…，As，ij，Aa，ij)加入训练样本集中.重复进行 100 次，最终对这100次实验结果取均值，即得出某一个年龄跨度值的人脸识别率.

3.2 实验结果与分析

人脸的生长一般分成2个阶段，18岁以下的青少年时期和18岁以上的成年时期.通过统计，FGNET数据库共有911张标有68个形状特征点的人脸图像，其中有687张图像年龄介于0～18岁，剩余的224张年龄处于19～35岁.为此，实验分2步进行，研究对象分别为青少年时期和成年时期的人脸图像.由于该数据库与专用的人脸识别数据库不同，实验结果采用检索率代替识别率(采用KNN计算检索率).

3.2 .1 0 ～18岁的青少年时期

训练集和测试集的样本都取自于数据库中0～18岁的人脸图像.数据库中该年龄阶段的样本数据量较多，年龄依次取值1～10岁.分别用PCA方法和稀疏约束的NMF方法提取纹理特征，形状特征均采用PCA方法，比较加入老化模拟样本前后的检索率，实验结果见图4和表2.

图4 0～18岁人脸图像老化前后的检索率Fig.4 Retrieving ratios before and after aging for facial images between 0 and 18 years old

从图4和表2可以看出，不管哪种人脸老化模拟方法，增加老化模拟样本后，检索率都有了明显的提高，尤其是年龄跨度越大，检索率提升得越多.同时可以看出具有稀疏约束性的NMF方法具有更好的特征提取能力，基于该特征的人脸检索率明显好于PCA的结果.另外，从图4中还可以知道，随着年龄跨度的增加，具有年龄跨度的人脸图像检索率呈现下降趋势，这进一步表明了青少年时期的人脸形状的快速成长变化对人脸识别的较大影响.

表2 0～18岁人脸图像检索率Table 2 Retrieving ratios for facial images between 0 and 18 years old

3.2 .2 18岁以上的成年人时期

训练集和测试集的样本都取自于数据库中18～35岁的人脸图像.根据数据库中该年龄阶段样本的数量分布情况，年龄依次取值为1～9.特征提取方法同青少年时期的实验一样，然后比较加入老化模拟样本前后的检索率，实验结果见图5和表3.

图5进一步反映出了老化模拟效果对人脸图像检索率的影响.与图4不同的是，18～35岁的成年人脸图像检索率比0～18岁青少年的检索率高出很多，而且随着年龄跨度的增加，检索率没有出现明显的下滑趋势.原因可能有以下2点:1)与数据库样本数量分布有关，统计表明18岁以下的人脸图像中，对于任意的1～10岁的年龄跨度，平均有65个人满足实验条件进入了训练集和测试集，而18～35岁的人脸图像则平均只有26个人满足实验条件;2)成年时期人脸形状和纹理的生长变化对识别的影响不如青少年时期显著.

图5 18～35岁人脸图像老化前后的检索率Fig.5 Retrieving ratios before and after aging for facial images between 18 and 35 years old

表3 18～35岁人脸图像检索率Table 3 Retrieving ratios for facial images between 18 and 35 years old

续表3

4 结束语

本文首先提出了一种基于稀疏非负矩阵分解算法的人脸老化模拟方法，实验表明了具有稀疏约束的非负矩阵分解算法有较强的特征表达能力，其老化效果要优于传统的PCA方法.将此老化方法应用于年龄跨度的人脸图像检索后，检索率有了明显的改善.从实验结果可以看出，除了光线、姿态、表情外，年龄跨度也是影响人脸识别性能的因素之一，而且青少年时期的人脸生长的影响较大.

然而，特征维度的选取以及稀疏的程度这两大关键因素对老化模拟的结果都有着直接的影响，这也是今后继续研究的内容.此外，实验中适当地调整形状和纹理特征的权重比例对识别率也会造成不同程度上的影响，因此，两者之间的关系也是值得关注的研究方向.

［1］PHILLIPS P J，SCRUGGS W T，O’TOOLE A J，et al.FRVT 2006 and ICE 2006 large-scale results:Technical Report NISTIR 7408［R］.Gaithersburg，USA:National Institute of Standards and Technology，2007.

［2］RAMANATHAN N，CHELLAPPA R.Face verification across age progression［J］.IEEE Transactions on Image Processing，2006，15(11):3349-3361.

［3］TODD J T，MARK L S，SHAW R E，et al.The perception of human growth［J］.Scientific American，1980，242(2):132-144.

［4］BURT M，PERRETT D.Perception of age in adult Caucasian male faces computer graphic manipulation of shape and colour information［J］.Proceedings of the Royal Society B:Biological Sciences，1995，259(1355):137-143.

［5］TIDDEMAN B，BURT M，PERRETT D.Prototyping and transforming facial texture for perception research［J］.IEEE Computer Graphics and Applications，2001，21(5):42-50.

［6］许志维，张轩庭.基于非负矩阵分解演算法预测未来人脸影像［C］//2005年消费者电子信号处理研讨会.［S.l.］，China，2005:1-8.

XU Zhiwei，ZHANG Xuanting.Prediction of future facial image based on NMF algorithm［C］//Proceedings of the 2005 Workshop on Consumer Electronics and Signal Processing(WCEsp2005).［S.l.］，China:2005:1-8.

［7］王章野，曹玫璇，李理，等.基于个性化原型的人脸衰老图像合成［J］.电子学报，2009，37(4A):118-124.

WANG Zhangye，CAO Meixuan，LI li，et al.Individual prototyping based facial aging image synthesis［J］.Chinese Journal of Electronics，2009，37(4A):118-124.

［8］HOYER P O.Non-negative matrix factorization with sparseness constraints［J］.Journal of Machine Learning Research，2004，5:1457-1469.

［9］JENKINS R，BURTON A M，WHITE D.Face recognition from unconstrained images:progress with prototypes［C］//Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition.Washington，DC，USA:IEEE Computer Society，2006:25-30.

［10］戴欢，吴小俊.基于图像欧式距离的人脸描述和识别方法［J］.江南大学学报:自然科学版，2009，8(1):20-23.

DAI Huan，WU Xiaojun.Face representation and recognition based on image Euclidean distance［J］.Journal of Jiangnan University:National Science Edition，2009，8(1):20-23.

［11］Face and Gesture Recognition Research Network.FG-Net aging database［EB/OL］.［2011-12-07］.http://www.fgnet.rsunit.com/.