基于表情变化的三维人脸识别

黄敏，宫秋萍，曾莎

（郑州轻工业学院计算机与通信工程学院，郑州 450002）

基于表情变化的三维人脸识别

黄敏，宫秋萍，曾莎

（郑州轻工业学院计算机与通信工程学院，郑州 450002）

为了减小表情变化对三维人脸识别带来的影响，提出一种由粗到细的识别方法。以人脸的深度数据为整体特征，采用Fisherface（PCA+LDA）方法进行匹配，以面部刚性区域作为局部特征采用改进的迭代最近点（ICP）算法进行比配，将得到的整体特征和局部特征进行融合。实验结果表明，该方法能有效提高人脸识别系统针对表情变化的鲁棒性。

三维人脸识别；Fisherface（PCA+LDA）；深度数据；刚性区域；ICP

0 引言

二维人脸识别方法经过多年的研究和发展已经非常成熟，但在现实生活中，由于受到光照、姿态、妆容、表情的影响，使得二维人脸识别率大大下降[1]。相对于二维人脸数据，三维特征的人脸识别对光照和姿态有较好的鲁棒性[2]。近些年学者们利用三维数据信息来实现人脸识别。可行方法主要分为以下4类[3]：基于空域直接匹配的方法，基于整体特征的匹配方法，基于局部特征的匹配方法和基于特征融合的方法。第一种基于空域匹配方法不做特征提取，直接采用点云数据进行匹配，如ICP算法，该方法虽然简便但匹配时间长，实时性差。基于整体的匹配方法需要对人脸样本进行光照、尺寸和姿态的归一化处理，该方法受表情姿态因素影响较大。基于局部特征的匹配方法着重人脸细节刻画，相对于整体特征匹配方法，该方法针对表情和姿态具有一定的鲁棒性，但缺点是人脸信息数据太少，匹配不精确。最后一种特征融合的方法能够有效地融合人脸面部的互补信息，提高识别效率。但传统的特征融合方法仍然不能克服脸部非刚性区域产生的形变，所以如何解决该问题仍是三维人脸识别研究面临的重大挑战[4]。

为了减小表情变化对识别造成的影响，Tang H[5]等人提出了基于局部二值模式的人脸识别算法，虽然该方法对表示变化有很好的鲁棒性，但需要人工手动标记划分人脸区域。李晓莉等人[6]采用人脸面部刚性区域对人脸进行识别匹配，该方法虽然提高了分类速度，但不能很好地反映样本之间的差异性。朱冰莲等人[7]提出一种融合整体信息和局部信息的识别算法，在中性表情中取得较高的识别率。为了进一步增强人脸识别对表情变化的鲁棒性，本文提出基于深度数据和刚性区域相融合[8]的人脸识别方法。

1 表情变化和特征提取

表情变化是目前三维人脸识别面临的重大课题，人脸面部肌肉会随着表情变化而变化。研究表明[9]：嘴角、眼睛、眉毛区域、脸颊这些人脸不同区域构成了面部表情的变化。这些变化幅度较大区域会使二维图像的像素发生形变，而反映在三维数据上则是非刚性形变。为了增强表情的鲁棒性，一种有效的方法就是选取局部表情变化不敏感区域，即包括鼻子和额头在内的刚性区域[10]。由于刚性区域只代表了样本的部分信息，所以为了减小同类样本的类间差距，本文首先提取人脸样本的深度数据，采用Fisherface方法进行粗匹配，以提取的三维人脸形状信息和整体信息作为基本特征，当发生表情变化时通过融合刚性区域实现精确匹配。

我们通过三维激光扫描仪获取三维人脸点云数据，为了提高匹配识别率，需要对三维人脸点云进行预处理，即人脸切割。目前现有深度图生成算法为点云插值，该方法时间复杂度高，生成速度慢，本文通过对切割后的人脸进行网格插值得到深度图像[11]。本文以人脸的深度数据为整体特征，采用Fisherface方法进行匹配，之后以面部刚性区域作为局部特征采用改进的迭代最近点（ICP）算法进行比配，最后将得到的整体特征和局部特征进行融合。

2 深度特征和Fisherface方法

2.1 预处理

为了减少运算量和提高识别效率，对获取的三维人脸点云数据进行预处理是十分必要的。本文主要的预处理就是人脸切割。根据人脸几何约束，鼻尖点p（x1，y1，z1）具有最大z值，由此可以快速确定鼻尖点位置，以鼻尖点为圆心，经验值r=95mm为半径画球体，包含有效人脸区域[12]。原始人脸与切割后的人脸示意图分别如图1（a）和（b）所示。

图1 原始人脸与切割后的人脸示意图

2.2 提取人脸深度特征

将预处理后的人脸点云p=（x，y，z）投影到xoy平面上，并将阴影区域等分为100×100的网格，记作φ。

（1）计算φ水平宽度α和竖直高度h。

（2）计算单位网格宽度Δx和高度Δy。

（3）确定点云中每个点p=（x，y，z）与其对应网格φ（m，n）的映射关系f:p（x，y，z）→φ（m，n）。其中m=[（xmin（x））/Δx]+1，n=[（y-min（y））/Δy]+1。[x]表示不大于x的整数，φ（m，n）表示网格中从上到下，从左到右第（m，n）个网格。

（4）统计映射到每个网格中的点数，对这些点云数据z坐标值求均值。

（5）对漏洞网格通过双立方插值算法进行插值，采用最大—最小法对插值后的矩阵进行则归一化处理，最后得到深度值（0～255），大小100×100的深度图像。图2（a），（b）是2个不同人脸的深度图[13]。

图2 两个不同人脸的深度图

2.3 Fisherface匹配方法

（1）主成分分析法（PCA）

PCA的主要算法思想是在保证与原模型相近的基础上降低空间维数[14]。设训练集共有N张人脸，图像维数为M×M，每张人脸用向量分别表示为x1，x2，…，xn，平均人脸向量表为：

每人人脸向量与平均人脸向量之差：

设矩阵Α=[φ1，φ2，…，φN]，则协方差矩阵为：

求出C矩阵前Κ个较大特征值对应的特征向量，形成特征脸向量W=（β1，β2，…，βΚ），最后对其中每个人脸图像进行降维处理：

（2）线性判别分析（LDA）

类内散布矩阵Si：

类间散布矩阵定义为：

其中μ为所有样本的均值：

Fisherface方法降低人脸维度空间，提取出具有判别能力的低维特征[16]。通过PCA将人脸向量降维到一个适当的空间，然后通过LDA方法得到低维数据后进行判别。

3 刚性区域

3.1 获取刚性区域

上世纪末以来开源软件(OSS)发展迅速，极大地影响了软件行业的市场格局，颠覆了一些经典软件工程理论.开源软件项目并没有传统软件工程项目中显式的组织结构和过程安排，也没有传统软件开发团队的过程成熟度等级，但所开发出的软件却可以与传统商业软件相抗衡，这引起了学术界和企业界的广泛关注[1,2].

传统获取刚性区域的方法是对每个人脸样本以固定的半径进行切割得到所需区域，这样会使类间差距缩小，导致匹配效率降低。本文通过对人脸样本定位关键点，自动选取切割半径获得刚性区域。

步骤如下：

根据人脸几何结构定位鼻尖点pnl（x1，y1，z1）和鼻根点pnn（x2，y2，z2），比较人脸点云中每个点p（x，y，z）的z值，最大处即为鼻尖点。与鼻尖点pnl（x1，y1，z1）进行比较。x值相同，y值小于鼻尖点y1，z值具有极小值的点记作鼻根点pnn（x2，y2，z2）。

记鼻尖点pnl（x1，y1，z1）和鼻根点pnn（x2，y2，z2）连线中点为O（x0，y0，z0），距离为l，则x0=（x1+x2）/2，y0=（y1+y2）/2，z0=（z1+z2）/2，以O为圆心，l/2为半径做球体切割，得到刚性区域。其中l=‖pnl（x1，y1，z1）-pnn（x2，y2，z2）‖。

3.2 最近点迭代（ICP）

本文采取目前最有效的点云数据匹配算法最近点迭代（Iterative C1osest Point，ICP）算法。基本思想是：首先将两幅人脸点云数据对齐，得到对应点的平均距离，以此作为点云相似性度量。在这里，我们采取多层次B样条插值算法对人脸刚性区域进行稀释采样，然后再采用ICP算法对采样后的刚性区域进行匹配，这样能够大大提高匹配速度。

测试模型D={di}和库集中某一模型ΜΚ={mi}之间对应点的欧氏距离为[17]：

Slk作为相似性度量，值越小，两个样本就越相似。

4 融合策略

基于表情变化的三维人脸识别过程如图3所示：

图3 基于表情变化的三维人脸识别

在实验过程中，对库集人脸模型采用离线提取局部刚性区域和整体深度数据，而对测试人脸模型采用在线方式。假设库集模型容量为Ν，衡量待测模型的整体特征和局部特征与库集相似度的Ν维向量分别为[10]：

遵照最大最小化原则，归一化（12）、（13）：

对归一化后的向量（14）和（15）采取加权求和法则进行融合：

其中ωg，ωl为权值，满足ωg+ωl=1，S代表测试模型和库集模型的相似性度量，当S值越小，则表明两者越相似。

5 实验结果与分析

对测试模型和库集模型两者的整体特征和局部特征进行决策级融合之后，采取最近邻分类器进行识别。然而当ωg，ωl取不同值时，会对识别结果产生影响。实验过程中我们将测试集分为3类：有表情变化样本、中性表情样本，二者混合样本，3类模型识别率随ωg融合权值变化CMC曲线如图4所示：

图4 不同融合权值下的识别效率

从图4得知，取值[0.1-0.9]，CMC曲线呈由低到高变化趋势，当ωg=0.4时，识别率最高，此时ωl=0.6，整个测试集总体融合效果最好。取ωg=0.4，ωl=0.6，分别用刚性区域、深度数据和本文的融合特征进行识别，其CMC曲线如图5所示：

图5 识别效率CMC曲线

从图5所知，以深度数据为特征的识别效率为84.53%，以刚性区域为特征的识别效率为88.56%，而本文提出的特征识别效率高达95.87%，由此可见，将人脸样本整体深度特征和局部刚性区域相融合后，识别效率显著提高。

6 结语

本文提出了一种基于表情变化的三维人脸识别方法，其基本思想是以人脸的深度数据为整体特征，采用Fisherface方法进行匹配，之后以面部刚性区域作为局部特征采用改进的迭代最近点（ICP）算法进行匹配，最后将得到的整体特征和局部特征进行融合。通过实验结果表明，特征融合后能够有效提高识别效率同时增强人脸识别对表情变化的鲁棒性。

参考文献：

[1] SMEETS D，KEUSTERMANS J，VANDERMEULEN D.Loca1 Surface Features for 3D Face Recognition Under Expression Variations and Partia1 Data[J].Computer Vision and Image Understanding，2013，117（2）:158～169

[2] TANG H，YIN B，SUN Y.3D Face Recognition Using Loca1 Binary Patterns[J].Signa1 Processing，2012，93（8）:2190～2198

[3] 李晓莉，达飞鹏.基于侧面轮廓线和刚性区域的三维人脸识别[J].中国图象图形学报，2010，15（2）:266～273

[4] 朱冰莲，杨吉祥.融合特征和局部信息的三维人脸识别[J].光电子·激光，2012，23（10）:1977～1982

[5] 吴众山.基于B样条的三维人脸曲面生成及特征提取研究[D].厦门:厦门大学，2008

[6] 胡步发，王金伟.双模态及语义知识的三维人脸表情识别方法[J].仪器仪表学报，2013，34（10）:873～880

[7] Zhao W，Che11appa R，Phi11ips P.Face Recognition:a Literature Survey[J].ACM Computing Survey，2003，35（4）:399～458

[8] 刘丹华.三维人脸数据获取及识别技术研究[D].厦门:厦门大学，2012

[9] XU G L，CHANDRAJIT B.Regu1arization of B-sp1ine objects[J].Computer Aided Geometric Design，2011，28（1）:38～49

[10] 郝麟，冯少彤，聂守平.利用深度和灰度图像实现三维目标的识别与分类[J].光电子·激光，2010，21（2）:312～317

[11] 杜兴，龚卫国，张睿.一种仿生的人脸不变特征识别方法[J].仪器仪表学报，2011，32（4）:813～880

[12] 叶剑华，刘正光.基于LBP和Fisherfaces的多模态人脸识别[J].计算机工程，2009，35（11）:193～195

[13] 李庆敏.多特征融合的三维人脸识别技术研究[D].厦门:厦门大学，2010

[14] 周激流.人脸识别理论研究进展[J].计算机辅助设计与图形学报，1999，11（2）:180～184

[15] LIU D H，LAM K M，SHEN L S.Optima1 Samp1ing of Gabor Features for Face Recognition[J].Pattern Recognition Letters，2004，25（2）:267～276

[16] AHONEN T，HADID A，PIETIK INEN M.Face Recognition with Loca1 Binary Patterns[J].Computer Vision-ECCV 2004，20（4）:469～481

[17] 赖海滨.基于双目立体视觉的人脸点云获取及识别研究[D].厦门:厦门大学，2011

3D Face Recognition Based on Expression Change

HUANG Min，GONG Qiu-Ping，ZENG Sha
（Co11ege of Computer and Communication Engineering,Zhengzhou University of Light Industry,Zhengzhou 450002）

In order to reduce the impact of changes in the expression of 3D face recognition,presents a coarse to fine identification methods.Takes depth data as the overa11 features of a human face,uses Fisherface to match these features.The facia1 rigid region as 1oca1 feature is matched using the modified iterative c1osest point a1gorithm.The extracted matching resu1ts of the g1oba1 and 1oca1 features are fused.The experimenta1 resu1t shows that the method has better robustness to facia1 expression change．

3D Face Recognition;Fisherface（PCA+LDA）;Depth Data;Rigid Region;ICP

1007-1423（2015）05-0053-05

10.3969/j.issn.1007-1423.2015.05.012

黄敏（1972-），男，河南郑州人，教授，研究方向为图像处理

宫秋萍（1989-），女，河南开封人，硕士研究生，研究方向为图像处理

2014-10-20

2015-01-28

国家自然科学基金青年科学基金项目（No.61201447）、河南省基础与前沿技术研究计划项目（No.102300410266、No.122300410287）

曾莎（1988-），女，河南南阳人，硕士研究生，研究方向为图像处理