基于筛选评估准则的非正面人脸合成方法

肖志涛，伊 靓，李月龙，张 芳，耿 磊，吴 骏

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津工业大学计算机科学与软件学院，天津 300387）

基于筛选评估准则的非正面人脸合成方法

肖志涛1，伊 靓1，李月龙2，张 芳1，耿 磊1，吴 骏1

（1.天津工业大学电子与信息工程学院，天津 300387；2.天津工业大学计算机科学与软件学院，天津 300387）

针对传统方法合成的正面人脸图像中信息丢失和变形的问题，提出了一种基于筛选评估准则的非正面人脸图像合成方法.人脸筛选评估准则融合了脸部对称性、正脸差异水平和人脸水平扭转角度3方面信息，其中人脸水平扭转角度利用细节上的眼部信息来评价人脸的正面水平，而脸部对称性和正脸差异水平分别对人脸的左右和垂直方向进行整体评价，综合这三方面信息可有效地排除低质量侧脸图像对合成正脸图像的干扰.首先进行标记点检测跟踪，然后基于此对同一人的多幅侧脸图像进行筛选，最后进行插值运算合成正面人脸，并在FERET图像库中对该方法进行实验验证.结果表明：通过本文筛选准则可有效滤除合成中低质量、强干扰的侧脸图像，可降低姿态问题对人脸识别精度的干扰，最终合成精确逼近真实正面人脸的合成图像.

非正面人脸合成；筛选评估准则；人脸识别

随着科学技术的不断发展，人们对于人脸识别技术的期望越来越高，姿态多样性这个困扰人脸识别研究的主要难题也日渐为学术界所重视.能将非正面人脸矫正为正面人脸的图像合成技术已成为模式识别等方向的主要研究热点[1].目前合成方法主要分为基于三维模型的方法和基于二维模型的方法[2].基于三维模型的人脸合成方法主要利用图形学和几何变换的方法将三维图像投影还原成二维图像.Blanz等[3]利用大量三维人脸数据的样本构建三维可变模型，该模型将二维人脸图像进行匹配，获取人脸三维的外形和纹理上的参数，最后合成正面人脸图像，该方法的合成结果逼近真实情况，但其数据量较大，训练和优化过程十分耗时.Ramnath等[4]建立了一个由三相机标定构建的三维形状模型，该方法可以实现更好的视角匹配鲁棒性；Liebelt等[5]提出了由深度相机获取的深度信息来表示三维形状的方法，该方法具有较好的匹配性能.但是上述两篇文献中只有侧脸图像合成正脸图像的二维形状，而无法实现正脸纹理的合成.基于二维图像的正面人脸合成方法无须建立三维模型，因而在实际中操作简单，运算速度快，因此近年来被广泛应用.Chai等[6]提出了局部线性回归的方法，将图像划分为许多重叠的、大小相等的矩形块，这种方法合成的图像自然、平滑，而且较接近真实值，但这种矩形分块的方法需要去除脸颊的纹理来保持对应纹理块的一致性，因此合成后的正脸图像中仅包含人脸正面中心区域.Kim等[7]提出了子空间回归方法，与文献[6]中提到的局部线性回归方法不同的是，对图像经主成分分析（principal component analysis，PCA）降维后的数据做线性回归，大大地提高了线性回归的效率，但是由于这是一种全局的回归方法，因此其合成图像的效果不如局部线性回归的方法.Alba-Castro等[8]提出了对称辅助正脸合成算法（symmetry-aided frontal view synthesis，SFVS），是一种以点分布模型（point distribution model，PDM）和正面人脸对称性为基础的合成方法，但该方法会造成人脸不自然，对称之后的人脸特征（例如痣、疤痕等）会存在丢失或者多余的情况.杜志军等[9]提出基于主动形状模型（active shape models，ASM）的人脸合成方法，通过研究侧脸和正脸之间的映射关系来合成正面人脸，该方法计算速度快，定位精度高.但是，伴随着视频监控系统的普及，待处理的非正脸图像的数目增长得越来越快，因此从视频中采集的图像有可能存在姿态变化较大、脸部信息严重缺损或者侧脸图像发生畸变等现象.这些图像可能会导致合成的正脸图像信息大量缺失，对人脸识别造成干扰.针对上述问题，本文提出了一种基于筛选评估准则的人脸合成方法.其中评估准则包括人脸水平扭转角度、脸部对称性和正脸差异水平，实现对人脸的细节方面以及左右、上下方向的整体方面的评估.本文方法具体分为3部分：①采用ASM算法对输入的人脸图像进行检测定位，确定人脸的精确位置；②本文提出一种对低质量的侧脸图像进行筛选的方法，缩小了合成后的正脸与标准图像间的差异，同时保证得到的正脸图像自然并接近真实人脸；③利用Delaunay三角剖分方法，并依据纹理映射关系，对转正的正脸中信息缺失的部分进行插值运算，最终合成正面人脸图像.本文提出的方法可有效地排除低质量侧脸图像的干扰，进而有效地合成逼真的正面人脸图像，提升了人脸识别的精度.

1 人脸标记点定位

本文方法是以人脸轮廓标记点为基础的，轮廓标记点定位是计算机视觉经典研究问题，目前已有众多成熟的方法.人脸特征点定位是为了准确描述人脸轮廓，寻找有用的关键点，为后面的筛选准则和正则化提供精确的特征信息.本文选用Cootes等[10]提出的ASM算法.ASM计算快速，标记点定位精度高，可以局限整体外形模型，且对遮挡、姿态和光照变化有一定的鲁棒性，可以准确定位侧脸图像的主要轮廓.定位算法主要分为3步：

（1）通过对人脸的训练集中大批训练样本的外形实例进行统计，选用Procrustes Analysis方法[11]对所有外形进行对齐.

（2）对对齐后的外形做PCA分析，构造可以反映目标物体外形变化规律的外形统计模型，其模型公式为：

（3）定位侧面人脸的标记点，首先采用局部纹理模型在标记点周围进行搜索，接着利用外形模型对标记点集合进行外形限制，并在二者之间进行反复迭代，最后收敛至标准外形，完成标记点定位.人脸轮廓标记点的结果如图1所示.

图1 人脸标记点定位结果Fig.1 Location results of facial marking points

2 侧面人脸图像的筛选

在视频中可能会采集到姿态变化较大或者不符合人脸定位的非正脸图像，这些偏转角度大的人脸图像存在严重的自遮挡，无法实现正脸图像合成.除此之外，如图2所示，每幅图从直方图、局部二值模式（local binary pattern，LBP）[12]进行比较，可以看出正侧脸之间也存在较大的差异.因此选取偏离正面人脸姿态较小的人脸图像作为待合成的侧脸图像具有极为重要的现实意义.本文提出细节与整体相结合的正面人脸水平评价准则，该准则融合了人脸水平扭转角度、脸部对称性和正脸差异水平3部分，可以兼顾细节和整体性特征进行判断，多方面评价人脸的正面水平，从而很好地排除低质量侧脸图像对合成的正脸图像的干扰.本节将具体介绍该准则，并在测试集中检验各个准则的效果.

图2 一个人不同图像及其直方图和LBPFig.2 Different images of same person and its histogram，LBP

2.1 人脸水平扭转角度

测量人脸水平扭转角度的目的是评估水平方向扭转的程度，人脸水平扭转角度实现了对侧面人脸细节方面的评价.根据人脸标记点定位的结果，从中选取4个标记点，分别是人脸的最外2标记点a、b和眼睛的尾部标记点c、d，如图3所示.

图3 侧面人脸标记点选取结果Fig.3 Selected results of non-frontal face marking points

计算眼睛尾部标记点和最近的最外一点的距离，根据比例换算可以计算出偏离正脸的水平扭转角度.设l1为a、c之间的距离，l2为b、d之间的距离，m为人脸图像的序号，水平扭转角度R(m)计算的表达式为：

在公式（2）中，当l1＞l2时，侧脸人脸的水平扭转角度的结果为负，侧脸为向右扭转；相反，人脸扭转角度结果为正，侧脸为向左扭转.针对图4所示图像，计算人脸水平扭转角度，结果如表1所示.

图4 人脸扭转角度Fig.4 Facial torsion angle

表1 人脸扭转角度计算结果Tab.1 Calculated results of facial torsion angle

随机选取实验样本进行实验，其结果与理论结果的误差在±3°之间，所得结果没有明显的偏差.由此说明，公式（2）可以准确地计算出人脸水平扭转角度.

2.2 脸部对称性

测量水平扭转角度是为了估计水平方向的扭转程度，而脸部的表情变化会影响上述的测量结果.因此本文在评价准则中加入脸部对称性，实现人脸水平方向的整体评价.该准则根据眼睛的中心线对I(m)进行左右划分，设和分别是人脸图像I(m)的左边和右边区域.为了量化人脸的对称性，采用欧式距离计算与中相应像素间的差异，其表达式为

图5 人脸对称性的差异值结果Fig.5 Differences results in facial symmetry

2.3 正脸差异水平

以上两个测量标准可以适用于水平方向扭转的测量.然而如果人脸是垂直方向进行扭转，那么采用上述两个测量标准评估侧脸的扭转程度时就会出现错误.针对该问题，本文给出了人脸垂直方向的整体评价.首先，每一幅侧脸图像采用ASM算法合成对应的正脸图像；然后，采用欧式距离计算侧脸与对应的正脸之间的像素差值，表征正脸差异水平，如图6所示；最后使用正脸差异水平来评价人脸垂直方向的扭转程度.

图6 正脸差异水平的计算结果Fig.6 Calculation results of facial value of difference

由图6可以看出，垂直方向扭转角度越小，对应的正脸越接近逼真的正面人脸，正脸差异水平值越小.对同一人的多幅侧脸的正脸差异水平值进行大小排序，正脸差异水平值越小，作为待合成的输入源图像的概率越高.

2.4 筛选准则

基于上述3个方面，本文提出侧脸筛选评估准则来选出待合成的输入源图像.尽管有不同的测量结果，但是3个方面是互相联系和互相控制的.通过利用3个独立质量评价指标结果的加权来获得每个人脸图像I(m)的整体质量评价值其表达式为：

式中：m为人脸图像的序号；R(m)为第m幅图像水平扭转角度的弧度值；Rmax和Rmin分别表示全部R(m)中的最大值和最小值；Qa值的范围为[0，1]，Qa随扭转角度R(m)变大而减小.

式中：S(m)为左右区域之间的差异值；Smax和Smin分别表示全部S(m)中的最大值和最小值；值的范围为[0，1]，S(m)越大，评价指标越小.

为了实现3种质量评价指标的最佳合成，使用文献[13]中的学习方法来确定其评价因素：首先在训练集中对参数进行初始设定，然后在一定范围内将参数进行循环变化，直至结果尽可能与目标结果相近，记录下最终参数，最后用于实际情况中.由于评价因素λa、λs、λc的取值范围为[0，1]，因此，初始设定λa=0，λs= 0，λc=1，步长大小为0.02，对λa=0、λs=0进行循环增加且同时满足λc=1-λa-λs，监测图像误差的计算结果，最终选择最小图像误差来确定.随机选取实验样本中100个人的4幅侧脸图，当影响因素取值为λa= 0.4，λs=0.4，λc=0.2时，筛选出来的人脸图像和预期待合成输入源图像一致，因此根据上述因素值对其余样本图像进行筛选可以得到合成效果好的侧脸图像.

图7 筛选Qall的计算结果Fig.7 Calculation results of Qallvalue

3 人脸正则化

人脸正则化是基于侧脸图像的像素信息来实现正脸图像的纹理填充，最终得到完整的正面图像.首先，对ASM得到的人脸均值形状和筛选后待合成的侧脸图像形状分别进行Delaunay三角剖分，其中人脸均值形状是第2节中所述的训练集的人脸均值形状其结果如图8所示.

图8 人脸图像Delaunay三角剖分结果Fig.8 Delaunay triangulation results of facial images

然后，基于三角剖分分成若干三角形的集合，三角形内部对应点如图9所示，可以看出，三角形的纹理映射关系在像素点上一一对应.

设 p1，p2，p3的3个坐标分别为（x1，y1），（x2，y2），（x3，y3），纹理映射关系为

图9 三角形内部对应点Fig.9 Corresponding points inside triangle

式中：p1，p2，p3分别为侧面人脸通过Delaunay三角剖分后其中一个三角形的顶点；p（x，y）为其三角形中的任意一点.

三角形的每个像素点都对应一组参数值（α，β，γ），而且在三角形内部的点都符合前提：0≤α，β，γ≤1.由式（8）得到参数（α，β，γ），并利用该参数得到点p在正脸图像的对应三角形中的对应点p′（x′，y′）：

本文在借鉴CDP项目分类标准的基础上，参考环保部公布的 《上市公司环境信息披露指南》，并结合样本公司碳信息披露的实际情况，建立了涵盖战略规划、治理架构、风险或机遇识别、碳排放核算四大类的上市公司碳信息披露评价体系。在碳信息披露评价体系的框架下，运用Python软件实现对样本公司所披露文件的内容爬取与文本分析，最后通过算法汇总企业碳信息披露所获得分。碳信息披露评价体系见表1。

最终，通过上述纹理关系进行插值来获得正脸图像，如图10所示.

图10 侧面人脸正则化的结果图Fig.10 Resulting figures of non-frontal face regularization

通过人脸的三角化，创建平均正面人脸和侧面人脸之间纹理的对应关系，由图10可以看出，本文方法的人脸正则化结果真实逼近标准正面人脸.

4 实验结果与分析

本文实验是在FERET人脸数据的一个子集上进行的，其中包括200个人，每个人有5幅姿态不同的图像，分别为ba（+0°），bd（+25°），be（+15°），bf（-15°）和bg（-25°）.随机抽取100人作为图像训练集，用于ASM定位以及人脸均值形状的确定，其余100人的图像测试集用来定性和定量评估本文方法.

4.1 合成正脸图像方法的比较

对于正则化后的正脸集，本文进行加权平均合成正脸来评价筛选评估准则.将本文方法合成的正脸图像分别与对应的标准正脸图像、ASM合成的图像[9]、SFVS合成的图像[8]进行比较，结果如图11所示.

图11 合成的正面人脸结果比较Fig.11 Comparison results of the synthetic frontal face

由图11可以看出，在每组图像中，SFVS算法合成的图像与标准正脸有比较大的差异，而且在一定程度上改变了人脸的身份特征；ASM合成的图像在细节特征上有着明显的图像信息缺失；本文合成的正脸图像与标准正脸图像更为接近.因此保留姿态较小的侧脸图像可以有效地降低姿态问题对合成的影响.

4.2 定量实验

为了进一步评价合成效果，本文通过定量实验来评估该方法，运算时间、图像保真度和相似度3个方面对本文方法及其他合成方法性能进行评价，采用均方差来描述图像的保真程度，同时通过计算两幅图像的直方图归一化的相似系数来评价合成结果与标准正脸之间的相似度，结果如表2所示.

表2 合成图像的定量评价Tab.2 Quantitative evaluation of synthetic images

由表2可以看出，本文方法与ASM的运算时间接近，且本文方法的图像保真度以及相似度皆优于其他方法.

图12所示为累计匹配分数（cumulative match score，CMS）[14]形式呈现的识别结果.本文采用库中100个不同人脸图像，图中横坐标为结果图与标准图之间的相似度等级，纵坐标则用相应等级的匹配图像个数的累计百分比来评价人脸识别结果.曲线越高且上升速度越快，则人脸识别效果越好.

由图12可以看出，本文方法的曲线上升速度最快且最早到达“1”，因此采用本文方法合成得到的正脸图像可以大大提高人脸识别的精度.

图12 合成正面人脸图像在人脸识别中的表现Fig.12 Performance of synthetic frontal face images in face recognition

5 结束语

本文提出了一种基于侧脸筛选评估准则的非正面人脸图像合成方法.该方法首先通过筛选的方式选出有利于合成正面人脸的源信息，从而有效减小在正面人脸合成下进行扭曲变换的幅度，使合成图像更加自然，逼近真实.本文提出的筛选评估准则，综合了人脸水平扭转角度、脸部对称性和正脸差异水平，从细节到整体全方位评价源信息的正面水平，有助于筛选出最接近正面人脸的信息，从而有效提升合成图像的真实水平.

[1] 李月龙，封举富.基于最小扭曲变换的正面人脸图像合成[J].计算机辅助设计与图形学学报，2001，23（6）：1085-1090.

[2] 赵林，高新波，田春娜.正面人脸图像合成方法综述[J].中国图象图形学报，2013，18（1）：1-10.

[3] BLANZ V，VETER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（9）：1063-1074.

[4]RAMNATH K，KOTERBA S，XIAO J.Multi-view AAM fitting and construction[J].International Journal of Computer Vision，2008，76（2）：183-204.

[5] LIEBELT J，XIAO J，YANG J.Robust AAM fitting by fusion of images and disparity data[C]//2006 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.New York：IEEE Press，2006：2483-2490.

[6] CHAI X，SHAN S，CHEN X.Locally linear regression for pose-invariant face recognition[J].IEEE Transactions on Image Processing，2007，16（7）：1716-1725.

[7]KIM M，ZHANG Z，TORRE F.Subspace regression：Predicting a subspace from one sample[EB/OL].[2012-05-02].http：//www.humansensing.cs.cmu.edu/projects/mikim.html.

[8]GONZÁLEZ-JIMÉNEZ D，ALBA-CASTRO J L.Symmetryaided frontal view synthesis for pose-robust face recognition[C]// IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）.Hawaii：IEEE Press，2007：237-240.

[9] 杜志军，王阳生.利用主动外观模型合成动态人脸表情[J].计算机辅助设计与图形学学报，2009，21（11）：1590-1594.

[10]COOTES T，TAYLOR C，COOPER D.Active shape modelstheir training and application[J].Computer Vision Image Understanding，1995，61（1）：38-59.

[11]ZOLTOWSKI M D，STAVRINIDES D.Sensor array signal processing via a procrustes rotations based eigenanalysis of the ESPRIT data pencil[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1989，37（6）：832-861.

[12]王玮，黄非非.使用多尺度LBP特征描述与识别人脸[J].计算机辅助设计与图形学学报，2009，21（11）：1590-1594.

[13]JAIN A，NANDAKUMAR K，ROSS A.Score normalization in multimodal biometric systems[J].Pattern Recognition，2005，38（12）：2270-2285.

[14]PHILLIPS P J，MOON H，RIZVI S.The FERET evaluation methodology for face-recognition algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（10）：1090-1104.

Non-frontal face image synthesis method based on source screening criteria

XIAO Zhi-tao1，YI Jing1，LI Yue-long2，ZHANG Fang1，GENG Lei1，WU Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.School of Computer Science and Software Engineering，Tianjin Polytechnic University，Tianjin 300387，China）

To solve the problem of information missing and deformation of the traditional synthesized frontal face image，a non-frontal face image synthesis method based on source screening criteria is proposed.The source screening criteria combines the facial symmetry，the frontal face image differences level and the horizontal rotating angle. The horizontal rotating angle uses the details of the eye information to assess the level of the front face.The leftto-right and vertical direction is separately assessed according to the facial symmetry and the frontal face image differences level.Combining these three aspects can availably exclude interference of low-quality non-frontal face image in synthesizing the frontal face.Firstly，marking points are detected and tracked.Then，multi-view face images of same person are screened to obtain the high-quality，low-interference non-frontal face images as the best synthetic input source images.Finally，frontal face images are synthesized by calculated interpolation. Experimental findings on the FERET databases demonstrate that the source screening criteria can availably screen out low-quality，strong-interference non-frontal face images and reduce the impact of pose questions on the precision of face recognition algorithm effectively.The synthesized frontal view face can approximate the ground truth frontal view face.

non-frontal face image synthesis；source screening criteria；face recognition

TP391

A

1671－024X（2015）02－0069－06

2014-12-15

国家自然科学基金资助项目（61302127，11326198）；天津市高等学校科学发展基金计划项目（20120805）

肖志涛（1971—），男，教授，博士生导师，研究方向为图像处理与模式识别.E-mail：xiaozhitao@tjpu.edu.cn.