基于深度数据的空间人脸旋转角度估计

蒋建国， 胡珍珍， 詹 曙

（合肥工业大学计算机与信息学院，安徽 合肥 230009）

人脸旋转角度的估计是指确定输入的人脸图像在三维空间中对应于x、y、z3个坐标轴的旋转角度。获得准确的人脸姿态参数是智能人机交互、基于模型的视频会议编码、虚拟现实、智能控制以及人脸识别的前提条件，因而具有广阔的应用前景。

近年来大部分人脸的姿态估计主要是基于二维人脸的灰度数据，对于姿态变化鲁棒性较差。三维数据反映的人脸几何信息，具有旋转不变性，能够克服姿态和光照变化的影响，因而受到越来越多的关注。当前三维数据的捕获技术主要有[1]：基于立体视觉、结构光和激光扫描仪3种。基于立体视觉的捕获技术是通过融合不同角度的二维图像来合成三维人脸模型或三维图像，通过各种光照模型，人脸表情模型和姿态估计消除光照条件，姿态和表情变化带来的影响。结构光技术是采用一组模式光，如光点、光条或光面，投影到人脸上，由模式光的形变可以得到人脸表面的深度信息。激光扫描仪获取的3D数据较精确，但是仪器价格昂贵，采集速度较慢。国内尹宝才、孙艳丰建立了目前国际上最大的中国人的三维人脸数据库BJUT-3D，其中包括经过预处理的1200名中国人的三维人脸数据，这一数据资源对于三维人脸识别与建模方面的研究有重要意义[2]。

目前国内外对人脸旋转角度估计的方法主要有两类：基于表观的方法和基于模型的方法。基于表观的方法是假设3D人脸姿态与人脸图像的某些特性（图像密度、颜色、图像梯度值等）存在唯一的对应关系，用大量已知3D人脸姿态的训练样本，通过统计方法来建立这种关系。国内马丙鹏、山世光等利用了一维Gabor滤波器提取头部图像特征再用局部Fisher判别分析估计姿态[3]。但这种方法需要大量的训练样本作为先验集，精确度大大受限于训练样本的划分策略数量。基于模型的方法利用某种几何模型或结构表示人脸的结构和形状，在模型和图像之间建立起对应关系，然后通过几何或者其他方法实现姿态的估计。Mazumdar等人使用两个外眉点和嘴的中心点，形成一个T字型人脸模型实现了人脸姿态的估计[4]。Xiao 等人利用圆柱表示三维的头部，并根据透视投影来估计头部的姿态[5]。Park等利用AAM（Active Appearance Models，主动外观模型）、期望最大化算法和3DMM（3D Morphable Model，3D形变模型）实现的单幅人脸图像姿态预测[6]。Ebisawal以基于两瞳孔和鼻孔的3D检测来做人脸姿态估计[7]。国内梁国远、查红彬等人利用人脸的三维模型生成特征点正面平行投影，根据圆和椭圆之间的仿射对应关系获取人脸姿态[8]。基于模型方法的优点在于：人脸的几何结构通过投影模型清楚地揭示了3D人脸姿态和2D人脸图像的关系。当人脸特征点被精确定位后，这种方法简单易行，且具有高的精确度。但是这种方法的不足之处在于对于面部特征点的定位敏感。针对这一问题，本文利用相关型图像传感器所获取的面部深度数据和一一对应的灰度数据，对人脸面部特征点进行精确定位，并利用定位的结果对人脸在三维空间的旋转角度进行估算。实验结果表明，该方法可以准确的估计面部旋转角度，并对姿态的变化有着较好的鲁棒性。

1 三维人脸数据

实验所用三维数据采用基于图像传感器获得的三维深度数据，以及与其一一对应的灰度图像数据，如图1、图2所示。

图1 三维人脸图像

图2 三维深度图像

2 基于曲率的特征点定位

物体表面曲率具有几何不变性[9]。为了分析三维人脸的曲率，定义人脸曲面S[9]，S是由二次可微的实值函数f定义的，令则曲面S可表示为

对于曲面S上的每一点(x,y, （fx,y）)的平均曲率H和Gauss曲率K可用式(1)-(2)计算

根据GaussK和H的符号，可以将局部曲面的形状分为9类[10]，如下表所示。

表1 根据K和H符号确定的局部曲面分类

由微分几何的知识可知：在人脸曲面中鼻子顶点处为顶面部分Gauss曲率最大处，而两眼之间的鞍点部分则为鞍脊面部分Gauss曲率最小处。定位结果如图3所示。

3 基于灰度的特征定位

人脸眼睛部位常见的遮挡物为眼镜，由于眼镜的影响会造成基于曲率特征对眼睛的定位不准确。而由CIS（Correlativn Image Sensor，相关类型图像传感器）所获取的人脸深度数据和灰度数据是一一对应的，因此可以根据由深度数据所提取的鼻尖和鞍点为基准，再在灰度数据中提取出左右瞳孔的位置。人的瞳孔在亮度图像中的灰度要明显的小于人脸中其他部分，根据人脸的形态结构知识，在鼻尖的上方、鞍点的左右区域设定搜索范围，可以准确的找出灰度值最小点，确定左右瞳孔的位置。图4的实验结果表明，用亮度对眼睛的定位对于姿态变化和眼镜遮挡的鲁棒性较好，在光照不足的情况下也能够对实现瞳孔准确定位。

图3 利用曲率特征定位鼻尖点和鞍点

图4 利用曲率和灰度对人脸鼻尖点、鞍点和左右瞳孔点定位的结果

4 基于特征点人脸旋转角度估计

首先建立三维的人脸坐标系：水平方向为X方向，垂直方向为Y方向，垂直纸面指向外的方向为Z方向，如图5所示。

图5 人脸空间旋转的3个方向

人脸面部的旋转通常分成3种类型：平面内旋转（XOY平面内旋转）、左右旋转（XOZ平面内旋转）和上下旋转（YOZ平面内旋转）。

文献[11]采用提取出的眼睛和嘴部的特征点建立等腰三角形来估计空间人脸的姿态。而实际上在空间中，面部的各个特征点很少在同一深度平面上，特别是在姿态发生偏转时。本文根据CIS所获取的人脸深度数据和灰度数据是一一对应的关系，在获取特征点在灰度图像中的位置的同时，也获取了对应特征点的深度信息，通过对左右瞳孔、鼻尖点和鞍点空间位置坐标的计算，可以准确估计人脸在空间的旋转角度。

以α、β、γ作为人脸分别绕X、Y、Z旋转形成的角度。人脸面部每一点在空间中的坐标可表示为Xi,Yi,Zi。

γ的计算比较简单，可直接通过左右瞳孔在图像中的坐标计算出来，如图6所示。令左右瞳孔的坐标分别为x1,y1,z1、 x2, y2,z2，则旋转角度可由式(3)算出。

当人脸绕Y轴旋转时，以鼻尖和鞍点的连线在空间中旋转过的角度作为角度β。图7中，saddle和nose点表示在中正面状体下的鞍点和鼻尖点，saddle'和nose'则表示绕Y轴旋转后的鞍点和鼻尖点。鼻尖的坐标为xn,yy,zn，鞍点的坐标为为xs,ys,zs。角度计算见式(4)。

图6 旋转角度γ

图7 旋转角度β

人脸绕X轴的旋转角度α的计算也是通过鞍点和鼻尖点位置的变化来完成。图8中，在中正面的状态下，鼻尖与鞍点的连线与Y轴有一个夹角α0，当人脸围绕X轴旋转时，这一夹角会变成α'，两个角度之间的差值即为人脸绕X轴的旋转角度α。中正面时鞍点的坐标为xs,ys,zs，鼻尖点的坐标为xn,yn,zn，并且考虑到左右旋转对上下旋转的影响，旋转角度可由式(5)算出。

图8 旋转角度α

同理可以计算出α′，则α=α′-α0

5 实 验

实验采用CIS采集的图像包括7个人115组数据，每组数据可生成一幅深度图和一幅灰度图像，共有230幅图像。这些人脸图像包括：抬头/低头、左右偏转等姿态和是否戴眼镜不等人脸细节。图像尺寸为64×64（单位：像素）。实验中，令XOY平面内逆时针旋转为正，顺时针旋转为负；XOZ平面内逆时针旋转为正，顺时针旋转为负；YOZ平面内逆时针旋转为正，顺时针旋转为负。部分实验结果如表9所示。实验结果表明，本文的方法能够对不同姿态人脸的旋转角度作出正确估算。

6 结 论

本文提出了一种利用深度数据和灰度数据，通过特征点定位结果对人脸在空间里的旋转角度进行估算的方法。根据微分几何的知识，利用曲率特征的旋转不变性，结合灰度特征，对不同姿态和遮挡条件下的人脸特征进行了定位，并根据定位的结果对人脸的旋转角度进行了计算。对于115幅人脸图像的实验结果表明：本文的方法可以准确定位鼻尖点、鞍点和左右瞳孔，并能实现人脸角度的精确计算。

人脸旋转角度的计算对于后续的人脸识别及相关计算，是一个重要的前处理过程，可作为表情分析、五官分割等方向的预处理。三维的数据克服了二维数据信息不足的缺点，在以后的人脸处理中会有更加广泛的应用。

图9 对不同人脸、不同姿态的实验结果

[1]詹 曙, 常 虹, 蒋建国, 等. 基于相关型图像传感器三维人脸成像的三维AAMs人脸识别方法的研究[J]. 中国图象图形学报, 2008, 13(10): 2059-2063.

[2]尹宝才, 孙艳丰, 王成章, 等. BJUT-3D三维人脸数据库及其处理技术[J]. 计算机研究与发展, 2009,46(6): 1009-1018.

[3]马丙鹏, 山世光, 陈熙霖, 等. 一种基于图像表观的鲁棒姿态估计方法[J].软件学报, 2009, 20(6):1651- 1663.

[4]Mazumda D R, Dutta S, Mitra S. Automatic feature detection of a face and recovery of its pose [C]//Communicated to Journal of IETE, 2003: 505-511.

[5]Xiao J, Moriyama T, Kanade T, et al. Robust full-motion recovery of head by dynamic templates and registration techniques [J]. International Journal of Imaging Systems and Technology, 2003, 13: 85-94.

[6]Park S W, Heo J G, Savvides M. 3D face reconstruction from a single 2D face image [C]//Proceedins of Society Conference on Computer Vision and Pattern Recognition. Anchorage, 2008: 1-8.

[7]Ebisawal Y. Face pose estimation based on 3D detection of pupils and nostrils [C]//Proceedings of IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, Giardini Naxos, Itay, 2005:92-97.

[8]梁国远, 查红彬, 刘 宏. 基于三维模型和仿射对应原理的人脸姿态估计方法[J]. 计算机学报, 2005,28(5): 792-800.

[9]Colombo A, Cusano C, Schettini R. 3D face detection using curvature analysis [J]. Pattern Recognition, 2006,39: 444 - 455.

[10]Besl P J, Jain R C. Invariant surface characteristics for 3-d object recognition in range images [J].Comput, Vision, Graphics Image Process, 1986, 33:33-80.

[11]Nikolaidis A, Pitas I. Facial feature extraction and pose determination [J]. Attern Recognition, 2000, 33:1783-1791.