基于矩-傅里叶描述子的不同姿态三维人脸识别

张玉明，高　杰，张海燕

(1.芜湖职业技术学院　电气学院，安徽　芜湖　241001；2.合肥工业大学　计算机与信息学院，安徽　合肥　230009)



基于矩-傅里叶描述子的不同姿态三维人脸识别

张玉明1，高杰2，张海燕2

(1.芜湖职业技术学院电气学院，安徽芜湖241001；2.合肥工业大学计算机与信息学院，安徽合肥230009)

摘要：三维人脸相比二维人脸包含更丰富的信息，而且能够克服姿态，表情，光照因素的影响，更好地表示人脸特征，从而逐渐受到广泛的关注和重视。文中对不同姿态下的三维人脸深度图，先用微分几何相关知识把该图校正到正中面，然后通过提取人脸面部的等高线特征，将三维人脸变成容易处理的二维曲线，针对如何能够更好的描述该二维曲线，提出了一种把矩和傅里叶描述子相结合的新方法，最后利用提取的曲线特征进行人脸识别。实验结果表明，该方法具有很好的实时性和更强大的形状区分能力，鲁棒性高，优于传统傅里叶描述子提取等高线特征的方法。

关键词：深度图；矩；傅里叶描述子；人脸识别

人脸识别和手纹识别，指纹识别，声音识别等一样，是一种基于生命个体特有的身份认证技术，它通过提取分析人脸视觉特征信息进行身份认证，具有非接触性，不侵犯隐私等特点，具有非常好的应用前景，例如在电子商务，门禁系统中的应用等。

最初的人脸识别主要是基于二维人脸特征，在条件适宜的情况下，可取得比较好的识别效果。但在实际应用中，二维人脸识别方法无法克服多种因素的影响，识别效果不够理想。三维人脸含有更加丰富的脸部特征信息，而且基于三维人脸的识别方法相比较二维人脸，对各种因素比如不同的光线或者不同的表情等因素有更强的鲁棒性，近些年三维成像技术也逐渐走向成熟，这有益于人脸识别技术的研究，国内外学者投入很大的精力和兴趣在这个领域。

本文中提出的方法是先由三维实时成像系统获取人脸深度图，然后对不同特点的深度图进行校正，最后提取校正后的人脸深度图的等高线，从而将三维深度图转变为易于处理和分析的二维曲线。本文主要研究如何更好更快地描述二维曲线特征，用于后面的人脸识别。传统的形状不变矩和傅里叶描述子是两种经典的形状描述方法，在近几十年已经得到国内外学者的深入研究。但是传统的形状不变矩方法计算量大而复杂，不适合不同姿态的三维人脸深度图，人脸深度图对实时应用要求高。传统的傅里叶描述法计算量小但稳定性不高，鲁棒性低。本文提出把矩特征和傅里叶描述子结合起来来描述人脸的等高线，其计算量小，区分形状能力更强，把提取后的特征应用在人脸识别后，识别效果更好，识别速度更快。

1不同姿态下的人脸深度图校正

深度图中每一点的像素值代表该点的深度，能体现出人脸在三维空间上内在的结构特征[1]，在实际拍摄过程中，摄像头一般不是正对人脸，所以得到的三维深度图或左或右或上或下有一些偏移，不是标准的“正中面”图像[2-5]。可利用三维人脸数据的几何不变性对其进行校正以便获得更好的识别效果。校正后的人脸图像可以用一种离散曲面表示。该曲面S:z=f(x,y)中任意一点(x,y,f(x,y))的高斯曲率可表示为：

把整个曲面根据高斯曲率和平均曲率大小分成不同的区域，若K>0，H<0，则是顶面区域， 若K<0,H<0则是鞍脊面区域等等，再找出一些关键点。由微分几何相关知识和人的脸部特征可以推出，顶面区域内高斯曲率最大处是鼻尖点，左右眼点也是另一个局部区域中高斯曲率最大处，而鞍脊点是鞍脊面区域内高斯曲率最小处[6]。找到这些关键点，在关键点定位的基础上，通过计算鼻尖点、鞍点和左右眼点在空间位置的坐标，可以准确估计人脸的偏转角度。人脸绕横向(x轴)偏转的角度α表示为鼻尖点与三维坐标原点连线在纵向(y轴)和深度(z轴)平面内偏转的角度，体现人脸俯仰情况。人脸绕y轴偏转的角度可表示为鼻尖点绕轴偏转的角度，体现人脸的扭转情况。人脸绕z轴偏转的角度γ表示为左右眼点与水平方向的夹角，体现人脸的偏转情况。α、β 、γ角度的计算公式如下：

结合计算的三个方向上的旋转角度，将人脸深度图像校正到“正中面”，旋转后的人脸部分区域会出现“空洞”，利用相邻点的数据和对称区域的相关数据来填补这些“空洞”，从而得到完整的“正中面”的人脸深度图像。

2矩-傅里叶描述子算法

将三维人脸视为一个曲面，提取校正后的三维人脸深度图的等高线来描述人脸的几何特征。每条等高线都是封闭的二维曲线，为了更好的描述曲线特征，提出把不变矩和傅里叶描述子方法结合起来，即矩-傅里叶描述子法。该算法的基本过程是首先把等高线看成是是由N个离散点组成的，将这些离散点用直线段相连，形成连续边界曲线的封闭区域。计算区域的质心，以质心为中心，等角度的向外作N条射线，这N条射线和边界直线段将区域分割成N个等角度的扇形区域，在每个扇形区域计算同一种矩，用计算出来的一系列矩值反映曲线的形状特征，最后对这些矩特征值进行离散傅里叶变换并归一化，得到形状特征描述子，用来表示人脸曲面的等高线。

图1　扇形区域划分示意图

2.1确定闭合区域的质心

数字图像的(p+q)阶的计算公式如下：

其中f(x,y)是图像的密度函数，一般指的是像素点(i,j)灰度值函数。

图像质心(Cx,Cy)坐标为：

2.2基于边界点的矩特征值快速算法

由于等高线是二维的闭合曲线，由N个离散点组成，相邻的边界点和质心之间用线连接，形成一个三角形，N个边界点形成N个三角形，整个等高线的矩可以通过这些三角形的矩获得。三角形划分示意图如下图，分为三个区域，区域一是由点(a,b)和(a,0)构成的三角形，区域二是由点(0,0),(a,b)和(c,0)构成的梯形，区域三是由点(0,0),(c,d)和(c,0)构成的三角形。下面给出3个区域的6个低阶矩公式：

图2　三角形示意图

区域一：

m00,1=ab/2,m01,1=ab2/6,m10,1=a2b/3,m11,1=a2b2/8,m02,1=ab3/12,m20,1=a3b/4.

区域二：

m00,2=(c-a)(d+b)/2m10,2=(d-b)(c2+ac+a2)/3+(bc-ad)(c+a)/2

m01,2=(c-a)(d2+db+b2)/6,

m02,2=(c-a)(d3+bd2+b2d+b3)/12

m20,2=(d-b)(c3+ac2+a2c+a3)/4+(bc-ad)(c2+ac+a2)/3

区域三：

计算公式和区域一是一样的，只需要将a换成c，b换成d。

三角形的(p+q)阶矩为：

mpq=mpq,1+mpq,2-mpq,3

为了定义一个简单，运算量小，同时又能够识别形状特征，我们选取Hu提出的七个不变矩中的第一个矩来作为扇形区域的矩特征值：

φ=u20+u02

其中u20,u02由几何矩mpq根据下式可得：

以等高线所围区域质心坐标为中心，向外等角度作出N条射线，该射线与轮廓相交，形成N个等角扇形区域，根据上面方法计算每个扇形区域的矩特征值，按照逆时针旋转方向存放该值φ。

2.3傅里叶描述子及其归一化

傅里叶描述子是物体形状边界曲线的傅里叶变换系数，他是物体形状边界曲线的频域分析的结果[7]。三维人脸图像的任何一条等高线可以作为离散点的坐标序列：

z(n)=[x(n),y(n)]n=0,1,…,N-1

该条等高线可以经过取样为N个离散点，这些离散点可以用复数和二维直角坐标系来表示：

z(n)=x(n)+jy(n)n=0,1,…,N-1

k=0,1,…,N-1

因为傅里叶级数的能量大多主要集中在低频分量，往往利用傅里叶描述子的前M个低频分量可以近似恢复原始等高线的形状。

上面的傅里叶描述子将边界曲线等距离离散化，得到N个离散点，本文算法中计算的矩特征值序列已经是对整个区域进行等角度均匀分割后得到的，可以直接对得到的矩值序列作离散傅里叶变换。归一化的傅里叶描述子定义为：

3相似度计算

取一幅校正后的人脸深度图，随意选取曲面中的n条等高线，每条等高线使用前m个的傅里叶描述子，傅里叶描述子使用复数形式，那么整幅人脸可以由个傅里叶描述子描述其特征，此特征可表示为：Ip(t)=xp(t)+i*yp(t)t=1,2,…,m×n

在人脸识别时，选取不同人脸图像特征之间最近的距离为识别结果。不同人脸深度图特征之间的距离定义为：

4实验与结果分析

下面通过一个实验，与传统的傅里叶描述子相比较，来证明本文的矩-傅里叶描述子算法有更强的形状区分能力。下图7条鱼属于同一形状，但是分别具有不同的旋转角度和不同的尺寸。用本算法来计算图3中同种形状间的相似度差异，其类内平均差异度为0.02217。再计算图4中所示的不同形状间的差异度，其类间平均差异度为0.45904。类间的差异度和类内的差异度的比值为0.45904/0.02217=20.70545。若用传统的傅里叶描述子来计算，则类内平均差异度为0.02315，类间平均差异度为0.27042，比值为11.68120。实验表明矩傅里叶描述子比传统的傅里叶描述子有更强的形状区分能力。

图3　7种同样的形状

图4　7种不同的形状

5结论

本文针对不同姿态的三维人脸识别，提出了一种快速有效的人脸识别方法。该方法利用微分几何理论将不同姿态的三维人脸深度图像校正到“正中面”，然后提取代表人脸曲面几何性质的等高线，把矩和傅里叶描述子结合起来提取人脸等高线特征，最后把提取的特征分类，应用在人脸识别中，获得了比较高的识别率。

参考文献：

[1]田文君．基于深度图像的三维人脸特征提取[D]．北京：北京交通大学，2009．

[2]李茜，龚勋，王国胤．基于曲率和纹理信息的三维人脸特征提取[J]．重庆邮电大学学报:自然科学版，2008，20(6)：729-732, 753．

[3]叶长明，蒋建国，詹曙，等．不同姿态人脸深度图识别的研究[J]．电子测量与仪器学报，2011，25(10)：870-878．

[4]胡珍珍．基于深度数据的人脸旋转角度估计及三维人脸识别的研究[D]．合肥：合肥工业大学，2011．

[5]蓝杨，王紫霏，吴杨，等. 一种基于等高线的三维人脸识别方法[P].中国，G06K9/00，2010-10-24.

[6]叶长明，蒋建国，詹曙，等．基于曲面等高线特征的不同姿态三维人脸深度图识别[J]．模式识别与人工智能，2013，26(2)：219-224．

[7]李刚，王蒙军，林凌．视觉驱动的语音合成系统中唇形轮廓的傅里叶描述[J]．仪器仪表学报，2007，28(8)：1464-1468．

(责任编辑：李孟良)

收稿日期：2016-01-18

基金项目：国家自然科学基金(61371156)；安徽省科技攻关计划(140B042019)。

作者简介：张玉明(1968-)，男，安徽省芜湖市人，硕士，副教授，主要从事图像处理及保密通信研究。

中图分类号：TP391

文献标识码：A

文章编号：1673-8772(2016)03-0055-05

3 D Face Recognition in Different Poses Based on Moment-Fourier Descriptors

ZHANG Yu-ming1，GAO Jie2,ZHANG Hai-yan2

(1.Department of Electrical Engineering，Wuhu Vocational Institute of Technology,Wuhu 241000,China;2. School of Computer & Information, Hefei University of Technology,Hefei 230009,China)

Abstract：Three-dimensional human face contains richer information compared to 2D face ,but also able to overcome gestures, facial expressions and lighting factors, a better representation of facial feature, which gradually widespreads concern and attention.In this paper, firstly, differential geometry theory correction is used in three-dimensional human face depth maps in different poses to the median plane, and then by extracting the contour characteristics of the human face portion,the three-dimensional human face into a two-dimensional curve is easy to handle , and for how better able to describe the two-dimensional curves, a new method combining the moments and Fourier descriptors is proposed.In the end, face recognition is performed using the extracted curve feature. Experimental results show that this method has good real-time performance and greater ability to distinguish between shapes, while having excellent robustness superior to the traditional Fourier method described in sub-extracting contour features.

Key words:Depth Map,Contour feature； Moment; Fourier descriptor, Face recognition