基于局部特征的三维人脸识别

胡敏艳，孙杳如（同济大学电子与信息工程学院计算机科学与技术系，上海 201804）

基于局部特征的三维人脸识别

胡敏艳，孙杳如
（同济大学电子与信息工程学院计算机科学与技术系，上海 201804）

0　引言

科技迅速发展，各种安全技术越来越受到人们的重视。人脸作为每个人独有的身份标识，它具有非交互性，人脸数据容易获得等优点。这种非交互式的身份鉴定，可以运用于飞机场、火车站查找网上逃犯以及恐怖分子。人脸识别最早开始于上个世纪初[1]，这一时期主要研究的是二维人脸识别。然而，二维人脸识别一直受到光照、姿态、年龄、遮挡的影响，研究者转而投入三维人脸识别中以求突破。从上个世纪80年代末90年代初[2-3]，三维人脸识别就已经进入了我们的视野。近些年来，由于三维扫描设备的快速发展和计算机处理性能的提高，促进了三维人脸识别的发展。目前，三维人脸识别的方法各种各样，大体上可以分为两种：基于全局特征的识别方式和基于局部特征的识别方式。

基于全局特征的识别方式中，大多数方法是从整个人脸数据中提取出相关的特征信息。例如，主成分分析法（PCA）[4-6]，线性判别法（LDA）[6-7]，独立成分分析法（ICA）。它们通常是先用一定的数据训练，构造特征子空间。对于测试数据，将其映射到特征子空间中并用一定的方法对其进行匹配。其次，还有一些研究者使用ICP算法来识别人脸。Chua[8]首先将ICP算法运用于人脸识别中的预处理步骤——对齐人脸。后来，Cook[9]将ICP算法用于中性表情的人脸识别中。基于ICP匹配算法的人脸识别对姿态和光照变化具有稳健性，在中性表情下，ICP匹配算法的识别效果较好。同时反映出，在具有表情的三维人脸中，该算法识别效果不好。然而，ICP匹配算法计算代价太大。

基于局部特征的识别方式，主要是从三维人脸曲面上的某些点周围提取有效的局部几何特征，通常有局部描述符，曲线特征和曲率特征。我们通常是用法向量、曲率、曲线等基本的几何特征来构造局部特征。这些局部特征在构造前，通常要找到人脸中一些稳定的点，这些点我们称作关键点。接着，我们利用这些关键点周围一定范围内点的信息来构造特征。局部描述符是人脸某点邻域内的几何信息或者几何统计信息，常见的有旋转图像法（Spin Image）[10]、本质特征向量（Intrinsic Features）[11]、点签名（Point Signature）[12]。

SIFT[13]算法成功运用于二维人脸识别，其具有旋转以及尺度不变的特性。受到SIFT算法的影响，我们也在不同尺度下进行关键点检测，而后再构造以关键点为中心的局部特征。本文使用meshSIFT算法的三维人脸的关键点检测方法，来检测相对稳定的三维人脸特征点。Shape Index对不同的尺度具有不变性，J.Farley Norman[14]等人其论文中也有提到。曲率可以衡量曲面的弯曲程度，因而我们在这里使用Shape Index和曲度来构造特征向量。要想构造一个不因人的姿态变化而受到影响的特征，应在构造特征前为局部特征确定一个参考方向，以该方向为基准构造局部特征。因而，我们人脸特征构造方法主要分为以下两大步骤：①关键点检测。②特征构造。在特征构造中，我们首先要计算主方向。其次，以主方向为基准构造局部特征。本文构造的局部特征，用于外部遮挡的识别中具有相对较好的效果。

1　我的工作

从Bosphorus数据库中获得的数据是点云数据。在进行计算前，我们首先将这些点云数据转化成三角网格数据。这时，人脸数据主要是由点集和边集组成。点集可以表示为：V={i∈n|vi=（xi，yi，zi）}，n是一个人脸总共的点数。而边集可以表示为 E={（vi，vj∈V）∩（vi，vj）∈T|（vi，vj）}，T表示一定的规则，这个规则使得两个点构成了一条边。一个点的邻域内的点集用Ni={vj∈V| （vi，vj）∈E}来表示。

1.1关键点定位

Lowe DG在2004年提出了SIFT算法，该算法通过检测不同尺度空间的极值点，具有位置，旋转，尺度缩放不变性。有效的关键点是人脸识别的关键，我们在这里采用MeshSIFT[15]算法来获得三维人脸数据中的关键点。MeshSIFT算法借鉴了SIFT算法的思想并应用于三维人脸识别的算法。首先，构造不同的尺度空间来获取，人脸在不用尺度空间下的人脸信息。其次，在不同的尺度空间上，来检测关键点。具体做法如下：

（1）构造尺度空间

高斯卷积核是实现尺度变换的唯一线性核。本文使用与高斯滤波函数相似的二项式滤波函数来实现。对于原始人脸输入F，我们将获得多个尺度下的人脸Fs，具体的处理过程如下：

F代表原始的人脸数据，Gσs是近似高斯过滤函数的二项式滤波函数，σs是尺度因子我们用二项滤波器来近似高斯核函数来对三维数据做卷积，具体公式如（2），对第i个点做二项式滤波，第s次卷积时的二项式滤波为：

（2）选取关键点

图1　检测到的关键点在原始人脸数据上的显示

1.2提取特征

要想获得具有方向不变性的局部特征，在进行特征构造前我们应该找到一个参考方向，以此来构建局部特征。相对于参考方向的特征对于方向变化将更加稳定。因此，我们的特征提取工作将分为两个部分：①确定参考方向；②构造特征。在确定参考方向时，我们使用了MeshSIFT中的方法来确定参考方向。

（1）确定参考方向

要构造局部特征，先要确定关键点周围多大范围内的信息对此关键点有效。在这里，我们确定以关键点为中心，球半径r内的点为构造关键点的特征的有效点 （这些点构成的区域称之邻近区域，r是经验值8 σs）。因而，我们必须先计算邻近区域内的各个点的法向量（用文献[16]中的方法）和测地距离（用文献[17]的快速匹配算法）。利用测地距离去除无效的点，将各个有效点的法向量投影到关键点的切平面上，这些投影在切平面内指向各个方向。我们的参考方向主要是要找到一个最能代表关键点这个邻域内点构成的形状的大致的弯曲方向。有了参考方向，当人脸数据旋转时，检测到的主方向也会跟着相应变化。

计算参考方向的主要步骤如下，对各个点的投影向量使用一个360个组数和组距为1度的加权直方图来统计。为了得到的参考方向更具有稳定性，在统计各个点法向量的投影向量之前，我们对其做一个测地距离的高斯加权，接着对直方图进行三次高斯模糊（模糊因子σ=17，代表17个组距）。最后，我们从直方图中得到一组最大的值。我们将取大于最大值80%的方向为主方向，因而我们可能得到多个参考方向。如果一个关键点有多个参考方向，这个关键点就有多组关键点的特征生成。

图2　表示关键点及其邻域内法向量映射到切平面引用meshSIFT[15]

（2）构造特征

其次，小圆内对每个区域内的点进行统计，将这些点的形状索引值[-1，1]分为8组，对每组j的点用wcgc，i和wkgk，i对曲度进行加权计算得到sj。每个区域内的特征可以表示为S=[s1，s2，…，s8]；每个小圈的内的特征可以表示为c=[S1，S2，S3，S4]，其中下标对应图4中的下标；这时，我们可以将第k个小圆区域内的特征由Ck=[c1，c2，…c8]T（k=1，2，…，9）；则关键点i的特征向量则为fi= [C1，C2，…，C9]；则这时，整个人脸特征可表示为F={f1，f2，…，fn}。通过以上步骤，对人脸周围的区域进行序列化，并对其进行计算。

图3　用来构造特征向量的主方向的指向

图4　用来构造特征向量每个区域的子区域划分

2　识别方法

图5　使用Bosphorus数据库中的外部遮挡的部分数据对人脸进行识别

3　实验结果

实验的数据主要来源于Bosphorus数据库[18]中的人脸资源。Bosphorus数据库中，有男性61人，女性44人，年龄在25到35岁之间。每个人包含31-54张人脸数据不等，每张人脸由大约35000个三维点云数据组成，总共包含4666张人脸数据。其中，人脸数据有含正面、表情、旋转、遮挡这几种不同类型的人脸数据。笔者主要从以下两个方面做了实验，来证明特征的有效性：

首先，将从数据中给每个脸找一个数据作为人脸库中的数据，后面识别时通过与数据库中的这些数据进行匹配，判断是不是同一个人脸。图表1显示了与其他方法在Bosphorus数据库人脸识别效果上的比较。如图表1，我们的正面人脸识别准确率达到93.0%比其他的人脸识别率要高。

表1　与其他的文献在全部人脸数据和正面人脸数据进行比较

在Bosphorus数据库中，遮挡的人脸数据主要有一下四种：

1.用手遮住嘴部（105），2.眼镜（104），3.头发遮住脸部（67），4.用手遮住一只眼睛和部分额头（105）。

我们的实验主要从上面四种数据，以及对所有外部遮挡的人脸数据进行了对比。所有的实验数据有381张人脸数据，用我们的方法来对这些数据做匹配，人脸识别效率达到了93.9%的识别率。我们的整个人脸识别过程都是自动完成的，而Aluz等人[22]的方法在整个的人脸识别的处理过程中有部分由手动处理。Colombo等人[23]先对数据进行了筛选，丢弃了质量相对较差的数据，取了其中较好的360个数据进行识别。除了头发遮挡部分比他差，其他的识别上都远超过了他的识别效率。Drira等人[24]对人脸进行识别，他们先将遮挡的数据去掉，然后对该部分数据进行修复，然后再对着进行识别。我们的方法在外部遮挡的人脸数据中除眼部遮挡的数据识别效率与Drira识别效率相当外，其他的数据比Drira等人识别效果都要好。从图表2的对比中，可以看出，对外部遮挡的数据识别效果较好。

4　结语

我们提出了一种新的方式过对关键点周围的几何信息进行构造并运用于人脸识别。我们在整个人脸识别的过程中都是自动进行的，不需要任何人工干预。在以上的实验表明，与本文提出的特征构造方法在外部遮挡的识别上具有比较好的效果。从整体上来看，我们的方法在三维人脸识别上还有很大的提高空间。在后面的研究中，我们会继续改善它在其他数据中的识别效率，从而提高整体的识别效率。

[1]Galtonf.Numeralised Profiles for Classification and Recognition[J].Nature,1910,83(2109):127-130

[2]Lee J C,Milios E.Matching Range Images of Human Face[C].Computer Vision,1990.Proceedings,Third International Conference On.IEEE,1990:722-726.

[3]Nagamine T,Uemura T,Masuda I.3D Facial Image Analysis For Human Identification[C]Pattern Recognition,1992.Vol.I.Conference A:Computer Vision and Applications,Proceedings.11th IAPR International Conference On.IEEE,1992:324-327.

[4]M.Ana Belen,S.Ngel,V.JosFco Et Al.Face Recognition Using 3D Local Geometrical Features:PCA Vs.SVM,Image and Signal Processing And Analysis,2005.ISPA 2005.Proceedings of the 4th International Symposium on.2005:IEEE.

[5]M.Mir Hashem,F.Karim,A.Amin.Three Dimensional Face Recognition Using SVM Classifier,Computer And Information Science[C]. 2008.ICIS 08.Seventh IEEE/ACIS International Conference on.2008:IEEE.

[6]Hiremath,P.S.And Manjunatha Hiremath.3D Face Recognition Based On Radon Transform,PCA,LDA Using KNN And SVM[J].International Journal Of Image,Graphics and Signal Processing(IJIGSP),2014.6(7):36.

[7]B.A.,Chiraz,Paul A.Griffin.Comparing and Combining Depth And Texture Cues for Face Recognition[J].Image and Vision Computing,2005.23(3):339-352

[8]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference on.2000:IEEE.

[9]C.Jamie,C.Vinod,C.Sridha,F.Clinton.Face Recognition From 3d Data Using Iterative Closest Point Algorithm and Gaussian Mixture Models,3D Data Processing,Visualization and Transmission,2004.3DPVT 2004.Proceedings.2nd International Symposium on. 2004:IEEE.

[10]J.Andrew E.,H.Martial.Using Spin Images For Efficient Object Recognition In Cluttered 3D Scenes[J],Pattern Analysis and Machine Intelligence,IEEE Transactions On.1999,21(5):433-449.

[11]Xu C.,T.Tan,S.Li,Y.Wang,C.Zhong,Learning Effective Intrinsic Features To Boost 3D-Based Face Recognition,Computer Vision-ECCV 2006,Springer.2006,416-427.

[12]Chua,Chin-Seng,Feng Han and Yeong-Khing Ho.3D Human Face Recognition Using Point Signature.In Automatic Face and Gesture Recognition,2000.Proceedings.Fourth IEEE International Conference On.2000:IEEE.

[13]L.David G.Distinctive Image Features From Scale-Invariant Keypoints,International Journal of Computer Vision.2004,60(2):91-110.

[14]J.Farley Norman.Visual Discrimination of Local Surface Structure:Slant,Tilt,And Curvedness

[15]S.Dirk,K.Johannes,V.Dirk.Meshsift:Local Surface Features for 3D Face Recognition under Expression Variations and Partial Data,Computer Vision and Image Understanding.2013,117(2):158-169.

[16]G.Peyre.Toolbox Graph.MATLAB Central File Exchange Select,2009.

[17]G.Peyre.Toolbox Fast Marching.MATLAB Central File Exchange Select,2009

[18]Savran A,Alyuz N,Dibekliglu H,Celiktutan O,Gokberk B.Bosphorus Database for 3D Face Analysis.Proceedings of the Workshop on Biometrics and Identity Management,2008,47-56.

[19]Dibeklio觧lu,Hamdi,Berk Gokberk And Lale Akarun,Nasal Region-Based 3D Face Recognition Under Pose and Expression Variations,In Advances In Biometrics.Springer.2009,309-318.

[20]H.Farshid,R.Abolghasem A.,Y.Gao.2.5 D Face Recognition Using Patch Geodesic Moments,Pattern Recognition.2012,45(3): 969-982.

[21]A.Nese,G.Berk,D.Hamd Et Al.3D Face Recognition Benchmarks on the Bosphorus Database With Focus on Facial Expressions, Biometrics and Identity Management,Springer.2008,57-66.

[22]A.Nese,Berk Gokberk and Lale Akarun.A 3D Face Recognition System for Expression and Occlusion Invariance.In Biometrics: Theory,Applications and Systems,2008.BTAS 2008.2nd IEEE International Conference on.2008:IEEE.

[23]C.Alessandro,C.Claudio,S.Raimondo.Three-Dimensional Occlusion Detection and Restoration of Partially Occluded Faces,Journal of Mathematical Imaging and Vision.2011,40(1):105-119.

[24]D.Hassen,B.A.Boulbaba,S.Anurag.3D Face Recognition Under Expressions,Occlusions,and Pose Variations,Pattern Analysis and Machine Intelligence,IEEE Transactions on.2013,35(9):2270-2283.

3D Face Recognition;Local Feature;Shape Index

文章编号：1007-1423（2016）06-0039-05DOI：10.3969/j.issn.1007-1423.2016.06.009

3D Face Recognition Based on Local Feature

HU Min-yan，SUN Yao-ru
（Department of Computer Science and Technology,College of Electronics and Information Engineering,Tongji University,Shanghai 201804）

国家自然基金项目（No.61173116）、上海市科学技术委员会项目（No.14JC1402203）

1007-1423（2016）06-0033-06

10.3969/j.issn.1007-1423.2016.06.008

2015-12-21

2016-01-30

Shape Index和曲度用于构造局部特征，并运用于三维人脸识别中。这种局部特征的提取方法用于人脸识别，不需要预先进行对齐处理，而且对有遮挡的人脸数据具有相对较好的识别效果。这里，局部特征提取的主要步骤如下：在不同的尺度上对三维人脸上的关键点进行检测；再对检测到的关键点确定主方向，然后根据主方向构造关键点在某一邻域内的特征向量。实验所用数据库是Bosphorus Database，是Bogazici大学采集的三维人脸数据库。

三维人脸识别；局部特征；Shape Index

胡敏艳，女，硕士研究生，研究方向为认知与智能信息处理

孙杳如，男，教授，研究方向为认知与智能信息处理

Shape Index and curvature is used to construct the local characteristics，and applied to 3D face recognition.This kind of local feature extraction method for face recognition，don't need to align in advance，and also have relatively good recognition rate under external occlusion.Here，the main steps of local feature extraction are as follows:Firstly，test the key points of the three dimensional person face in different scales;After that,determine the reference direction of the key point,then construct a feature vector of key point within a neighbor according to the reference direction.Experiment data is come from Bosphorus Database collected by the researchers of the University of Bogazici.