基于特征点邻域SIFT描述子的人脸识别

李文洋，陈　云，华继钊

（扬州大学 信息工程学院，江苏 扬州　225127）



基于特征点邻域SIFT描述子的人脸识别

李文洋，陈云，华继钊

（扬州大学 信息工程学院，江苏 扬州225127）

摘要：在人脸识别算法中，尺度不变的SIFT特征是人脸局部特征的重要描述方式之一。在传统SIFT方法中，由于特征点的坐标是根据高斯差分空间的局部极值点来确定的，造成特征点匹配困难。通过基于回归的局部二值特征对人脸进行校准，确定对人脸有意义的特征点位置。用SIFT特征描述子的不变特性描述人脸的局部特征，能够有效地提高识别速度以及识别率。对特征点进行区域加权，能够对人脸的姿态变化以及角度偏转有一定的鲁棒性。

关键词：局部二值特征；线性回归；特征点；SIFT特征描述子

0　引言

在网络信息高速发展的今天，如何快速准确地对人的身份信息进行识别成为一个急待解决的问题。作为生物特征之一的人脸识别为这一问题提供新的解决思路。人脸识别也因为其非接触式、采集设备简单等优点受到了广泛关注[1]。目前，人脸识别方法主要有基于Harris角点[2]、局部二值模式（LBP）、尺度不变特征（SIFT）等的人脸局部特征描述，以及基于线性判别式分析[3]（LDA）、神经网络、支持向量机[4]（SVM）的人脸全局特征描述。尽管这些方法对正面人脸的识别有较好的效果，但是当人脸存在姿态变换或者角度偏转时效果不尽人意。如何更好地解决这一问题已经成为提高人脸识别率的关键问题。

基于统计特征的识别方法由于训练样本的不确定性而存在差异；所以Lowe的尺度不变特征[5]（Scale In⁃ variant Feature Transform，SIFT）的提出受到了广泛的关注。其中特征描述子具有旋转不变性和光照不变性，广泛用于描述人脸的局部特征[6]。SIFT特征的特征点是根据高斯差分空间（DoG）的局部极值点确定；由于注册人脸和待识别人脸图像的不同，容易导致特征点数目的不确定性。且特征点没有明显的物理意义，从而增加了特征点匹配的难度。因此，本文采用基于回归的局部二值特征方法进行人脸的校准，确定了与人脸几何特征相关的特征点，如面部轮廓、眼睛、鼻子、嘴等附近。考虑到人脸表情变化的区域主要集中在面部以及嘴部，因此对特征点进行区域加权。用特征点邻域内的SIFT特征描述子[7]表征人脸并组成特征向量，用于人脸的识别。

1　基于回归的LBF的人脸校准

基于早期的Kass等提出的Snake模型[8]，1995年Cootes等人提出了主动形状模型[9]（Active Shape Model，ASM）。此后Cootes等人在ASM算法的基础上提出了主动表观模型[10⁃11]（Active Appearance Model，AAM）的概念，与ASM不同的是AAM同时对形状和纹理信息进行分析。近年来基于回归的方法[12⁃13]被人们广泛关注，在此基础上任少卿等人提出的基于回归的局部二值特征（Local Binary Features，LBF）的人脸校准算法[14]，在计算机以及手机上获得良好的效果，受到了广泛的关注。

人脸校准是通过对初始特征点模型S0的逐步修正（每级的修正量为ΔSt）得到最终的模型。每级的模型增量为：其中：St-1为上一级的特征点模型；Φt是一个映射矩阵，实现由图像I特征点模型到LBF的映射，Φt可以分解为一组独立的映射函数集[,,…,]，k为对应特征点的个数；Wt表示线性回归矩阵，实现由LBF到特征点模型增量的映射。

1.1LBF映射矩阵Φt的学习

1.2线性回归矩阵Wt的学习

由于二值特征的维数很高且稀疏，需要使用双坐标下降法[16]处理这一问题。式（3）中的λ表示了这一正则化过程。

通过上述训练方法得到了人脸校正的系统，对选定的人脸区域进行校正，得到人脸校正的结果如图1所示。

2　特征点邻域的SIFT表征

2.1SIFT描述子的生成

通过上述算法对人脸的校正，得到了对应人脸特征的特征点位置。在构造描述子时，仅特征点单个像素作为研究对象没有足够的信息，因此引入SIFT描述子采集特征点邻域内的信息。由于加入子区域内的统计特性，从而提高了对图像局部变形的适应能力。

图1　人脸校正后的特征点位置

对以特征点 Pk(x,y)为中心的16×16范围内邻域（见图2）计算图像梯度的幅值与幅角，如式（4），式（5）所示。并将邻域分成4×4个子区域，如图3所示。

图2　特征点P的16×16邻域

图3　特征点的子区域

为了强化中心区域的影响，同时淡化边缘区域的影响，采用对幅值进行高斯加权：

从而提高了算法对几何变形的适应性，δ设为经验常数。

用直方图统计邻域像素的梯度方向权值，直方图的范围是0°~360°，其中每10°一个柱，总共36个柱。直方图的峰值为该特征点处邻域内像素梯度的主方向，即作为该特征点的方向。

为了保持特征的旋转不变性，将坐标轴旋转为特征点的主方向。旋转后新的坐标为：

对每个子区域分成8个方向，统计权值直方图，16个子区域组成了128维特征向量。

再继续将特征向量的长度进行归一化：

则可以进一步去除光照变化的影响。最终得到了能够表征人脸特征的k×128维的特征向量。

把特征点按区域分为5个，眉毛，眼睛，嘴部，鼻子和面部，面部轮廓，对各个独立子区域的置信度进行统计，确定各个区域的权值比重。权值计算公式为：

2.2特征匹配算法

在得到特征向量后，需要对特征向量进行相似性度量，本文选择了快速的直方图相交法，两个直方图的相似度表示为：

则两幅人脸的相似度表示为：

3　实验结果及分析

实验环境：CPU主频为1.80 GHz，双核四线程；操作系统Windows 8.1；算法通过Visual Studio 2010以及OpenCV244库实现。采用FERET人脸数据库的人脸图像进行实验，图像大小为 382×256，人脸大小在200×200以上。每个人包含不同角度及表情的12个样本。选取300人作为训练样本得到阈值，200人作为观测样本进行识别率验证，同时通过随机交叉验证，保证实验的客观性。

首先，根据文中提到的方法，把特征点分成5个不同的区域。通过实验得到不同区域的置信度，表明不同区域对人脸区分的贡献情况，计算每个子区域应占的权值比重，如表1所示。

表1　人脸子区域的编号与权值

使用相同的FERET人脸数据库，在相同的实验环境下，选取了Gabor局部二值模式（LGBP）算法[17]、SIFT算法、AAM+SIFT算法进行对比实验。如表2所示，相比于AAM+SIFT算法，本文采用的基于回归的LBF的人脸校准能够对特征点进行更加快速的定位，加快了特征提取的速度。相比于SIFT算法，由于本文算法只对对应的特征点进行对比，提高了匹配速度，从而提高了整体的识别速度。

表2　算法的耗时比较

由于通过人脸校准定位特征点，可以消除平面内人脸位移对识别率的影响。采用不同偏转角度的人脸进行实验，如表3所示，随着角度变化的增大，人脸算法的识别率都有所降低。相比LGBP算法与SIFT算法，本文算法对垂直平面的角度旋转也具有鲁棒性。

表3　角度变化识别率比较　%

LGBP算法对人脸图像进行了多尺度方向的Gabor变换，然后再进行LBP的特征提取，使算法具有了对表情变化的鲁棒性。采用具有表情变化的人脸进行实验，如表4所示，由于采用对不同子区域进行加权，人脸的表情变化对本文算法的影响比LGBP算法小。

表4　表情变化识别率比较　%

4　结语

人脸的校准工作定位了人脸几何特征的位置，为之后的人脸识别提供更加精准的人脸区域，对识别率的提高有着不可忽视的作用。人脸特征点定位算法的高效、快速，以及快速匹配算法的使用，提高了整体算法的识别速度。对特征点邻域的梯度描述，提取出了足以能够区分不同人脸的特征，通过对不同区域特征点的加权，提高了算法对姿态以及角度变化的鲁棒性。由于遮挡等问题对局部人脸识别算法的影响较大，下一步的工作可以通过基于局部特征描述的本文算法和基于整体的人脸分类算法相融合，从而提高整体的识别率。

参考文献

[1]吴巾一，周德龙.人脸识别方法综述[J].计算机应用研究，2009 （9）：3205⁃3209.

[2]HARRIS C.A combined corner and edge detector[C]//Procee⁃dings of the 4th Alvey Vision Conference.Manchester：[s.n.]，1988，3：147⁃151.

[3]BELHUMEUR P，HESPANHA P，KRIEGMAN D，et al.Re⁃cognition using class specific linear projection[C]//Procee⁃dings of 2006 Conference on Pattern Analysis and Machine In⁃telligence.[S.l.]：IEEE，1997：711⁃720.

[4]KADYROVA N O，PAVLOVA L V.Statistical analysis of big data：an approach based on support vector machines for classi⁃fication and regression problems[J].Biophysics，2014，59（3）：364⁃373.

[5]LOWE D G.Distinctive image features from scale⁃invariant key⁃points[J].International Journal of Computer Vision，2004，60 （2）：91⁃110.

[6]BICEGO M，LAGORIO A，GROSSO E，et al.On the use of SIFT features for face authentication[C]//Proceedings of 2006 Conference on Computer Vision and Pattern Recognition Work⁃shop.New York：IEEE，2006：35⁃41.

[7]王永明，王贵锦.图像局部不变性特征与描述[M].北京：国防工业出版社，2010：130⁃135.

[8]KASS M，WITKIN A，TERZOPOULOS D.Snakes：active con⁃tour models[J].International Journal of Computer Vision，1988，1（4）：321⁃331.

[9]COOTES T F，TAYLOR C J，COOPER D H，et al.Active shape models⁃their training and application[J].Computer Vi⁃sion and Image Understanding，1995，61（1）：38⁃59.

[10]COOTES T F，EDWARDS G J，TAYLOR C J.Active appea⁃rance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（6）：681⁃688.

[11]CRISTINACCE D，COOTES T F.Feature detection and tra⁃cking with constrained local models[C]//Proceedings of the British Machine Vision Conference.Edinburgh：[s.n.]，2006，41：929⁃938.

[12]GOOL L V.Real⁃time facial feature detection using conditional regression forests[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2578⁃2585.

[13]DOLLAR P，WELINDER P，PERONA P.Cascaded pose re⁃gression[C]//Proceedings of 2010 IEEE Conference on Com⁃puter Vision and Pattern Recognition.San Francisco：IEEE，2010：1078⁃1085.

[14]REN S，CAO X，WEI Y，et al.Face alignment at 3000 FPS via regressing local binary features[C]//Proceedings of 2010 IEEE Conference on Computer Vision and Pattern Recogni⁃tion.Columbus：IEEE，2014：1685⁃1692.

[15]CAO X D，WEI Y C，WEN F，et al.Face alignment by ex⁃plicit shape regression[C]//Proceedings of 2012 Conference on Computer Vision and Pattern Recognition.Rhode Island：IEEE，2012：2887⁃2894.

[16]FAN R E，CHANG K W，HSIEH C J，et al.LIBLINEAR：a library for large linear classification[J].Journal of Machine Learning Research，2008，9（12）：1871⁃1874.

[17]ZHANG Wenchao，SHAN Shiguang，GAO Wen，et al.Local Gabor binary pattern histogram sequence（LGBPHS）：a novel non⁃statistical model for face representation and recognition [C]//Proceedings of the Tenth IEEE International Conference on Computer Vision.[S.l.]：IEEE，2005，1：786⁃791.

陈云（1987—），女，硕士研究生。研究领域为图像处理、模式识别。

华继钊（1968—），男，博士，副教授，研究生导师。研究方向为计算机应用、模式识别。

中图分类号：TN911.73⁃34；TP391.4

文献标识码：A

文章编号：1004⁃373X（2016）03⁃0023⁃04

doi：10.16652/j.issn.1004⁃373x.2016.03.006

收稿日期：2015⁃09⁃07

基金项目：国家自然科学基金项目（60875004）

作者简介：李文洋（1990—），男，硕士研究生。研究方向为图像处理、模式识别。

Face recognition based on SIFT descriptor in feature point neighbourhood

LI Wenyang，CHEN Yun，HUA Jizhao
（College of Information Engineering，Yangzhou University，Yangzhou 225127，China）

Abstract：The scale invariant feature transform（SIFT）in face recognition algorithm is one of the important descriptive ap⁃proaches of the face local features.In traditional SIFT method，because the coordinates of the feature points are determined ac⁃cording to the local extreme point of Gaussian difference space，which leads to difficult match of the feature point.The face is calibrated by local binary feature based on linear regression to determine the location of the feature point which is meaningful to the face.The face local feature is described by the invariant characteristic of SIFT feature descriptor，which can effectively im⁃prove the face recognition speed and recognition rate.The region weighing for feature point has certain robustness to the face pos⁃ture change and face angle deflection.

Keywords：local binary feature；linear regression；feature point；SIFT feature descriptor