基于ASM和ERT特征点定位算法的人脸比例特征信息提取

唐飞，卢鑫，沈琳琳

（1.深圳信息职业技术学院科研处，广东 深圳 518172；2.深圳信息职业技术学院信息技术研究所，广东 深圳 518172;3.深圳大学，广东 深圳 518060）

【信息技术理论研究】

基于ASM和ERT特征点定位算法的人脸比例特征信息提取

唐飞1，卢鑫2，沈琳琳3

（1.深圳信息职业技术学院科研处，广东 深圳 518172；2.深圳信息职业技术学院信息技术研究所，广东 深圳 518172;3.深圳大学，广东 深圳 518060）

提出一种基于ASM和ERT特征点定位算法的人脸比例特征信息提取方法。选用图像几何特征和人眼的位置特征，将人脸图像转化为用向量表示的数学符号，这些特征向量基本上可以反映出整张人脸图像的有效信息，其中人脸的比例特征和人眼的位置特征用到了现阶段的两个主流的特征点定位算法，即ASM和ERT，然后利用人脸的五官比例去量化得到8维的特征信息。文中还从时间性能和准确率方面对两种算法进行对比，结果表明算法精确度上ERT略优与ASM，算法时间上PC端测试ERT明显优于ASM。

特征提取；ASM；ERT；MUCT

引言

特征提取[1]是图像处理、计算机视觉中的一个重要思想，它指的是使用一定的算法提取图像有价值的信息，用向量、矩阵等一系列直观的数学表达式来表示，提取的特征值基本上能够反映图像中每一个点的像素信息。

特征提取是分析人脸的主要步骤之一，学者们对其进行深入的研究，取得了很大的进展，提出了各种各样的特征提取算法。通常比较能够反映一个人的人脸信息的几大特征，主要包括人脸的比例特征、人脸左右眼的位置特征以及方向梯度直方图（Histogram of Oriented Gradient，H OG）特征等。要获取人脸的比例特征首先必须准确获取人脸的部分特征点位置信息，所以特征点标定算法对于该特征起关键作用。当前主流的特征点定位算法有主动轮廓模型(Active Shape Mode，ASM)算法[2,3]以及基于回归森林的人脸特征点定位算法(Ensemble of Regression Trees，ERT)算法[4]，它们是一种基于点分布的模型。在点分布模型中，我们把若干个特征点的坐标依次串联成一个形状向量来表示物体的点分布情况。

本文中给出一种人脸的特征信息提取方法，选用的图像几何特征和人眼的位置特征，将人脸图像转化为用向量表示的数学符号，这些特征向量基本上可以反映出整张人脸图像的有效信息，其中人脸的比例特征和人眼的位置特征用到了现阶段的2个主流的特征点定位算法—ASM和ERT。然后从时间性能和准确率方面对2个算法进行对比，最后利用人脸的五官比例去量化得到8维的特征信息。

1 特征定位算法

下面对ASM和ERT算法进行详细介绍。

1.1 ASM算法

ASM[2][3]是基于统计学习模型的特征点提取的一种方法，这个方法是1995年就提出来的，主要应用于人脸特征点的定位，该算法主要分为：模型的训练、建立及应用，其中关键部分模型的建立步骤如下：

（1）选择合适特征点：一般选取边缘大、曲率大、T型连接点及以上这些点的连线上的等分点，假定图像中第i个点的特征点坐标是，则用这个有序的特征向量就代表n个特征点位的特征点集。

（2）形状统计模型：前面取得的特征点集维度是2n维，考虑到2n维的维度比较高，彼此之间的距离基本是不变的，体现了这2n维之间有着比较好的相关性，所以我们采用最常见的主成分分析（Principal Component Analysis，PCA）算法来进行降维。通过降维，任意一组特征点集都可以被看作是主成分向量空间中的一个坐标点，这组特征点集平均定义为坐标原点，图像中任意一点都可以表示成坐标原点加上一个向量的形式。式（2）中P是前t个主成分协方差矩阵，b是一个t维向量。由式（1）计算可能平均值。式（2）作用是将点集在坐标空间与形状空间之间转换。对于每一幅人脸形状，即所有特征点集合，都可以按照式（2）进行分解。式（2）中P是主成分坐标，是平均形状，图中任一一点x都可以在P这条坐标轴上找到与之相对应的最接近点，其形变大小为b。

（3）把模型和新点集进行匹配，形状归一化：匹配的过程就是通过式（3）对模型进行翻转、缩放、平移等操作。其中T为旋转放缩平移矩阵，目标是使模型X和特征点集Y最接近，式（4）是算法的目标函数，选择使其各个特征点的欧氏距离最小即可。首先将局部调整后的人脸形状根据式（2)转换为形状参数b。式（3）为（x,y）坐标的仿射变换，其中分别是x轴与y轴方向偏移量，s是放缩因子，θ是旋转角度。式（4）中P是形状模型中的形状成分。

（4）将模型微调以达到更好的定位效果：轮廓模型描述的作用是对当前特征点的周围进行模板匹配以估计更优的特征点位置。比如平均轮廓向量是描述相同特征点在不同样本之间局部纹理信息的共性，在某个特征点处与其相邻的两个特征点形成连线，取两条连线的角平分线，在角平分线上以该特征点为中心，两边各取一定数量的像素形成灰度向量，最后对灰度向量求梯度并做大小归一化就得到该特征点处的轮廓向量p。平均轮廓向量及协方差矩阵Sp根据式（5）（6）求得，其中pi为第i个样本的轮廓向量，n为样本总数。

ASM算法的不同版本中对于局部纹理的处理是有差异的。体现在算法里面，不同版本全局搜索的方法是一致的，但是局部搜索方法各异。本文在ASM4.0算法的局部特征建立中采用的是15*15的小块和4*5的直方图的向量，每一个直方图描述某一小块区域的梯度方向贡献值，再把每一个直方图分成8块，每块包含360/8=45°的信息，所以最终的特征描述子为4*5*8=160维的向量。得到每一个图像模块的特征之后，文中使用统计学中的MARS（Multivariate Adaptive Regression Splines）多元自适应回归样条进行匹配，具体公示如式（7）所示。

1.2 ERT算法

ERT[4]是基于回归森林的人脸特征点定位算法，是由V.Kazemi和J.Sullivan在2014年提出，包括模型的建立和特征点的搜索拟合两部分。

（1）模型的建立

通过级联的方式学习rt，级联学习的第一个参数r0是通过训练人脸图像的初始形状估计其具体算法设计如下。

（2）每一次迭代都更新rt，得到

（4）循环2、3，直至收敛或达到设定迭代次数，最后输出

在ERT的模型建立中，对于每次迭代而言，在检测到的人脸中随机的选取500对点对进行实验，这样能最大化地降低方差减小的特征，往往实验中更多的点对带来的提升只是微不足道的。对选取的点对去像素差特征，即将两个点的像素相减。然后用得到的像素差特征训练得到随机森林，其中随机森林中的非叶子节点保存的是相应的点对及节点分离阈值，叶子节点保存的是特征点模型残差。

（2）模型的搜索拟合

经过多次迭代之后得到了一个最优的模型，接下去的步骤就是模型的搜索拟合过程，具体流程如下：

（1）首先初始化人脸检测结果得到的特征点形状；

（2）基于人脸检测的结果，计算所有特征点点对的像素差；

（3）通过本层所有的树求残差。将像素差与非叶子节点保存的阈值比较，得到每棵树叶子节点保存的残差，将所有残差相加得到残差总和；

（4）将计算所得的残差结果加到上一次迭代的结果上；

（5）重复2、3、4，直至迭代完成。

2 两种算法对比

两种特征点定位算法都能比较好地定位到实验所需的人脸特征点，而且我们所训练的模型都是77个点位。在实用性方面，我们分别从两种算法的时间性能[8]和精确度[9]两方面进行比较。我们所测试的图片数据库来自MUCT的3755张测试图，并且对每一张图都做一次镜面对称得到7510张测试图，加倍了样本数据量，可以更好地体现测试结果，以下所有结果都是这7510张图片的平均值。

虽然两种算法都是寻找人脸的77个特征点点位，但是所标记的点位信息坐标并非是一一对应，这是由训练时的不同模型所造成的。下面进行相关的实验，分别从时间性能和准确度两方面对两种算法进行比较，如下图2是两种算法对同一张图片的测试结果。

图1 两种特征点定位算法图例，左边为ASM,右边为ERTFig.1 Two feature point location algorithms,left is ASM,right is ERT

时间方面，我们分别在PC端和Android端进行测试，时间结果如下表1：

表1 特征点算法时间对比Tab.1 Comparison for feature point algorithm time

精确度方面，特征点标定算法通常使用me17值[10]作为衡量标定是否准确的量化指标。me17值的计算分为两步。首先，计算每一个点与其真实位置之间的欧氏距离并求平均值。然后，将平均值除以两眼瞳孔之间的真实距离得到一张图像的me17值。多张图像的me17值为每一张图像me17值的均值。当然如果不追求量化的结果，从图2中我们也可以很直观地感受到两个算法的精确度差异。

表2 特征点算法精确度对比Tab.2 Comparison for feature point algorithm accuracy

实验结果表明，ERT算法在保证特征点位准确性的同时，时间性能方面有很好的表现。

3 比例特征提取方法

通过特征点定位算法结果得到人脸的点位坐标信息，文中取最能反映人脸的五官比例[7]作为比例特征。根据所获得的人脸特征点坐标提取人脸五官的长度数据，该数据包含人脸长度、人脸宽度、眼睛和嘴巴的距离、眼睛长度、眼睛宽度、鼻子长度、鼻子宽度、嘴巴长度、嘴巴宽度等9个数值。计算公式见表3，其中xi表示第i个点x坐标，yi表示第i个点y坐标。长度数据意义如图2示。然后计算五官的比例数据，该比例数据包含脸宽与脸长比值、眼嘴距离与脸长的比值、眼宽与脸宽比值、眼高与脸长的比值、鼻宽与脸宽比值、鼻长与脸长的比值、嘴宽与脸宽比值、嘴高与脸长的比值等8个数值。

表3 人脸长度数据的定义Tab.3 Definition of face length

图2 8个比例数据的示意图Fig.2 Diagram of 8 proportional data

在选取人脸特征点的基础上面，着重单独地将人眼的位置特征作为主要特征信息。双眼的形状特征是左右眼四周的8个坐标位置与左右眼瞳孔位置的相对位移，然后做归一化得到，所谓归一化就是把坐标数据映射到[0,1]之间的范围，实验中我们取相对位移的最大值作为上限1，然后其余相对位移数据都分别除以该最大值，这样我们就得到了归一化之后的[0,1]范围内的新坐标。所以双眼的形状特征维度是16*2=32维。

用特征点定位算法得到的77个人脸点位为(x0,y0,x1,y1...,x76,y76)，其中左眼四周的8个坐标点位为(x30,y30,x31,y31...,x37,y37)，左眼瞳孔坐标为(x38,y38)，右眼四周的8个坐标点位为(x40,y40,x41,y41...,x47,y47)，右眼瞳孔坐标为(x39,y39)。所以归一化之后的左眼的位置特征left_eyes_fea和右眼的位置特征right_eyes_fea计算公式如式（16）、（17）所示：

除此之外，实验还研究了眼睛和嘴巴大小的特征。其中左眼宽度为(x30-x34)，高度为(x37-x33)，右眼宽度为(x44-x40)，高度为(x47-x43)。嘴巴坐标为(x59,x60,...,x76)，其中嘴巴宽度为(x65-x59)，高度为(x75-x63)。类似地，对这些距离特征做归一化处理。

4 结束语

在数字图像处理中，对图像进行的第一次运算就是特征提取。而对图像特征，迄今为止并没有万能和精确的定义，所以我们实验的时候会选择多种特征来描述图像的基本信息。文中选用的几何比例特征是基于两种特征定位算法的人脸比例特征提取，将人脸图像转化为用向量表示的数学符号，这些特征向量基本上可以反映出整张人脸图像的有效信息，其中人脸的比例特征和人眼的位置特征用到了现阶段的两个主流的特征点定位算法，即ASM和ERT，并从时间性能和准确率方面对两个算法进行对比，最后利用人脸的五官比例去量化得到8维的特征信息，为人脸的比例特征、人脸左右眼的位置特征提供了一个有效的特征提取方法。

[1]S Milborrow,F Nicolls.Locating facial features with an extended active shape model[C]//./European Conference on Computer Vision,2008: 504-513.

[2]T Cootes,G Edwards,C Taylor.Active appearance models[C]//.1998 European Conference on Computer Vision,1998:484-498.

[3]T Cootes and CTaylor.Technical Report: Statistical Models of Appearance for Computer Vision[C]//.The University of Manchester School of Medicine,2004.

[4]VahidKazemi,Josephine Sullivan.One millisecond face alignment with an ens emble of regressiontrees[C]//.IEEE Conference on Computer Vision and Patten Recognition,2014: 1867-1874.

[5]XieX,Sudhakar R,Zhuang H.Corner detection by a cost minimization approach[J].Pattern Recognition,1993,26(8): 1235-1243.

[6]C Li,A Gallagher,A Loui,T.Chen.Aesthetic quality assessment of consumer photos with faces[C]//.2010 IEEE International Conference Image Processing,2010: 3221-3224.

[7]X Zhu,D Ra manan.Face detection,pose estimation,and landmark localization in the wild[C]//.IEEE Conference on Computer Vision and Patten Recognition,2012: 2879-2886.

[8]A Pentland,B Moghaddam,T Starner.View-based and Modular Eigenspaces for Face Recognition[C]//.IEEE Conference on Computer Vision and Patten Recognition,1993: 84-91.

[9]B Heisele,P Ho,J Wu,T Poggio.Face recognition:component-based versus global approaches[J].Computer Visionand Image Understanding,2003,91,6-21.

[10]AL Yuille,D Cohen,P Hallinan.Feature extraction from faces using deformable templates[C]//.IEEE Conf erence on Computer Vision and Patten Recognition,1989: 104-109.

【责任编辑：杨立衡】

Extraction of Human Facial Proportions Based on ASM and ERT Feature Point Location Algorithms

TANG Fei1，LU Xin2，SHEN Linlin3
（1.Department of Scientific reseach,Shenzhen Institute of Information Technology,Shenzhen 518172,China;2.Institute of Information Technology,Shenzhen Institute of information Thechnology,Shenzhen 518172,China;3.Shenzhen University,Shenzhen 518060,China）

This paper proposes a method of extracting facial features based on ASM and ERT feature point localization algorithms.Using the geometrical features of the face and the pos ition features of the eyes,the face image is transformed into a mathematical symbol represented by vectors.These eigenvectors can basically reflect the effective information of the whole human face,in which the proportionality of the face and the eyesisthe two main feature point localization algorithms,namely ASM and ERT,and then we use the facial features to quantify the 8-dimensional feature information.In this paper,we also compare the two algorithms from the time and accuracy.The results show that the ERT is better than ASM in the algorithm accuracy.

feature extraction; ASM; ERT; MUCT

TM391.41

A

1672-6332（2017）03-0001-05

2017-10-12

广东省自然科学基金项目( 2015A030313587)；深圳市科技计划项目（JCYJ20170303094658400）。

唐飞(1978-)，男（汉），安徽安庆人，高级工程师，硕士，主要研究方向：智能信息处理、图像处理等。E-mial：Tangf@sziit.edu.cn