基于ASM的改进型人脸特征点定位方法

王 洋，李 俊,2

(1.桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004；2.桂林电子科技大学 广西信息科学实验中心，广西 桂林 541004)

基于ASM的改进型人脸特征点定位方法

王 洋1，李 俊1,2

(1.桂林电子科技大学 电子工程与自动化学院，广西 桂林 541004；2.桂林电子科技大学 广西信息科学实验中心，广西 桂林 541004)

针对主动形状模型中局部灰度模型结构简单、初始搜索位置偏移较大的问题，提出一种基于ASM的改进型人脸特征点定位方法。利用左右瞳孔和嘴巴中心的坐标，调整模型的初始搜索位置，在以特征点为中心的一定矩形区域，建立二维局部加权灰度模型和局部纹理模型，并采用新的模型匹配方法定位目标特征点。实验结果表明，基于ASM的人脸特征点定位改进方法相比传统ASM方法，定位精度提高了26.15%。

主动形状模型；局部灰度模型；灰度共生矩阵；局部纹理模型；模型匹配

人脸特征点定位在人脸识别及三维人脸重建中扮演着重要的角色，是计算机视觉和模式识别等领域的关键技术。在人脸三维模型重建中，面部特征点的定位精确极为重要，其直接关系到重建模型的逼真度和稳定性[1-2]。主动形状模型[3-5](active shape model，简称ASM)是在Snakes[6]的基础上提出的一种基于统计学习的特征点自动定位方法，具有很强的适应性和广泛的有效性。对ASM方法，许多学者进行了深入研究。针对彩色图像中人脸特征点定位问题，Mahoor等[7]利用颜色模型建立了新的局部灰度模型，提高了彩色图像中特征点的定位精度。范玉华等[8]利用左右瞳孔坐标调整模型初始位置，提出了基于Log-Gabor小波系数的局部纹理模型，提高了方法的精度和鲁棒性。李皓等[9]对文献[8]的初始位置调整方案进行优化，提出了多模板的匹配方法，解决了纹理平滑区域特征点定位精确低的问题，但当被搜索目标有一定倾斜角度时，初始位置优化方案将变得更复杂。

在ASM方法中，特征点的定位精度很大程度上依赖于特征点局部灰度模型的结构，但其仅仅利用了特征点法线两侧的若干灰度信息，不仅限制了特征点的搜索范围，而且可能引起错误的定位。另外，ASM方法对模型的初始搜索位置要求较高，虽然可配合Adboost人脸检测算法[10-11]得到粗略的正确位置，但这个位置并不能保证绝对满足ASM搜索算法的要求，这就可能出现因初始位置不达标而造成错误的定位。为此，提出一种基于ASM的改进型人脸特征点定位方法，通过简单快速的模型初始化，建立局部灰度模型结构和局部纹理模型。

1 传统主动形状模型

1.1 形状统计模型

在主动形状模型中，一个物体的形状特性通过特征点有序排列成向量的形式来表征。这些特征点通常分布在图像中较特殊的位置，如目标轮廓边缘、拐角点等，并且特征点的数量必须足以覆盖目标的整体形状和内部细节。面部特征点分布如图1所示。

图1 面部特征点分布Fig.1 The distribution of facial features

将训练集中N幅人脸图像按图1所示进行手工标定，对于标定的第i张人脸图像，其形状向量可表示为：

其中：(xij,yij)为第i幅图像中第j个特征点的坐标；n为特征点的数量；N为样本数。采用Procrustes分析法[12]对齐所有训练样本，并运用主成分分析法[13](principal component analysis，简称PCA)得到其均值和协方差矩阵：

(2)

(3)

计算协方差矩阵C的特征值λζ及其对应的特征向量pζ，选取前t个较大特征值对应的特征向量组成特征矩阵P，P=(p1,p2,…,pt)，任意人脸形状X都可表示为：

(4)

为了防止形状产生新的畸变，形状参数向量b被约束在一个可变范围内：

(5)

1.2 局部灰度模型

局部灰度模型直接影响特征点的定位精度。对第j个特征点，其构建的局部灰度模型如图2所示。步骤为：在训练集第i幅图像中，以第j个特征点为中心，在标定点轮廓法线两侧分别选取k个像素构造成一个长度为2k+1的灰度向量hij，

图2 局部灰度模型Fig.2 Local gray model

(6)

hij的导数为：

(7)

(8)

局部灰度模型以局部灰度平均值和协方差矩阵表示为：

；

(9)

(10)

1.3 模板匹配

(11)

马氏距离越小，则该候选点与真正的匹配点相似度越高。选择马氏距离最小值Dξ,min对应的候选点为最佳定位点。

图3 ASM的搜索空间Fig.3 Searching space of ASM

2 基于ASM的改进型人脸特征点定位方法

2.1 模型初始搜索位置的调整

图4 瞳孔、嘴巴3点定位Fig.4 Three points location of pupils and mouth

计算左右瞳孔在x方向的距离Dx及两瞳孔和嘴巴中心在y方向的平均距离Dy：

(12)

(13)

(14)

2.2 二维局部加权灰度模型的构建

为了充分利用特征点周围局部灰度信息，同时扩大特征点的搜索范围，提出二维局部加权灰度模型。对第j个特征点，其二维局部加权灰度模型如图5所示。具体的构建步骤如下：

图5 二维局部加权灰度模型Fig.5 Two-dimension local weighted gray model

在训练集的每幅图像i中，以特征点j为中心，选取一个a×b的矩形区域，用3×3的矩形模板T对该区域进行卷积运算，

(15)

(16)

(17)

(18)

(19)

2.3 基于灰度共生矩阵的局部纹理模型

基于灰度共生矩阵的14个纹理特征中，二阶距、对比度、相关性、熵4个特征量是不相关的，具有较高的分类精度[15]。基于这4个特征量，提出特征点的局部纹理特征，以进一步提高特征点在复杂环境条件下的定位精度。特征点j处的局部纹理模型建立过程如下：

为了避免灰度共生矩阵维度过高，将图5中以特征点j为中心的a×b矩形区域内像素灰度级压缩为L，然后以像素距离d=1，分别在θ=0°、45°、90°、135°四个方向计算该区域的灰度共生矩阵，得到4个大小均为L×L的矩阵m1、m2、m3、m4。分别提取这4个灰度共生矩阵的二阶距、对比度、相关性、熵4个特征量，组成一个包含16个特征分量的向量tij：

tij=(m11,m12,m13,m14,m21,…,m24,…,m44)T。

(20)

其中：m1、m2、m3、m4分别为矩阵mi中的二阶距、对比度、相关性、熵。对训练集上特征点j的所有特征向量进行统计分析，可得到特征点j的局部纹理模型：

(21)

(22)

3 搜索策略的改进

针对改进的局部灰度模型和局部纹理模型，将特征点的搜索空间从1D拓展到2D，可得到改进后的搜索空间，如图6所示。搜索过程为：以第j个特征点为中心，选取A×B(A>a,B>b)的矩形区域，并以a×b的2D局部加权灰度模型为模板在该区域滑动，得到(A-a+1)×(B-b+1)个候选点。

图6 改进后的搜索空间Fig.6 The improved searching space

求得调整后的初始模型中每个特征点的最佳匹配位置，然后利用建立的形状统计模型进行全局拟合，得到定位后的人脸形状。

4 实验结果与分析

采用ABERDEEN人脸数据库的图像验证改进方法的有效性。ABERDEEN人脸库共包含100多个人在不同背景、光照和表情下的629张人脸图片，每个人拥有的图片数量不等，且部分存在遮挡情况，如眼镜、头发等。挑选该人脸库中50个人，每个人4张图像构成一个包含200张图像的训练集，以这50个人剩下图像作为测试集。实验采用的硬件平台为Intel(R) Core(TM) i3-2100 CPU的台式电脑，内存为4 GB，软件平台为Matlab 2014a。在实验过程中，分别采用传统ASM方法和改进型方法在测试集上进行特征点定位，部分图像的特征点定位效果对比如图7所示。

图7 特征点定位效果对比Fig.7 Comparison of feature points location effect

为了更好地比较传统ASM方法和改进方法的定位性能，同时兼顾算法的定位精度和时间消耗等性能因素，在搜索过程中，具体参数设置为：传统ASM方法中局部灰度模型的参数k=7，模型匹配时的参数l=11；二维局部灰度模型的参数设置为a=3,b=7，模型匹配时的参数设置为A=5,B=11。局部纹理模型中参数L=16。此时在传统ASM方法中，每定位一个特征点需计算9个候选点的马氏距离，而改进方法需要计算15个候选点的马氏距离。

以定位精度和时间复杂度2个指标来衡量算法的性能。定位精度采用均方根误差ERMS,j评定：

传统ASM方法和改进方法在测试集上的定位偏移量统计如图8所示。从图8可看出，传统ASM方法的定位偏移误差分布在2～5个像素间，约占整体比重的77.95%，集中在3～4个像素间的占了50.33%，而改进方法的偏移量主要集中在1～4个像素间，约占整体比重的79.13%，且集中于1～3个像素间的定位点占了64.34%。

图8 定位偏移量统计Fig.8 Statistics of positioning offset

表1为2种定位方法的平均定位像素误差、时间及定位失败率。实验结果表明，改进方法相比传统ASM方法对光照、背景及表情的变化更为稳定，提高了像素的定位精度η，

表1 定位性能

5 结束语

为了进一步提高人脸特征点的定位精度和鲁棒性，提出了基于ASM方法的改进方法。基于瞳孔和嘴巴3点的坐标信息，快速调整了模型初始搜索位置，并提出了特征点二维局部区域的加权灰度模型及局部纹理模型。实验结果表明，改进方法相比传统ASM方法在定位精度上有了明显的提高，但与此同时也增加了定位所需时间。虽然通过调整模型初始位置在一定程度上减少了循环迭代次数，但改进方法将局部灰度模型从一维扩展到二维，使得运算量也随之增加。随着研究的进一步深入，可采用GPU并行计算等进行优化。

[1] PARK S W,HEO J,SAVVIDES M.3D face reconstruction from a single 2D face image[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,2008:1-8.

[2] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1063-1074.

[3] COOTES T F,TAYLOR C J.Active shape models:‘smart snakes’[M]//BMVC92.London:Springer-Verlag,1992:266-275.

[4] COOTES T F,TAYLOR C J,COOPER D H,et al.Active shape models-their training and application[J].Computer Vision and Image Understanding,1995,61(1):38-59.

[5] COOTES T F,TAYLOR C J.A mixture model for representing shape variation[J].Image and Vision Computing,1999,17(8):567-573.

[6] KASS M,WITKIN A,TERZOPOULOS D.Snakes:active contour models[J].International Journal of Computer Vision,1988,1(4):321-331.

[7] MAHOOR M H,ABDEL-MOTTALEB M.Facial features extraction in color images using enhanced active shape model[C]//7th International Conference on Automatic Face and Gesture Recognition,2006:137-148.

[8] 范玉华，马建伟.ASM及其改进的人脸面部特征定位算法[J].计算机辅助设计与图形学学报，2007，19(11):1411-1415.

[9] 李皓，谢琛，唐朝京.改进的多模板ASM人脸面部特征定位算法[J].计算机辅助设计与图形学学报，2010(10):1762-1768.

[10] VIOLA P,JONES M.Robust real-time object detection[J].International Journal of Computer Vision,2001,4:51-52.

[11] VIOLA P,JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2001:I-511-I-518.

[12] ROSS A.Procrustes analysis[R].South Carolina:Department of Computer Science and Engineering,University of South Carolina,2004:128-136.

[13] ABDI H,WILLIAMS L J.Principal component analysis[J].Wiley Interdisciplinary Reviews:Computational Statistics,2010,2(4):433-459.

[14] HSU R L,ABDEL-MOTTALEB M,JAIN A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):696-706.

[15] 薄华，马缚龙，焦李成.图像纹理的灰度共生矩阵计算问题的分析[J].电子学报，2006,34(1):155-158.

编辑：翁史振

An improved facial feature points localization method based on ASM

WANG Yang1, LI Jun1,2

(1.School of Electronic Engineering and Automation, Guilin University of Electronic Technology, Guilin 541004, China；2.Guangxi Information Science Laboratory Center, Guilin University of Electronic Technology, Guilin 541004, China)

In order to solve those problems that the structure of local gray model in active shape model algorithm is too simple, and initial model position has a misregistration, an improved facial feature points localization method based on ASM is proposed. Using the coordinates of pupils and mouth to adjust the initial search location, and then establishing a 2D local weighted gray model and local texture model in an expanded rectangular area around the center of the feature point, finally the feature points can be located with the new matching algorithm. Experimental results show that our method improves 26.15% on the positioning accuracy than the traditional ASM algorithm.

active shape model; local gray model; gray level co-occurrence matrix; local texture model; model matching

2016-03-05

国家自然科学基金(61367002)

李俊(1977-)，男，湖北红安人，研究员，博士，研究方向为光电检测系统、图像处理、GPGPU。E-mail:55832269@qq.com

王洋，李俊.基于ASM的改进型人脸特征点定位方法[J].桂林电子科技大学学报，2016,36(6):477-482.

TP391.4

A

1673-808X(2016)06-0477-06