结构化特征融合的主动表观模型

魏爽

（江苏科技大学计算机科学与工程学院，江苏镇江212000）

人脸特征点定位在自动化人脸理解和分析系统中起着至关重要的作用，如基于图像或视频的人脸识别、表情分析、三维人脸重建以及人脸动画等[1-3]。常用的人脸特征点定位算法有主动形状模型（Active Shape Model，ASM）[4]、主动表观模型（Active Appearance Model，AAM）[5-7]和非参数化级联回归模型[8-9]等。与主动形状模型和非参数化的级联回归模型不同的是，主动表观模型可以同时对人脸图像的形状和纹理信息进行建模。主动表观模型的匹配算法可以分为两类：基于梯度下降的匹配算法和基于回归的匹配算法。然而，基于梯度下降的匹配算法需要迭代计算目标函数的偏导数，从而导致算法的效率低下。传统的基于线性回归的主动表观模型使用人脸图像的灰度信息作为特征，对人脸的表观变化较为敏感。近年来，深度学习[10-11]和张量分析[12]等方法也被陆续用到人脸特征点定位中，从而在不同的层面上提高了模型的表达能力和匹配精度。

近年来，大量研究表明，与传统的全局纹理特征相比较，局部特征描述子对人脸的姿态、表情、光照和遮挡等问题更加鲁棒[13-14]。为了进一步提高主动表观模型的匹配精度，本文提出了一种结构化特征融合的主动表观模型匹配算法。该方法将全局纹理特征和形状相关局部特征进行融合，用于基于线性回归主动表观模型的匹配算法中。通过在XM2VTS[15]和BioID[16]上进行的实验表明，本文算法可以有效的提高原有模型的匹配精度。

1 主动表观模型

1.1 主动表观模型建立

在主动表观模型中，人脸的形状用点分布模型进行表示。一个点分布模型是由若干个人脸特征点的二维坐标组成的向量：

其中，l表示特征点的个数，(xi,yi)表示第i个特征点的二维坐标。图1展示了一个由68个人脸特征点构成的二维点分布模型。

图1 点分布模型

给定一组用于模型训练的人脸图像和对应的人脸形状，主动表观模型首先对训练集中的人脸形状使用Procrustes方法进行归一化处理，以去除由成像参数不同带来的平移、缩放和旋转对建模造成的影响[17]。对归一化后的人脸形状训练样本进行主成分分析，可以得到一个线性的统计形状模型：

相对于主动形状模型，主动表观模型的一个重要特点就是充分利用了人脸形状区域内的纹理信息。可以通过特定的扫描方式，对训练集人脸图像中的全局纹理进行扫描和提取，得到一个灰度值向量t∈Rm，m是指人脸形状区域内像素点的个数。不同的训练样本，其人脸区域的大小是不同的，因此获取的人脸全局纹理向量具有不同的维数。主动表观模型通过使用二维图像映射的方法[18]，把训练集中所有的人脸图像的区域进行进一步归一化处理，即将所有的人脸“拉伸”到平均形状，然后提取灰度值信息，如图2所示。与建立形状模型的过程相似，对训练集中所有的纹理向量进行主成分分析，可以得到线性的全局纹理模型：

图2 纹理映射

得到形状模型和纹理模型后，主动表观模型可以通过改变其参数值生成不同的人脸样本实例。

1.2 模型匹配算法

主动表观模型的匹配算法也可以看作是一个参数优化过程。给定一幅输入图像和训练好的主动表观模型，通过调节模型参数，最小化主动表观模型构成的人脸实例和输入图像间的纹理差：

其中，I是输入图像，I(W(s;ps))是将输入图像当前形状中的纹理映射到平均形状后的纹理向量，W(s;ps)是从由统计形状模型的参数ps生成的当前形状到平均形状的一个仿射变换函数，+Tpt是当前模型的纹理向量。对于上述优化问题，最直接的解决方案是使用基于梯度下降的优化算法。然而，该类方法需要多次计算偏导数，从而导致算法效率低下。为了解决这一问题，Cootes等人进一步提出了一种基于回归模型的参数搜索策略。首先定义模型匹配误差为当前模型和输入图像之间的纹理差：

其中c是统计形状模型和全局纹理模型参数联结起来组成的一个参数向量，，W是一个权重矩阵，用于调节形状参数和全局纹理参数之间的差异。假设模型匹配误差与参数更新量之间存在一定的线性关系，从而可以通过纹理差e(c′)去计算联合参数的更新值δc。

其中，R是一个有关纹理差值和参数更新值的映射矩阵，可以通过一系列实例样本学习获得，如一个线性回归模型[19]。给定一幅新的人脸图像，可以计算当前模型与输入图像的纹理差，并通过学习得到的回归模型。通过一个迭代的过程，更新主动表观模型参数，直到匹配误差收敛。

2 结构化特征融合的主动表观模型

通过上面的介绍可以看出，主动表观模型的优化过程依赖于模型和输入图像之间的全局纹理差。然而，人脸图像的全局纹理受姿态、光照、表情和遮挡等因素的影响较为严重，往往不能很好地表示其与模型参数更新之间的关系。为了进一步获取更加鲁棒的人脸图像特征，本文使用了一种结构化特征融合的策略，即将全局纹理误差和形状相关局部特征进行融合用于模型参数更新的预测。

2.1 结构化特征融合策略

假设当前人脸的人脸形状为s=[x1...xl,y1...yl]T，在每个特征点（x，y）周围选取一块尺寸为H×H矩形区域，用T(xi,yi)表示第i个人脸特征点附近的矩形区域。对每个矩形区域使用局部特征描述子进行特征抽取并标记为，其中l是人脸特征点的个数。将局部纹理特征H和全局纹理差e(c′)连接起来，就可以得到融合了局部纹理特征和全局纹理特征的联合向量，，如图3所示。在训练线性回归模型时，使用该联合向量，建立其与模型参数更新值之间的线性关系。

图3 结构化特征融合

在模型优化过程中，可以通过训练得到的回归模型计算模型参数更新值：

基于结构化特征融合的主动表观模型优化算法可以总结为：

1）初始化模型参数c’；

2）计算纹理误差e(c′)；

3）计算当前形状每个特征点附近的局部特征H；

4）将2）和3）得到的全局纹理误差和局部特征融合，组成联合向量G；

5）使用联合向量计算主动表观模型的参数更新值G→δc；

6）更新联合主动表观模型的参数值：c′←c′+δc；

7）重复 2）～6），直到参数更新值小于某个预先设定的很小的阈值。

给出了本文基于结构化特征融合的主动表观模型优化算法的流程图。在每一个迭代过程中，根据当前的统计形状模型和全局纹理模型计算主动表观模型与输入图像之间的纹理差，再计算当前形状模型下每个特征点附近的局部特征，融合局部特征和全局纹理差，通过映射矩阵求得主动表观模型的参数更新值，更新主动表观模型，图4是基于结构化特征融合的主动表观模型匹配过程的示意图。由于融合了局部特征，增强了抽取出来的人脸特征的表达能力，尤其是每个人脸图像特征点附近的细节进行了更好的描述。

图4 基于结构化特征融合的主动表观模型匹配过程

2.2 形状相关局部特征描述

传统的主动表观模型中的全局纹理是对整个人脸区域纹理信息的描述，而人脸局部特征主要是对点分布模型中每个特征点周围的纹理特征进行描述。因为点分布模型中每个特征点都具有特殊的语义信息，所以以特征点为中心的局部特征算子也都具有一定的代表性。在提取形状相关局部纹理特征时，以每个人脸特征点为中心，提取一小块区域的纹理特征信息，如图5所示，然后将所有特征点附近的局部特征组合起来，作为当前人脸图像的局部特征。具体见2.1节。

图5 提取人脸特征点附近局部特征的示意图

文中使用了3种不同的局部特征算子：归一化的纹理信息、局部二值特征和HOG。其中，归一化的纹理信息是对每一小块的纹理信息进行归一化处理，，其中h是该块区域的像素点灰度值，μ和σ分别是该区域内所有像素点灰度值的均值和方差。局部二值模式（Local Binary Pattern，LBP）特征是过阈值来标记中心点像素与其邻域像素之间的差别，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，以此建立该区域的局部特征。方向梯度直方图（Histogram of Oriented Gradient，HOG）特征要将将图片分成若干个“细胞”，计算局部区域内每个像素点梯度值和梯度方向，最后将“细胞”每一个像素点的梯度方向加权投影到直方图中进行统计。

3 实验结果和分析

文中在XM2VTS[15]和BioID[16]人脸数据库上对新算法进行了测试。其中，BioID有1 520张人脸图像，每张人脸有20个特征点；XM2VTS有2 360张人脸图像，每张人脸图像有68个特征点。在实验过程中，每个数据库被随机平均分为两部分，一半进行训练，另一半进行测试。重复上述步骤5次，并使用平均值作为测试结果。在测试集中，用于衡量人脸特征点定位精度的指标设置为真实人脸特征点和模型匹配得到的特征点之间的欧式距离：

其中，Xi=（xi，yi）T是模型最终匹配到的特征点的位置，Xj=（xj，yj）T是该特征点的标准位置。计算测试集中全部测试实例特征点欧式距离的均值，作为评判模型匹配精度的一个标准。

首先，在XM2VTS数据库上对传统的主动表观模型和结构化特征融合的主动表观模型进行测试。本实验将测试3种局部特征，具体见2.2节。对每一个局部特征描述子，本实验又设置了11*11、15*15、19*19 3个不同的大小的局部特征，以比较不同尺寸的局部特征对结构化特征的主动表观模型匹配精度的影响。

表1 XM2VTS人脸数据库

如表1所示，结构化特征融合的主动表观模型，不管是HOG特征、LBP特征还是归一化的局部纹理信息都比较显著的提高了主动表观模型的匹配精度，相比而言，HOG特征的结果最为理想。而就具体的一种局部特征而言，其局部特征尺寸大小也会影响到最终的匹配结果。不同的局部特征，其能达到最佳的匹配结果的尺寸可能会有差别，但总体来看局部特征尺寸越大，自然会包含更多的信息，但其中的干扰信息也会增加，每个特征点局部特征的代表性会被相应的弱化。下面所有的实验，都将采取15*15的局部特征。

图6 结构化特征融合的主动表观模型测试结果误差分布图

图6是结构化特征融合的主动表观模型测试结果误差分布图，这里的误差就是真实人脸特征点和模型匹配得到的特征点之间的欧式距离。图5的横坐标是误差大小，纵坐标是误差分布情况。结构化特征的融合对主动表观模型提高是显而易见的。将

局部特征和全局纹理信息相结合，为主动表观模型增加了特征点附近更多的细节信息，提高了其对人脸特征点的定位能力。在3个局部特征算子中，HOG特征的结果是最理想的。

最后，在BioID数据库上的对融入了不同局部特征的结构化特征融合主动表观模型进行测试，如表2所示。BioID数据库上测试的结果和XM2VTS数据库上的结果是一致的。将局部特征与全局纹理信息相结合，提高了模型的匹配能力。对比不同的局部特征，HOG特征的匹配效果是最好的。

表2 BioID数据库

4 结 论

通过将以HOG特征为代表的局部特征算子与全局纹理模型相结合，极大的提高了主动表观模型的表现能力，增强了模型对于特征点定位的准确度。这其中，局部特征算子对光照、姿态、人脸上的遮盖物等干扰信息，表现出来了极强的鲁棒性。而不同的局部特征算子又有不同的特点。针对不同的研究目标，如何更加有效的使用局部特征算子，将它们各自的优势最大化，是可以继续去探究的。

[1]杨武俊.基于神经网络的人脸图像识别算法[J].网络安全技术与应用，2016（1）:98.

[2]廖延娜，马超.基于稀疏表示的人脸识别系统设计与实现[J].电子设计工程，2016（17）:153-155.

[3]Kittler J，Huber P，Feng Z H，et al.3D morphable face models and their applications[C]//International Conference on Articulated Motion and Deformable Objects，2016:185-206.

[4]施华，黄昶.一种改进的基于ASM模型的人脸跟踪算法[J].信息技术，2015（7）:88-89.

[5]王长元，徐顺等.主动表观模型在人脸特征提取中的应用[J].电子测试，2014（3X）:31-32.

[6]Tzimiropoulos G，Pantic M.Fast algorithms for fitting active appearance models to unconstrained images[J].International Journal of Computer Vision，2016:1-17.

[7]鹿宏青，李锦涛.基于主动表观模型的人脸特征点自动标定[J].电子技术与软件工程，2016（1）:110-110.

[8]Xiong X，De la Torre F.Supervised descent method and its applications to face alignment[C]//IEEE conference on computer vision and pattern recognition，2013:532-539.

[9]Feng Z H，Hu G，Kittler J，et al.Cascaded collaborative regression for robust facial landmark detection trained using a mixture of synthetic and realimageswith dynamicweighting[J].IEEE Transactions on Image Processing，2015，24（11）:3425-3440.

[10]黄忠，胡敏，刘娟.基于AAM-SIFT特征描述的两级SVM人脸表情识别[J].计算机工程与应用，2016，52（3）:178-183.

[11]Zhang Z，Luo P，Loy C C，et al.Facial landmark detection by deep multi- task learning[C]//European Conference on Computer Vision.2014:94-108.

[12]梅蓉蓉，吴小俊，冯振华.基于状态估计的张量分解人脸识别方法[J].计算机工程与应用，2011，47（24）:143-145.

[13]刘明珠，武琪，李昌，等.基于2DDPCA的人脸识别算法[J].电视技术，2016，40（1）:122-126.

[14]胡敏，程天梅，王晓华，等.融合全局和局部特征的人脸识别[J].电子测量与仪器学报，2013，27（9）:817-822.

[15]Kumari J，Rajesh R.Facial expression recognition usinghistogramoforientedgradients[C]//International Conference on Recent Advances in Mathematics，Statistics and Computer Science.2016.

[16]Martins P，Henriques J，Rui C，et al.Bayesian constrained local models revisited.[J]. IEEE Transactionson Pattern Analysis& Machine Intelligence，2016:1-1.

[17]梅蓉蓉，吴小俊，冯振华.改进的动态模糊神经网络及其在人脸识别中的应用[J].计算机应用与软件，2012，44（1）:465-469.

[18]Aurenhammer F，Klein R，Lee D T.Voronoi diagrams and delaunay triangulations[J].2013，19（3）:348.

[19]黄飞，谭守标等.基于改进主动表观模型算法的人脸特征定位[J].计算机工程与应用，2015，51（16）:204-209.