基于面部特征约束的人脸纹理映射及变形

罗岱，陶洋，杨刚

北京林业大学，北京100083

基于面部特征约束的人脸纹理映射及变形

罗岱，陶洋，杨刚

北京林业大学，北京100083

CNKI网络出版：2017-05-23,http://kns.cnki.net/kcms/detail/11.2127.TP.20170523.1843.018.html

1 引言

随着当前新媒体娱乐的飞速发展，对人脸照片进行处理，生成各种风格化的效果成为一个有趣的研究与应用问题。微软曾推出了商业软件Cartoon Maker用来生成人脸的漫画风格图像，其主要基于人脸特征的自动检测和风格化绘制技术；腾讯QQ最初也推出了人脸风格化生成的功能，其采用了用户交互式的人脸器官替换。近年来，随着移动平台应用的发展，在移动端出现了大量以人脸图像美化为目的应用，如美图秀秀、天天P图等，这些应用是在人脸器官识别的基础上进行图像特效的处理从而达到美化人脸照片的目的。另一款很有代表性的移动端APP“魔漫相机”则可以将人脸变成素描风格，其原理还是在五官识别的基础上进行纹理简化、色调风格化等图像处理操作。近年来，一些研究者针对人脸化妆效果的应用需求还提出了一些人脸上妆效果迁移的方法，如Liu等[1]提出采用深度学习的方法来实现眼影、唇膏等器官上妆效果的迁移，取得了很好的模拟效果。虽然其在眼影效果迁移中不仅考虑了色彩的迁移，还考虑了目标图与参考图间器官形状的差异，但其主要是对眼影区域进行了自适应的变化，而并未对器官形状进行几何形变。与这些方法或应用不同，本文则力图从纹理约束性映射的角度出发来完成人脸图像变形与风格化处理的问题：给定一幅源人脸图像和一幅目标人脸图像，将源图像映射到目标人脸上，使得合成的人脸具有目标人脸的五官形状，但却具有源人脸的纹理效果。

此中最关键的问题是要建立源人脸和目标人脸的特征对应关系，并在这种特征约束之下完成纹理映射。实现这种带约束的人脸图像映射的方式有两种，一是将人脸区域作为一个整体，该方法将整个源人脸区域的纹理一次映射到目标人脸区域；二是根据提取的人脸特征点对目标人脸区域建模生成三角网格，再对每一个网格进行映射处理。第一种方法将人脸区域作为一个整体进行处理，映射过程中产生的能量函数的能量值较大，最终得到的人脸图像在细节较多处的扭曲形变比较严重。而第二种方式将整个区域转化为了小块的三角形区域，使得映射过程中产生的能量较小且被分散，有利于得到良好的人脸图像。本文即采用了第二种方式。具体而言，采用人脸特征检测的方式标记人脸特征点并构建两张人脸间的特征对应关系；采用了Delaunay三角化的方式来对目标人脸区域进行网格化生成；在特征点纹理坐标的约束下，采用了调和映射的方法来生成目标人脸所有网格点的纹理坐标。

基于本文方法，可以实现许多有趣的“变脸”效果，例如可以将别人的脸映射成自己的脸的形状轮廓；如果源图像是艺术化风格的人脸，那么就可以实现目标人脸的艺术化风格转换；甚至可以将自己的脸通过自映射实现表情的交互式调整。

本文是对纹理映射、Delaunay三角化、调和映射等技术在人脸变形上的一个研究与应用实践，具有一定研究意义；同时，本文方法也是从另一个角度对人脸风格化处理这一热点问题的探索，在人脸变形、人脸风格转化、人脸表情调整等方面的应用中具有很好的实用价值。

本文在第2章首先对方法流程进行一个总体介绍，然后在第3章对方法流程中的四个关键技术步骤：人脸特征点提取、人脸区域三角化、基于调和映射的纹理坐标计算、映射与融合进行具体介绍；之后在第4章给出实验结果，最后进行总结与展望。

2 方法总览

本文方法流程如图1所示。

由图可见，方法流程主要包括四个技术步骤：

（1）人脸特征点提取。本文采用Stasm库[2]进行人脸特征点的自动提取，在自动提取的基础上，配合一定的人机交互来调整特征点位置、增加额头部特征点，并指定特征点间的对应关系。

（2）目标人脸三角网格化。基于上一步得到的特征点，采用Delaunay三角化技术将目标人脸区域转化为三角网格。在三角化之前，采用自动或交互方式在人脸区域增加一系列采样点，目的是使三角网格更均匀、密集。

（3）网格点纹理坐标的获取。网格点分为两类：特征点和非特征点。特征点的纹理坐标已经确定；在特征点纹理坐标约束之下，采取调和映射的方式来迭代求取非特征点的纹理坐标。

（4）纹理映射与边界融合。基于GPU的纹理映射机制，源人脸图像可以快速映射到目标人脸的三角网格区域。为使得映射过来的图像与目标人脸头发、耳朵等周边区域更好地融合，还采用了边界融合策略进行效果优化。

下面，对这四个技术步骤进行详细介绍。

图1 方法流程

3 关键技术

3.1 人脸特征点提取

采取了以自动检测为主，配合局部区域特征点手动调整的策略来完成特征点提取工作。

3.1.1 人脸特征点自动检测

目前人脸特征点提取技术可以分为三类：基于统计学的方法[3-4]、基于图像信息的方法[5-6]和基于几何形状的方法[7-9]。其中基于几何形状的方法近年来获得了很大发展，并出现了很多成熟的类库，如Stasm[2]、Face++（http：//www.faceplusplus.com.cn/）等。本文即采用Stasm开源库完成人脸特征点的检测，获取人脸的63个特征点。如图2所示即为对输入的源人脸照片和目标人脸照片进行人脸特征点自动检测的结果。

3.1.2 额头特征点的标记及特征点调整

人脸的额头区域占据很大面积，对于人脸区域的映射至关重要。但目前的人脸检测类库都没有提供额头区域特征点的检测。这是由于人脸额头部分经常被头发遮挡，造成不同人脸图像额头部分特征点无规律，难以通过训练的方法来提取人脸额头部分的特征点。

为此，本文通过人工方式手动标记人脸额头部分的特征点。由于不同的人脸图像被头发遮挡的部分各不相同，故对该区域的特征点个数并没有明确指定，可以视人脸图像而定。但源人脸图像与目标人脸图像中该区域的特征点个数需要相同且一一对应。如图3所示即为对输入的两张人脸照片进行人工方式标记人脸额头特征点后的结果。

图2 人脸特征点自动检测

图3 人工方式标记额头特征点

此外，通过现有的人脸特征点提取方法自动检测出的人脸特征点并非完全准确，往往存在个别特征点的位置偏差。本文提供了人机交互方式，允许用户手动调整这些特征点以达到修正的目的。

从上面论述可知，采用上述方法所获取的源人脸和目标人脸特征点数量相同，并一一对应。

3.2 目标人脸区域三角化

前文提到过，如果将人脸区域进行整体的约束映射，将使得映射过程中产生的能量函数值较大，往往使得人脸图像在细节较多处的扭曲形变严重。为此，本文采取的方法是：将目标人脸区域网格化为小块区域，分别映射每个小块区域。小块区域内人脸特征的变化较小，可以采用二次函数进行很好地拟合。这种网格化方式相当于分散了能量函数误差，可以达到良好的映射效果。

在3.1节中，通过人脸特征提取得到的特征点集是一个平面散点集，因此可以采用三角剖分平面散点集的方法处理人脸区域得到网格。在三角剖分算法中，Delaunay三角化（Delaunay Triangulation，DT）[10-12]无疑是其中最经典的方法之一。本文即采用了递归生长法来实现目标人脸区域的Delaunay三角剖分。

但3.1节得到的人脸特征点主要集中在五官部位，在脸颊部位、额头部位和下巴部位并无特征点，这使得在这些部位的三角化区域会很大，可能造成映射时的扭曲形变。为此，在三角化之前，在上述三个区域增加一系列采样点；三角剖分时，将根据特征点和采样点来共同完成三角网格的生成，由此得到更为均匀和密集的三角网格。如图4所示即为即为增加采样点，并进行Delaunay三角化后的结果，红色点为增加的采样点。

图4 目标人脸区域Delaunay三角化

3.3 基于调和映射的网格点纹理坐标生成

基于3.2节方法得到的网格点可以分为两类：特征点与非特征点。非特征点就是后来增加的采样点。特征点的纹理坐标已经确定，需要在特征点纹理坐标的约束下求得所有非特征点的纹理坐标。本文将这个问题转化为一个二维调和映射的问题。

3.3.1 调和映射

调和映射是两个流形之间的能量最小化映射，它是几何分析中一类重要的研究对象，其最大的优点是能够保证映射过程所产生的形变最小[13]。试图建立参数化的平面网格（目标人脸）和纹理平面（源人脸图像）之间的映射关系，而这种映射关系需要保证纹理空间的形变最小，这可以转化为一个二维调和映射问题。

文献[14]提出了一种调和映射的有限元方法。该方法的具体思想如下：

假设Φ是两个光滑流形(M,g)和(N,h)之间的一个光滑映射，记为：

假设三角网格模型D与平面邻域P都同胚于圆盘，∂D和∂P分别表示D、P的边界，vi()i=1,2,…,n是三角网格模型的内部点；表示连接vi和vj生成的边，长度用vij表示；对以vi,vj,vk为顶点的三角形表示其面积。记与边连接的两个三角形分别是和首先定义边界映射，那么存在调和映射∅映射到P的内部。调和映射∅是通过计算公式（2）的最小值得到的。

其中

3.3.2 基于调和映射的非特征点纹理坐标生成

设D为网格模型，vi(i=1,2,…,n)为模型的顶点，P为纹理空间，(i=1,2,…,n)对应vi(i=1,2,…,n)在P上的纹理坐标。只需要在纹理图像与模型上指定一些一一对应的特征点代入公式（2），那么其他非约束点的纹理坐标就可以通过求解公式（2）的极小值来得到。公式（2）的极小值可以使用迭代的方法或者共轭梯度法求解一个稀疏的正定线性方程组来获得。通过对上述调和映射的有限元模型进行分析可知，该模型本质上是一种加权平均的方法。为此，使用了一种迭代的方式进行求解。首先，给每一个非特征点的纹理坐标设定一个初值；然后，基于公式（3），并根据三角网格上的非特征点与该点在源图像上的对应点有相同的拓扑连接关系这一特性，对每一个非特征点的纹理坐标进行多次迭代计算来求出所有非特征点的纹理坐标。具体算法如下：

若迭代的次数为m，非特征点的个数为n，则该算法的时间复杂度为O(m×n)。

3.4 纹理映射与边界融合处理

在获得所有网格点的纹理坐标后，就可以对目标区域网格内的每一个像素运用双线性插值的方式来计算得到其在源图像中的纹理坐标，从而完成目标图像的颜色赋值。显然，这个过程正好就是典型的纹理映射过程，完全可以借助于OpenGL等图形库，采用图形绘制流程来完成。图形绘制流程利用了GPU的运算能力，可大大加快这个映射的过程。

但在实现过程中，发现由于源图像与目标图像在亮度、色彩等方面存在差异，如果直接将源图像“贴”到目标区域，容易与目标区域周边的图像形成锐利的边界。如图5（a）可见，在人脸的额头处有明显的折线的感觉，效果不自然。为此，采用了高斯模糊的方法对边界区域进行融合处理。

首先，根据所提取的特征点来确定人脸的外部轮廓折线，然后，沿外部轮廓折线对源图像像素和目标图像像素进行高斯核的加权平均，从而实现了边界的渐入渐出融合效果。如图5（b）所示即为生成的图像通过边界融合处理后的结果。可以看出处理后的人脸轮廓区域过渡的比较平滑、自然。

图5 边界融合处理效果

4 实验结果

4.1 人脸合成结果

图6显示了多组合成效果，从图中可以看出，本文方法能够将源人脸图像很好地映射到目标人脸区域中，使得源人脸图像与目标人脸的几何特征进行无缝融合，取得满意的“变脸”效果。

图6 人脸合成结果

此外，本文方法不仅可用于人脸之间的变换，还可以实现非人脸到人脸的变换或人脸的卡通化风格变换。如图7上排所示，实现了老虎到人脸的映射，而图7下排则展示了人脸的卡通化风格变换。

图7 其他风格变换图

4.2 交互式人脸表情调整

上面实验中表现的都是对两张不同的脸进行映射变形，事实上，如果源图像和目标图像都取相同的人脸，而对目标人脸的五官特征点位置进行调整后再进行映射，就可以实现人脸的交互式表情调整。

系统中提供了人机交互的工具，允许用户对目标人脸的表情特征点进行调整。如图8所示，调整了右边目标人脸嘴巴区域的特征点，将嘴部区域的15个特征点调整到噘嘴的位置，就实现了噘嘴的表情效果。从生成的结果图来看，并没有发生严重的扭曲形变现象，证明本文的方法对于人脸表情调整是行之有效的。图9则展示了眉毛调整的效果。

图8 人脸嘴部表情调整效果

图9 调整眉毛特征点得到皱眉效果

5 总结

本文提出了一种实现“变脸”效果的技术方法，该方法通过人脸的特征点识别、目标人脸的三角网格化构建以及基于调和映射的纹理坐标生成，实现了源人脸纹理到目标人脸区域的约束性映射。该方法可将源人脸的纹理特征与目标人脸的几何特征进行无缝融合，可以有效实现人脸变形、人脸风格化绘制、人脸表情调整等多种应用效果的模拟，具有很好的实用价值。

本文方法在以下方面还可进一步改进或延伸：

（1）虽然采用了边界融合的措施，但是在额头区域，源人脸区域和目标人脸的发迹部分依然可能产生明显的边界感。如何有效地对发迹部分进行自动检测和融合处理，将是下一步的研究重点。

（2）与发迹区域类似，耳朵区域也存在融合调整的问题。在本系统中，耳朵区域是目标人脸的，而人脸区域是源人脸的，如果源人脸和目标人脸在肤色上有明显差异，将使得变脸后的耳朵与人脸出现明显的不协调。这方面可考虑对人耳区域进行色彩调整进行改进。

（3）目前本文系统是用于PC平台的，而从实用角度而言，系统在智能移动终端上将更具有应用潜力。用户可以本地选择源图像，而调用摄像头立即拍照来提供目标图像，从而实现当前人脸的各种风格化变换。这可作为本文工作在应用方面的下一步尝试。

[1] Liu S，Ou X，Qian R，et al.Makeup like a superstar：Deep localized makeup transfer network[C]//Proceedings of the International Joint Conference on Artificial Intelligence，New York City，NY，USA，2016：2568-2575.

[2] Milborrow S，Nicolls F.Locating facial features with an extended active shape model[C]//Proceedings of ECCV，2008：504-513.

[3] Cootes T F.Statistical models of appearance for computer vision[D].University of Manchester，2000.

[4] Lee Y，Terzopoulos D，Waters K.Realistic modeling for facial animation[C]//Proeeedings of 22nd Conference onComputerGraphicsandInteractivTechniques（SIGGRAPH’95），New York，NY，USA，1995：55-62.

[5] Zhang B，Ruan Q.Facial feature extraction using improved deformable templates[C]//Proceedings of 8th International Conference on Signal Processing，2006，4：345-353.

[6] Pighin F，Hecker J，Lischinnski D，et al.Synthesizing realistic facial expressions from photograph[C]//Proeeedings of the SIGGRAPH’98，1998：75-84.

[7] Kass M，Witkin A，Terzopoulos D.Snakes：Active contour models[J].International Journal of Computer Vision，1988，1（4）：321-331.

[8] Matthews I，Baker S.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[9] Seo H，Cordier F.Constrained texture mapping using image warping[J].Computer Graphics Forum，2010，29（1）：160-174.

[10] 李伟青，彭群生.一个通用的快速三角化算法[J].计算机辅助设计与图形学学报，2001，13（9）：769-773.

[11] 徐永安，谭建荣，杨钦，等.二维任意域约束Delaunay三角化的实现[J].工程图学学报，1999（1）：51-55.

[12] 曾薇，孟祥旭，杨承磊，等.平面多边形域的快速约束Delaunay三角化[J].计算机辅助设计与图形学学报，2005，17（9）：1933-1940.

[13] 周昆，潘志庚，马小虎，等.调和映射的构造及其在图形学中的应用[J].中国图象图形学报，1998，3（7）：578-582.

[14] 郭延文，潘永娟，崔秀芬，等.基于调和映射的约束纹理映射方法[J].计算机辅助设计与图形学学报，2005，17（7）：1457-1462.

LUO Dai,TAO Yang,YANG Gang.Face texture mapping and deformation with constrains of facial feature.Computer Engineering andApplications,2018,54（6）：188-192.

LUO Dai,TAO Yang,YANG Gang

Beijing Forestry University,Beijing 100083,China

The research object of this paper is to map a face image（called the source image）to another face image（called the target image）,so as to realize the deformation of the face images and achieve some special effects.In the process,one of the most critical problems is to maintain the constrained mapping of organ features in two human faces.This paper puts forward a technical strategy,which can effectively achieve this object.Firstly,the feature points of the source face and the target face are detected with the face feature detection algorithm.Then,based on the feature points,the Delaunay triangulation method is used to transform the target face into a triangular mesh.After that,the corresponding coordinates of all grid points are calculated in the source face image by using harmonic mapping.After obtaining the texture coordinates of the mesh point,the mapping of the source face to the target face can be realized.Experimental results show that,the proposed method can realize the mapping between arbitrary faces,and the mapping relationships of facial features can be maintained very well.

texture mapping;harmonic mapping;Delaunay triangulation;ASM algorithm

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上，从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中，一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略，可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点；基于特征点，利用Delaunay三角剖分的方法将目标人脸转化为三角网格；采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标；在获得网格点纹理坐标后，就可以实现源人脸到目标人脸的映射。实验表明，该方法可以实现任意人脸间的映射，并能较好地保持人脸五官间的映射关系。

纹理映射；调和映射；Delaunay三角化；ASM算法

2016-11-08

2017-02-24

1002-8331（2018）06-0188-05

A

TN911.9

10.3778/j.issn.1002-8331.1611-0133

国家科技支撑计划课题（No.2015BAH52F03）。

罗岱（1973—），男，博士，副教授，主要研究领域为计算机图形学；陶洋（1991—），男，硕士研究生，主要研究领域为计算机图形学；杨刚（1977—），通讯作者，男，博士，副教授，主要研究领域为计算机图形学，E-mail：yanggang@bjfu.edu.cn。