基于ICP的非刚性曲面拟合方法

陈林伟

（四川大学计算机学院，成都 610000）

基于ICP的非刚性曲面拟合方法

陈林伟

（四川大学计算机学院，成都 610000）

高真实感三维人脸模型重建是三维人脸动画合成技术的关键技术，可应用于虚拟现实、三维动画制作等多个领域。为此，提出一种快速生成高精度、高真实感三维人脸模型的方法。该方法是一种基于最近点迭代的非刚性曲面拟合方法，通过对待拟合点云孔洞、边界等进行约束，可快速拟合出目标点云局部特性，最终获得高真实感三维人脸模型。实验结果表明，该方法可有效地拟合出目标点云获得高真实感三维人脸模型。

三维人脸；曲面拟合；最近点迭代

0 引言

近年来，基于三维人脸计算机视觉研究得到广泛重视，特别地，随着虚拟社交等虚拟现实技术的发展对高真实感三维人脸模型提出了较高要求。因而，如何获取高精度高真实感三维人脸模型成为了一个较为重要的研究方向。为获得高真实感三维人脸模型，研究方法主要可分为基于主成分分析（Principal Component Analysis，PCA）模型的方法[1-4]和基于三维配准的方法[5-8]。Blanz[1]最早开始研究基于PCA统计模型三维人脸重建，其研究思路为首先使用高精度三维扫描仪扫描出几百张具有不同特征（包括年龄、性别、地区等）的人脸，并将它们转化三维点云数据格式，然后将这些人脸点云化数据做成PCA模型，最终将人脸空间转化为一个维数较低的有限维空间，三维人脸建模问题转化为求解线性方程问题，这样通过降低计算复杂度，缩短了建模时间，但这也使得基于PCA模型的方法获得的人脸模型缺乏真实感与精度。相比之下，基于三维点云配准的方法可获得较高真实感三维人脸模型，但其缺点也较为突出，包括计算复杂度高，对模板网格与待匹配点云的初始位置、尺度等依赖性强。基于最近点迭代方法（Iterative Closet Point，ICP）是最常用的三维点云配准方法[6，8]。ICP方法较依赖目标点云中的点与模板网格中点之间一一对应关系，对应关系的好坏往往决定最终配准的效果。此外，传统ICP算法存在收敛速度慢、易陷入局部最优等缺点。

高精度、低噪声、密度大的初始人脸点云数据对获取高真实感三维人脸模型十分有利，然而，一般情况下，可满足该需求的设备价格贵，操作技术性较强（如三维激光扫描仪），不适用虚拟社交等VR场景。相对而言，通过采集人脸不同角度视频或图片再通过三维重建方法生成或使用价格便宜的深度相机获取初始三维人脸点云数据更具可行性。但这些方法获得的初始点云数据一般存在噪声较大，存在孔洞，点云边界不齐整等问题。为此，本文提出了一种基于ICP的曲面非刚性曲面拟合方法，能很好适应初始点云数据噪声大，孔洞填补，边界约束等问题，最终生成高真实感的三维人脸模型。

1 问题描述与建模

曲面拟合问题，涉及一个模板网格S=（ν，ε），其中ν={νi|i=1，…，n}表示n个网格点的集合，ε={ek=（νi，νj）| νi∈ν，νj∈ν，k=1，…，m}表示m条网格边的集合；一个待拟合目标点云τ={ui|i=1，…，t}，该目标点云可以是一切可以搜索最邻近点的3D点云数据，Nτ（νi）={uj|uj∈τ∧‖νi-uj‖＜σ}表示任意点νi的σ邻域内属于目标点云τ的点的集合。非刚性曲面拟合问题可表述为：对模板网格S中的任意网格点νi，计算其三维变换矩阵X= {Xi|i=1，…，n}，使得变换后的模板网格S'=（ν'，ε）中所有点vi'到目标点云τ的距离之和最小，其中ν'={vi'=Xiνi| νi∈ν}是由变换后的网格点组成的集合。非刚性曲面拟合保持模板网格的拓扑结构不变，即模板网格边的关系保持不变。

为了便于求解变换矩阵Χ，构建关于X的能量方程：

其中，Ed（X）为距离惩罚项，Es（X）为平滑惩罚项，α为其权重系数，El（X）为标记点惩罚项，β为其权重系数。

距离惩罚项:为了使非刚性变换后的模板网格能有效拟合目标点云，要求模板网格中网格点与目标点云之间距离之和尽可能小，受到文献[9]的启发，将变换后模板网格中各个网格点到目标点云之间的距离之和作为距离惩罚项，当距离之和越小则表示变换后的模板网格与目标点云之间的拟合程度越高，反之亦然。同时考虑到目标点云孔洞的存在以及目标点云可能不是一个完整三维物体外表面，因此模板网格中必将存在在目标点云中没有合适匹配点的网格点（对网格点vi存在合适匹配点uj是指存在uj∈T，使得‖νi-uj‖2＜ρ，其中ρ为给定阈值），对这些网格点希望它尽量保持原模板网格中的位置，因此有如下方程：

其中dist（·，·）表示三维空间中欧氏距离函数，dist（v，τ）=minu∈Nτ（v）dist（ν，u）表示τ中距离ν最近的点u到v的距离作为ν到τ的距离；wi的取值为1，当且仅当网格点νi在目标点云τ中存在合适对应点且对应点不为边界点时，wi的取值为0.5，当且经当网格点vi在目标点云τ中存在合适对应点且对应点为边界点时，否则，wi的取值为0。根据wi的取值不同，可处理初始点云的孔洞以及边界问题。

平滑惩罚项：目标点云是真实物体外表面的三维点云表达，真实物体外表面通常是平滑的，因此，希望变换后的三维网格模型也具有平滑性。同时，变换前的模板网格模型是平滑的，所以，为了能使得模板网格模型在变换后能保证最大限度拟合目标点云的同时保证网格的平滑性，希望相邻网格点的变换矩阵尽可能相同，转化为方程如下：

其中，‖·‖F为矩阵的F范数，用来量化相邻网格点变换矩阵的差异大小，其中系数矩阵W=diag（1，1，1，λ），用来权衡变换矩阵中平移项与其他项之间的比重。

标记点惩罚项：通常情况下，模板网格数据与初始目标点云具有不同尺度，为了使的变换后的模板网格具有与初始点云具有相同尺度，需要给定一些在模板网格数据与初始点云数据对应的标记点，标记点的集合记为L={（νl1，l1），…，（νls，ls）}，为了量化变换后模板网格与目标点云尺度的相似度，给出如下方程：

2 算法实现

算法包括以下几个步骤：

第一步：给定初始变换矩阵Xi=X0，平滑惩罚项系数αj=α1，标记点惩罚项权重系数β，执行第二步；

第二步：判断αj＜αmin，如成立，则结束算法，否则，执行第三步；

第三步：在变换矩阵为Xi情况下，确定模板网格中网格点在目标点云中的对应点，执行第四步；

第四步：利用Levenberg-Marquardt算法求解方程（1），解得变换矩阵Xi+1，执行第五步；

第五步：判断‖Xi+1-Xi‖＜ε是否成立，若成立，减小αj为αj+1，再执行第二步，否则，执行第三步。

本算法包含两层循环，第一层循环（外循环）为第二步到第五步，是由平滑惩罚系数α引起的，第二层循环（内循环）为第三步到第五步是由变换矩阵X引起的。执行外循环时，当αi取值较大时，算法局部刚性约束较强，允许的局部非刚性变换程度较低，此时，内循环效果近似刚性ICP。随着αi取值的不断减小，内循环刚性约束变弱，允许的局部非刚性变换程度变大，可更好地拟合目标点云的局部特性。

算法流程如图1所示。

图1 算法流程图

图2 目标点云

图3 模板网格

图4 拟合结果

3 实验结果分析

实验结果如图4所示，图2所示为待拟合目标点云，图3所示为模板网格。

4 结语

本文提出了一种基于ICP非刚性曲面拟合算法，该算法能有效适应初始目标点云噪声大、存在孔洞、边界不平滑等缺点，通过分别对噪声、孔洞、边界添加约束统一优化，最终可获得高真实感的曲面拟合结果，可广泛应用于三维动画制作、网络会议、虚拟现实等领域。本文算法本质上是迭代优化算法，虽然运行时间较短，但还不能满足实时建模的需求。因此，在不改变算法执行效果的前提下，进一步缩短算法时间复杂度将是我们今后工作的主要方向。

参考文献：

[1]Blanz，Vetter V，Thomas.A Morphable Model for the Synthesis of 3D Faces[J].Computer Graphics Proceedings Siggraph'，1999:187-194.

[2]Zhao W，Chellappa R，Phillips P J，et al.Face Recognition:A Literature Survey[J].Acm Computing Surveys，2003，35（4）:399-458.

[3]Zhang L，Snavely N，Curless B，et al.Spacetime Faces:High Resolution Capture for Modeling and Animation[J].Acm Transactions on Graphics，2008，23（3）:546-556.

[4]Blanz V.A Morphable Model for the Synthesis of 3D Faces[C].Conference on Computer Graphics and Interactive Techniques.ACM Press/Addison-Wesley Publishing Co.2002:187-194.

[5]Ichim A E，Bouaziz S，Pauly M.Dynamic 3D Avatar Creation from Hand-Held Video Input[J].ACM Transactions on Graphics，2015，34（4）:1-14

[6]郭俊辉.基于KDTree改进的ICP算法在点云配准中的应用研究[J].微型机与应用，2015，34（14）:81-83.

[7]盖赟.基于曲面形变的三维人脸样本配准[J].计算机科学，2014，41（s2）:116-118.

[8]林源，梁舒，王生进.基于非刚性ICP的三维人脸数据配准算法[J].清华大学学报自然科学版，2014（3）:334-340.

[9]Allen B，Curless B，Popovi，et al.The Space of Human Body Shapes:Reconstruction and Parameterization from Range Scans[J].Acm Transactions on Graphics，2003，22（3）:587-594.

[10]Zhang X J，Zhong-Ke L I，Wang X Z，et al.Research of 3D Point Cloud Data Registration Algorithms Based on Feature Points and Improved ICP[J].Transducer&Microsystem Technologies，2012，31（9）:116-248.

Non-Rigid Surface Fitting Method Based on ICP

CHEN Lin-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

High realistic of 3D facial reconstruction is a key technology of facial animation and it can be applied in a wide range of fields such as virtual reality,3D animation and so on.Proposes a rapidly reconstruction method which can gain a high-accuracy and high realistic 3D facial model.This method can gain a high realistic model since it take both the hole and border of target point cloud as constraint condition and can rapidly fitting the local features of target point cloud.The experimental results also show that this method can get a realistic 3D facial model by fitting target point cloud.

3D Face;Surface Fitting;ICP

1007-1423（2017）08-0070-04

10.3969/j.issn.1007-1423.2017.08.015

陈林伟（1991-），男，安徽芜湖人，硕士研究生，研究方向为三维重建

2016-12-20

2017-03-10