一种用于三维人脸重建的快速稠密视差图生成方法

谷　天，陈江龙，李　科*，曾　东

(1.四川大学华西口腔医学院，四川 成都 610041；2.电子科技大学生命科学与技术学院，四川 成都 610054)



一种用于三维人脸重建的快速稠密视差图生成方法

谷天1，陈江龙2，李科2*，曾东2

(1.四川大学华西口腔医学院，四川 成都 610041；2.电子科技大学生命科学与技术学院，四川 成都 610054)

摘要：口腔数字化是口腔临床发展的重要方向，三维颅颌面部结构数字化重建是其重点环节。为此，文章提出一种用于三维人脸重建的稠密视差快速求解的方法。该方法对校准后的图像进行初始匹配，构建强对应点点集，再对点集内的点进行三角剖分，并分配初始视差，逐步求精生成稠密视差。该方法加入强匹配对应点，减少了匹配二义性的产生，同时有效克服了因使用全局能量函数优化方法而易陷于局部最小值的缺点。实验结果显示，该方法匹配速度快、精度高，能满足三维人脸重建的实际应用需求。

关键词：人脸重建；立体视觉；稠密视差；三角剖分

口腔医学诊疗数字化是口腔医学发展的必然趋势。近年来随着三维成像技术的发展，三维重建技术也受到了越来越广泛的研究。稠密视差在三维重建、智能交通、隐私加密等领域受到越来越多的重视[1]。在立体视觉的应用领域，视差遮挡和匹配二义性普遍存在，然而传统的视差求解方法主要从图像分割和全局能量的角度进行优化求解，在时间和效率上难以实现完美统一；因此，视差图精细求解一直是个NP难题[1-2]。本文提出了一种用于三维人脸重建的基于概率模型的立体匹配新方法。其实验结果表明，与SAD[3](sum of absolute defferences，绝对值和)、区域生长算法[4]相比，本文算法在精度与效率上都有明显提高，有效减少了视差的搜索范围，提高了稠密视差的求解速度。

1稠密视差生成

1.1　控制点

把具有高可靠性的左右图像匹配点对定义为控制点。这些稳定相关的对应点可以采用Harris角点、SIFT特征向量等方法获得。大量实验结果表明，特征点集合可使用索贝尔滤波器快速求出，同时也可以使用第三方开源库(例如Opencv)提供的函数接口求解。

使用索贝尔滤波器时，应在求解过程中设定自适应搜索窗口，即搜索窗口的长度由输入的图像高度和宽度来灵活设置，并且可通过增加对控制点的甄别和约束，以确保初始匹配集的获得达到最大程度。在进行匹配时，只有在某一像素点满足最大匹配值的条件下，同时该像素点的次大匹配值超过固定的某个阈值时，该点才被纳入控制点点集。在纹理不明显区域内，这样的甄别和约束可使误匹配减少[5]。此外，由于图像边缘的像素点在采用该方法时被放弃，可将该范围区域的像素均值插入输入图像边缘，以确保图像匹配的完整性，因为插入的像素点并不存在实际的视差空间，不必对视差空间求解。

1.2　三角剖分

视差估计的核心步骤是对控制点所在的像素平面三角划分后进行拟合插值。如图1所示，三角剖分是指把一系列离散点集划分成不均匀的三角形网格，这在图形网格分析中是重要的一环。对此引入Delaunay三角划分[5]。

Delaunay边：设E中的一条边为e，a、b为e的2个端点，若e满足下列条件，则称e为Delaunay边。即存在一个圆经过a、b2点，且圆内不含点集V中任何一个其他的点。这一特性又称空圆特性。

Delaunay三角剖分：指只包含Delaunay边的点集V的一个三角剖分T。

图1　三角剖分

三角剖分要满足Delaunay三角剖分的定义，就必须符合2个重要原则：空圆特性和最大化最小角特性。

2立体匹配模型

对于一个给定的参考图像和控制点的点集，可通过采样从另一幅图像中获得。现假定：S={s1,…,sM}为控制点点集，对于任一控制点sm=(um,vm,dm)T为图像坐标(um,vm)∈N2和视差dm∈N的联合。定义O={o1,…,oN}为图像的观察值集合，对于其中的每个观察值on=(un,vn,fn)T表示图像的像素坐标(un,vn)∈N2和一个特征向量fn∈RQ，而该特征向量既可以是某个邻域小窗口范围的描述值也可以是像素的灰度值。同时假定on(l)，on(r)分别表示左、右图像的观察值。通常情况下，左图作为参考图像。

这里认为观察值{on(l),on(r)}与控制点S是条件独立的，给定视差dn，它们的联合分布为

(1)

式中:p(dn|S,on(l))表征先验信息；p(on(r)|on(l),dn)表征图像拟然。

对于式(1)中的p(dn|S,on(l))，认为它服从均匀分布和高斯分布的组合分布，即：

(2)

(3)

对于式(1)中的p(on(r)|on(l),dn)，认为其服从一个被约束的拉普拉斯分布，即

(4)

因此，在该匹配模型基础上进行采样。在给定参考图像的控制点点集和观察值的情况下，可按如下步骤进行匹配图像观察值的采样。

1)给定观察值on(l)和控制点集S根据p(dn|S,on(l))求得视差dn；

2)给定观察值on(l)和视差dn根据p(on(r)|on(l),dn)求得采样值on(r)。

3视差估计

视差估计是立体匹配的核心环节。参考图像和匹配图像的概率对应关系可以通过已获得的立体匹配模型求得；视差估计可通过求解求得的对应关系的视差值获得；视差可采用最大后验概率估计方法进行计算，为

(5)

(6)

(7)

将式(2)和式(4)代入式(6)，定义能量函数，为

E(d)=β‖f(l)-f(r)(d)‖l-

(8)

稠密视差估计可按式(8)求解最小化完成[7-11]。

4实验结果

笔者通过实验对常量系数进行选择，实验证明当σ=3、γ=15时，本算法结果误匹配率最小。在编程实现过程，非常感谢Jonathan Richard提供的三角划分优化及处理方法。利用本文所述视差估计方法，完成对原始图像校正后，通过本算法对人脸重建，其结果如图2所示，图像的分辨率为720×480。

图2　人脸重建结果图

同时，以Tsukuba和Venus 2组图片[12]作为研究对象进行计算分析，以验证本稠密视差求解算法和其他经典算法在速度和精度上的优势。计算采用的设备是CPU为Pentiun(R) Dual-Core 2.62GHz，内存为2G，Windows XP操作系统的计算机。在实验视差图中，将经典的SAD算法[3]、区域生长算法[4]、Global GCP算法[6]及Adapt GCP算法[7]，就所有区域(all)、非遮挡区域(nonocc)、视差非连续区域(disc)的误匹配率(与真实视差值之差大于1的像素百分率)进行了比较，其结果如表1所示。可知，本算法在误匹配率上优于其他算法。同时，对比了本文算法、SAD算法和区域生长算法在运行时间和匹配图像像素大小的关系，其结果如图3所示。可知，本算法在各种图像大小的图像匹配上速率均优于其他2种算法。

表1　本文算法与其他算法误匹配率对比表

图3　匹配算法运行时间与图像大小关系

由此可知，本文提出的快速稠密视差图生成方法应用于人脸图像的匹配过程中具有高精度和高效率的优点。

5结论

本文对稠密视差图像的视差分配过程进行了分析，使用三角剖分的方法进行视差的初始分配，大大提高立体匹配的求解时间和精度；但是就立体视觉中的遮挡和闭塞问题，本文并未进行深入讨论，因在单一模型的三维重建应用中，出现遮挡的可能性较小。在后续的工作中，将考虑点云插值以及三角剖分后的网格匹配方法等算法，并对精度进一步优化。

参考文献

[1]徐成华,王蕴红,谭铁牛.三维人脸建模与应用[J].中国图象图形学报,2004,9(8): 893.

[2]王成章,尹宝才,孙艳丰,等.改进的基于形变模型的三维人脸建模方法[J].自动化学报,2007,33(3):232.

[3]Wang H, Mersereau R. Fast Algorithms for the Estrmation of Mothion Vectors[J]. IEEE Transactions on Image Procession, 1999, 8(3):435.

[4]Wan S Y, Higgins W E. Symmetric Region Growing[J]. Image Processiong， 2003, 12(9):1007.

[5]高鹏东,彭翔,田劲东，等.三维人脸建模中面部特征轮廓线的提取[J].系统仿真学报,2006,18(8):2105.

[6]Lee S W, Wang P S P, Yanushkevich S N, et al. Noniterative 3D Face Reconstruction Based on Photometric Stereo[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2008, 22(3): 389.

[7]Jiang Dalong,Hu Yuxiao,Yan Shuicheng,et al.Efficient 3d Reconstruction for Face Recognition[J].Pattern Recognit,2004,38(6):787.

[8]方恒,吴怀宇.基于MRF和颜色空间的立体图像匹配算法[J].计算机技术与发展, 2008,18(12):28.

[9]贾贝贝.基于双目立体视觉的三维人脸重建[D].北京:北京交通大学,2009.

[10]傅有成.基于双目立体视觉技术的三维人脸扫描系统研究[D].南京:东南大学,2009.

[11]侯军燕,胡迎春,李尚平.有限元法在人脸三维建模及表情动画中的应用研究[J].计算机工程与设计,2010,31(19):4272.

[12]梅丽,鲍虎军,郑文庭,等.基于实拍图像的人脸真实感重建[J].计算机学报,2000,23(9):996.

[13]2003 Stereo datasets with ground truth[EB/OL].[2014-08-05].http://vision.middlebury.edu/stereo /data/scenes2003/.

(编校：饶莉)

A Method of Fast Generating Dense Disparity Map for 3D Facial Reconstruction

GU Tian1, CHEN Jianglong2, LI Ke2*, ZENG Dong2

(1.WestChinaSchoolofStomatology,SichuanUniversity,Chengdu610041China;

2.SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnologyofChina,Chengdu610054China)

Abstract:The craniofacial and oral digitalization is an important area in the dental clinical practice. And the method of craniofacial and oral reconstruction is very important. This paper focuses on the stereo matching of 3D face reconstruction, and a triangulation-based fast dense disparity map generation method is proposed according to the smooth and low texture features. Firstly, we matched images calibrated and obtained a set of strong corresponding points . Then we triangulated the points in the point set in order to build a linear system and gradually minimized the energy function in the polar direction and refined to yield a dense disparity by assigning the initial disparity. This method can reduce the match ambiguity through adding strong matched corresponding points, and at the same time avoid the disadvantage of easily getting trapped in local minimum due to the global energy optimization. The result shows that this method is fast and highly precise and can meet the need of practical application.

Keywords:facial reconstruction；stereo；dense disparity；triangulation

doi:10.3969/j.issn.1673-159X.2016.01.016

中图分类号：TP391.41

文献标志码：A

文章编号：1673-159X(2016)01-0077-03

*通信作者：李科(1970—)，男，博士，副教授，主要研究方向为医学图像处理和医学信息。E-mail:colinlike@163.com

基金项目：四川省科技支撑计划项目(2013GZ0117，12ZC0220)；2012年四川大学创新训练计划(20120193)。

收稿日期：2015-01-11

·计算机软件理论、技术与应用·