基于正交图像的头部三维模型构建

汪 丰 祁长红 刘 成 姜 伟 倪 舟 邹 亚

(东南大学生物科学与医学工程学院, 南京 210096)

基于正交图像的头部三维模型构建

汪 丰 祁长红 刘 成 姜 伟 倪 舟 邹 亚

(东南大学生物科学与医学工程学院, 南京 210096)

为快速构建人体头部的三维模型,提出了一种使用头部正面和侧面两张正交图像进行重建的方法．首先,利用Candide-3模型生成标准头部模型;然后,利用改进的主动形状模型(ASM)自动获取正面图像中68个特征点和侧面图像中35个特征点,并将获取的特征点与标准头部模型中的顶点进行匹配,利用匹配特征点对标准模型进行全局变形和局部变形,从而获得个性化模型;最后,对侧面头像进行仿射变换,使之与正面图像配准,并通过柱面投影和加权融合获得人脸全景纹理图,将其映射到个性化模型上以获得逼真的头部模型．实验结果表明:与传统ASM算法相比,利用改进ASM算法获得的特征点定位准确度提高了13.1%;所提方法仅需约1.2 s便可重建出具有真实感的头部三维模型,并能提供较大范围的可视角度和较丰富的深度信息．

头部模型重建;正交图像;Candide-3模型;纹理映射;主动形状模型

随着计算机图形学的发展,人们越来越追求在虚拟仿真、三维动画和游戏等虚拟世界中的真实感,逼真的三维头部模型能为用户带来较为真实的体验．三维模型重建的方法主要包括手工重建、基于三维扫描数据的重建和基于图像的三维重建．手工重建费时费力,适用性不强;基于三维扫描数据的重建对扫描设备要求高,价格昂贵,建模效率低,速度慢;基于图像的三维重建的建模速度快,效率高,准确度基本满足要求．

目前,利用图像进行三维脸部的建模研究较多[1-3]．文献[1]通过采集用户多幅照片,在照片上人工标定多个特征点,并对通用模型进行变形,重建出较为逼真的三维人脸模型;但该方法需要与用户进行人工交互,过程较为繁琐．文献[3]采用ASM算法自动提取人脸特征点,无需人工交互,即可重建出逼真的三维脸部模型．

单纯的三维人脸模型并不能带来强烈的虚拟世界的沉浸感,逼真的三维头部模型才能带来更为真实的用户体验,因此,建立适应不同用户的个性化三维头部模型是非常必要的．本文在传统三维人脸重建方法的基础上进行三维头部模型快速重建,以获得逼真的三维头部模型．

1 标准三维头部模型的获取

标准三维头部模型的获取有多种渠道,如使用专门的三维扫描设备或三维建模软件．但三维扫描设备价格昂贵,获取途径不方便;建模软件构建的模型拓扑结构复杂,数据点个数庞大,不利于模型的控制和变形．为简单方便地利用头部模型、避免众多模型点的调整,本文采用脸部数据比较简单的Candide-3[4]三维人脸网格模型．

Candide-3模型是一个简单的参数化的三维人脸网格模型,包含113个顶点和168个面．该模型只是一个相对完整的人脸模型,并不适合直接用于人头建模,需对其进行改进补充．基于人体头部生理结构,在该模型基础上增加头部侧面和后脑勺部位,使之成为一个完整的头部标准模型,用于个性化模型的生成．

2 头部图像特征点的获取

为获得个性化模型,需利用特征点对标准模型进行变形．关于正脸特征点定位的相关研究较多[5-6],但针对侧脸特征点定位方面的研究则较少．本文利用改进ASM算法[7]提取头部正面和侧面特征点．

ASM是基于统计学的一种灰度和形状分离的可变形模型,目前该算法已成功运用于轮廓提取、特征点定位等方面．传统ASM算法虽然能提取目标性状、定位特征点,但仍存在缺陷,如鲁棒性差、搜索范围小、精度不高等．本文对传统ASM算法进行改进,在特征点定位前先对头部正面和侧面分别检测,以确定人脸所在范围,分别在正脸和侧脸区域利用ASM算法进行特征点的搜索匹配,并将搜索的范围由一维扩展到二维,以提高特征点定位的准确性．

利用ASM算法实现头部正面和侧面特征点定位的步骤如下:

① ASM的训练.选用CVL数据库[8]中100张正面和100张侧面照片,参考MPEG-4人脸定义标准, 分别在照片上手工标定68个正面特征点和35个侧面特征点,得到100个正面人脸形状和100个侧面人脸形状．分别计算平均形状,进行PCA处理,以建立正脸和侧脸的统计形状模型,并计算每个特征点的局部灰度模型．

② ASM的搜索.利用AdaBoost算法[9]分别检测正脸和侧脸区域,并对初始平均形状进行仿射变换,得到一个初始模型．利用该模型在目标区域内搜索,将ASM搜索范围从一维扩展到二维,不断迭代直至形状模型收敛．由此便可大大提高特征点定位的精度,实现正面和侧面特征点的自动定位．特征点定位结果如图1所示．

(a) 正面

(b) 侧面

3 个性化模型的建立

利用正面和侧面特征点对标准模型进行变形．模型的变形包括全局变形和局部变形．全局变形是指对模型进行调整,使之与头部图像在轮廓上相似,以实现整体轮廓的匹配;局部变形则主要是对嘴巴、鼻子、耳朵、眼睛等细节处进行局部调整,以实现细节处的相似．

3.1 全局变形

全局变形中,通过调整标准头部模型,使之与头部图像在轮廓方面相一致,即形状相似．从正面图像上获取特征点坐标(x,y),从侧面图像获取特征点坐标(y,z)．受拍摄角度影响,正面和侧面图像上同一部位特征点可能并不在同一高度上．为使同一部位特征点高度相同,需对图像进行变换．以正面图像为参考,对侧面图像进行仿射变换,使之与正面图像的特征点配准,利用特征点对模型进行全局变形,即

(1)

式中,Rx,Ry,Rz分别为X,Y,Z方向上头部图像与标准模型高度之比;(x0,y0,z0)为初始模型的变换中心点坐标;(x′,y′,z′)为变换后的坐标.

全局变形结果与匹配结果见图2．

(a) 正面变形结果

(b) 侧面变形结果

(c) 正面匹配结果

(d) 侧面匹配结果

3.2 局部变形

经过全局变形,模型与头部图像在轮廓上达到一致,但局部位置(如眼睛、鼻子、嘴巴等)没有精确匹配,这就需要利用相关特征点对模型进行局部变形．Candide-3模型定义了14个形状单元,但这些形状单元并不能满足整个头部模型的局部变形．为此,增加了后脑勺、耳朵等8个形状单元,每个形状单元包含节点个数、与该形状单元有关的顶点序号、偏移值等数据信息．对每个形状单元的顶点进行如下变换:

(2)

式中,rx,ry,rz分别为X,Y,Z方向上形状单元的变换量;Δx,Δy,Δz分别为X,Y,Z方向上的单位变换量．

局部变形结果与匹配结果见图3．由图可知,经局部变形后,与样本相似的个性化模型基本生成．

3.3 纹理生成与映射

(a) 正面变形结果

(b) 侧面变形结果

(c) 正面匹配结果

(d) 侧面匹配结果

经过全局变形和局部变形,可获得个性化头部模型,但该模型缺少颜色纹理,可视性差,需为其贴上颜色纹理以获得逼真的头部模型．此过程包括纹理图的生成和纹理映射2个方面,本文采用基于柱面投影和加权融合的纹理图像生成方法．

考虑到头部轮廓近似于圆柱体,正面和侧面头像分别属于圆柱体的一部分,故在进行纹理融合前先对侧面图像进行柱面投影,以满足视觉上的效果．然后,采用加权融合方法[10]对正面和侧面图像进行融合,以外眼角垂直线为拼接线,设融合区域图像大小为M×N,经融合后得到的图像为F,正面融合区域为A,侧面融合区域为B,则图像融合过程可表示为

F=wA+(1-w)B

(3)

式中,w为加权因子．为了满足平滑度的要求,w由0向1逐渐递增,且w=l/M, 其中，l为列数.

甘肃省河西内陆河流域总面积27万km2，包括石羊河、黑河、疏勒河（含苏干湖区的哈勒腾河等）等3个水系。年径流量在1亿m3以上独立出山的河流有15条，其中石羊河水系6条；黑河水系6条；疏勒河水系3条。水资源总量61.3亿m3，人均水资源量1 250 m3，耕地亩均水资源量570 m3，分别为全国平均水平的54%和38%，属资源性缺水地区。

利用上述方法进行图像融合生成的纹理图见图4．

图4 纹理融合图

为获得真实感头部模型,需将纹理映射到已生成的模型上．将模型顶点的三维坐标转化为二维纹理坐标,对纹理贴图的正面和侧面进行划分,将模型的正面投影到纹理图正面,模型侧面投影到纹理图侧面,从而实现模型顶点与头部图像的精确匹配．对应的映射关系见图5．

图5 纹理坐标对应关系图

4 实验结果与分析

4.1 人脸特征点定位结果与分析

采用平均误差E和平均计算时间T两个客观评价指标对改进ASM算法进行评价．平均误差公式为

(4)

式中,x(i,j),p(i,j)分别为基于ASM算法定位和手工标记的第i幅图像中第j个特征点的坐标;n为测试样本数;k为特征点个数．

利用式(4)即可获得测量值随机误差的算术平均值,用以判别特征点定位结果的准确性．

平均计算时间公式为

(5)

式中,ti为第i幅图像特征点定位所需时间．

利用式(5)即可获得n个样本的平均计算时间,用于评价ASM算法的运算速度．

2种算法的评价结果对比见表1．由表可知,与传统ASM算法相比,改进ASM算法的计算精度提高了13.1%,而平均计算时间仅增加了0.06 s．平均计算时间的增加是因为ASM算法的特征点搜索范围从一维扩展到二维,在提高特征点定位精度的同时会存在部分时间消耗．

表1 2种算法的平均误差和平均计算时间比较

4.2 头部三维重建结果与分析

经过模型的全局变形、局部变形以及纹理映射,即可生成逼真的三维个性化头部模型．图6为3个样本的重建效果．由此可知，采用本文方法提高了建模效率,达到了快速建模的目的,构建的头部三维模型可视角度大,可提供较为丰富的深度信息．

(a) 样本1

(b) 样本2

(c) 样本3

本文方法与文献[11-12]方法的比较结果见表2．由表可知,本文方法仅需约1.2 s便可快速重建出一个较为逼真的三维头部模型,而另2种方法所需的建模时间则较多,无法达到快速建模的目的．

表2 3种重建方法的比较

5 结语

本文提出了一种使用头部正面和侧面两张正交照片快速构建头部模型的方法．首先,基于改进ASM算法自动定位头部正面和侧面特征点,并利用匹配特征点对标准头部模型进行全局变形和局部变形,获得个性化头部模型．然后,采用柱面投影和加权融合的方法生成人脸全景纹理图,并进行纹理映射,获得逼真的头部三维模型．实验结果表明,本文方法仅需约1.2 s便可快速重建出逼真的头部模型,构建的模型真实感较强,可以应用于虚拟仿真、三维游戏等对实时性和准确性要求较高的领域中,具有广泛的应用前景．

References)

[1]Pighin F, Hecker J, Lischinski D, et al. Synthesizing realistic facial expression from photographs[C]//ProceedingsComputerGraphicsandInteractiveTechniques. Los Angeles, CA, USA, 1998:75-84.

[2]Fooprateepsiri R, Kurutach W. A general framework for face reconstruction using single still image based on 2D-to-3D transformation kernel[J].ForensicScienceInternational,2014, 236:117-126.

[3]Heo J, Savvides M. Rapid 3D face modeling using a frontal face and a profile face for accurate 2D pose synthesis[C]//ProceedingsofAutomaticFaceandGestureRecongnitionandWorkshops. Santa Barbara, CA, USA,2011: 632-638.

[4]Ahlberg J. Candide-3—an updated parameterized face[R]. Linkoping, Sweden: Department of Electrical Engineering of Linkoping University, 2001.

[5]Berkay Y M, Erdogan H, Unel M. Facial feature extraction using a probabilistic approach[J].SignalProcessing:ImageCommunication, 2012, 27(6):678-693.

[6]Yurtkan K, Demirel H. Feature selection for improved 3D facial expression recognition [J].PatternRecognitionLetters, 2014, 38:26-33.

[7] Arámbula Cosío F, Flores J A, Castaeda M A. Use of simplex search in active shape models for improved boundary segmentation[J].PatternRecognitionLetters, 2010, 31(9):806-817.

[8]Solina F, Peer P, Batagelj B, et al. Color-based face detection in the “15 seconds of fame” art installation[C]//ProceedingsofMirage. Rocquencourt, France, 2003:38-47.

[9]Louis W, Plataniotis K N. Frontal face detection for surveillance purposes using dual local binary patterns features [C]//IEEEInternationalConferenceonImageProcessing. Hong Kong, China, 2010:3809-3912.

[10]Zhou Z, Li S, Wang B. Multi-scale weighted gradient-based fusion for multi-focus images[J].InformationFusion,2014, 20:60-72.

[11]Romdhani S,Vetter T. Efficient, robust and accurate fitting of a 3D morphable model[C]//ProceedingsoftheNinthIEEEInternationalConferenceonComputerVision. Nice, France, 2003:59-66.

[12] Levine M, Yu Y. State-of-the-art of 3D facial reconstruction methods for face recognition based on a single 2D training image per person[J].PatternRecognitionLetters, 2009, 30(10): 908-913.

Reconstruction of 3D head model based on orthogonal images

Wang Feng Qi Changhong Liu Cheng Jiang Wei Ni Zhou Zou Ya

(School of Biological Sciences and Medical Engineering, Southeast University, Nanjing 210096,China)

To quickly build a three dimensional head model, a reconstruction method using a frontal orthogonal image and a profile orthogonal image is proposed. First, the standard head model is generated by the Candide-3 model. Then, 68 feature points and 35 feature points are automatically acquired from the frontal and profile images respectively by using the improved active shape model(ASM). The obtained feature points are matched with the vertexes of the standard head model. The specific head model is generated by deforming the standard head model globally and locally with the matched feature points. Finally, affine transformation is carried out on the profile image for image registration with the frontal image. The registered profile image is obtained by cylindrical projection and weighted fusion. The texture map is mapped on the specific head model to get a realistic head model. The experimental results show that the positioning accuracy of the feature points by using the improved ASM is increased by 13.1% compared with that by using the classical ASM. By using the proposed method, building the realistic head model with a wide range of viewing angle and rich depth information only needs about 1.2 s.

head model reconstruction; orthogonal image; Candide-3 model; texture mapping; active shape model

2014-07-08. 作者简介: 汪丰(1969—)，男，博士，副教授，feng.wang@seu.edu.cn.

汪丰,祁长红,刘成,等.基于正交图像的头部三维模型构建[J].东南大学学报:自然科学版,2015,45(1):36-40.

10.3969/j.issn.1001-0505.2015.01.007

TP391

A

1001-0505(2015)01-0036-05