应用三角形坐标系的风格化肖像生成算法

董肖莉, 李卫军, 宁欣, 张丽萍, 路亚旋

(1.中国科学院半导体研究所, 100083, 北京; 2.中国科学院大学微电子学院, 100029, 北京; 3.威富集团认知计算技术威富联合实验室, 100083, 北京)

肖像绘制是一种非常流行的艺术表现形式,随着机器视觉相关技术的不断发展,肖像绘制在虚拟现实、增强现实以及机器人肖像绘制系统等多媒体、个性化娱乐以及互联网等有广泛应用。为了增强肖像的艺术表现力,基于不同的艺术特性角度产生了多种类型的艺术化肖像,例如素描、卡通、漫画等,漫画作为一种常见的艺术形式得到了许多学者的关注与研究。Liang等通过训练人脸图像和手绘漫画图像对来建立形状夸张模型[1],对输入人脸判定夸张原型并夸张生成漫画;Zhang等提出了一种自动化的漫画生成方法[2],通过拆分人脸特征实现对人脸不同构件的夸张从而生成漫画;Yang等提出了一种基于样本的夸张人脸构件形状和空间位置关系的漫画生成方法[3],但漫画图像与原始肖像差别较大;陈文娟等提出了一种利用人脸特征及其关系的漫画合成方法[4],需搜集训练数据,人工标注人脸83个特征点;杜晓荣等提出了一种变形规则套用方法来夸张卡通人物造型[5],但并没有突出个性特征;苏延辉等提出了一种参数化的肖像漫画生成算法[6],通过调整参数可生成不同的漫画效果,但是变形随意,很难从漫画中识别原始肖像。

现有肖像漫画化处理方法中存在的依赖训练样本以及大量计算导致算法复杂度高等问题,限制了算法在准实时系统中的应用。本文从图像变形角度出发提出了一种基于三角形坐标系[7]的风格化肖像生成算法,无需训练样本,仅需要一张参考人脸图像,通过简单计算即可快速生成风格化肖像。

1　算法框架

对参考人脸和实验人脸图像进行预处理,包括人脸检测与特征点定位、对齐、线条肖像画生成[8]等,S、Sref、SC分别表示实验人脸、参考人脸、风格化肖像的特征点集,TS、TC分别表示基于S和SC所建立的三角形坐标系。基于三角形坐标系的风格化肖像生成算法的框架如图1所示。

图1　风格化肖像生成算法框架图

2　三角形坐标系

王守觉院士为解决图像变形问题提出三角形坐标系,通过在图像对上标定一一对应的特征点来建立映射关系,并以这些特征点为原点建立三角形坐标系;然后通过把一幅图像的特征点逐渐移动到另一幅图像对应特征点的位置,且保持图像像素点的三角形坐标值不变,反算出像素点的新的笛卡尔坐标;再通过像素点位置和颜色的插值来生成变形后图像。

基于三角形坐标系的图像变形算法计算简单、变形直观、快速,仅需事先获取图像的特征点集,通过将特征点集沿不同方向移动形成不同的目标特征点集,从而产生不同的变形效果。人脸特征点标注已有很多成熟的算法,且定位准确、快速,基于此可自动建立三角形坐标系,将点集中任一点跟集合中其他点相连,如果新连接线段与已有线段相交,则删除;对点集中任一点遍历点集,找出同时与它相连的所有点对,如果它与点对所组成的三角形内部没有其他点,则加入三角形集合。

由于S和SC中的点一一对应,将S中点与点之间的连接关系直接映射到SC中建立TC,则TS与TC中的三角形也一一对应,可保证二者之间的一致性。但由于SC相对于S有位置偏移,可能会导致TC中不同三角形之间不独立,出现边与边的交叉。

如果三角形之间有交叉,经图像变形后会出现变形“黑洞”。针对该问题根据人脸先验几何特征设置变形约束准则:以S为基础移动形成SC时,需保持人脸不同特征之间的相对位置不变,如眼睛总在眉毛下方。在准则的约束下才能生成结构合理的风格化肖像。

3　风格化肖像生成算法

为计算实验人脸的个性特征,需要将其特征与参考人脸特征进行比较。参考图像为通过搜集中国大陆男性和女性各超过2 000张照片并将这些照片经过预处理进行叠加得到的平均脸图像。风格化肖像生成算法步骤如下。

步骤1已知参考人脸特征点集Sref={Sref(i)|i=1,2,…,n}和实验人脸特征点集S={S(i)|i=1,2,…,n},其中n为特征点数,Sref(i)的笛卡尔坐标为(Sref(i)x,Sref(i)y),S(i)的笛卡尔坐标为(S(i)x,S(i)y),S(i)对应的特征点为Sref(i)。

步骤2计算由Sref移动到S的偏移向量VD={VD(i)|i=1,2,…,n}和偏移程度集合MD={MD(i)|i=1,2,…,n}

(1)

(2)

步骤3计算实验人脸的个性特征向量VP={VP(i)|i=1,2,…,n}

(3)

式中:TP为阈值,衡量实验人脸特征点与参考人脸特征点相比的变化程度,并由此来确定实验人脸的个性特征。

步骤4设置夸张程度WC={ωi|i=1,2,…,n}以夸张个性特征,并计算风格化变形向量VC={VC(i)|i=1,2,…,n}

(4)

式中:ωi一般范围为0.0～2.0,ωi越大,个性特征越夸张。

步骤5在变形约束准则下将S沿着VC移动,得到风格化肖像特征点集SC={SC(i)|i=1,2,…,n}

(5)

步骤6以S为原点建立三角形坐标系TS,并将S中点与点之间的连接关系映射到SC中建立三角形坐标系TC。对于实验人脸图像中的每一个像素点P,根据TS计算P的三角形坐标(xpa,xpb),并根据TC及(xpa,xpb)来反算变形后图像的笛卡尔坐标,最终插值得到风格化肖像。

以一张实验人脸为例,与参考人脸特征比较,如图2所示。图2中黑色点为实验人脸特征点,灰色点为参考人脸特征点,图中箭头表示由灰色点移动到黑色点的方向。以图2中标注序号特征点为例来计算实验人脸的个性特征,计算过程见表1。

图2　实验人脸与参考人脸特征点分布

根据图2中10个示例特征点和表1可知,与⑥～⑩号特征点相比,①～⑤号特征点与参考人脸差异较大,不同特征点会呈现出不同程度的个性特征,从特征点分布来说,可明显地观察到实验人脸比参考人脸脸型更瘦。当设置TP=6时,⑥～⑨号特征点不参与图像变形,这在一定程度上遵循了艺术家的夸张规则,即优先夸张较为明显的特征,忽略不明显的特征。

图3　不同夸张程度对应的形状特征及风格化肖像

一旦计算得到了个性特征,可通过设置不同夸张程度实现对个性特征不同程度的夸张,生成不同的风格化肖像。

图3显示了对实验人脸设置不同夸张程度对应生成的风格化肖像。为了便于观察肖像的形状特征,将特征点集之间进行了部分连接。由图3可以看出,实验人脸带有微笑表情,且脸小、眼睛较大。经夸张之后,微笑表情更加明显、眼睛更大、脸更小,从对应特征点的连接形状上可直观观察出来。

表1　实验人脸示例点个性特征计算

4　实验结果与分析

实验所用计算机处理器为Intel(R) Core (TM) i5-4460 CPU 3.20 GHz,内存为12 GB。采用本文算法对多张实验人脸进行风格化处理,并从风格化肖像的视觉效果以及算法的执行效率2个方面对算法的性能进行评价。

4.1　视觉效果分析

图4显示了对不同实验人脸应用不同WC所对应生成的风格化肖像结果。由图4可见,随WC增大,不同实验人脸的个性特征都更加夸张,但是当个性特征本身就很显著时,夸张效果会更加明显。例如图4a与图4f的眼睛都较大,经过同样的夸张程度变形后,图4h、图4i、图4j的夸张效果分别比图4c、图4d、图4e的夸张效果更加明显。本实验设置夸张程度为统一值,实际应用中可根据需求设置不同人脸特征点的不同夸张程度。

(a)实验人脸1 (b)线条肖像1(c)　　　风格化肖像1 (d)　　　风格化肖像1 (e)　　　风格化肖像1WC={0.5}　　　WC={1.0}　　　WC={1.3}

(f)实验人脸2 (g)线条肖像2(h)　　　风格化肖像2 (i)　　　风格化肖像2 (j)　　　风格化肖像2WC={0.5}　　　WC={1.0}　　　WC={1.3}

(k)实验人脸3 (l)线条肖像3 (m)　　　风格化肖像3 (n)　　　风格化肖像3 (o)　　　风格化肖像3WC={0.5}　　　WC={1.0}　　　WC={1.3}图4　不同实验人脸不同夸张程度生成的风格化肖像

为将本文算法与其他算法比较,设计了2组对比实验,实验结果分别如图5、图6所示。

(a)原始线条人脸图像

(b)文献[1]算法

(c)PICASSO系统

(d)本文算法图5　算法对比实验1

利用文献[1]中的线条人脸图像为实验对象,将本文算法与文献[1]算法和PICASSO系统[9]进行比较。由图5可以看出:PICASSO系统所生成的漫画虽然在一定程度上夸张了个性特征,但是嘴巴、鼻子等部分变形严重,影响了漫画整体效果;文献[1]算法对2张实例图像的漫画处理效果类似,都对脸型进行了瘦长夸张处理,但是并没有很明显地突出不同人的个性特征,且忽略了眉毛、姿态等细节特征。本文算法不仅突出了不同人的主要个性特征,对于姿态、眉毛等细节个性特征也得到了夸张。

利用文献[2]中的实验图像,将本文算法与文献[2]算法进行比较。由图6可以看出,本文算法对于表达不同实验人脸的脸型、眼睛、嘴巴等个性特征优势更明显,整体效果生动形象。文献[2]算法虽然也在一定程度上夸张了部分个性特征,但是脸型特征夸张并不明显,且漫画与原始人脸相似性不高,不同漫画之间的区分度也不高。

(a)原始图像

(b)文献[2]算法

(c)本文算法图6　算法对比实验2

4.2　本文算法执行效率分析

实验中所用原始图像大小不等,所生成的风格化肖像大都在300像素×350像素～300像素×450像素之间。从对原始图像进行人脸检测到风格化肖像生成整个流程,耗时情况分析见表2。从输入原始图像到风格化肖像生成,整个算法全自动运行,算法整体耗时在0.5 s以内,可见本文算法执行效率较高。

表2　本文算法执行耗时分析

文献[1]算法框架包括线条画生成、识别夸张原型、漫画夸张等操作,算法复杂度较高,对于普通分辨率(512像素×512像素)的输入图像,其执行时间大约需要几十秒时间。文献[2]算法需要拆分人脸不同特征,用6个SVM分类器判断个性特征并执行夸张操作,在判定和生成头发区域时需要求解图的优化问题和执行深度优先搜索算法,总体算法复杂度高。本文算法在执行效率上优于其他2种算法,尤其在VR、AR及肖像绘制机器人等准实时的系统应用中具有显著优势。

5　结　论

本文提出了一种基于三角形坐标系的风格化肖像生成算法,该算法计算简单、快速、全自动、变形空间大且灵活,无需训练样本,仅需参考图像即可生成生动的风格化肖像,而且可完全脱离对参考图像的依赖,可主观自由移动特征点生成任意的风格变形模板。本文算法的应用更为灵活和广泛,在VR、AR以及机器人绘制系统等准实时应用中,本文算法体现了明显优势。未来工作主要包括如何实现实验人脸较参考人脸有较大姿态偏转及睁闭眼、张合嘴等不同状态的风格化变形。

参考文献:

[1]LIANG Lin, CHEN Hong, XU Yingqing, et al. Example-based caricature generation with exaggeration [C]∥Proceedings of the Conference on Computer Graphics and Applications. Piscataway, NJ, USA: IEEE, 2002: 386-393.

[2]ZHANG Wenli, XIAO Shuangjiu, LI Yinglin, et al. Automatic face caricatures synthesis and exaggeration [C]∥Proceedings of the 14th ACM SIGGRAPH International Conference on Virtual Reality Continuum and Its Applications in Industry. New York, USA: ACM, 2015: 77-84.

[3]YANG Wei, TOYOURA M, XU Jiayi, et al. Example-based caricature generation with exaggeration control [J]. Visual Computer International Journal of Computer Graphics, 2016, 32(3): 383-392.

[4]陈文娟, 石民勇, 孙庆杰. 利用人脸特征及其关系的漫画夸张与合成 [J]. 计算机辅助设计与图形学学报, 2010, 22(1): 121-128.

CHEN Wenjuan, SHI Minyong, SUN Qingjie. Caricature synthesis and exaggeration based on facial features and their relationship [J]. Journal of Computer-Aided Design and Computer Graphics, 2010, 22(1): 121-128.

[5]杜晓荣, 张雷, 张永. 卡通角色艺术风格化变形方法 [J]. 计算机辅助设计与图形学学报, 2016, 28(2): 363-370.

DU Xiaorong, ZHANG Lei, ZHANG Yong. Artistic style deformation for cartoon character [J]. Journal of Computer-Aided Design and Computer Graphics, 2016, 28(2): 363-370.

[6]苏延辉, 李帅, 湛永松. 参数化的肖像漫画生成算法 [J]. 计算机应用研究, 2014, 31(5): 1562-1565.

SU Yanhui, LI Shuai, ZHAN Yongsong. Generation algorithm of parameterized caricature [J]. Application Research of Computers, 2014, 31(5): 1562-1565.

[7]王守觉, 梁先扬. 图像变形计算方法及其应用 [J]. 计算机辅助设计与图形学学报, 2011, 23(8): 1304-1310.

WANG Shoujue, LIANG Xianyang. Calculation method of image morphing and its applications [J]. Journal of Computer-Aided Design and Computer Graphics, 2011, 23(8): 1304-1310.

[8]KANG H, LEE S, CHUI C K. Coherent line drawing [C]∥Proceedings of the International Symposium on Non-Photorealistic Animation and Rendering. New York, USA: ACM, 2007: 43-50.

[9]MASAFUMI T, SEI F, KAZUHITO M, et al. Facial caricaturing with motion caricaturing in PICASSO system [C]∥Proceedings of the IEEE/ASME International Conference on Advanced Intelligent Mechatronics. Piscataway, NJ, USA: IEEE, 1997: 30.

[本刊相关文献链接]

陈波,张英杰,张佳瑞,等.结构光中心提取中的条纹灰度退化调整.2018,52(2):30-36.[doi:10.7652/xjtuxb201802005]

白治宁,周景军,蔡卫军,等.火箭助飞鱼雷分离舱张开特性试验与数值研究.2018,52(1):136-142.[doi:10.7652/xjtuxb201801020]

杨静,尚夏,荣海军,等.采用仿射迭代最近点的晶圆分割方法.2017,51(12):56-61.[doi:10.7652/xjtuxb201712009]

邓燕子,卢朝阳,李静,等.采用多层图模型推理的道路场景分割算法.2017,51(12):62-67.[doi:10.7652/xjtuxb201712 010]

朱爱斌,何仁杰,吴玥璇,等.考虑变换域融合方法的刀具磨损区域三维重构.2017,51(12):76-83.[doi:10.7652/xjtuxb 201712012]