数字替身工作流程探究

马绪怡 李雪松

(1.北京电影学院中国电影高新技术研究院,北京 100088)

(2.北京电影学院影视技术系,北京 100088)

1 传统替身在电影拍摄中的运用及不足

替身演员一直以来都是电影拍摄过程中必不可少的角色。无论是在以前还是现在,演员在电影拍摄过程中,如果涉及到武打、爆炸等危险性较高的镜头设计,都会使用替身演员。例如电影 《见龙卸甲》刘德华的替身演员杜奕衡,在拍摄一场马戏时,差点被失控的战马踩死。可以看出,如果没有替身演员,电影剧组可能会因为一个小小的不慎便造成难以挽回的损失。随着影视作品的蓬勃发展与各种各样的拍摄需求增加,替身演员根据其起到的作用,可以分为文替、武替、光替、手替等类别。

文替即文戏替身,主要工作是拍摄主演“不露脸”的戏份,文替多用于档期紧张的演员;武替即武术替身,主要工作便是代替演员拍摄武打等高难度动作戏份,往往是由一些具有武术功底的演员承担;光替即灯光替身,主要的工作为代替演员站位,方便灯光师调整灯光,不让主演空等;手替即手部替身,主要工作为完成一些特写手部技巧性较高的动作或样貌的镜头。

可以看出,传统替身的分类已经十分详细,但是传统的替身演员却也存在着相当大的不足,例如有时候合适的替身演员千金难求,亦或是镜头难度太大没有人愿意作为替身。而随着计算机图形学的发展,数字替身应运而生。为此,笔者将在此文探讨当下数字替身的作用和具体的工作流程,并以相应的贴图为示范,探讨数字替身的具体工作流程和一些具体的细节。

2 数字替身的定义及优势

在此给出数字替身 (Digital Double)的定义:通过使用计算机生成的图像和声音,创建或重建一个人或者是一个人的部分,使得和实拍的人难以被区分,从而起到替身作用。根据替身的作用,笔者将数字替身分为以下三种类型:传奇 (Legend)、在世(Living)和创造(Creation)。

其中,传奇型的数字替身为重现已经过世或者是电影中曾经存在的人物,已经无法实拍;在世型的数字替身为目前仍然存在却因为某种原因导致无法实拍;创造型的数字替身则为根本不存在的人或者生物,本就无法实拍。

例如,当下电影在拍摄时,部分演员的选角会自带流量,然而自带流量的演员往往容易被诟病演技不佳。因此,如果能够在这些电影的拍摄上使用数字替身技术,那么甚至流量演员本身都不需要亲自去演,只需要向他们进行授权,进行形象等协议的签约,然后使用一些“实力派”的数字替身演员进行拍摄,处理得当的话,说不定会有奇效。

如果使用了数字替身技术,便可以“随心所欲”地拍摄出想要的人物而不需要该人物亲自登场,这对于一些档期紧张或演技不佳的演员具有很多优势。甚至可以从头到尾不需要演员到剧组现场拍摄,只需要获得演员的授权,然后由数字替身来处理,以获得更好的预期效果。

3 数字替身的工作流程

如图1,数字替身的制作可以分为以下几个部分:首先是寻找一个数字替身演员,这个演员最好和正身演员的体型接近,这样在制作数字替身模型的时候,便可以只考虑脸部的更换,从而大幅减少工作量;数字替身演员在表演时,也只需要对其进行面部表情捕捉。其次是对于正身演员,要对其进行数据采集,一是采集正身的骨骼信息用于后面的绑定,二是使用照相测量法或者激光扫描进行人物建模,建完模型后,进行真人和模型的外貌匹配;同时还要对正身演员进行光台拍摄,使用光台来模拟最终的光效;最后是使用一些插件去制作数字替身模型的毛发、眼睛、牙齿等,将所有部分进行最终的合成匹配。

图1 数字替身工作流程

3.1 光台拍摄

之所以使用光台,是因为要在视觉上逼真地重现三维物体,光有三维模型是不够的。同一个物体的表面在不同光照环境下会呈现出不同的反射效果,能否模拟出与真实物体表面一致的反射特性,对提高计算机渲染和成像的逼真度至关重要。由美国USC ICT Graphic Lab (University of Southern California Institute for Creative Technologies Graphic Lab,南加州大学创新技术研究所图形实验室)的保罗·德贝维奇 (Paul Debevec)所领导开发的光台(Light Stage)技术拍摄,便可以做到高保真的三维采集重建。如图2所示,经过技术迭代,光台拍摄技术目前已经是一种集后期重打光、高级建模、纹理制作和表情捕捉为一体的解决方案。光台技术在前期主要为两个部分,一是打光 (Lighting)和重打光(Relighting);二是通过FACS (Facial Action Coding System,面部行为编码系统)获取表情信息。

图2 光台拍摄系统

对于一个数字替身模型而言,在实际的拍摄过程中,往往会寻找一个身高体型相似的演员,这样在后期的过程中,只需要专心处理面部即可。而对于面部的三维模型,往往是通过图片建模的方法,通过多机位套偏振片加多角度灯光套偏振膜的方法,多机位同时拍摄静态图像或动态图像,对人物面部进行扫描,获得一个三维模型。

然而在实际的过程中,为了在大银幕上逼真地重现人物,仅有三维模型是远远不够的。一方面,直接得到的面部模型在清理完之后,模型的uv和材质仍需要重新制作,并和正身演员进行匹配,使得普通观众难以区分;另一方面,使用渲染器渲染出的灯光效果应当和真实世界灯光打在人物上效果相匹配,而使用光台则可以通过光的加性原则和反射函数实现模拟任意光线,并在任意视角下合成光照。

3.2 FACS和面部封装绑定

FACS是在图片建模前期拍摄时,演员所需要做的表情集合。如图3,FACS 通过将人类的表情进行分类,将人脸划分成若干个运动单元 (AU,Action Units),并给出了AU 的运动特质及其所控制的主要区域。

图3 FACS运动单元

对于演员来说,当他们在被扫描的过程中,他们需要作出FACS的表情,以便后期提取面部的几何特征。如图4,一般而言,演员要做40～60个表情。在做表情之前,如图5,也需要对演员面部贴上标记点,标记点的数量可以用RMSE (均方根误差)来衡量。

图4 FACS下真人做的表情

图5 标记点的数量与RMSE

显然,标记点并不是越多越好,主要遵循以下三个原则:

(1)避免摄像头边角变形区;

(2)演员做极端表情时不会被藏到褶里;

(3)放在肌肉顶峰处。

在遵循上述三个原则的条件下,便可以对演员进行跟踪点的标记,可以使用可擦的中性笔来画在脸上,也可以使用反光球粘在脸上。贴标记点的目的是为了后期软件能够精准地识别跟踪点,方便VFX 的制作。

在有了模型之后,如图6,使用 Wrap3 和ZBrush等软件进行进一步的雕刻和处理,使得模型不再有头发和其他杂质,并制作人物皮肤的纹理贴图,同时可以结合FACS wrapped (面部运动编码系统封装)制作相应的控制点。

图6 人物模型与控制点

3.3 人物皮肤的重建

人脸通常情况下可分为低频、中频和高频三种几何信息。无论是低频还是高频的几何信息,都是通过多通道的贴图来完成的。如图7,在USC ICT使用光台所完成的“Digital Emily”项目中,重建的数字演员艾米丽效果。数字演员艾米丽的贴图合成方法如图8所示。通过制作不同通道的贴图,如图9,依次为数字演员艾米丽的Diffuse map (漫反射贴图)、Displacement Map (置换贴图)、Single scatter(单散射贴图)、Specular map (高光贴图)通道的贴图,在合成软件里调整,再进行合成,可以实现高质量的几何信息,从肉眼上达到难以区分的效果。

图7 Digital Emily人脸重建效果

图8 Digital Emily的合成步骤

图9 Digital Emily的合成贴图

3.4 最终合成

演员的表演对影片的呈现至关重要,正所谓“眼睛是心灵的窗户”,对于数字替身更是如此。数字替身演员在前期拍摄时的眼睛,无法直接使用。不真实的眼神对表演的影响巨大,同时人脸除了眼睛以外,还有眉毛、舌头与牙齿等其他部位也会影响到表演,这些都需要后期重新制作贴图合成到三维模型上。如图10,为数字替身的舌头、嘴唇与牙齿的漫反射贴图与法线贴图。在最终的合成过程中,这些贴图都会在三维软件里和三维模型一起渲染出来。

图10 漫反射贴图与法线贴图

4 数字替身的应用

数字替身的方法一旦使用,便可以规避当下很多电影无法避免的拍摄问题,如拍摄进度和拍摄难度等。例如电影 《速度与激情7》遇到的不可抗力事件。电影主演保罗·沃克在拍摄进度过半之时,因为一起严重的车祸而意外身故。于是电影剧组便选择了保罗·沃克弟弟真人补拍和数字替身相结合的拍摄方式。因为事发突然,没有办法详尽采集保罗·沃克的个人数据。所以保罗·沃克的本身数据只能通过前六部的镜头进行采集,这对影片的制作产生了极大的难度。幸运的是,保罗·沃克有两个弟弟,可以进行代替拍摄。可以想象,如果发生了类似的不可抗力事件,对整个电影的拍摄和呈现都将会是灾难性的。

再比如说,要拍摄婴儿和危险动物。而在电影拍摄中,最难拍的便是小孩和动物。如果一部电影,既要拍摄小孩,又要拍摄危险动物,还要拍摄小孩和危险动物之间的互动,实拍可以说是无法实现。在电影《查理与巧克力工厂》中,剧组花费了10个星期,训练了40 只松鼠。如图11,从它们出生开始便每天都进行训练,剧组为此付出了大量的时间和金钱。而电影 《雷蒙斯尼奇的不幸遭遇》则采用了数字替身的技术,给小孩和动物做了数字替身。如图12和图13,从而使得小孩可以完成各种各样的高危镜头,如吃石头、铁管,或者是和巨蟒在一起玩耍。

图11 《查理与巧克力工厂》松鼠截图

图12 电影 《雷蒙斯尼奇的不幸遭遇》婴儿吃拐杖

图13 电影 《雷蒙斯尼奇的不幸遭遇》婴儿和巨蟒玩耍

5 数字资产与数据库的建立

制作数字替身所产生的贴图与模型等数据,均是宝贵的数字资产 (Digital Asset)。从数字资产的角度来看,只需要满足以下三点,便是一个数字资产:(1)是一个数字文件,(2)能够提供价值,(3)可搜索和可发现(通常使用元数据)。

数字资产的潜力是无穷的。可以看出,任何一部影片使用了数字替身的手段拍摄,其中间和最后所产生的物料往往是非常宝贵的。在制作的过程和存储的流程规范的前提下,可以通过数字资产管理系统 (DAM,Digital Asset Management)制作数据库来产生新的价值。如果一部电影要拍续集,可能要30年以后,例如电影《银翼杀手》和《银翼杀手2049》,亦或者是要拍一个已经过世的人物的传记。如果能够直接使用先前影片制作产生的物料,不仅可以缩短制作周期,还可以保证制作的质量。对于数字资产本身而言,其必须能够被搜索和发现,否则便没有意义。

而数字资产价值主要是体现在其本身的元数据(Metadata)上。数字资产的元数据可分为两类,一个是技术性元数据,另一个则是描述性元数据。技术性元数据是指分辨率、位深、帧速率、文件大小等;描述性元数据则是指资产的内容,例如标题、描述或者是关键字等。通过合理的记录和描述元数据,结合DAM,使得有制作需求的艺术家可以快速地入手其需要的数字资产,可以让电影变得更加丰富多彩。

6 总结

计算机图形学的不断发展使得电影内容呈现出无数种可能,虽然相比较于传统的替身演员,数字替身的优势和前景是极大的。但是同样的,想要创作出能够真正令人信服的数字替身难度也是极大的,高品质的数字替身需要创作者付出巨大的心血。每个环节都极其考验制作者的耐心和经验,如果其中有一个环节没有做好,都会使得数字替身模型遭遇恐怖谷效应,令观众产生反感。所谓的恐怖谷效应,是指拟人物或其他的人造物做得与人类非常相似、但又不完全一致的时候,会使人发自内心地产生恐惧的情绪反应,它的恐惧指数曲线类似一个山谷,因此得名恐怖谷效应。

除了本文所述的数字替身制作流程以外,越来越多简洁的制作流程也在出现。例如著名的游戏公司Epic 使用了Meta Human Creator,通过 Meta Human这样的一个云端流送应用,可以高效地制作出丰富多样,具有特色的数字人类。Meta Human是通过使用一个不断增长的、丰富的人类外表与动作库进行绘制,并且以数据约束的合理方式,与在库中的实际示例之间进行混合,制作出数字人类的模型。有了数字人类的模型,便可以更加高效地制作出数字替身。再例如Pifuhd,可以直接通过给出一张高清照片,生成3D 模型。相信随着技术的发展和替身的需求不断增加,数字替身的制作流程会更加简洁,这样也会被更加广泛应用到各个领域中。❖