人脸老化与逆龄技术在电影特效制作中的应用浅析

莫惠中 赵建军

(1.北京电影学院中国电影高新技术研究院,北京 100088)

(2.北京电影学院影视技术系,北京 100088)

在电影创作中,如果故事情节发生在一段大跨度的时间内,如何在银幕上真实地呈现演员在不同年龄之间面容、身材等外形的变化,一直是影视制作中的一大挑战。通过特效化妆、使用替身演员或年轻演员来出演等方法曾经是许多创作者的选择,但效果不尽如人意。随着计算机图形学、计算机视觉技术越来越多应用于影视工业中,近年来有越来越多真实而生动的老化和逆龄角色出现在观众视野中,CGI背景下数字人脸老化与逆龄技术开始成为电影创作的一种新选择。

老化、逆龄这类技术即为逆转角色外形年龄的一种视觉效果技术,目前其呈现的效果主要分为两种:一种是老龄化 (Aging),即让演员在银幕上提前苍老;另一种是逆龄 (De-aging),即让演员在银幕中重返年轻。这种技术早在上个世纪30年代的电影创作中便已经开始出现,随着电影工业从胶片到数字的跨步,实现角色随年龄变化呈现人脸外观老化和逆龄的方法也在不断地交迭发展。

1 特效化妆下的人脸老化与逆龄技术

通过老化或逆龄的特效化妆来实现人脸图像随着年龄变化而呈现老化或逆龄的方法是其中最早、最为传统的一种。

早在1925年的默片 《本·休尔:基督的故事》(Ben-Hur:A Tale of the Christ,1925)中,美国的摄影师卡尔·斯特劳斯 (Karl Struss)便尝试开发了一种在胶片上表现脸部变化的技术,他用红色的化妆品在角色面部绘制皱纹、凹陷等老龄化特征,再通过在摄影机上添加红色滤镜的方法来过滤这些特征,从而实现角色的逆龄变化,如图1 (a)所示。另外,在影片 《杰基尔医生和海德先生》(Dr.Jekyll and My.Hyde,1931)中,斯特劳斯也利用红色和绿色的化妆品以及红色和绿色的滤镜来实现角色变脸的效果,如图1 (b)所示。

图1 《本·休尔:基督的故事》和 《杰基尔医生和海德先生》中的逆龄 (a)与老化 (b)效果

这种技术方法简单,且能较好地呈现一定的人脸外观变换效果,但由于受到色彩的限制,它最终也只能使用于黑白电影之中。

图2 《终结者2》中莎拉·康纳的老化效果前后对比

与此同时,从梅里爱电影中月球的形象塑造开始便呈蓬勃发展之势的特效化妆技术频繁出现在观众的视野中,成为了20世纪电影特效制作中实现角色视觉年龄变换的主要方法。影片 《终结者2》(Terminator2,1991)中所呈现的莎拉· 康纳(Linda Hamilton)的人脸老化效果如图2所示。

特效化妆艺术家们往往会根据演员的五官形状、皮肤细节等特征在演员面部制作人脸硅胶模型,再通过雕刻、绘制来添加或减少面部模型上的沟壑、细纹等年龄特征,从而实现角色面部的老化或逆龄调整。

通过特效化妆来实现人脸老化与逆龄的方法虽然至今还在发展和被使用,但从上个世纪影片中所呈现的效果来看,大多数角色在表演时因带着厚重的妆容而导致面部动作不够生动、真实而时常被观众所诟病。

2 数字化人脸老化与逆龄技术

伴随着互联网技术和计算机相关软硬件技术的发展,CG (Computer Graphics)技术在影视特效制作领域的应用日益丰满,电影中角色的老化和逆龄也不再仅仅依靠特效化妆来实现。

图3 《X 战警:最后的胜利》中两位主角的逆龄效果前后对比

进入21世纪初期,视效公司Lola VFX 通过逐帧进行皱纹消除、面部调整的方法在影片《X 战警:最后的胜利》 (X-Men:The Last Stand,2006)中完成了多个运动画面中两位主角的逆龄化,这是首部通过CGI(Computer-Generated Imagery,计算机生成动画)技术实现逆龄效果的影片,影片中角色逆龄效果如图3所示。

因需要逐帧对人脸外观进行处理,导致影片整体的特效制作周期较长,而从最终所呈现的效果来看,重返年轻的演员面部还不够逼真可信,尤其在角色对话时面部表情动作僵硬而不自然,影迷们在惊叹技术发展的同时似乎还是对这个逆龄效果不太满意。

与此同时,数字动作捕捉技术在CGI产业中的应用逐渐成熟,数字化的人脸老化与逆龄技术也借此而开始进一步发展,在多次探索后终于迎来了第一个巨大突破。

2.1 《本杰明·巴顿奇事》:里程碑式的突破

斩获奥斯卡最佳视觉效果的影片 《本杰明·巴顿奇事》 (The Curious Case of Benjamin Button,2008)讲述了由布拉德·皮特饰演的本杰明·巴顿从耄耋老人逐渐变为婴幼儿的一生。

在制作过程中,数字领域(Digital Domain)团队使用了突破性的Mova Contour拍摄系统,通过在一个光封闭的房间内设置两个阵列的摄像头进行同步拍摄,并在布拉德面部使用荧光化妆来代替动作捕捉标记以便同时记录下他在多种表情下面部外观、形状的变化,从而创建得到一个专属于布拉德的三维面部表情数据库,如图4 (a)所示。

图4 《本杰明·巴顿奇事》中人脸老化效果的制作过程图

为了创造不同年龄段的布拉德的脸,制作团队分别创建本杰明处于不同年龄段的多个高分辨率三维头部数字模型,并合成到带有动作捕捉标记点的替身演员头部,如图4 (b)所示。再通过三维面部表情数据库中布拉德的表情数据来驱动本杰明的头部模型,最终合成得到不同年龄下的本杰明·巴顿,如图4 (c)所示。

这部影片所呈现的人脸老化效果真实而生动,是人脸老化技术发展历史上的一座里程碑式的作品,而其制作思路和方法也为今后这类技术的研究提供了更多方向。

2.2 以动作捕捉技术为支撑的数字人脸老化与逆龄

在计算机科学技术高速发展的当下,电影工业开始逐步踏入高精尖的新技术时代,而人脸老化与逆龄技术也再一次迎来了新的发展,近几年更是出现了不少大量使用这类技术的影片,如 《银翼杀手2049》(Blade Runner 2049,2017)、《王牌特工2》(Kingsman:The Golden Circle,2017)、漫威系列电影等。

就目前而言,数字人脸老化与逆龄技术已经稳定发展,它以基于标记点的动作捕捉技术作为主要支撑,结合二维合成、创建数字替身和AI计算等方式来实现角色的老化与逆龄。

多次操刀漫威系列电影、素有“数字整容室”之称的Lola VFX 对演员的表演特征和表情动作进行捕捉后,再通过数字合成技术对画面中角色进行外形分析、调整的方式实现角色的逆龄和老化。在创造《惊奇队长》 (Captain Marvel,2018)中的萨缪尔·杰克逊、《复仇者联盟4:终局之战》(Avengers:End Game,2019)里的小罗伯特·唐尼等角色的“逆龄”形象时,Lola VFX 需要对演员本人年轻时的影像资料进行大量分析,以保证更逼真地呈现角色年轻时的且符合观众印象的模样。

又如影片 《双子杀手》 (Gemini Man,2019)中所展现的年轻克隆版威尔·史密斯 (Will Smith)则是维塔数码(Weta Digital)通过拍摄扫描、制作合成得到年轻版角色的三维数字替身模型后,再对贴有捕捉点的演员进行面部和动作捕捉来确定表演时演员的表情和动作走向数据,并由这些数据来驱动角色的数字替身模型而最终合成得到的。

值得一提的是,近年来以人脸逆龄效果惊艳众人的影片《爱尔兰人》 (The Irishman,2019),其所运用的逆龄技术与当前主流的方法是十分相似却又截然不同的。

它在制作过程中舍去了主流的基于标记点的动作捕捉技术,而是通过软件系统对画面的光照和纹理进行解析来直接捕捉演员的面部表情,因此演员在拍摄时不需要佩戴任何的标记点和捕捉装置,可以更自然地进行表演。这部作品的呈现在一定程度上将现今的人脸老化与逆龄技术推上了一个新的台阶。

3 逆龄技术的新突破——基于光照和纹理的无标记点面部捕捉

《爱尔兰人》是由马丁·斯科塞斯导演的一部电影,集结三大影帝罗伯特·德尼罗、阿尔·帕奇诺和乔·佩西共同主演,向观众讲述了美国历史上最大悬案之一的工会领袖吉米·霍法失踪案的故事,影片情节的年份跨度长达51年,德尼罗饰演的杀手更是展现了其在24、36、41、42、47、55和76岁等多个年龄时期的样貌转变。要知道三位主演的实际年龄都要比角色大得多,甚至都难以通过特效化妆来扮演角色年轻时期的样子,因此想要更真实地呈现这段历史情节,创造出精致的逆龄化角色,对于导演和制作团队来说无疑是个巨大的挑战。

影片中全部的逆龄角色制作均由工业光魔(ILM)完成,在整个制作流程中,他们主要面临两个方面的技术难题:

一是导演斯科塞斯要求逆龄的效果是对故事角色进行去老龄化,来获得不同年龄段的角色,而不单是根据演员们年轻时的样貌来重新创造一些年轻版本的演员,对于制作团队来说,这不仅需要结合故事本身来进行角色外形创作,还要去感知演员们在表演时的面部表达以及每一个表情下其肌肉和骨骼的状态;

二是主演们为了能更自然地进行表演,要求在表演时不使用任何跟踪点、头部装置及任何限制表演的捕捉技术装置,这意味着在拍摄时无法使用动作捕捉装置来获得表演时演员的面部表情和动作数据。

为此,工业光魔建立了一套由两个模块组成的新制作流程:“三头怪”拍摄装置和软件系统Flux。

3.1 “三头怪”拍摄装置

“三头怪”拍摄装置由三台摄影机组成,主摄影机RED Helium 放在中央,并在其两侧各安装了一台装有红外滤镜的ARRI迷你记录摄影机,以此来获取多个角度下的演员面部的信息和均匀无阴影的面部特写镜头。

在拍摄过程中,一般会有两套拍摄装置共六台摄像机,演员前后各放置一套用于拍摄他们的耳朵或者侧脸的光线以及对手演员的临场反应,由此能够全面完整的捕捉到所有拍摄细节,在一定程度上避免了补拍或重拍的问题,如图5 (a)所示。

图5 “三头怪”拍摄装置及其拍摄画面中的RGB和红外信息

“三头怪”拍摄得到包含中央摄影机的RGB 信息和两侧记录摄影机的红外信息,如图5 (b)所示,再将这些数据传送到Flux软件系统中进行处理,用于数字替身模型的合成添加。

3.2 Flux:基于光照和纹理的无标记点面部捕捉

Flux系统根据RGB 和红外信息来计算画面中的光照和纹理,并将网格划分后的画面进行逐帧网格变形,以此来拟合演员的面部表情,得到演员面部的网格形状,如图6 (a);然后从该演员的数字替身资产库中检索网格形状对应的表情基,以此得到角色的面部三维模型。

这里的数字替身人脸资产库使用了迪士尼的Medusa系统创建,即演员在摄影机前进行多种表情的面部表演,系统同时捕捉演员从细微表情到夸张表演范围内的数百个表情状态,并通过Light Stage来获取皮肤、纹理和毛孔等细节特征,以此创建资产模型。在这里,制作团队还需对这些资产模型按照不同年龄要求进行外观的修调,最终获得符合要求的三维人脸模型来作为该演员的数字替身资产库。

Flux系统得到画面的光照和纹理数据后,将根据这些数据对演员面部细节进行解析,除了获得演员面部阴影、光照等信息外,同时还需要捕捉更多的细微动作(如嘴角的丝丝抽动、微微皱起的鼻子等)来添加更多的面部细节,如图6 (b),影片中人脸的最终合成效果如图6 (c)所示。

图6 在Flux系统根据画面光照和纹理来创建角色数字模型

图7 Flux系统将生成的年轻版角色模型与演员实际年龄所创建的面部模型进行比较

为了让生成的年轻版角色模型面部更加真实,制作团队还需在后续的模型重新校准环节中,把控角色在不同年龄时面部毛孔状态、皮肤的透光性、脸上的斑点和痣的变化等细节效果的调整。他们不仅需要根据不同的年龄特征对模型外观逐帧进行修改、调整,还需要将该年轻版模型与根据演员实际年龄所创建的面部模型进行比较,如图7所示。

为了呈现更符合观众印象的演员面孔,制作团队在两年的时间内利用数千张演员在其演艺生涯各个阶段的电影截图建立了一个人工智能面孔搜索器Face Finder,如图8所示。

在渲染出41岁的角色模型后,便可以通过这个程序在数据库中找到与角色年龄接近的演员42岁时的真实参考资料,若演员有动作或摄影机在移动,该程序也能找出相同灯光、角度和旋转方式的参考。制作团队可以根据找到的参考对模型进行修调,在画面中生成更合理的角色数字替身模型。

图8 根据角色所处年纪在智能数据库中匹配演员在同年龄段的画面做参考

图9 系统基本流程图

图9为该逆龄效果制作系统的基本流程。显然,这套制作流程中舍去了基于标记点的动作捕捉技术来获得角色的动作信息,而是通过软件解析场景内容来捕捉角色动态并以此创建、合成数字替身。软件Flux作为这套流程的最大突破点,它的工作原理不同于以往普通面部几何体及其变形的方式,而是通过形状数据库直接进行合成,没有涉及任何动画中关键帧设置和调节的过程,也不需要任何面部标定系统,它的关键核心在于对场景照明和纹理的解析。

其实单就 《爱尔兰人》中所呈现效果来看,演技高超的影帝与号称完美的逆龄技术搭档出来的效果其实还并不尽如人意,这主要反映在影片中人设和演出效果出现的违和感。他们所使用的逆龄技术虽然可以抹去演员额头的皱纹,但是却无法抹去他们眼里的沧桑和蹒跚的步履。三位主演都已是耄耋之年,影片中佝偻的身形很容易将演员的真实年龄出卖,也许用替身演员或年轻演员的方式未必比亲身上阵的效果更差,但尽管如此制作方还是坚持让老演员们亲自出演,也许这同样是观众对于经典重现的期待。

4 人脸老化与逆龄技术在当前电影特效制作中的应用启示

如今,在制片厂、导演和影视平台的共同推动下,观众们开始看到越来越多熟知的面孔年轻了二三十岁后再次出现在银幕上,他们的魅力似乎超越了时间,永恒地凝固在电影之中。

使用基于无标记点的动作捕捉技术来解放演员在表演时的束缚、直接对画面进行深度地分析和处理以更便捷地获得贴合演员的三维人脸模型等技术的出现,意味着在人工智能的大时代背景下,人脸外观的老化与逆龄技术在电影特效制作领域的应用已然走入一个新的时期,针对影视制作的智能化系统的技术研究也将成为一股新的开拓热潮,随着游戏与电影之间的界限逐渐模糊,虚拟制作与虚拟现实技术的进一步成长,在电影创作中更精致、真实的角色面部的老化与逆龄效果也将有更多的实现方式。❖