基于LED背景墙虚拟拍摄中的光线匹配技术研究

米春林 王梓锋

1.诺华视创电影科技 (江苏)有限公司,北 京100091

2.北京电影学院美术学院,北京 100088

1 基于LED背景墙的虚拟拍摄带来的变革

1.1 基于LED背景墙的虚拟拍摄

2009年电影 《阿凡达》的拍摄与公映使电影虚拟拍摄为观众和业界带来新的视角,也首先引入了虚拟化制作这一概念。曾任二十世纪福克斯副总裁的约翰·基尔肯尼(John Kilkenny)甚至在他的主题演讲中称 《阿凡达》为 “纯虚拟制作的发源地”。得益于绿幕/蓝幕,近些年电影中奇幻的空间、逼真的怪兽、浩瀚的星系层出不穷。技术的高速发展,使视觉效果愈发逼真,也使拍摄手段有了突破性的创新。2019年星战剧集 《曼达洛人》摄制中,LED背景墙同实时渲染技术结合的成功运用令实时3D引擎真正颠覆了传统影视的制作流程,改变了演员们在绿幕前对着空气表演的这一方式,也将基于LED背景墙的虚拟拍摄这一新技术带到大众面前(图1)。摄制组以LED背景墙作为背景,结合实时引擎渲染,创造出星战主题的场景,随后演员在场景中表演,创作者在实时制片的过程中对数字化的内容完成实时的反馈和处理,这便是基于LED背景墙的虚拟拍摄,即将虚拟计算机图像同真实演员的表演融合在一起,在拍摄现场将最终的特效画面做可视化呈现。

图1 《曼达洛人》的拍摄现场空间结构示意图

1.2 技术变革

传统的虚拟拍摄,包括CG技术的场景可视化(Previs)、实时特效 (Real-time In-camera VFX)、构建虚拟拍摄片场 (Virtual Sets)、虚拟后期制作(Virtual Post-production)、表演捕捉 (Performance Capture)等环节。长久以来,绿幕都是实现现实与虚拟相结合的最主要方式,但绿幕拍摄有着极多的局限性。首先便是临场代入感弱,《复仇者联盟4:终局之战》中英雄集结同灭霸决战的大场景代表了当今同类电影的视效巅峰,但在拍摄现场,演员们却只能在绿幕中完成表演,导演及主创也仅仅靠想象来确立最终画面的效果 (图2)。基于LED背景墙的拍摄则可以显示画面以辅助演员感受场景,提供眼线的参考。同时搭配UE4这类引擎可以将场景中的虚拟摄影机和真实摄影机进行位置绑定,LED背景墙呈现的虚拟场景可以根据摄影机的移动自由调整透视及视差,增强演员表演的沉浸感。

图2 《复仇者联盟4:终局之战》拍摄现场 (绿幕影棚)示意图

对于反光及透明物体的拍摄,绿幕拍摄则需要后期额外耗费人力物力经过抠图与修图使真人表演与计算机背景融合在一起,对诸如水杯、眼镜等这一类透明材质的道具产生的折射问题,会为后期合成带来较多的不便。LED背景墙拍摄则可以很好地解决透明介质的拍摄,且对镜面反射有较强的优势性,如图3所示,在270°的LED背景墙包围下,背景墙上呈现的场景光线给予了铠甲极为逼真的颜色与反光,这使得曼达洛人铠甲的光感无需经过后期复杂的调校,在LED背景墙的映射下自然形成真实质感。

图3 《曼达洛人》中的铠甲在基于LED背景墙拍摄的影棚中的真实反光示意图

绿幕会使演员身上产生 “溢色”(Spill)。以往的特效影视流程最大的问题便是大量的决定都被堆积在后期,主创无法在拍摄现场以协作的方式做创意决定。基于LED背景墙的虚拟拍摄则在一定程度上优化了这些问题,利用巨大的LED背景墙替换传统绿幕,所呈现的环境提供的真实色彩及光影同演员、道具自然的结合,既改善了溢色的问题,又提供了更加真实的物理效果。拍摄过程中根据摄影机角度提供正确的数字背景并可以直接看到照明、布局、交互光、地平线等元素,理想状态下,不再需要Roto或者绿幕,为后期阶段省去了大量人力物力的步骤。LED背景墙的运用也可以满足创作团队在一天内完成数个时间段、数个地点的拍摄需求,但其也有一定的缺点。以传统灯具应用为例,在绿幕拍摄中,灯架灯腿穿帮等问题可以借助 “缠绿”、后期抠像去除,LED背景墙的拍摄则需要考究灯具摆放位置。

2 基于LED背景墙的虚拟拍摄中的光照

2.1 光对于虚拟拍摄塑造空间的意义

在影视行业的视觉制作中,对于光的运用一直是重中之重,虚拟空间的营造如何真实,其基础之一就是光线的构建。演员与虚拟环境如何匹配,靠的就是拍摄现场如何布光、控光。光衰减效应也是布光工作中的重要一环,由于光的照度与到光源的距离的平方成反比,因此光衰减会受光源到物体的距离影响产生极大的变化,当光源远离拍摄主体时,光衰减效应会相应地弱化,反之当同一光源距离拍摄主体较近时,光衰减效应则会增加。摄制时通过控制灯光光源与被摄物体的距离,可以使被摄主体同背景达成特定的光比,赋予不同镜头独特的调性,最终使得画面为观众带来独树一帜的风格。

虽然LED背景墙自身已具有一定的亮度,但受限于自身光谱不全,亮度有局限性,对于真实颜色,诸如皮肤一类的质感处理会有缺失。因此,我们就要采取相应的照明技术使光线满足拍摄需求,并配合传统灯具进行补足。LED背景墙虚拟拍摄的照明技术主要有以下三种方式。

2.2 照明技术

2.2.1 LED背景墙照明

图4 LED背景墙照明的空间结构布置

图5 三基色光谱参数对比

LED背景墙在拍摄时,往往会直接用作照明工具,以 《曼达洛人》为例,其屏幕峰值亮度最高可达到1800尼特,搭配UE4引擎中的数字光源,还可对场景中的特定区域进行亮度提升。但LED背景墙仅适合作为一个大型的面光源,若在拍摄过程中需要点光源的出现时,依旧要同传统灯具互相搭配获得最终的效果。且LED背景墙自身的亮度会令我们形成错觉,即依靠屏幕本身就可以满足拍摄时对于环境光的需求。但实际拍摄时会发现,拍摄对象往往距离LED背景墙有一定的距离,单靠LED背景墙光照强度无法满足需求。如图6所示,LED背景墙自身的光学属性会令其红色光源的发射峰值极高,导致人的皮肤会反射更多的红色,使呈现出的画面集体偏红,基于RGB三基色也会导致屏幕光谱不全,显色性较差,产生同色异谱的现象,使摄影机中输出的画面和真实的颜色产生极大差距。比较好的解决方案便是使用多光谱照明,如后文提到的数字控制灯光阵列。同时,LED顶屏营造的空间高度主流搭建方案支持7~8米 (再高会有搭建、资金问题),拍摄空间局限性较大,且LED背景墙造价昂贵,大面积使用成本较高。

图6 LED的RGB照明和皮肤反射光谱数据表

2.2.2 数字控制灯光阵列

灯光阵列是通过多盏相同参数的灯光在空间中有规律地阵列,来模拟环境光或者天光的技术。使用该方法能在建筑的暗部或者阴影部分形成丰富的细节,为建筑物投射出真实柔和的环境漫反射光线。数字控制灯光阵列可以根据实际拍摄需求灵活地调整亮度,其最大的特性便是可以结合现代编程技术,通过计算机程序对灯具进行编组控制,完成各种定时定点的多维灯光效果,并最终将灯光的诸如角度、色彩、亮度等信息传输回计算机,同软件搭配实现特殊效果。

图7 由SkyPanel构建的数字控制灯光阵列在绿幕拍摄中的运用

图8 由SkyPanel构建的数字控制灯光阵列在绿幕拍摄中的运用

在六基色灯光照明设备研发前,Sky Panel是一种被广泛运用的传统灯光照明设备。其为RGBW的四基色灯光照明设备,因为有W的存在 (而且色温模式使用的应该也是冷暖两种白光的比例调节),所以光谱是比较连续的,在色温模式下显色性指数很高,但其仅局限于色温曲线上光谱是连续的,对于其他颜色上的还原仍有缺失。如今随着技术的进步,六基色的灯光照明设备的出现使得数字控制灯光阵列的组成有了更多选择,对于色彩还原性也更准确。图9所示的数字控制灯光阵列是诺华视创电影科技(江苏)有限公司自主研发的一套基于六基色的灯光照明设备,其相较于LED背景墙照明灯光光谱更全,显色性能更好,亮度也更充足。

图9 数字控制灯光阵列

图11 同时拍摄LED屏幕内灰球和采用灯光还原系统照明的真实灰球环境光颜色对比,颜色误差0.15%-0.3%之间

图12 LED屏幕、灯光还原系统和摄影机做标定后的直接拍摄效果

如图10所示,以无锡国家数字电影产业园影棚为例。为数字控制灯光阵列增加柔光布后,当摄影机800感光度时光圈可以开至F7~F8左右,足以满足虚拟拍摄中对于不同时段、不同环境的模拟及各种现场拍摄需求,且每个灯光可以单独进行数字控制。数字控制灯光阵列的悬挂位于棚顶,其所提供的拍摄空间约为15米左右,相比LED背景墙照明所提供的创作环境更自由,可控度也更高。足以满足影视作品的拍摄需求。同时相比LED顶屏造价更便宜,使用面积也更为广阔。

图10 无锡国家数字电影产业园影棚对于真实天空环境的还原

2.2.3 其他数控影视灯光

其他数控影视灯光是较为传统的一些照明器材与照明手段,这一类灯光器材往往配合LED背景墙与灯光阵列共同使用。因为LED背景墙与灯光阵列的特殊性,其对于硬质光的模拟缺乏良好的效果,因此,诸如太阳光这一类硬质光就需要数控影视灯光来完成模拟。创作者可以通过配置透镜、色纸、纱网、软格、反光板等附件来控制灯光。改变光在其亮度、颜色、聚散、硬度等方面的参数,也可以移动灯具的角度及其位置对光线的性质进行改变,但这些手段往往需要工作人员亲手操作来完成,若灯具需求数量巨大,调整起来会耗费大量的人力物力。同时这一类器具也能够利用实时引擎通过DMX协议直接控制灯光的颜色与亮度,辅助片场的拍摄。

2.3 照明问题

在基于LED背景墙的虚拟拍摄中也有许多应注意的照明问题,首先应尽量避免灯光直射在背景墙上导致背景画面的反差降低,LED背景墙自身抗反光的物理特性会决定画面的反差大小,造价昂贵的高端屏可以在一定程度上降低画面的反光。其次是拍摄时应注意前景拍摄的光线颜色要和摄影机里拍摄的LED背景画面光线统一,若二者产生偏差,输出的成片很难修改,也使得LED背景墙拍摄失去了其自身意义。

2.4 光线匹配

当我们拍摄同一画面时,不同的摄影机所呈现的色彩和输入的颜色都有基于自身特性所带来的颜色偏差。因此,拍摄时进行的光线匹配是重要的校准步骤。

光线匹配首先要构建基准的工作空间,将摄影机输出的LED背景墙颜色、数字控制灯光阵列的灯光颜色以及现场灯光给予一个基准的统一,设定参考白色作为统一的工作空间。白色光标定的基础则有两种情况,若现场有非可调色的传统直射光源便选取该光源的灯光系数中的白作为参照,否则基于LED背景墙的白作白平衡的参考,以此同摄影机建立关联。

而后将单灯同建立关联的摄影机之间进行颜色校准。图13为单灯灯光可实现的色彩范围。灯光借由6色灯珠完成对XYZ 3刺激值的拟合,尽可能地逼近目标输入颜色。标定结束后,原始输入的颜色与摄影机拍摄呈现出的颜色误差约被控制在3%~5%左右。

图13 灯光色彩的可实现范围

灯光标定结束后,便是对于真实环境的还原。根据拍摄灯光数量,计算出拍摄空间中的映射点,再将全景光照图的像素点映射到对应的灯光中,完成拍摄空间中的光线匹配。全景颜色方向映射的逻辑也是基于图像渲染的一个现实物理模拟。图15所示是无锡国家数字电影产业园影棚中全景颜色方向映射对于真实天空的还原,灯光数量越多其呈现的天空细节也更加清晰,其所展示的天空已足以作为一个照明设备,且借助该技术更换环境天空极为便利,需要的是对真实的天空进行光线信息采集,便可以完成影棚内跨时间、跨空间的虚拟拍摄。

图14 全景颜色方向映射

图15 全景颜色方向映射对于真实天空的模拟还原

3 灯光匹配系统应用成果展示

3.1 案例1:对真实灯光的还原模拟

图16所示是一侧为真实环境拍摄,一侧为虚拟影棚对于真实采集信息的还原,可以看到两者的差距仅靠肉眼已经无法辨别,这使得在影棚内我们便可以构建出不逊色于真实环境的空间,既可以使导演更加轻松地把握电影镜头,也可以增加演员的沉浸感。LED背景墙将视效镜头合成效果由虚拟空间延伸到现实空间,演员可以实时体会场景变化。同时,身上也不会出现 “溢色”这一棘手的问题。

图16 真实环境与棚内虚拟环境对比图

图17在观感上则要更为明确,将现实生活中摄制的图像与在借助采集的光线信息还原出的虚拟场景中摄制的图像合成在一起,无论是背景物体的过渡亦或是主体人物身上对于环境色的反馈,二者完美地融合在一起,难以看出明显的差距。

图17 真实环境与棚内虚拟环境对比图

3.2 案例二:跨时空拍摄

虚拟拍摄中光线匹配的另一优点就是便利性,过去在拍摄时没有高新技术支撑来还原真实生活场景的光线,因此 “转场”对于摄制组来说是一个成本极高的大工程,一些剧组往往要带着繁重的设备乘坐交通工具往返多个取景地多次拍摄,工期长、成本高,而如今借助对灯光信息的采集可以完美地再现真实场景。如图18所示,整个拍摄过程是在LED背景墙影棚内实时完成的,但观感上并无失真感。对于外景的转场最快仅仅需要一秒钟,背景街景及光照环境均在户外采集,将采集结果在影棚内进行还原,而后利用跟踪出的相机轨迹进行Motion Control的控制拍摄。整个剧组在影棚利用数据信息完成了真实环境的拍摄,这便是灯光匹配系统应用后所带来的便利性。工业光魔视效主管Richard Bluff曾这样形容:“我们可以上午在内瓦罗的熔岩平原拍摄,下午到塔图因的沙漠拍摄。当然,我们会根据实际需求切换场景,一天之内通常只切换两个场景。”若某一特殊镜头需要绿幕完成,LED背景墙的便利性也使得摄制组无需转场,只需将镜头涉及的区域在LED背景墙上映射出一张带有跟踪点的绿色背景,其他画面依旧保持真实的场景环境信息,这样,便既满足了绿幕拍摄的需求,又为拍摄主体提供了环境光,使得制作更加自由灵活,让制作人员将更多精力花费在创作上。

图18 跨时空拍摄场景还原

3.3 案例三:透明材质的展现

图19为在基于LED背景墙的虚拟拍摄对于透明材质的展现。影视摄制时,基于剧情的需要往往要搭配相关的道具,在传统的绿幕拍摄方式中,这一类透明道具受拍摄角度的影响极易折射出幕布颜色,需要后期专门针对性地抠色。而LED背景墙所提供的环境光则省略了抠绿这一步骤,诸如水杯、眼睛等可以自然地透出背景色,融入环境之中。

图19 对于透明材质的表现

4 结语

技术的加持,使得基于LED背景墙的虚拟拍摄一定程度上解放了影视创作者,导演不会再因为角色和场景的虚拟化而感到局限,3D实时拍摄带来的背景与前景的和谐共生无限拉近了虚拟拍摄与实时拍摄的界限,导演可以以传统拍摄的方式在虚拟场景下实时产出最终画面。同时演员也无需在一片绿幕中想象场景进行无实物表演,而是置身于一片真实的场景中,全身心地投入表演。

虚拟拍摄中光线的匹配并非拍摄照明工作的全部,其只是一个良好工作的基础,好的画面艺术效果与契合的拍摄方式才是从业者与创作者应该追求的,LED背景墙拍摄虽然效果比传统拍摄更便捷,但其也不是万能的,目前并不能完全取代传统拍摄方式。电影拍摄创作是一个具有极大弹性空间的过程,而基于LED背景墙拍摄的弹性空间较小,因此创作团队应考虑好LED背景墙拍摄的缺点与不足,通过创作手段对其进行规避,将LED背景墙拍摄用于适用的影片,而非一味地追求采用新技术进行拍摄,基于LED背景墙的虚拟拍摄仅仅只是拍摄手法的一种,其所预示的未来才是我们值得期待的。