基于LED背景墙的电影虚拟化制作关键技术研究

陈 军 赵建军 卢柏宏

(北京电影学院影视技术系,北京 100088)

1 前言

近年来,随着科学技术的发展,影视行业产生了巨大的变革。目前,影视制作的热点之一就是基于LED 背景墙的电影虚拟化制作技术。这种新型的制作技术能够给现场拍摄带来“所见即所得”的自由创作环境、真实的环境光照以及更大程度上的“后期前置”,在解决了传统虚拟化制作中的蓝绿幕溢色等问题的同时,减少外出取景拍摄的风险,受到电影制作研究领域和应用领域工作者的关注。特别地,在疫情期间及后疫情时代全世界多地开始进行基于LED 背景墙虚拟化制作摄影棚的搭建,这在方便影视制作创作的同时,进一步推动了影视工业化的进展。本文在大量实测基础上对基于LED 背景墙虚拟化制作系统背后的关键技术进行了总结,在LED 显示、实时渲染、摄影机跟踪、灯光匹配及人机交互方面,针对发展路线、技术原理、目前存在的局限性作了深入分析与探讨。

基于LED 背景墙的电影虚拟化制作系统,整体制作框架如图1 所示,其关键技术可以大致分为LED 背景墙的显示技术、虚拟场景的渲染技术、摄影机内外参跟踪技术、灯光照明、人机交互技术等,本文分别就上述关键技术进行阐述介绍。

图1 基于LED背景墙的电影虚拟化制作系统框架

2 LED显示技术

随着制造和封装技术的发展,小间距LED 显示屏产品逐渐开始应用于影视行业前、中、后期的各个环节。其高亮度、高动态范围、寿命长、功耗低、工作稳定可靠等特点,使得其能够满足高质量影像显示的需求。随着LED 显示技术的发展,像素间距越来越小、像素排列愈加紧密、灯珠各项参数不断提高,能够在大屏上显示高分辨率、高动态范围、广色域的画面,一定程度上可与真实世界的光环境进行匹配。因此,基于LED 背景墙的显示技术成为电影虚拟化制作得以快速发展的硬件基础。

2.1 LED显示原理及优势

相较于传统的投影等大屏显示方式,LED 显示原理的核心区别在于面板上的每颗灯珠主动独立发光,基于空间混色效应实现颜色显示。

在亮度、对比度、黑位水平方面,LED 屏幕有明显优势。投影式放映机采用氙灯、激光光源或LED,将影像放大投射至幕布上,经过漫反射进入观众眼中。由于放映机工作温度限制、光源寿命下降导致衰减、透镜易落灰、银幕反射率有限等因素的影响,光路在多个环节易出现衰减,使得放映画面难以达到较高的银幕亮度;在显示纯黑信号时光源依然开启,黑位水平难以降低,因此帧内、帧间对比度有限。相比之下,LED 屏幕的每个像素点均可通过驱动达到较高亮度,其自发光特性消除了光路衰减的干扰,最终呈现的亮度可达投影式放映机的10倍以上。同时,在显示纯黑信号时,像素点可完全关闭,将黑位水平降至最低。因此,LED 屏幕的帧内、帧间对比度均有大幅提升,可服务于高动态范围影像的呈现。

均匀度指影像在屏幕上亮度和颜色的一致性,LED 显示屏在该方面优势更为明显。投影式放映机以银幕中心为基准校正颜色和亮度,校准空间有限,从中心到角落可能出现25%以上的亮度衰减,同时颜色也容易出现偏移。此外,由于放映机光源从球面镜头发射,经一定距离投射至银幕平面,光路上经过的光学表面较多,这些表面的光学特性导致画面容易出现畸变。LED 屏幕在投入使用前,会针对全部模组进行校正,最大程度地保证屏幕各个区域亮度和颜色的均匀度。同时,因LED 为点对点映射驱动,像素点位置排布均匀且固定,像素直接发光,不存在光路上的干扰,因此解决了画面畸变的问题。

2.2 大型LED背景墙显示及其控制方式

像素(Pixel)是LED 显示屏上的最小可控成像单位,LED 显示屏上的每个像素由封装在灯座上的RGB三色发光二极管灯珠构成。通过树脂或者塑料面板将LED 像素封装为像素阵列,若干像素阵列与驱动芯片、PCB 电路板构成一个显示模块 (display module),若干个显示模块连同控制电路及相应结构件构成一个显示模组 (display panel)。LED背景墙由多个显示模组拼接而成,可按需求组合为不同规格和分辨率,形成CAVE式四面环绕或180°以上环形排列的大型背景墙结构,服务于电影虚拟化制作。

由多块显示模组构成的LED 背景墙,需采用配套LED 控制器和拼接器实现同步显示。LED 控制器可将HDMI、SDI等不同格式的输入视频信号,通过网线或光纤输出给LED 屏幕模组序列,模组间以网线连接传递信号,从而实现驱动上屏。同时,控制器具备本地及远程控制接口,可通过软件对屏幕显示特性进行控制和校正。此外,控制器还提供Gen-Lock接口,以满足信号同步需求。LED 拼接器可将完整的图像输入信号划分为多块后分配给多个视频显示单元,常与控制器配合使用,其功能也可集成在控制器内。

在LED 背景墙虚拟化制作中,多台计算机实时渲染输出的虚拟场景视频信号,通过视频接口输入给对应LED 控制器,控制器驱动信号实现上屏。根据控制器带载限制,可按需求分配计算机与对应LED 屏幕区域的映射关系。

在能耗方面,大面积自发光LED 显示屏每平米峰值功耗可达700～800W,以一个25米长、4米高的LED 显示屏为例,峰值功耗可达70～80k W。接线时,需要对电源线进行分组,以免输出过载。高功耗也伴随着较高的发热量,对现场的通风散热也有一定的要求。

2.3 LED屏应用中存在的问题与解决思路

在基于LED 背景墙的电影虚拟化制作中,像素间距 (Pixel Pitch)是影响成像质量的核心因素。像素间距指LED 显示屏相邻两个像素点中心的距离,记作P,单位为毫米。像素间距决定了LED 显示屏的像素密度,直接影响人眼观看距离及摄影机内拍摄画面摩尔纹等属性。在其他拍摄条件相似的情况下,应尽量选取像素间距较小的LED 屏产品,实现高质量的画面拍摄。

白场峰值亮度、色域范围、色彩准确性、亮度和色度均匀性,是评价LED 屏幕性能的主要指标。在实际使用中发现,随着点亮时间和温度增加,LED 模块存在白场亮度衰减、色度坐标偏移的现象。解决该问题需要确保LED 在拍摄前预热至稳定状态,并在控制器内开启白点色温动态校正功能。此外,在考察LED 亮度和色度均匀性时,由于RGB灯珠排列和封装方式影响,相对于屏幕法线方向而言,在水平和垂直离轴方向常出现亮度衰减及色度坐标偏移问题,这使得倾斜拍摄屏幕时会发生一定程度的偏色现象。解决该问题首先需要尽量避免极端的拍摄角度,其次是更多地采用弧形背景墙结构,增加可用的拍摄角度。

LED 屏幕及控制器支持的电光转换函数(EOTF)、位深、最小有效黑电平等指标,决定了屏幕成像的层次细腻度和非线性特征。当前LED 模块及控制器的处理位深通常可达16bit,也能支持10bit、12bit输入视频信号显示及不同的SDR/HDR EOTF标准,但在暗部常因位深不足而出现断层(Banding)现象。对控制器而言,可采取时间抖动(Temporal Dithering)和空间抖动 (Spatial Dithering)方式,间接提升低灰部分的显示位深,以实现暗部平滑显示。

摩尔纹 (MoiréPattern)是摄影机直接拍摄LED 背景墙面临的最大干扰,其成因是屏幕像素密度与摄影机CMOS像素点采样密度不匹配。在实际测试中,镜头光心到屏幕距离、镜头焦段、光圈大小、对焦距离、拍摄方向与法线的垂直和水平夹角等因素,都会对摩尔纹的多少产生影响。此外,LED 背景墙虚拟化制作还面临LED 面板的反光问题、使用LED 屏构建的环境光照因为灯珠光谱窄而导致的显色性差等问题。在基于LED 屏的虚拟化制作中,我们通过将LED 屏显示的背景置于焦外、补充数字灯光矩阵照明等方式来一定程度地规避这些问题。

3 渲染技术

3.1 实时渲染技术

实时渲染较离线渲染速度要求高、质量要求低,较多应用于游戏等对画面要求相对低的领域,而动画与影视特效则往往使用渲染速度慢、质量高的离线渲染方式。随着计算机硬件与渲染技术的发展,实时渲染的质量不断提升,尤其是基于物理的渲染(PBR,Physical Based Rendering)与实时光线追踪技术(Real-Time Ray Tracing)的引入,为实时渲染在影视制作中的应用带来了可能性。

基于LED 背景墙的电影虚拟化制作技术建立在实时渲染的基础上,它要求虚拟场景随着真实摄影机的运动、用户的交互控制实时地渲染画面。多年前,基于绿幕的电影虚拟化制作已经将实时渲染画面用于现场预演,随着渲染技术的进步和渲染效果的提升,实时渲染技术能够保证电影虚拟化制作现场LED 背景墙画面和光照效果更加真实。

实时渲染技术在传统离线渲染技术的基础上,使用了降低精度、提高计算速度的加速算法与数学近似技巧、大量离线计算的预计算数据。例如基于LED 背景墙的电影虚拟化制作中使用的实时渲染引擎,采用了光线追踪与光栅化混合的渲染管线,结合预计算处理和针对采样的多种后处理技巧,如屏幕空间采样、深度学习超采样 (DLSS)、低采样次数光追渲染的降噪技术等,带来了更加精细的实时渲染画面与更加真实的光照。

3.2 多机同步渲染

基于LED 背景墙的电影虚拟化制作使用小间距LED 屏组成的高分辨率屏幕作为背景进行拍摄制作,如果采用单台计算机进行渲染,当前的计算机渲染能力有限,无法满足需求。故须引入多机同步渲染技术,即利用多台计算机同时进行渲染,每台计算机配备较强的计算硬件,配置完全一样的渲染引擎与资产,连接在同一局域网下,基于网络协议发送启用同步渲染指令,实时传递外部输入数据如摄影机位姿、交互控制数据、同步信号等信息,来执行对应的渲染任务。多台计算机间的渲染画面的同步控制则由基于网络的软同步或者基于支持Gen-Lock信号的显卡硬件同步,使用同步卡输出脉冲信号给GPU 来实现,以解决多机不同渲染区域有快速变化的内容时可能产生的画面撕裂问题。

图2 渲染节点结构

与传统的实时渲染不同,渲染画面的显示介质LED 屏很多时候并不是一个矩形、平直的屏幕,而是环绕拍摄现场的多块屏幕或者曲面屏。这是因为影视拍摄中,LED 屏幕的可视角度大约在140度左右,摄影机垂直拍摄屏幕效果最佳,从斜侧方拍摄LED 屏幕会产生偏色和摩尔纹现象。使用弧形屏可以使摄影机的拍摄角度尽可能接近垂直屏幕。

渲染的观察视点也并不在屏幕的中心垂线上,根据内外视锥的不同,外视锥的视点相对LED 屏不会移动,因此观察视点大约在摄影机、演员活动的中心位置,内视锥的观察视点则是摄影机镜头的主节点位置。因此需要将摄影机拍摄到的虚拟场景投影到LED 背景墙上,再根据投影关系进行逐像素的渲染。

由于上述特点,基于LED 背景墙电影虚拟化制作中,实时渲染必须根据渲染任务情况,将任务尽量平均地分配到多台渲染主机进行渲染。

3.3 内外视锥渲染技术

基于LED 背景墙的电影虚拟化制作技术的核心概念是摄影机内视效,即摄影机直接拍摄得到真实画面与虚拟背景的合成结果。在LED 屏上,我们使用相对固定的外视锥形成的光照环境来模拟真实的光照与色彩匹配,使用内视锥作为摄影机直接拍摄的背景,内外视锥的渲染要分别单独进行。

外视锥是各屏幕上渲染的主要视口,主要起到照明作用。对每一块独立渲染的屏幕,都有一个外视锥视口;但所有外视锥仅有一个视点,该视点一般为固定视点,在整个场景中很少移动,或是在交通工具内的视角等特殊镜头中相对稳定地移动。外视锥会渲染在环绕拍摄环境的所有LED 屏上甚至应用于灯光矩阵,从而再现视点处“真实”的照明效果,以模拟角色、道具身处环境之中的观看效果和光照效果。这也避免了传统制作流程中绿幕拍摄时“泛绿”难以处理、灯光匹配需要大量重复机械式调参、高反射材质的不易进行光照匹配等问题。

图3 内外视锥

内视锥是叠加在外视锥上层的独立视口,与摄影机内外参数强关联,主要覆盖摄影机取景范围,作为拍摄画面的合成背景使用。内视锥主要用来做摄影机直接拍摄的背景画面,这种摄影机内拍摄合成的方式替代了后期抠像合成,简化了制作流程的同时减少了抠像、擦除等人力劳动。内视锥的渲染画面,由于摄影机位置更新、渲染带来的延迟,以及LED 屏像素密度带来的摩尔纹等干扰,所以往往采取提高计算设备性能、减缓摄影机移动速度、将LED 屏上背景内容进行小景深虚化处理等方法来规避。

图4 内视锥显示为绿幕时的拍摄画面

此外,内视锥还可以根据需要设定为绿幕,来进行传统抠绿合成。由于此时外视锥仍渲染虚拟场景内容,拍摄主体的光照情况仍然是与虚拟场景匹配的,不需要在合成时再次进行复杂的溢绿、重打光等匹配工作。内视锥设定为绿幕的原理是将一块材质为自发光绿色的平面置于内视锥虚拟摄影机前,并与虚拟摄影机位置关系绑定。绿色平面的形状、大小均可自由地自定义。同时,可以添加基于LED屏形状与位置的跟踪点在内视锥中,跟踪点位置与大小相对于LED 背景墙静止,内视锥在LED 背景墙上运动时将会显示这些跟踪点,这对后期获取摄影机轨迹提供了便捷的备用方案。

4 跟踪技术

摄影机跟踪技术被大家广泛关注与研究已久,其通常通过计算机视觉、光学等方法进行摄影机跟踪,然而以LED 屏为背景显示设备时,场景光线复杂多变,给摄影机跟踪与注册环节带来了极大影响。新型应用场景对跟踪设备在跟踪范围、系统灵活性、鲁棒性及延时性方面提出了更高的要求。

4.1 标定与匹配

在基于LED 背景墙电影虚拟化制作的过程中,我们通过摄影机跟踪设备得到真实世界中摄影机的运动,通过各种空间转换,得到变换矩阵,计算得到位置与姿态,最终驱动三维场景中虚拟摄影机运动。引擎根据摄影机靶面、焦距、焦点等内参计算摄影机取景范围,将虚拟摄影机渲染的画面映射到LED 背景墙上。为避免穿帮,真实摄影机的视野在LED 墙的投影范围要被LED 背景墙上渲染出的内视锥完全覆盖。

摄影机跟踪的前提是摄影机的标定,通过计算机视觉技术计算得出变焦镜头不同焦段下的内参,这些光学特性由矩阵形式表示,该数值信息可由引擎实时读取,使虚拟摄影机与真实摄影机画面更加匹配。由于LED 背景墙是对“真实”环境与光照的还原,摄影机位置和LED 背景墙的距离与虚拟摄影机位置和虚拟场景中LED 背景墙的距离需要完全相等,因此跟踪系统的坐标系需要与虚拟场景中的坐标系完全一致。摄影机跟踪系统工作时,首先在引擎中需要对LED 屏幕按照真实尺寸进行建模,在使用不同的跟踪系统时,需将跟踪系统世界坐标系原点定位至屏幕区域中间位置,利用全站仪等设备测量该坐标原点到屏幕的距离,在引擎中将LED 背景墙模型的原点位置与跟踪原点重合。这样,摄影机在真实空间中相对于LED 背景墙的距离将与虚拟摄影机相对于虚拟LED 背景墙的距离完全相同,能够得到一致的对应效果。

图5 跟踪设备在LED背景墙中

4.2 摄影机跟踪技术

摄像机追踪的本质是估计每一帧的摄像机位姿矩阵,目前现有的对摄影机进行姿态估计的方法侧重于提升观测设备的刷新率以捕捉物体更加快速的变化;提升观测设备的分辨率,以捕捉更加细节的变化和更加精准的3D 特征点。

摄影机跟踪技术从实现原理上可分为由内向外跟踪和由外向内跟踪。由外向内的跟踪通过分析外部设备所接收到的机械或光学系统在空间中的变化信息,计算出物体在空间中的运动。由外向内跟踪广泛应用于基于LED 背景墙的电影虚拟化制作,其方式有基于多个红外摄像头环绕捕捉的Optitrack、基于红外Lighthouse基站的小成本定位方式HTC VIVE等。

由内向外的跟踪技术,其跟踪设备通常固定于被跟踪物体上,方便携带安装,空间限制较小,更符合技术现代化发展的需求。该技术主要通过视觉、惯性或视觉与惯性混合的SLAM 技术进行自身的位置检测和姿态估计。目前大部分的由内向外跟踪设备都基于混合传感器技术,尤其是以视觉为主,惯性进行辅助。这种利用协作传感器融合进行摄影机姿态估计的方法,往往受场地限制较小,为创作带来了更大的自由,但对于环境要求较高,要求视场内光线适中,场景中有足够的明显特征可供识别等。这类设备包括NCAM、RedSpy、MoSys Star Track等。

4.3 实时跟踪与数据后处理

实际的拍摄制作流程中,我们往往对摄影机轨迹进行两部分操作:

(1)对摄影机的位置及姿态进行实时的估计,将该数据实时地传输到三维软件或游戏引擎中,驱动虚拟摄影机获取相应的虚拟画面;

(2)在需要内视锥进行色键抠绿或对拍摄到的画面进行后期处理情况下,此时需要将现场拍摄时跟踪软件捕捉到的轨迹进行数据清洗、滤波优化等操作,将处理后的摄影机运动轨迹数据赋值给虚拟摄影机。

其中,因各类数字内容生产工具、实时渲染引擎之间的坐标系统不尽相同,数据传输或进行后处理时往往首先要进行坐标系的转换,例如:Unity为Y-Up左手坐标系;Unreal Engine 4 则为Z-Up左手坐标系;MAYA、Houdini为Y-Up 的右手坐标系;3ds Max 为Z-Up 右手坐标系等。针对刚体的跟踪数据用3 轴位置 (Location)及3 轴旋转(Rotation)进行表示。大多动作捕捉或摄影机跟踪软件均支持数据直接传输至三维软件3ds Max、Maya与实时渲染引擎,同时支持利用软件SDK 进行深度开发或通过VRPN (Virtual-Reality Peripheral Network)接口对跟踪数据进行接受与处理。例如,在由外向内跟踪系统Optitrack 面向Unreal Engine的插件中,软件端Motive就开放了Natnet SDK 从Mocap服务端以传输的形式可以向本地或同一子网下的多个主机客户端广播数据。同时,跟踪设备均接受多种形式的时间码 (Timecode)、相位同步(Gen-Lock)信号输入,允许外部输入信号同步触发录制功能,并且能将时间码信息与对应的跟踪数据以FBX、BVH 或CSV 的数据格式进行存储。录制的摄影机轨迹经过数据清洗、平滑处理等操作之后进入后期软件进行下一步视效阶段的处理。

5 照明技术

在当前的电影制作中,照明逐渐智能化、自动化。LED 屏幕自身不仅可以实现摄影机机内合成,还可以提供基础的环境照明,同时能为画面中透射和反射的区域还原丰富的环境细节。除此之外,LED 屏幕可以通过接收不同的视频信号实时地任意改变每一个像素的亮度与色彩,极大提高了影片制作的效率,为创作者提供了自由的创作环境,同时也在影响着传统影视照明技术不断发生变化。

5.1 不同的照明技术

(1)LED 屏幕

在基于LED 背景墙的电影虚拟化制作中,LED屏幕承担作为背景的显示工作时,其照明的作用也不容小觑,LED 屏幕的每一个像素点都是一个独立可控的光源,基于现今强大的三维实时引擎,创作者可以实时、便捷、精细地调节光照,无需手动调节照明灯光设备,只需通过电脑、平板即可完成照明的创作。

LED 屏幕作为照明光源而言具有分辨率高、无缝拼接、面积大等特点,能够提供不同角度的照明,以还原更真实的环境光照。但因为LED 屏幕初始设计的用途在于显示,因此LED 屏幕作为照明光源存在许多问题:首先本身亮度不高,小间距LED 面板最大亮度一般不超过2000nits,较影视照明面光灯(换算单位面积下的亮度能达到100000nits)照明功率较低,因此在实际的影视制作中仍需要其他灯光设备进行辅助;其次,LED 屏幕的照明显色性较差,如图6所示LED 屏幕的发光光谱较为单一,会导致色彩还原不准确的问题。并且由于三基色RGB灯珠排布具有规律性,在不同角度下对LED 屏进行观测会有相应不同的偏色。LED 屏幕中LED 灯珠的可视角度大,光照方向难以控制,当屏幕间夹角较小时会对其他屏幕产生影响,导致画面对比度降低;在价格方面,目前LED 屏幕作为照明光源价格比较昂贵,小成本制作难以承担如此高昂的费用。

图6 某款LED屏幕显示满码值白的光谱

(2)灯光阵列

灯光阵列是指由数量众多带有通信控制功能的数控灯光设备所组成的大面积灯光阵列,每一个灯光设备均能独立控制,但相较于LED 屏幕的每一个像素而言更为分散且数量更少,相比之下对灯光调整的精细度有所降低,但依然能满足大部分影视制作的需求。

为避免离散的照明设备可能导致照明的不连续、不柔和,可以在灯光矩阵前安装大面积的柔光布使得光线产生散射,变得柔和。但无论是否添加柔光布,被摄对象上的透射与反射区域均无法与LED 屏幕一样还原真实而细腻的环境细节。

灯光矩阵具有更强的照明功率和更好的照明显色性,同时其相对低廉的价格及能在拍摄中获得更好的照明效果而成为一种广受欢迎的新型照明解决方案。

图7 灯光矩阵

(3)其他数控影视灯光设备

带有DMX、Art-net、s ACN 等控制功能的灯光设备被称为数控影视灯光设备,能够实现LED 屏幕与灯光阵列都难以实现的大功率强光、聚光、点光、局部柔光等照明效果。在基于LED 背景墙的电影虚拟化制作中,数控影视灯光设备能与三维实时引擎进行通信,以达到虚实联动的效果。三维实时引擎可以实时监测捕捉虚拟环境中的光照效果,并映射相应的参数到真实世界中的数控影视灯光设备。为了匹配虚拟世界与真实世界中灯光设备的位置,可以在真实灯光设备上安装跟踪设备,实时获取灯光设备的位置。

5.2 照明匹配技术

在基于LED 背景墙的电影虚拟化制作中,由于同时使用LED 屏显示与照明,并且在系统中存在其他照明设备,需要匹配校正的内容较多,并且由于LED 屏幕的发光特性导致色彩偏差,要让电影虚拟化制作系统准确地还原色彩,需要进行色彩校正与照明匹配。LED 灯珠光谱较窄,在不同的摄影机CMOS的不同CFA (Color Filter Array,滤色器阵列)下颜色会产生不同的偏移,因此内视锥的画面需要根据不同的摄影机进行色彩校准。而外视锥的校准则需要一定程度考虑被摄物体的反射特性,外视锥的色彩校准的参考依据往往是被摄物反射后的色彩,但为了适用于不同被摄物体的拍摄,使用显色性更高的灯光阵列以及数控影视灯光设备作为主要光源也是一种解决方案。例如:在使用基于LED背景墙的电影虚拟化制作拍摄的剧集 《曼达洛人》中更多使用LED 屏幕作为照明光源,LED 屏幕光源同色异谱的特性导致了“被LED 屏幕照射的实物道具”和“LED 屏幕所显示的虚拟道具”在摄影机中看起来颜色并不一致的问题。

因此,在实际拍摄中,我们需要尽可能地将“被拍摄到摄影机内的内视锥画面”与“作为照明以及反射作用的外视锥”区分开来。因此,需要尽可能减少内视锥对被摄主体的影响,再分别对两部分进行独立的色彩校正,如图8所示。

图8 照明匹配流程图

在经过色彩校正后,光源的其他特性也需要进行匹配,比如光源的强度、位置、方向、光质等。由引擎和其他多种手段控制的功能强大的照明系统能让创作者在实际拍摄中对现场光线进行调整、匹配,并且对照明效果进行自由的艺术创作,最终呈现完美的画面。

6 人机交互技术

6.1 虚拟场景控制

虚拟场景控制指的是创作者在拍摄期间能够实时编辑虚拟场景,并借助虚拟现实设备进行VR 勘景、编辑、确定机位等工作。

图9 VR 勘景

实时编辑虚拟场景时,创作者可以操作渲染节点中的任意一个节点,来修改虚拟场景中的资产,例如场景元素的位置、旋转、缩放、增减,灯光的方向、照度、颜色等。同时将修改信息通过UDP协议发送至其他渲染节点进行同步,并实时渲染更新在LED 背景墙上。这使得虚拟内容创作者能够实时地编辑、渲染及拍摄。

对渲染节点的虚拟场景控制也可以使用外部设备来实现。例如:通过公开资产属性的网络接口,使用移动设备如iPad等直接访问网页来控制;使用虚拟现实设备如VR 头盔与手柄来直接进入虚拟场景,进行身临其境的观察,判断场景的完成度、选取镜头取景等工作,并可以直接在VR 环境中修改场景,从而实现在真正的三维空间中进行创作。这些技术能够极大提高现场拍摄制作的效率,同时也为创作者提供了更大的创作空间。

6.2 虚实结合交互

虚实结合交互包含两方面的内容,分别是通过不同的传感器获取真实拍摄环境中的场景信息,实时传递到虚拟场景中实现虚拟匹配,以及使用虚拟场景中的动态信息驱动现场的装置来实现虚实结合的效果。

图10 《曼达洛人》中Motion Base的应用

虚实结合的交互设备可以支持拍摄主体的运动数据交互。例如:实时将运动装置的数据传递给实时引擎,来更新虚拟背景,以模拟角色在场景中移动的效果;使用智能数控运动平台将设定好的运动轨迹在实时渲染引擎和现实中同步复现,来实现诸如骑马、驾车、飞行等运动效果;使用动作捕捉设备实时捕捉人体动作,在引擎中驱动虚拟角色。

此外,其他影视特殊效果设备的交互控制也是人机交互的重要部分,例如:场景中烟机、鼓风机、造雪机等物理特效设备的虚实同步,拍摄时可以通过实时引擎来控制这些设备的开关、功率、范围等参数,并通过传感器监测相关数据,同时将数据返回引擎,实时处理和调节设备运行参数。

这些交互方式大大提高了基于LED 背景墙的电影虚拟化制作的虚实结合程度,使得在面积有限的摄影棚中,创作者可以设计并实现更多类型的镜头。

7 总结与展望

目前,国内外影视制作领域都开始了基于LED背景墙的电影虚拟化制作探索,并且已经初步在影视剧集的拍摄中进行了应用,虽然目前还有些效果并不尽如人意,但是这种“后期前置”给现场拍摄提供真实的环境光照,提供所见即所得的自由创作环境的制作方式,相信在研究人员和从业者共同努力下,能够进一步完善相关功能,在制作效果上取得更大进展,从而带动电影智能化制作迈上新的台阶。