LED 电影虚拟摄制系统核心技术指标分析研究

刘知一

中国电影科学技术研究所（中央宣传部电影技术质量检测所），北京 100086

1 前言

LED 电影虚拟摄制技术起源于实时预演的需求，相比于传统基于蓝幕或绿幕的实时预演，LED 电影虚拟摄制系统通过LED 显示系统、高性能计算机图形渲染系统、摄影机跟踪系统、同步系统等技术手段协作，达到了真正意义上的“所见即所得”拍摄，规避了大面积蓝幕或绿幕造成的溢色问题，可以为实景提供高还原度的动态环境光照，为反射或透射物体提供正确的反射或透射影像，并能通过虚拟数字场景的快速切换，为电影主创人员带来逼真的沉浸式拍摄体验，极大地优化了影片摄制流程，提高了拍摄制作效率，已经成为电影虚拟化摄制的热点及发展方向。

LED 电影虚拟摄制与传统电影摄制相比，融合了大量的现代信息技术手段，在近年的实际建设和应用过程中，由于缺乏对LED 虚拟摄制整体系统架构和整体流程的深入理解，缺少LED 电影虚拟摄制系统中主要设备技术指标的研究，既导致LED电影虚拟摄制影棚的建设质量无法评估，也间接迟滞了我国LED 电影虚拟摄制影棚的建设进度。统筹考虑电影级别虚拟摄制需求和当前市场上相关产品的实际情况，明确主要设备及其技术指标建议，已成为推动我国LED 电影虚拟摄制影棚建设刻不容缓的环节。

2 LED 电影虚拟摄制系统组成

LED 电影虚拟摄制系统根据功能一般可以划分为9 个子系统，分别是：沉浸式LED 显示系统、渲染引擎系统、摄影机跟踪系统、同步系统、基础网络系统、灯光照明系统、视频数据处理系统、摄影系统、移动终端控制系统，如图1所示。

图1 LED 电影虚拟摄制系统组成

（1）沉浸式LED 显示系统：该系统作为显示背景墙，负责准确还原高画面质量的三维数字场景，显示尽可能逼真的电影级画面质量，并为摄影机拍摄在可用角度、抑制频闪和摩尔纹、可用光圈等方面提供尽可能高的宽容度，这取决于屏幕本身的像素间距、亮度、刷新率等基础因素，当然这些与显示系统的成本紧密相关。

（2）渲染引擎系统：LED 虚拟摄制技术建立在计算机图形实时渲染的基础上，它要求虚拟场景能随着真实摄影机的运动、用户的交互控制等实时变化。渲染引擎系统负责按照真实摄影机的跟踪数据，动态合成全部背景和内视锥画面，将合成的画面实时渲染到LED 显示系统上，从而实现这种实时变化，产生真实感强且具备交互性的背景画面。

（3）摄影机跟踪系统：该系统负责对拍摄现场物理摄影机的运动情况进行跟踪，对摄影机跟踪数据进行处理，解算得到物理摄影机位置与姿态运动等信息，并将这些数据通过数据接口导入到渲染引擎，渲染引擎根据提前标定的摄影机靶面、焦距等内参，结合摄影机跟踪系统传递的实时数据，驱动虚拟场景内的虚拟摄影机运动，实现虚拟场景与物理摄影机的同步切换与改变。

（4）同步系统：该系统通过同步锁相和帧锁定技术使摄影机跟踪系统、物理摄影机、LED 信号处理器、渲染系统等系统或设备都连接到一台主时钟，确保上述设备在拍摄过程中始终能保持同步，从而避免渲染画面、拍摄合成画面等出现“撕裂”现象。

（5）基础网络系统：LED 虚拟摄制现场涉及大量数据传输和实时操作，包括渲染系统的控制数据、摄影机跟踪和动作捕捉系统的动作捕捉数据、灯光照明系统的控制数据、现场监看数据等，基础网络系统负责为拍摄现场的数据交换提供基础。

（6）灯光照明系统：LED 屏幕虽然可以实现一部分光照功能，但一般用于显示的LED 灯珠光谱较窄导致其显色性受限，因此使用显色性更高的LED 灯光阵列或其他影视灯光设备作为主要光源，是LED虚拟摄制流程中不可或缺的环节。

（7）视频数据处理系统：数字时代电影制作更加强调前后期制作的融合，比如将调色等后期环节前置到拍摄阶段。视频数据处理系统主要融合数字影像工程师（Digital Image Technician，DIT）与初级剪辑调色的基本功能。

（8）摄影系统：摄影系统是电影拍摄所需要的最基本器材，包括主体摄影机、镜头、监视器、跟焦器等机身基础附件以及轨道、移动车、摇臂等。

（9）移动终端控制系统：该系统主要为现场工作人员，例如摄影指导、导演等提供基础的数字场景控制功能，可以简易调整数字场景中的数字道具和虚拟光照等，从而进一步提升拍摄时的协同工作效率。

3 LED 电影虚拟摄制通用流程分析

在建设和应用LED 电影虚拟摄制影棚时，通常包括系统搭建、前期开发、前期制作、现场拍摄、后期制作共5个部分。

与传统摄制流程相比，一是在前期制作阶段，为充分发挥LED 虚拟摄制技术预览的效能，增加了大量的虚拟场景制作及系统调试工作，包括虚拟内容生产、虚拟场景调试、摄影机跟踪系统调试、系统同步调试以及灯光匹配调试等，如图2所示。

图2 LED 电影虚拟摄制系统通用流程-前期制作

二是在前期开发阶段之前，还需要在摄影棚内完成LED 虚拟摄制系统的搭建，包括沉浸式LED 显示系统搭建、渲染引擎系统搭建、摄影机追踪系统搭建、同步系统搭建、基础网络系统搭建以及灯光照明系统的部署，如图3所示。

图3 LED 电影虚拟摄制系统通用流程-系统搭建

从上述通用流程中可以看出，在建设和应用LED 电影虚拟摄制影棚时，无论是系统搭建阶段还是前期制作阶段，相比较传统摄制流程，沉浸式LED显示系统、渲染引擎系统、摄影机跟踪系统、同步系统、基础网络系统更为关键。这五个核心子系统相关设备的基础指标，将决定LED 电影虚拟摄制影棚的先进性和可用性。

4 LED 电影虚拟摄制系统核心子系统技术指标分析

4.1 沉浸式LED 显示系统

沉浸式LED 显示系统包括LED 显示屏和LED 处理器，是LED 电影虚拟摄制系统中对拍摄效果影响最直接也是最昂贵的部分。该系统影响因素较多，主要包括：

（1）像素间距

像素（Pixel）是LED 显示屏上的最小可控成像单位，LED 显示屏上的每个像素由封装在灯座上的发光二极管构成，像素间距是指LED 显示屏发光单元间的物理距离。像素间距越小，图像的显示效果会更加细腻，虚拟摄制时物理摄影机离沉浸式LED 显示屏的距离也就可以越近，出现摩尔纹的概率越低，虚拟摄制的质量和灵活性也就越好。但随着像素间距的减小，同等面积LED 面板所需的灯珠及控制芯片将增加，控制芯片的增多将显著提高电路板设计和加工的难度，成本也将大幅增加。

因此，在选择像素间距时，还应根据实际场地大小，综合建设成本进行选择。场地越小，LED 显示屏总面积越小，则越应该选择小间距的LED 显示屏；场地较大，则可以选择点间距相对较大的LED 显示屏。

考虑目前市场上用于LED 虚拟摄制的主流LED显示屏像素间距及发展趋势，建议用于虚拟摄制的LED 显示屏点间距不大于2.84mm，在其他参数均等的条件下，尽量选择小间距。

（2）灯珠质量差异

每个发光显示单元的灯珠质量会影响到单个像素的最终显示效果，此外多个灯珠组合起来后，如果灯珠之间质量差异较大，也将造成LED 显示屏的整体亮度均匀度、色彩饱和度等方面的巨大差异，进而影响虚拟摄制的画面质量。对该指标的衡量，可以通过LED 显示屏的亮度/色度可视角度，以及亮度/色度均匀度来进行。

其中，亮度/色度可视角度是水平方向观察中心点的亮度下降到LED 显示屏法线方向亮度的一半时，该方向与法线夹角的2 倍称为LED 显示屏的视角。该指标将影响画面颜色的一致性和颜色准确度，为了满足摄影机倾斜角度的拍摄需求，可视角度应尽量大，一般要求不低于140°，才能为拍摄现场提供较为灵活的拍摄角度。

亮度/色度均匀度则是LED 显示屏的两个相邻箱体的亮度偏差/色度偏差。亮度/色度均匀度出现较大偏差，不仅会导致同一画面不同位置的亮度和颜色不相同，甚至会造成背景画面穿帮。通过对市场上主流产品的测试，建议选择亮度均匀度不大于5%、色度均匀度不大于0.006的产品。

（3）亮度

显示亮度是沉浸式LED 显示屏在显示方面最直观，也是对电影虚拟摄制影响最大的一个技术指标，显示亮度将决定虚拟摄制中物理摄影机光圈的选择与设定。当显示亮度足够高时，物理摄影机就可以使用更大的光圈范围，目前建议选择亮度不低于1000cd/m2的产品。

不过由于LED 显示屏当前主流采用多路复用控制方式，如果LED 显示屏过亮，也会使一些本该关断或低亮的像素点亮或过亮，从而在暗部图像产生伪影，这也是在选择LED 显示屏时需要仔细观察的因素。

（4）色域

色域是指LED 显示系统可以显示的颜色范围，色域覆盖率大小由LED 视频处理器的设置和性能、LED 显示屏三基色灯珠的光谱特性及发光亮度等因素共同决定。针对不同行业的应用，规定了不同的色彩空间标准和色域，如数字电视领域采用的REC.709，数字电影领域采用的DCI-P3，以及色域更大的BT.2020。沉浸式LED 显示屏所能支持的色彩空间标准和色域，是沉浸式LED 显示系统评估的重要指标。

通过对市面上主流产品的实际测试，建议选择DCI-P3 色域覆盖率不低于90%，且BT.2020 色域覆盖率不低于80%的产品。

（5）传递函数

人类的视觉对亮度感知能力并不是呈线性关系的，所有显示终端都需要设置一个合理的传递函数来进行映射，纠正亮度感知变化与实际亮度值变化不统一的问题，常用的传递函数值包括2.2、2.4、2.6等。

如果实际显示数值与设定数值偏差较大，则整体图像将出现偏亮导致层次感较差，或偏暗导致灰阶无法分辨的缺陷，严重影响整体图像的质量。

综合考虑主流LED 虚拟摄制显示屏的实测结果，以及电影行业关于显示端的相关要求，建议选择与设定值差异能控制在±0.10之内的LED 显示屏。

（6）位深

图像位深是图像能够承载更多信息的基本保障和核心参数。位深越大，图像所能承载的信息量就越大；当位深太低时，可能会导致出现明显色带，颜色显示不均匀。相应地，显示端也需要较大的位深处理和显示能力，才能够对应高位深的输入图像信号，将其完整显示出来。

例如，如果一个10bit 深度的图像输入至沉浸式LED 显示屏，10bit 深度图像理论上可以记录10.7 亿种色彩，而沉浸式LED 显示屏的深度只有8bit，即只能显示1677 万种色彩，无法将10bit 深度输入图像源的色彩信息全部显示出来，必然丢失很多色彩信息。

通过对市场上主流产品的测试，为实现更佳的摄影机内视锥拍摄效果，建议选择图像位深不低于12bit的产品用于虚拟摄制。

（7）扫描模式

LED 扫描模式是指采用多路复用控制方式的LED 显示屏，在一定的显示区域内，同时点亮的行数与整个区域行数的比例。LED 显示屏使用的驱动器IC 越多，一次点亮的灯珠越多，扫描数的分母数字就越小，LED 显示屏幕就可以更快地完成一次完整图像的刷新，对摄影机图像传感器更为友好，从而产生更平滑的图像而减少伪影。

目前，市场上主流产品大多已不低于1/16 扫，建议选择不低于1/16 扫的显示屏，推荐优先使用1/8 扫及更高的产品。

（8）刷新率

刷新率是每秒在LED 显示屏上重复出现完整画面的次数，一般来说如能达到80Hz 以上的刷新率，基本就可消除人眼的图像闪烁和抖动感，眼睛不会太容易疲劳，而在用于虚拟摄制时，则不能仅仅局限于满足消除人眼的图像闪烁和抖动感。

一方面，摄影机图像传感器与人眼相比，对较低的刷新率更为敏感，刷新率越高，摄影机拍摄下的LED 显示屏显示效果就越好；另一方面，由于LED 显示屏的显示特性，当画面需显示低灰度值时，脉冲调制信号将通过占空比增加，即增加低电平信号所占比例，实现LED 显示屏低灰度值的显示。刷新率不变的情况下，当占空比较高时，摄影机画面出现频闪效应的概率越大，严重影响实际拍摄。

基于目前市场上主流产品的性能，建议选择刷新率不低于3840Hz 的显示屏，推荐优先选择刷新率达到7680Hz的显示屏。

（9）反射率

反射率衡量LED 显示屏的显示面板和LED 灯珠对外界干扰光的反射程度，虚拟摄制现场中各类设备设施、道具、演员的反射光、照明灯等，叠加照射在反射率较差的LED显示屏上时，会导致画面对比度和层次感降低，画面显示的暗部细节丢失。因此，用于虚拟摄制的LED显示屏，应对显示面板和灯珠进行特殊工艺处理，降低LED 显示屏的反射率，减轻拍摄现场的外界光线对图像层次感和暗部细节的影响。

LED 显示屏的反射包括镜面反射和漫反射，通过对市场上主流产品镜面反射率和漫反射率的实际测试，建议选择镜面反射率不高于0.25%，漫反射率不高于5.30%的产品。

（10）LED 信号处理器性能与功能

LED 信号处理器和接收卡组成一整套链路，实现对LED 显示屏体的全面控制。电影级别虚拟摄制都会用到实拍高质量画面素材和三维虚拟场景实时渲染画面。沉浸式LED 显示屏输入信号的数据量大、位深高，这就对LED 信号处理器提出了非常高的技术性能要求。

LED 处理器的技术指标，包括性能和功能两方面，详见图4。其中，性能主要是处理器对高分辨率图像信号的支持、高带载像素的支持、高位深图像的支持以及信号处理的延迟。功能则主要是为拍摄现场调度提供灵活性和可靠性，包括亮度校正、色彩校正、HDR 支持以及处理器自身备份的支持。

图4 LED 处理器技术指标分析

综上所述，沉浸式LED 显示系统的技术指标建议如表1所示。

表1 沉浸式LED 显示系统技术指标建议

4.2 渲染引擎节点

实时渲染是LED 电影虚拟摄制能够顺利进行的关键步骤，它一方面负责构建虚拟场景、管理虚拟场景内资产，另一方面作为整套系统信息交互的中心，既要接收摄影机跟踪系统的空间位置信息，又要驱动高性能引擎节点完成场景实时渲染。

LED 电影虚拟摄制系统通常包含较大规模的LED 显示屏，单一渲染节点不足以驱动所有LED 显示屏，为此渲染系统必须具备多机同步渲染功能。

多机同步渲染技术的实现主要是通过为每台渲染计算机配置完全一样的渲染引擎软件与场景资产，并连接于同一局域网之中。基于网络协议发送启用同步渲染指令，实时传递外部输入数据如摄影机位置姿态、交互控制数据、同步信号等信息，来执行对应的渲染任务。

渲染引擎节点关键技术指标主要体现在：

（1）具备足够的计算能力，可以实现高分辨率、高精度三维数字资产的实时渲染。

（2）具备较高的网络吞吐能力，以支持高精度数字资产的多机同步渲染。

（3）具备较快的I/O 能力，以满足本机稳定运行渲染引擎软件与场景资产实例的要求。

基于作者所在单位在无锡国家数字电影产业园LED 虚拟摄制影棚建设的实践经验，渲染引擎节点的技术指标建议如表2所示。

表2 渲染引擎节点技术指标建议

4.3 摄影机跟踪系统

为了准确实时渲染摄影机的内视锥视图，LED电影虚拟摄制过程中，需要通过摄影机跟踪设备，跟踪真实世界中摄影机的运动，并通过变换矩阵，解算得到真实世界中物理摄影机位置与姿态，最终驱动三维场景中虚拟摄影机的同步运动。

摄影机跟踪是指对真实空间中摄影机的位置和姿态进行追踪的过程，包含空间位置信息X、Y、Z 和姿态信息横摇（Pan）、俯仰（Tilt）、横滚（Roll）六个自由度，一般简写为6DOF(Degree of Freedom，DOF)。在电影虚拟摄制过程中，这6个自由度的信息被实时传送至渲染引擎，为引擎中的虚拟摄影机，提供真实摄影机在三维空间中的位置和姿态信息，以及镜头参数信息，包括焦距、焦点和光圈等，依靠实时渲染技术，实现虚拟摄影机与真实摄影机的运动及构图的同步。

从实现原理上，摄影机跟踪技术可分为由内向外跟踪和由外向内跟踪。

（1）采用信标的方法都属于由外向内跟踪技术，通常采用光学跟踪方式，使用摄像头或其他传感器放置在一个固定的位置，面向被追踪的物体。典型的由外向内跟踪设备有Vicon、OptiTrack、HTC VIVE 等。

（2）由内向外跟踪不需要外部传感器或信标，被追踪对象需要搭载不同的传感器，利用算法来获取对象的精确位置。通常在由内向外的位置跟踪中，典型方法是将传感器绑在被跟踪的设备上，例如摄影机，从而实现追踪。典型的由内向外跟踪设备有Ncam、Mo-Sys、RedSpy等。

在摄影机跟踪技术中，跟踪系统的精确度是该系统最为重要的特性之一，系统精确度越高，由跟踪数据求得的摄影机运动，越能够真实地还原摄影机在现实世界中的运动。跟踪系统的鲁棒性则是指系统在标记点或跟踪传感器被遮挡情况下，跟踪系统能维持正常工作的特性。

参考《基于LED 背景墙的电影虚拟化制作中摄影机跟踪技术研究》[2]中相关实测数据、《XR 虚实融合制作系统技术要求与测试方法》[3]团体标准的相关技术要求，以及作者近期LED 虚拟摄制的实践经验，摄影机跟踪系统的技术指标建议如表3所示。

表3 摄影机跟踪系统技术指标建议

4.4 同步系统

LED 电影虚拟摄制系统中，同步包含了三个方面的含义：

（1）LED 显示屏的同步：LED 显示屏可能根据拍摄需要组装成任意形状，图像数据通过网线传输，不同箱体间的接缝可以精准对齐，因此不存在边缘图像重叠和混合的问题，不同箱体间的显示同步成为影响画面的主要因素。

（2）多机渲染的同步：在多机渲染系统中，所有渲染主机节点都必须严格遵循精确到毫秒的计时规定，以使得画面在视觉上无缝同步。不仅要让所有渲染节点都通过相同的模拟计时信息同时生成内容，而且还要让显卡缓冲区中当前图像和下一帧图像的画面交换操作在正确的时间发生，以防止实时渲染画面出现“撕裂”。

（3）整体系统的同步：在虚拟摄制现场，务必保证所有核心设备之间的高精度同步。每台设备如摄像机、渲染计算机和LED 信号处理器都带有一个内部时钟，即便两台设备完全一致，其内部时钟仍可能互不同步。如果未能统一，将导致显示方面的问题，如画面撕裂等。

LED 电影虚拟摄制系统一般推荐采用同步锁相（Genlock）加上帧锁定技术，使摄影机、LED 信号处理器、渲染系统等设备都连接到一台主时钟，确保所有接收或记录数据的设备在拍摄过程中保持同步。

从系统整体角度出发，应要求关键设备具备支持同步锁相的能力，故同步系统技术指标建议如表4所示。

表4 同步系统技术指标建议

4.5 基础网络系统

LED 电影虚拟摄制影棚的基础网络，从目前需求层面上，一般不涉及三层路由、访问控制列表（Access Control Lists，ACL）等复杂配置，部署阶段主要是硬件和连线层面的搭建，包括：汇聚交换机、接入交换机、无线接入点（Access Points，AP）的硬件部署；各类设备与接入交换机间的线缆连接及丢包测试，包括网线、光纤线等；POE 设备的连线及测试；无线网络的配置及测试；各类设备IP 地址段的划分、配置与测试等。

但另一方面，由于虚拟摄制过程中需要对大量的高分辨率、高精度三维数字资产进行实时多机渲染，因此需要棚内基础网络提供高速稳定的数据吞吐，以解决虚拟摄制的高带宽需求，并可在此高速内部网络上，通过有线和无线相结合的方式，承载影棚内部的视频数据处理、多部门实时监看等需求。同时，还需满足拍摄现场部分POE 设备（例如追踪摄像头）的支持。

为此，对虚拟摄制影棚的基础网络系统，主要考虑网络设备的端口数量和速率等，其技术指标建议如表5所示。

表5 基础网络系统技术指标建议

5 结束语

全球LED电影虚拟摄制影棚建设方兴未艾，国内电影级别的LED虚拟摄制影棚尚处在孵化期，关于对LED电影虚拟摄制系统整体架构的理解，相关设备的技术规范，应用虚拟摄制影棚开展电影拍摄的通用流程指南以及相关人才队伍建设，目前国内和国外尚有较大差距。本文以LED电影虚拟摄制系统组成、LED虚拟摄制通用流程为出发点，对LED电影虚拟摄制系统中沉浸式LED 显示系统、渲染引擎节点、摄影机跟踪系统、同步系统、基础网络系统主要设备的技术指标进行了研究分析，并根据当前LED虚拟摄制的实践经验提出了具体建议，可为LED电影虚拟摄制影棚方案设计和系统建设提供有益参考。