变革及隐忧：基于数字视觉资产及图像引擎的虚拟制片技术

杨 明

一、影视虚拟制片与影游联动中的技术结合

虚拟制片是最近几年新出现的一种影视制片技术和流程管线，盟图（MPC）将其定义为：“虚拟制片将虚拟现实和增强现实与CGI和游戏引擎技术相结合，使制作人员能够看到场景在他们面前展开，仿佛这些场景就是在实景合成和拍摄的。”1进一步说明，虚拟制片是以图像引擎承载的视觉数字资产在阵列式的LED屏进行影像投射实现虚拟现实成像，通过整合图像引擎的现场动态布光及混合虚拟制景，再通过虚拟摄像机与物理摄像机的匹配拍摄输出，最终在导演的监视器中以机内特效实时呈现的一种视效前置技术和流程。其中虚拟现实呈现的现实边界设备为LED屏，LED屏的使用可以极好的代替传统制片流程中的绿幕抠像后期合成这一环节，且LED屏所投射出来的是图像引擎中创作的具有三维纵深的透视空间环境。采用图像引擎的虚拟摄像机和现场物理摄像机同步的功能，LED屏的画面可以根据摄像机机位的运动进行调整，使摄影机始终能够拍摄到同步透视关系的画面。采用LED屏最大的优点是背景成像画面已经是制作好的视效场景，摄像机拍摄出来的画面在导演监视器上实现了多年以来影视制作者一直希望呈现的（摄像）机内特效。同时，当需要使用传统绿幕抠像合成拍摄的时候，LED屏幕又可以切换为非常完美的绿幕背景。

而图像引擎和视觉数字资产是虚拟制片中虚拟现实中虚拟边界的两个最重要的核心元素。当前虚拟制片所采用的图像引擎主要是基于游戏开发的游戏图像引擎，其经过计算机硬件和软件技术的不断迭代后，最终游戏引擎成像视觉效果达到了影视高质量创作要求的边缘所进行的一次跨界融合。这种跨界融合有这两个行业对彼此优势，也是自身痛点消解的天然诉求，同时也是二者在各自领域的一次技术革命的联动。从游戏行业来说，游戏最大的特点是要求其互动画面始终保持实时性，为了实现这种实时性，游戏行业在诞生初期为了给用户最好的实时交互性体验，以牺牲游戏画面的视觉效果质量来弥补软硬件技术在成像效率上的不足。随着软硬件技术的不断迭代升级，硬件GPU和图像引擎可以以非常高的质量实现RTX（实时光线追踪）算法的成像效果之后，游戏画面也从最初的马赛克般低质量视觉效果提升到接近影视表现水准的高质量画面效果。影视制作从诞生伊始，就以视觉效果质量为创作水准的一个重要指标。为了要实现这个目标，它最终呈现的视觉效果和现场拍摄成像效果分离，呈现一种线性的异步提升流程。而制片团队对现场画面视觉效果呈现的实时性需求，也同样因为技术限制而不能实现。因此和游戏行业相反，在影视领域视效成像质量为优先，暂时放缓了对视觉效果实时呈现这一诉求。但是放缓并不代表不需要，同样也是随着计算机软硬件技术的迭代升级，影视行业的视效制作从绿幕后期再到灰盒模型进行故事板预演，最后到探索使用游戏引擎进行虚拟采景和拍摄预演的过程中，走到了游戏引擎的实时性和成像质量完全能满足影视对这二者需要的交叉点上。迪士尼的王牌IP的衍生影视剧《曼达洛人》（The Mandalorian）对使用图像（游戏）引擎及LED屏等系统集成虚拟制片管线的成功运用，宣告了影视制片的一次新技术革命拉开了帷幕。在《曼达洛人》的制片过程中，有超过50%的镜头都是采用这种LED屏加虚幻引擎使用数字视觉资产制景的方式进行拍摄的。制片组为现场提供了一个约6米高，23米宽的由1326个阵列式LED屏组成的270°半圆形混合制景摄影棚进行表演和拍摄，LED屏幕上投射的是由虚幻引擎加数字视觉资产实时虚拟制景的内容，或者是提前创作好的图像制景场景（如图1）。

图1.《曼达洛人》虚拟制片环境

在拍摄表演过程中，《曼达洛人》的演员不再是面对绿幕进行想象中的无实物环境的表演，而是和真实环境融为一体的沉浸式表演。同时，演员身穿的高反光度的铠甲，也因为LED屏所投射出来的真实包裹环境在铠甲上有了真实的反射（如图2）。在以往的绿幕加后期特效合成的制片流程中，不但需要处理背景绿幕上的合成影像，特效师还需要花大量的时间和精力使用动态跟踪技术，抠像技术，校色等复杂的技术手段处理该类角色身上的镜面绿幕反射，合成匹配环境的高光镜面反射效果。而在LED屏前虚拟制片的流程中，已经完全不需要这一环节的处理。

而对于《曼达洛人》剧中LED屏幕内的科幻场景视觉呈现内容（如图3），制片团队的所有部门因为其实时可视化特征，不但做到了对这些科幻场景道具心中有数，而且所有部门都可以随时根据现场拍摄需求进行实时的调整。比如道具部门可以对现场的虚幻引擎工程师提出增加或减少虚拟场景内的道具，物品摆放的遮挡关系等制景需求；灯光部门也可以灵活直接使用虚幻引擎调整虚拟环境中的光照效果，色彩倾向等内容，用LED屏照明所产生环境光融合表现效果来影响真实环境中的角色和现场制景，从而减轻对真实环境中布光的依赖来提升创作效率；导演也可以实时在虚拟制景中调整产生出新的效果与新的艺术创作思路，迭代出更好的视觉奇观。这一切的安排布置，都如同在以往游戏中搭建一个虚拟的世界一般所见即所得。

虚拟制片中最革命性的应用是对游戏引擎在制片管线中的使用，也是影游联动这一概念在技术层面应用的体现。除了将影游联动这一概念连接起来，引擎成像的承载物——数字视觉资产也与元宇宙概念的核心元素的3D数字资产之间产生了交织关系。有研究者将元宇宙表述为“一种具身化的互联网（embodied internet），你不仅可以观看它，还可以置身其中。我们将这种互联网称为元宇宙，而它将涉及我们所开发的每一款产品。元宇宙的决定性品质将是一种在场感——就好像你真的与另一个人在一起或是真的在另一个地方。”2这些描述的“在场感”是元宇宙的最为重要的实现要素之一，但这种“在场感”需要提供一种非常强烈但又极其真实自然的沉浸感，使连接者能够平滑且无排斥的认可这个虚拟空间。元宇宙虚拟世界中由引擎及数字视觉资产构建的环境空间成像质量直接决定了这一体验的感知反馈。

基于此，图像引擎和数字视觉资产已经是游戏行业不可或缺的最重要基础，图像引擎和数字视觉资产也必定会在未来影视行业及元宇宙相关领域中扮演重要的角色，由此，我们要对这两个重要环节引起足够的重视和提前布局站位。

二、虚拟制片的多线并发，视效前置与电影沙盒

图2.《曼达洛人》中LED屏在盔甲上产生的真实反射

图3.《曼达洛人》现场实时科幻场景的虚拟制景

奇观作为电影的一种最重要视觉特征之一,不论是对真实环境的还原，还是再现历史的重要时刻，以及表现未来或者超现实的奇观盛景，从电影诞生之初就一直是电影从业者想要展现给观众的一个重要内容。影视从业者探索和发展出了从最初的现场布景搭建到使用绿幕技术进行后期合成的一系列视觉特效技术，以期实现想要表现的视觉奇观景象。虽然现场布景的方式到现在还在被广泛使用，但这种经常只为一两天拍摄一个一次性场景，而花上数周时间进行搭建，布置灯光道具装饰，并在拍摄完成后又需要进行拆除工作的工程，不免耗时耗力且效率极低。此外，有些奇幻场景的布景仅靠现场制景的方式是无法实现的。其后，随着计算机影像后期合成技术的发展，现场布景加绿幕拍摄后期合成的制片方式又较传统方式更进一步。但是，绿幕溢出、演员面对绿幕表演体验较差、绿幕对环境光源和色温的影响、如果现场布景中有大量反射物体不能产生较好的反射效果，则需要大量的后期处理制作等问题。从流程上看，后期等前期，前期环节不可逆的线性制片方式也一直是影响制片效率和成本的重要因素。最新的虚拟制片以全新的创作流程管线对影视行业的视效技术制作流程产生了巨大的变革。虚拟制片流程中一个重大改变是将原来影视制作的线性制作流程调整为多线并发式的协同工作流程，而多线并发中的最重大的变化又是将大量的前期拍摄，后期处理加入特效的异步制作模式变成了在拍摄现场实时的同步镜头内特效的视效前置流程。

多线并发和视效前置的虚拟制片流程模式的出现，其本质上还是技术革命催生出流程变革。其中最关键的一个因素是计算机GPU硬件技术的巨大进步，及原来作为游戏引擎的实时显示成像质量对影视视效需求的逐渐适配。作为影视虚拟制片的视觉资产承载平台EPIC公司的Unreal Engine虚幻引擎随着产品不断的迭代，打破了一系列技术瓶颈后而最终在影视制片中实用化。虚幻引擎应用最新的硬件GPU中的RTX（实时光线跟踪）运算技术解决了虚拟空间成像中光线实时反射的问题；虚幻引擎5的Lumen（动态间接光照）光照系统解决了虚拟空间中光线的实时间接照明问题；虚幻5引擎的Nanite（虚拟微多边形几何体）技术解决了虚拟数字视觉资产模型面数限制问题；而和虚幻引擎同出一门的Quixel（摄影测量资产库，2019年被EPIC公司收购）解决了虚拟空间中数字视觉资产的来源库问题，该资源库不仅仅是在资源数量上的优势，而且因为采用摄影测量的技术对现实中的环境和物品进行极高精度的数字还原，同时还因为解决了制景当中资产复用的问题（一旦创建了一个数字视觉资产，可以反复从库中进行调用甚至是迭代优化），极大地提高了生产效率和降低了制作成本。以上限制游戏引擎成为高质量实时图像成像输出平台的痛点逐一被解决，从而达成了长久以来影视制作对实时成像机内视效各个条件的满足。

虚拟制片在流程上的改变极大地提高了制作效率，但是也需要注意到通过LED屏视效前置的方式进行现场特效制作的流程。如果需要在后期上进行再处理，其后期修改调整性上可能不如传统的蓝幕绿幕抠像的后期处理方式方便。这一流程的特殊性和对多线并发团队协作制作的要求，需要当前国内的影视制作团队调整以往已经觉得顺理成章的拍摄步骤，同时也是对制作团队将视效处理前置的决心和执行力的考验。这对创作技术管线提前规划并让团队良好协作运转提出了较高的统筹要求，这也正是未来中国影视制作行业在技术背景下需要迭代升级的重要一环。如果影视制作团队能以此变革为契机，使团队的生产管线走出那个其实并不舒适的舒适区（视效处理后置），那么中国影视制作行业和世界先进影视制作行业在面对新技术革命的同一起跑线的时，或许借此契机实现行业制作技术的迭代升级，甚至能在局部实现弯道超车。

虚拟制片的特殊创作管线打破了传统制片的线性流程，但对于视效前置和数字视觉资产在LED屏现场实时呈现的这一环节，其中最核心的部分就是要求大部分特效镜头需要在创作前期就要完成大量影片内容相关的视觉数字资产制作。“数字资产是一笔巨大的资产。越早在起始环境中添加代理元素或最终镜头元素，就越能提前降低创造过程的风险，并呈现出与导演设想最接近的版本。但这一全新的工作流程要求必须提前准备好所有用于虚拟制片流程的视觉数字资产内容。”3基于此，对于需要哪些数字视效资产，怎样准备这些数字视觉资产，整个团队，特别是导演需要建立一个“沙盒”概念。“沙盒”概念最早来源于计算机的一个安全机制，用于创建一个拟真的隔离环境进行程序实验，而游戏中的“沙盒”类游戏既是对虚拟世界的创建与交互。因为使用的是同样的技术概念进行虚拟环境的创造，在影视虚拟制片中所需要建立的是一种以图像引擎为中心，使用数字视觉资产构建的一个“电影沙盒”虚拟世界。“电影沙盒”这一全新的概念，“意味着导演将摆脱传统流程中繁杂的对接沟通环节与特效合成环节，不再需要一遍遍通过半成品预览来单独确认各镜头、各场景的呈现效果；而是以即时可见的形式，在拍摄现场便可以将自己的创作构思呈现在所有人眼前，同时在创作上实现更多的尝试、创造更多的可能”。4这一个概念的建立和运用，才能让整个影视制作团队在虚拟制片多线并发，视效前置的流程管线中进行良好的工作。

三、虚拟制片技术的革命及隐忧

前文已经阐述了虚拟制片的优势及已经逐渐显现的对影视制片行业流程革命性影响。国内外的影视相关行业创作者及学界都普遍对其持积极乐观的评价，认为是影视制片创作历史中的又一次巨大的进步。但是在这盛誉之外，我们也需要关注到未来图像引擎及数字视觉资产内容在影视制片甚至是更广泛的领域内可能会出现的隐忧。

首先，需要对元宇宙，游戏及影视行业等涉及数字视觉资产概念的重新梳理，资产或者说是数字视觉资产的概念在当前的表述并不精准，这里面既有视觉数字资产产生的历史沿革问题，也有当前对于元宇宙及虚拟技术概念及标准理解的混沌与不统一。已有相关研究指出：“目前中国的电影行业还没有一个全面、系统、可检索且具有知识产权的数字影像资产库。”5在面对未来庞大的数字内容创作的生产环境，对于“数字资产标准化体系。首先，需要建立数字资产及相关术语的基础类标准，统一和规范名词术语，有利于数字资产相关工作人员及读者、编者使用标准化语言更好地沟通和交流”。6例如，现阶段不论是影视行业中为视觉特效构建所涉及的各种模型及相关静态动态内容，还是在游戏引擎中构建的地图环境道具等各种模型、特效等基于计算机生成的图像都统称为“资产”(Assets)。这一表述在视觉内容创作相关行业或许能被从业者达成共识，但是从元宇宙及更广泛的领域来说，这个概念极易与基于区块链的具有金融支付概念的数字资产(Digital Assets)相混淆。前者是基于图像的视觉呈现，而后者则是大相径庭的虚拟支付手段。如果单单只是对视效行业涉及的图像模型类数据统称为“资产”，那么这一名称其实并不精准且易产生误解。建议将该概念涉及的内容称谓为“数字视觉资产(Digital Visual Assets)”或者是按照Quixel资源库中的标注称为“3D资产(3D Assets)”，以将三维模型类数据和二维图像，视频类的“2D资产(2D Assets)”区别开。除以上这个比较重要的概念需要进行梳理和统一标准外，还有包括对游戏(Game Engine)引擎这一概念在跨行业的大量应用的背景下，是否应该就使用“图像引擎(Graphic Engine)”这一统一称谓进行表述。这一系列相关问题，需要行业协会，研究者等对涉及数字视觉资产内容在影视和游戏及元宇宙设计领域上不同标准的制定和统一。

其二，从使用平台的独占性来看，国内外几乎都主要使用EPIC的Unreal Engine虚幻引擎进行虚拟制片项目的生产平台。从本质上来说，虚拟制片的核心就是图像引擎平台下的虚拟环境拍摄，虚拟环境的核心内容就是对各种数字视觉资产的布景。EPIC当前免费提供了最核心的两个内容：高质量的图像引擎（基于Nanite技术的新版UE 5虚幻引擎）和海量的数字视觉资产库Quixel。EPIC在2019年收购Quixel的时候，甚至为之前的付费用户进行了退费的处理。也正是这种从生产平台到资源的完全免费行为，极大地推动了更多用户加入了EPIC主导的以虚幻引擎为系统集成中心的生产管线的流程中。然而资本市场一次又一次的证明：免费的才是最贵的，虽然EPIC在现在的许可申明中表述：“虚幻引擎在创作线性内容（如电影）以及定制和内部项目时是免费使用的。在许多游戏开发用例中也是免费使用的，只有当你的作品营收超过100万美元时，才需要就超出部分支付5%的分成费用。”7这种高质量且免费的产品和资源库，既可能推动影视行业技术革命，也有可能会在未来某一时刻形成技术壁垒而将不符合其“技术协议”的任意影视行业技术平台的命“革”掉。正如北京电影学院使用虚拟制片技术拍摄了《异星救援》的团队所言：“LED屏虚拟拍摄的技术和流程并没有从国外真正引进国内，涉及的多项核心技术没有共享，主要依赖国内少数特效公司和团队摸索。”8对可能形成行业技术垄断性系统和资源的使用和发展，都是值得思考和研究的。更深层的在于，EPIC已经完成了围绕Unreal Engine图像引擎为中心的生态系统的闭环建立。正如Forrester市场咨询公司的调查报告所述：Epic一直在努力构建一个互联的工具生态系统，希望为创作者带来更多的可能性。9其产品生态链已经形成了包括：Unreal Engine虚幻引擎，Twinmotion可视化工具，世界上最大的照片级3D扫描资产库Quixel Megascans，可以快速创建出逼真的数字人类的完整框架的MetaHuman，用图片和/或激光扫描数据创建出极为逼真的3D模型的RealityCapture，以及具有售卖、展示、分享、交流各种媒体艺术作品的商业及媒体交流平台：Sketchfab、ArtStation、《堡垒之夜》和虚幻商城等。其中和影视虚拟制片息息相关的是Unreal Engine虚幻引擎和照片级3D扫描资产库Quixel Megascans，现阶段该平台具有数以万计的各种分辨率的高质量数字视觉资产，可以在虚幻引擎中进行影视级场景的布景构建。

图4.电影《曼达洛人》海报

除以上两点之外，还有一些其它因素是现阶段虚拟制片还存在的技术问题和需要梳理迭代解决的问题，如从屏前混合来说，LED屏幕与地面的直角关系难以完美的融合，仍然需要在布景的时候考虑和精确设置遮盖屏地接缝线的前景，中景的不同层次布景方案。而从拍摄内容来说，对于有屏前爆炸破碎的现场物理特效镜头，其产生的碎片对LED屏和相关设备都会产生破坏，这一类的镜头现阶段并不适合采用虚拟制片技术进行制作。对拍摄视场来看,要达到符合要求的拍摄景别，LED屏搭建高度不宜过低，否则会影响拍摄效果。LED屏的搭建高度至少不低于6米，最好能达到10米以上的高度。从灯光方面来看，现场环境光对LED屏幕也有一定的影响，现场布光如果离LED屏过于接近，可能会影响LED屏的图像成像质量。而将LED屏幕作为光源也会有一定的问题，在拍摄《曼达洛人》的时候，因为沙漠环境是非常强烈的硬光源，但是LED屏幕内容作为环境光线的照度不足光线普遍偏软，就需要在现场进行增强补光，而这种较强的硬光源补光往往会影响LED屏图像成像质量效果，同时还要考虑屏前光源和主光源的关系等问题。此外，还有虚拟摄像机和实景摄像机运动同步匹配问题，灯光捕捉匹配现阶段也还有较多问题。对于引擎的实时渲染算力问题，现阶段在资金充裕的情况下可以用GPU集群的算力池来解决，如果条件有限，也可以使用物理摄像机和引擎进行拍摄范围内资源有限更新进行解决。以上这类技术问题，相信随着虚拟制片技术的成熟和大规模普及，影视配套产业也会逐渐将资源转移到这一领域中不断迭代升级，从而逐步解决。技术类的问题大部分都可以通过技术迭代和硬件升级得到解决，而前面提到的虚拟制片行业平台及资源库标准的制定和管理问题，以及相关产业链建立和完善却是更加亟待顶层统筹考虑规划的一次行业整体升级。

结语

基于图像引擎和数字视觉资产，LED屏的虚拟制片技术即将深刻的对影视产业在创作流程和技术层面产生重大的变革和影响。正确认识和推广影视虚拟制片技术，可实现对不同规模的影视产业团队的效率提升和局部弯道超车，最终促成国内影视生产创作的技术的迭代且与国外先进技术局部并行。在这一变革过程中，也需要行业顶层设计尽早的指导制定出关于虚拟制片的行业规范及标准。特别是涉及广泛跨行业应用的数字视觉资产内容，需要联合多个行业共同制定不同领域的视觉数字资产的行业的应用标准，避免虚拟制片产业变革初期，因为技术标准和设备标准的模糊而不必要的“踩坑”浪费资源和干扰生产效率。

同时，除了对技术标准和硬件标准制定等规范性内容进行相应的探索外，还需要考虑产业升级迭代过程中的安全性问题，从近几年的影视行业的应用案例以及国内外相关研究及行业报告等来看，在图像引擎的应用上来看几乎都是围绕着基于EPIC的Unreal Engine虚幻引擎展开，且大部分的3D数字视觉资产也是在该平台上进行集成。另一个主流图像引擎Unity在影视虚拟制片上的应用上还较少，但也在其它不同层次的影视创作中被广泛应用。这两个最广泛应用的图像引擎都是国外的产品，国内还没有类似的拥有完全自主知识产权的同级别产品。在全产业链的某一个关键环节对单一平台产生深度依赖，始终是值得注意的一个问题。不论是在虚拟制片环节，还是在各个涉及影视制作技术和平台的环节，为行业和从业者提供更多的平台和选择，确保影视及相关产业在友好的环境中得以良性发展，都是最优的解决方案。

除了对虚拟制片平台集成系统的研发问题，还需要尽快建立健全拥有我国自主知识产权的数字视觉资产内容产生及运营，管理的产业链。已经有研究者提到：电影数字资产得以有效运作，并能够使之产生持续性价值的一个关键性问题是需要有一整套“数字资产管理”（Digital Asset Management 缩写为：DAM）体系。管理体系的建立有助于更好地激活数字资产的潜在价值，同时，也是构成当代电影工业体系的重要保障。10数字视觉资产作为虚拟制片，以及影游联动的游戏行业，甚至是面向元宇宙概念产业链中最重要的内容提供变量。我国其实在这个领域已经有大量的前期积累，但是数字资产的创作销售还没有形成较为完善的分类标准，也还未有类似EPIC,Quixel这样进行数字视觉资产的分类营销的整合系统及平台。需考虑提前设计布局将市场和行业，个人创作者整合，创建一个集影视、游戏、特效、3R（AR/VR/MR）、元宇宙资源标准化的分类销售平台、以实现数字视觉资产最重要的复用性这一重要特性。

虚拟制片带来技术和流程变革也会在未来全面影响影视行业和相关上下游行业的产业模式和人才结构配置。随着生产流程的改变，传统的一些影视制作流程中的技术会逐渐式微，并且使涉及的人员向新的技术洼地流动。在人才培养方面，高等院校影视专业也需要提前站位布局，持续地打破传统的学科边界，影视专业学科在探索虚拟制片技术的同时，也需要更多的和数字媒体，游戏动画等专业进行交叉融合。数字媒体，游戏动画专业也需要扩展学科边界，为自己专业的学生拓展更广泛的出口路径，为视觉表现、视觉娱乐、视觉互动等在未来可能形成的，边界更为模糊的新兴学科提前做好人才培养的储备工作。

【注释】

1 Noah Kadener.The VirtualProduction Field Guide[M].Cary NC：Epic Games,2019:3.

2 车致新.电影、游戏、元宇宙：交互界面的媒介谱系[J].当代电影，2021（12）：27-32.

3 丁宇.LED屏虚拟拍摄与中国电影工业发展——《异星救援》的创作实践探索[J].当代动画，2022（03）：96-103.

4 刘笑微，袁率.“电影沙盒”——虚拟制片技术下的导演创作[J].北京电影学院学报，2022（07）：116-122.

5 陈奕.全流程实时可视化：电影数字虚拟制片的创新与突破[J].电影艺术，2022（03）：116-124.

6 华希,兰红丽.影像数字资产标准化需求研究[J].中国市场监管研究，2022（02）：45-47.

7 EPIC官方网站:下载指南https://www.unrealengine.com/zh-CN/download

8 同3，97.

9 EPIC官方网站:Forrester年度报告：2022年实时3D技术如何造福企业https://www.unrealengine.com/zh-CN/forrester-report-2022.

10 中国电影科学技术研究所(中央宣传部电影技术质量检测所).数字资产创建管理复用有效服务现代影视制作[J].现代电影技术，2022（05）：62-63.