扩展虚拟技术赋能《黄河魂》节目录制——XR技术在大型综艺节目中的创新应用

刘华健 陈 楠

1.2.内蒙古广播电视台 内蒙古 呼和浩特市 010050

内蒙古广播电视台推出弘扬中华优秀传统文化大型综艺节目《黄河魂》，以黄河述中国，以非遗呈华夏，深入挖掘黄河文化的时代价值，讲好黄河故事，以黄河沿线独具风采的非物质文化遗产为载体，大力传承中华优秀传统文化。此次《黄河魂》的录制是内蒙古广播电视台首次在大型综艺节目中使用XR（扩展现实）技术，运用新兴技术赋能节目制作，利用1400m2演播厅大舞美与扩展虚拟场景相结合的方式，实现沉浸式表演、全媒体融合表达，在黄河两岸非遗项目展示中充分体现出空间无限大、创意无限新、互动无限近的优势，在演播厅内生动地还原非遗文化的原生态风貌，切实把中华美学精神和当代审美追求紧密结合起来，为广大观众呈现一场异彩纷呈、美轮美奂的视觉盛宴。《黄河魂》节目播出场景如图1 所示。

图1 《黄河魂》节目播出场景

XR 技术是一种基于LED 大屏幕构建的虚拟场景和舞台现实场景相结合的节目制作方式。通过摄像机跟踪与实时图像渲染技术，对显示介质LED大屏幕及LED 大屏幕以外的虚拟场景进行实时跟踪，将摄像机实际拍摄到的LED 背景屏内画面与计算机构建出的虚拟场景完美融合，从而创造出无限空间感。为了能使虚拟部分和现实部分相结合，一般在LED大屏幕系统、跟踪系统、实时渲染播控系统支持下完成XR 制作。本文详细介绍了《黄河魂》录制中XR 技术的演播室实施方案。

1 LED大屏幕系统

LED 显示屏作为XR 场景呈现的核心设备，其类型的选择、匹配，以及场景布局设计对最终节目效果的真实呈现有着较大的影响。LED 大屏幕通常采用立屏+地屏的组合方式，其主要功能是对渲染子系统输出的虚拟场景视频进行显示。与常规的搭建方式不同，《黄河魂》中的LED 大屏幕搭建既要能作为进行XR 制作的景区使用，又要与舞台整体相融合，供常规节目制作使用。节目创作初期，技术团队与导演组针对舞美设计方案进行深入沟通，最终决定把弧形背景屏与地屏融合，提升演播厅整体的舞美效果。

弧形背景屏长24m， 高7.5m，实测面积为161.25m2，地屏长20m，宽17m，实测面积为255m2，整个LED 大屏空间面积为416.25m2。弧形屏、地屏均采用点间距为P2.6 的大屏，有效避免了拍摄时摩尔纹的出现，同时弧形立屏的使用使拍摄空间大、拍摄角度广，摄像机的运动范围达到最大，缩小了摄像机视角平行于LED 屏幕时产生的颜色显示偏差。播控服务器输出2 路4K 信号至背景屏，输出1 路4K 信号至地屏，整体达到4K 的显示效果。《黄河魂》舞美设计图如图2 所示。

图2 《黄河魂》舞美设计图

2 跟踪系统

跟踪系统是XR 制作的重要组成部分，主要功能是对摄像机位置、镜头参数、演员位置、道具位置进行实时获取，将摄像机位置与镜头参数数据映射至渲染服务器中的虚拟摄像机，使真实摄像机与虚拟摄像机的运行轨迹保持同步，从而使输出的虚拟场景内容随着摄像机的移动实时变化。在XR制作中常用的跟踪方式有机械跟踪和光学跟踪。机械跟踪是在云台上安装物理设备，通过空间中的一个点跟镜头的推拉、云台的左右或者上下来计算相对位移，把位移信息传导到传感器，以此来确定摄像机在空间中的位置。光学跟踪是通过在大屏幕的边框、影棚的顶部或地面粘贴一些感光点，在摄像机端绑定数据收集和检测设备，通过光学检测来确定摄像机在空间中的X、Y、Z 位置。跟踪系统是XR 系统配置非常重要的组成部分，需具备定位精度高、延时低的优势特性，保证跟踪精确度和跟踪可靠性。在《黄河魂》节目制作中，演播室共架设12 个高清机位，其中包含3 个虚拟机位，分别为1 个大全景固定机位、1 个电动升降移动轨道机位、1 个轨道摇臂机位。3 个虚拟机位采用光学跟踪和机械跟踪相结合的跟踪方式，2 个移动机位采用光学跟踪方式，配置2 套Mo-sys 跟踪系统Star Tracker，1 个固定机位采用机械跟踪方式，配置1套Gension 的机械跟踪系统。绑定在摄像机端的Mo-sys 镜头编码器对演播室顶部随机分布粘贴的反光贴进行图形识别，Mosys 跟踪服务器将数据传送至Disguise 媒体服务器，媒体服务器接收到摄像机跟踪数据后，根据Mo-SysF4&FreeD 数据协议解析二进制数据代码，将其转换为X、Y、Z 三轴的位移旋转数据，同时将数据匹配到服务器中的跟踪摄像机上，从而获得与真实空间完全一致的虚拟空间位移。跟踪数据实时获取界面如图3 所示。

图3 跟踪数据实时获取界面

此次《黄河魂》录制中，内蒙古广播电视台首次使用主动式红外光学跟踪方式进行虚拟制作，制作前期，根据实际使用面积在1400m2演播室顶部粘贴了800 个反光贴，但在空间校准的过程中发现，由于部分反光贴被灯杆遮挡，导致追踪的准确性下降，经技术团队研究决定，通过增加反光贴数量来解决这一问题，反光贴由前期的800 个增加至1200 个，实现主屏幕和观众席全覆盖，从而提高了跟踪精度。主动式红外光学跟踪方式快速便捷，大大节省了校准的时间，而且对于运动机位来说跟踪精度高，虚拟摄像机与真实摄像机位置之间的误差会大大缩小。

3 实时渲染播控系统

实时渲染播控系统是进行XR 制作的核心设备，主要有两个功能：一是通过实时渲染引擎对各种前景和背景三维模型、图片、视频和文字效果进行制作、渲染并输出至LED 大屏幕系统；二是将接收拍摄信号与舞台大屏幕延伸拓展的虚拟视频融合，输出虚实融合视频。在选用渲染服务器时要考虑空间校准能力、延时校准能力、颜色校准能力、多机位切换能力以及界面友好、软件操作情况。在《黄河魂》的制作中，部署了2 套Disguise 渲染服务器、1 套Disguise 媒体服务器，3 台设备通过25Gb 光纤网络交换机连接，可以实时渲染传输无压缩视频，以保证实时渲染视频高质量、低延时输出。虚实融合后的XR 视频信号通过播控服务器输出至演播室视频系统切换台，供导播使用。MR信号和AR 信号通过播控服务器送至多通道录制服务器，供后期剪辑人员使用。同时，播控服务器输出3 路虚实融合4K 信号至LED 大屏。通过Disguise 媒体服务器的集中控制，可以自动化地实现多设备间同步校准、3 个虚拟机位无缝切换、镜头文件自动生成，从而协助技术人员高效准确地完成XR 虚拟制作。《黄河魂》中首次采用Unreal Engine5.1 版本进行XR 场景制作，渲染效率更高，色彩呈现更好。在每场XR 节目制作前，都要通过操作软件完成空间校准、延迟校准、颜色校准，以保证屏内部分与屏外XR拓展部分在合成视频内的拼接误差≤5 个像素，屏内部分与屏外XR 拓展部分在合成视频内的时间延迟≤20ms，LED 显示的颜色拟合还原为引擎渲染的原色，确保实拍画面的整体统一。XR 制作工作流程图如图4所示。

图4 XR 制作工作流程图

4 演播室XR制作思考和展望

《黄河魂》中XR 虚拟制作技术的成功运用成为内蒙古广播电视台一次重要的技术革新，突破了传统实景演播室空间的局限和创意实现方式的限制，给观众带来了集科技力量与艺术美感于一体的视觉享受。在落地实施的过程中，也给我们带来了一些思考：一是XR 演播室建设需要大量的专业设备和软件支撑，建设成本比较高；二是XR 节目的制作需要导演、演员、摄像、灯光、舞美、演播室技术等多个工种协同配合，共同完成，其中，虚拟场景的制作、跟踪定位的调节都是比较复杂的工作，需要专业的UE 制作和跟踪调节技术人才；三是技术赋能要与节目的需求紧密结合，如何提高XR演播室的利用率，开展XR 演播室的商业化运营，也是值得我们深思和探讨的问题。

未来，随着精品节目的不断推出，内蒙古广播电视台技术团队也将强化技术的创新引领作用，实现技术和节目的双轮驱动、双向奔赴，为媒体融合发展作出更为卓越的贡献。