XR演播室发展与技术研究

陈 锟

内蒙古广播电视台 内蒙古 呼和浩特市 010050

1 虚拟技术发展历程

演播室是利用光和声进行空间艺术创作的场所，是电视节目制作的常规基地，除了录制声音外，还要摄录图像。嘉宾、主持及演职人员在里面进行工作、制作及表演。因此，除了必要的摄录编设备外，演播室必须具有足够的声、光设备和便于创作的条件。演播室作为电视节目制作的重要场所，承担了除外拍节目外的大部分节目录制和制作任务。随着设备和技术突飞猛进的发展，本着少花钱办大事的原则，演播室在不断升级换代，从实景演播室，发展到虚拟演播室、XR演播室。

实景演播室，根据节目实际拍摄需求，采用实物置景，实际拍摄的效果真实、有质感，但由于制作成本大，只能使用一次。改变布景只能重新设计制作，常用于场景固定的新闻类节目中。

绿幕抠像技术，目前比较成熟的虚拟演播室技术，广泛应用于各种电视节目制作中。人物在纯色的背景中进行表演，现场摄像机拍摄画面用计算机抠图技术将背景颜色透明化，再与设计师提前设计好的三维场景相融合，就呈现了人物在虚拟场景中的活动。摄像机跟踪技术能够使三维场景与摄像机同步推拉摇移，拍摄出的节目效果更具立体感。由于RGB 标准以及数字拍摄的兴起，目前使用绿幕作为抠像背景。抠像技术充分发挥设计师的想象力，使节目呈现丰富多彩的效果。但人物表演处于纯色背景中，缺乏情景互动，对演员演技有极大考验。

AR 增强现实技术，通过对现有实景电视节目演播室的改造升级，可以在实景中引入AR 特效，运用三维建模、摄像机追踪、传感定位和智能交互等技术，将三维模型、文字、图像等虚拟信息与现场实景相融合，以虚拟前景的方式与演员实时互动，使节目更加生动、活灵活现，实施性价比较高。其局限在于只能将预设好的内容对现场环境进行覆盖，对节目现场实时反馈不够，而且能实现的现场沉浸式有限。

XR 是一套以LED 屏幕为拍摄背景的影像空间合成技术，是虚拟制作（Virtual Production）概念的一种应用实践，可以作为绿幕拍摄技术的升级方案，应用于影视制作和节目直播。通过摄像机实时追踪技术、实时渲染技术、多屏幕播控管理技术，使LED 屏幕中呈现出的虚拟场景画面与屏幕前的“真实角色”在摄像机视角下保持正确三点透视关系。同时，对于LED屏幕之外的画面通过“前景叠加”（AR）技术进行实时合成，最终将“真实角色”置身于虚拟世界之中，达到虚实结合的视觉效果。

XR 演播室，XR （扩展现实）技术的发展已较为成熟，它囊括了AR（增强现实）、VR（虚拟现实）和MR（混合现实）全部内容。AR 是在真实空间内植入虚拟信息，将图形、图片、视频、声音植入现实。VR 是通过各种感官视觉、听觉、触觉、嗅觉等将人代入到电脑设计的虚拟世界中，沉浸感和临场感强。MR 是AR 与VR 的结合体，将虚拟信息代入现实世界，在形成的新的可视化场景中与人进行交互，XR 集合了以上全部内容。通过三面垂直的LED屏幕与地屏作为背景，使用空间视差透视和图像动态校正技术，与前场实景相配合，再结合灯光、音响、舞美、道具等现场气氛渲染，打造虚拟可视的沉浸式XR 演播室，特效更炫，沉浸感更强，根据背景内容设计，使演播室区域可以无限放大。

图1 绿幕抠像技术将人物置于虚拟场景之中

2 技术分析

2.1 摄像机追踪系统

真实摄像机在世界中的坐标、姿态及镜头变焦数据是一切信号的起点，摄像机追踪系统将这些参数捕捉后送给合成服务器，用以渲染引擎和AR 画面的合成。景随人动，这就要做到被摄人物在自由走动的时候达成近乎真实的拍摄场景。因此，定位追踪技术就显得额外重要。三维虚拟拍摄时通过定位追踪系统将摄像机与三维场景内的虚拟摄像机绑定，随着摄像机镜头的移动，直接获得人在现实空间中的实时位置和运动参数，并对这些数据进行运算和分析，就可以实时获得完美的虚实合成画面，实现景随人动。

图2 XR演播室主要系统配置功能及作用

图3 XR演播室主要系统设备连线图

图4 XR演播室“前景”“背景”与“虚拟扩展”

2.2 实时图像渲染引擎

渲染引擎是虚拟画面生成的机器，是转化设计师视觉创意的核心工具。在系统中，引擎接收服务器的渲染指令，渲染指定的帧画面，并通过局域网将一帧一帧的画面传递到系统下一流程，让显示大屏幕的虚拟场景实时跟踪摄像机的视角，在摄像机镜头之前与现实所拍摄的画面进行合成，实时映射人物和场景的空间关系，让演员可以在LED屏幕所构建的虚拟空间中进行表演，从而营造出无限的空间感。

2.3 LED屏幕背景透视投射

LED 屏幕视频处理器将合成服务器的信号多屏幕同步播控管理，使摄像机拍摄的三折屏或弧形屏（含地屏）显示的虚拟场景画面与屏幕前的“真实角色”保持正确三点透视关系，摄像机的运动，使透视点也跟随变动。同时实现的还有前景、背景、扩展、采集几块画面区域的协同帧同步。

2.4 “背景”画面扩展

在拍摄取景范围运动到没有LED 屏幕显示的区域时，需要通过屏外区域叠加AR 画面的方法，在采集信号上将场景延展显示到无屏区域，实现虚拟世界的无限延伸。通过颜色校准及边缘过度等画面处理技术，实现屏内外画面的和谐统一。

2.5 周边辅助设备

除主要XR 系统设备外，大屏内容、虚拟扩展还要与演播室实景、灯光音响、舞美道具相配合，控制器联动、虚实结合、辅助设备配合，共同完成节目制作导演所需要达到的效果。

3 发展前景

“沉浸式体验”作为这些年的热门话题，搜索增长量高达3800%。XR技术能够打造兼具独特风格与沉浸式观众体验的舞台，不仅可以突破空间限制，还能够融入更多元的创意场景，丰富节目舞台的表现层次，实现跨空间的奇妙互动，给观众耳目一新的视听体验。

XR 技术在今后的发展中可以与5G 和虚拟数字人等技术相结合，完成多项技术应用的叠加使用。演唱会、主题晚会和常规节目的录制，越来越多地采用XR 技术，这对于媒体从业人员也提出更高的挑战。毋庸置疑的是，XR 技术将助力传统媒体新的视觉语言表达和呈现，为行业带来更多新活力。

审稿人：沈利俊 内蒙古广播电视台正高级工程师