虚拟演播室技术及其应用

山东省招远市广播电视台 闫军屹

1.概述

在演播室制作电视节目时，制作人员经常运用色键合成技术，将演播室中蓝色背景前主持人的图像叠加到另一个背景或活动视频上，创作出一种特殊的电视艺术效果，这种传统的抠像制作在电视制作领域得到了广泛应用。但这种传统的电视制作方式存在着一定的局限性，叠加合成的节目画面缺乏景深和真实性，当前景变化时，例如，摄像机做摇移、变焦运动时，叠加的背景画面并不随之产生变化，合成的画面给人感觉较生硬。但在虚拟演播室系统中，由于引入了虚拟现实技术中的信息交互技术，虚拟摄像机可与真实摄像机锁定，所以用计算机制作出来的三维背景可随真实摄像机的推拉摇移而做正确的透视变化，使得合成画面真实性大为增强。随着广播电视数字化技术和计算机技术迅猛发展，基于这两种技术的虚拟演播室系统在电视制作领域的应用日益广泛。

2.虚拟演播室的技术原理

2.1 基本原理

虚拟演播室系统的组成框图如图1所示。摄像机拍摄的主持人在带识别标志的蓝背景前主持的视频图像一路送数字图像处理部分，实时获取运动摄像的内外参数。另一路送视频延时器，以保证前景与虚拟背景在合成时严格同步，其输出送数字扣像仪，从带识别标志的主持人图像中去掉识别标志和蓝背景部分，并给出描述前景与虚拟背景的融合比例的键信号。三维虚拟场景制作、发生工作站既要根据节目需要，制作虚拟场景，又能借助三维加速卡在摄像机内外参数控制下实时变换场景；视频一插入信号可以嵌入虚拟场景中事先设定的电视墙中，可以对其大小、位置、边框等参数进行调整，视频二送入多层图像合成器可以制作出多种特殊效果。从以上系统的结构中以看出，虚拟演播室系统可分为跟踪、着色和合成三个子系统。跟踪子系统用来获取摄像机的动作参数。着色子系统根据摄像机的动作参数生成背景画面和掩蔽信号。合成子系统将前景画面和背景画面通过色键合成输出。

2.2 跟踪系统

虚拟演播室能否将现实世界与虚拟世界完美结合起来，关键问题是能否正确判断摄像机、主持人、计算机所制作布景三者之间的相对位置和关系，让计算机知道摄像机的位置和拍摄范围。摄像机的动作参数包括俯仰、左右摇、Z轴旋转、左右移动、上下移动、前后移动和摄像机镜头的变焦、聚焦、光圈共九个参数。跟踪系统的任务是实时测出这些参数，传送给着色系统。

目前在虚拟演播室系统中应用较为广泛的跟踪技术，主要有图形识别技术和基于传感器的跟踪技术两大类。

（1）图形识别技术

图形识别技术实际上是一种“运动估测算法”，通过对前后帧画面的相对运动部分进行的运动估值和运动补偿计算，从而实时得到摄像机的位置和镜头参数。为了计算摄像机所拍画面的运动变化，在背景幕布中要有充分的可识别信息，因此不可单纯使用通常色键技术中使用的简单蓝色背景幕布，而必须在蓝色幕布上再增添一些稍浅颜色的网格。这些网格必须确保可以用色键产生或分离出键信号；这些信号在运动估测计算之前就必须从原始画面中提出来，以便用带网格的背景信号进行计算，从而避免因画面中前景物体的运动而造成计算上的混乱。

（2）传感器技术

基于传感器的虚拟演播室系统，在每台摄像机的镜头和云台活动部位都装有一套机械传感器跟踪系统。此传感器通常是一种高精度的光学编码器，可以精确地检测摄像机的运动状态并得到相应参数，用16或更高比特进行量化，然后通过RS-232或RS-422端口传送给超级图形计算机，以进行3D场景的着色处理。用色键合成器完成前景与背景的合成后，将每个合成信号送回相应的摄像机寻像器，以便摄像师进行画面构图。

2.3 Z轴深度键技术

成熟的虚拟演播室除了提供虚拟背景之外，还应提供某些前景道具，如主持台、桌子、门等，甚至主持人可以进到一个虚拟物体中去或消失在虚拟物体之后，这时物体的前后关系就由Z轴深度键来控制。这是一种新的色键技术，可以在纵深方向（Z轴方向）产生信息参数，从而得出虚拟摄像机到每个象素的距离数值。它不同于基于层次级的二维图像处理技术，而是可以细分到三维场景中每个象素的三维实时处理技术：通过在主持人身上的超声波发射器和安装在演播室墙上的超声波接收装置可以得到前景的精确深度Z值（即主持人和摄像机之间的距离），从而判断主持人可见或虚拟背景可见。

2.4 计算机技术

计算机技术是虚拟演播室的核心部件之一，虚拟演播室中的场景、道具都是由计算机产生，一方面可以做到常规演播室不可能做到的复杂而庞大的背景，另一方面也给背景设计师提供了更为广阔的创作空间；可以任意角度观看场景的整体效果，并且根据需要随时进行修改，这也是虚拟演播室受欢迎的一个主要原因。用于生成3D虚拟背景的计算机软件主要有3DMAX、ALIAS、MULTIGEN、SOFTIMAGE等三维动画软件。

3.实例分析

以色列的RT-SET公司的Larus系统，在虚拟演播室技术方面处于世界领先地位，其Larus虚拟演播室系统框图如图2所示，他可将标准的广播与视频制作演播室转变为虚拟演播室，已得到国内外大型电视台广泛应用。

RT-Set公司的Larus是虚拟演播室系统中的高档产品，其跟踪系统采用安装在基座上的精密的光电旋转编码器和镜头上的特殊编码实时获取摄像机位置和镜头视角参数，通过快速通信单元计算和传输至作为虚拟场景产生和实时变换的SGI Oynx图形工作站上，由系统应用软件根据这些参数控制三维虚拟场景在节目拍摄期间实时地更新，并按照演播室摄像机的运动和位置，总是以正确的透视角度出现，其一个显著的优点在于，摄像机运动，包括摇摆、俯仰、快速变焦、3D运动和透视改变，不受限制；由一个计算机装置控制和管理无限量的摄像机，而在控制室里连续显示集成的摄像机视图。概括起来，RTSet公司的Larus虚拟演播室系统的主要特点如下：

（1）Larus场景数据库支持目前流行的三维建模软件包，包括：Alias、Softir-nage、Wavefront Multigen和3Dmax或3Dstudio。

（2）实况虚拟景物在物理或虚拟演播室布景中任何部位都有可能相互遮挡。

（3）虚拟摄像机能在远距离实际演播室的地点漫游和“拍摄”。

（4）3D声音效果能被激活并与动画或其它效果关联。

（5）由于允许摄像机在蓝色屏幕周界外拍摄，“虚拟蓝屏”延伸了演播室拍摄区域的边界。

（6）联机视频光标使演播室操作人员在制作期间任意布置地点都易于激活特殊事件和特技。

（7）外部节目系统和数据能集成入演播室。

（8）模板支持促进与操作者、工程师和其他用户的高度交互性。

（9）制作期间实况视频或音频无延迟。

（10）视频剪辑能在任意时刻插入任意目标。

（11）可选反馈系统与所有演播室摄像机一起操作。

（12）可选后备系统快速而精确地检测系统故障、确保平稳及不中断拍摄节目。

（13）允许虚拟和实际摄像机之间平滑而不被查觉的切换。

（14）系统价格昂贵，同时由于采用精密的机械—光学传感器，增加了系统维护、安装和操作的难度。