交互式多方位电视直播系统设计

卢勇文

(广东广播电视台，广东 广州 510066)

交互式多方位电视直播系统设计

卢勇文

(广东广播电视台，广东 广州 510066)

详细介绍了交互式多方位电视直播系统的硬件结构和适用节目类型，以及与传统电视直播系统的区别，同时详细介绍了如何有效地进行视频数据压缩编码这一交互式多方位电视直播系统的关键技术问题。交互式多方位电视直播相对于传统电视直播模式有更多的优势，未来将会越来越多地采用交互式多方位电视直播的模式。

电视直播；摄像机位；多方位；交互式

1 电视直播

电视直播是电视传播最重要的特点，它把现场的画面、声音以及画外的解说声同步传送给观众，让观众在第一时间可以了解到现场的信息，在同步性、信息量、现场感和参与感等方面都比其他媒体具有更明显的优势，利于快速、大范围地传播信息并在瞬间造成巨大影响[1]，是广大受众最欢迎的传播方式。

电视直播的全过程由开始的只叙述现场的发展进程和结果，没有主持人出镜，也没有背景介绍的全直播开始，发展到即时录制主持人在演播室介绍或解说的信号，然后和现场情况交替、串联播出的准直播阶段，到现在已经非常普遍的以现场直播为主体、交替运用演播室直播、字幕滚动直播、现场记者连线、观众采访等手段综合在一起的立体式直播方式[1]。可以说，电视直播已经综合运用了现代各种传播手段，尽可能地将众多与现场相关的信息通过有线网络、卫星、无线通信网络等手段传播到全世界。

2 电视直播信号的特点

在目前一般的电视直播中，虽然在现场会设置多个摄像机机位，但是在某一时刻只有一路信号是经过导演切换后送给播出的，最后再通过有线或无线等网络传输设施输送到观众端，如图1所示。观众对画面没有选择权，只能被动地接受导演的选择。因此，在任意时刻只有一个机位的视音频信号输出给观众是目前电视直播的一个显著特点。这种方式带来的好处，一是导播可以完全控制并引导整个直播的过程，使得节目更为紧凑，二是可以节省频道资源。对于这种需要导播来进行切换重组的方式，有人认为现场直播并非真正的直播[2]，理论上更偏向于由导播做主导的对现场的重组再现过程[3]。

图1 现有电视直播的信号流程图

但是，这是否是唯一的、也是最好的直播方式？随着摄像机位的增多，同一时间采集到的信息就越来越多，在某时间段只选择其中一个机位的信号传输给观众，导演的这种选择一定就是所有观众都最想要看的吗？是否会因为选择了这路信号而漏掉了其他重要的信息？由于观众的兴趣爱好各不相同，必然会造成众口难调的局面。

3 交互式多方位电视直播系统

为了解决以上问题，在一场电视节目直播中，电视台可以采用多个摄像机位进行拍摄，并且将这些不同方位的摄像机信号通过一组视频通道传输给观众。这样观众就可以通过机顶盒进行控制，根据自己的喜好，选择某一个机位的信号来观看，了解到更感兴趣的信息，满足不同观众的不同需求。例如，直播现场设有5台摄像机，那么每位观众都可以随时选择不同的机位所拍摄到的图像进行观看，这样镜头的切换和操控权就从导演的手中转到观众的手中。除了不同的摄像机机位信号外，还应包含作为公共信号的、内容一致的解说，以及字幕图文信息等信号，这样既可以保持不同的直播视点，又能共享一些比较重要的信息。

微软亚洲研究院的IMV系统是将多部摄像机以共点阵列排列，同步拍摄同一对象，从而可以实现三维全息的图像体验的形式[4]，例如电影《黑客帝国》里基奴里维斯的慢镜动作。交互式多方位电视直播系统不应只包括这种形式，还应包括分布在不同地方，拍摄不同对象的多机位同时直播形式，例如不同城市的联合直播节目等。

3.1 交互式多方位电视直播系统的硬件结构

实际上，这种多方位电视直播方式是交互电视的一种很典型的表现类型。对于可交互式多方位电视直播来说，视频信号的提供与普通电视的现场直播相类似。只是在交互式多方位电视直播中，一旦选择了某几个机位的信号作为直播信号，考虑到在任何时间这些信号都可能会有观众选择观看，所以这些信号就必须要一直处于播出的状态，而且这些摄像机不能随意转换场景，否则就可能使画面混乱。

交互式多方位电视直播系统的结构如图2所示，有m个摄像机位(包括演播室机位)，输出n个视频节目(n≤m)， 其中1路是由导演负责切换的主节目(PGM)信号，这1路信号与原来传统的节目制作方式一样，其他n-1个信号通路则是经过筛选后的叠加了字幕等公共信息的其他机位信号。这n路独立的信号经过视频采集端和视频流服务器的处理后，再通过有线电视网络、电信网和计算机网络等传到客户端。

图2 交互式多视角实时视频的系统架构

图2中，视频采集端负责对多路的实时原始图像进行采集、编码、发送，而且这几个步骤都要同步协调，这样可以保证实时视频数据的压缩速度，而且通过异步处理，能够及时将压缩后的视频流传输至服务器。视频服务器则是为用户提供各种交互式的服务，具体包括负责多视角视频数据的缓存、编辑和转发，用户管理等。传输网络把视频流从视频服务器传输到客户端的网络，其可用带宽直接决定了系统对用户的服务质量。客户端的主要设备是电视机加机顶盒，还可以使用PC和移动设备，分别为电视观众、互联网用户及移动设备用户提供播放服务。用户可以根据自己的喜好来选择观看哪个机位的信号或视觉特效服务，可以随时进行信号切换。

3.2 适用节目类型

交互式多方位电视直播的系统特别适合以下几种节目类型：

1)体育比赛

每种体育比赛都会设置一定数量的机位，以便能在不同的方位记录下比赛的瞬间，这样才能充分展现体育比赛的各种精彩镜头。以羽毛球比赛为例，直播时的机位通常多达11个：位于比赛场地正后方一定俯视角度、可以摄录整个比赛场地的主机位，位于2个半场旁边负责运动员特写的侧机位，2个负责慢镜的后场机位，1个负责记录网前球的中线机位，负责侧线和底线的4个机位，还有1个用于临时特写镜头的流动机位等(其实还可以增加一些其他角度的机位，如正后方、顶部机位等)。

导播会根据这11个机位采集到的信号，结合自身对转播的要求进行机位的切换来完成整个比赛的直播。如果能进行交互式多方位直播，那么许多观众必然会根据自己的喜好来选择不同的机位信号，例如中线机位或侧机位可以很清晰地看到运动员网前球的手法，正后方机位可以更强烈地知道背对机位方运动员的场地感受，以及羽毛球飞向对方的轨迹等。长期有针对性地选择这些机位信号进行观看，会让观众学到更多的羽毛球技巧。当然，导播的选择(包括慢镜)可以作为主画面播出。

又以赛车比赛为例，可能某些观众更多地想关注驾驶员的动作，以了解其如何换挡、打方向等驾驶技巧，另一些观众可能会关注驾驶员前方场景，还有一些观众可能关注车后其他对手的场景等，如果都由导播控制切换播出信号，观众的需求必然不能得到最大的满足。

国外的电视台已经有为电视观众提供这种高质量、可交互、多角度电视实况直播的服务，例如英国著名的卫星电视商BskyB在2001年的温布尔顿网球赛中同时提供5个场地的直播供用户选择。国内中央电视台于2001年九运会期间，也进行了类似的试播，虽然只有有线网络经营者和记者可以看到，但毕竟也是国内多方位直播的首次尝试，随后在2002年的澳网赛事上再次实验，同步直播6个场地的比赛[5]。

2)新闻直播

对于某些特发性的新闻事件，也可以采用交互式多方位的直播方式。例如恐怖袭击事件、地震、火山喷发等，如果能将不同场景的机位信号传输给观众，将会带来更大的直播效果。

3)大型的文艺演出

以古典音乐会演出为例，没有特别需求的观众可以选择主机位信号，爱好指挥艺术的观众可以选择只拍摄指挥正面动作的机位信号，对乐手的演奏过程感兴趣的观众可以选择某些拍摄乐手近镜的机位信号。

而对于摇滚音乐演出，由于乐队主要成员一般都很少，可以设置为1个乐手1个专门机位，这样观众就可以选择最想关注的机位来观看了，例如主唱、鼓手、BASS手、吉他手等。

4)科学探索

能进行交互式多角度直播的科学探索活动有许多，例如各种物理或化学的实验，各类机器的试验，火箭发射，登陆月球等。

4 交互式多方位电视直播系统的关键技术问题

随着拍摄机位的增加，获取的视频数据量会变得越来越庞大，在网络资源有限的情况下，如何有效地将视频数据进行压缩成为多方位电视直播系统最关键的技术问题。

对于系统中某一个摄像机位而言，在某一段时间内，其拍摄的必然是同一对象。而对于同一拍摄对象，由于摄录所得的视频帧与帧之间图像的变化并不大，因此像素数据之间存在着极大的相关性，视频数据中无论在时间上还是空间上均存在着大量的冗余。利用其相关性，可从上一帧的一部分像素数据推出下一帧的一部分像素数据，因而可以最大程度地减少冗余数据，达到压缩视频的目的。目前几乎所有关于视频压缩技术的研究都是利用相关性，并依靠一定的预测机构来进行的，这方面的例子很多，最著名的是由国际标准化组织和国际电信联盟组织联合颁发的H.264标准(也指MPEG-4的第10部分)，它是具有多种预测模式、基于帧间图像的时空相关性来进行压缩编码的标准[6]，相比于MPEG-2、MPEG-4标准，H.264具有更高的压缩比率，同时拥有高质量流畅的图像。其他利用相关性进行视频编码的研究还有很多，例如陈普坤提出的基于小波变换的视频编码技术[7]、刘淑杰提出的非对称编码技术[8]、张军提出的多视角纹理深度联合编码方案[9]等。

有了高效的视频压缩编码技术，就可以有效地节省网络资源，传播更多的节目频道，且可以保证有较强实时性的同时，提供终端用户互动的流畅度。

5 总结

本文讨论了交互式多方位电视直播的模式，与传统在任何时间内只能输出一路机位信号的直播方式不同，它可以同时输出多路不同机位的直播信号，这些信号可以根据要求，选择经由人工控制或部分不经人工控制后直接输出到电视中心，再输送给观众。与传统的电视直播方式相比，交互式多方位电视直播系统可以将更多的现场信息传递给观众，并让观众根据自己的喜好来选择观看的信号，真正达到多方位立体式同步直播的目的，如果能在新闻、体育比赛、文艺演出以及科学探索等形式的节目上有选择地试行，应能给予观众一个全新的直播体验。

多方位电视直播的视频数据量比一般的电视直播的视频数据量大，如何在保证画质的同时，对视频信号进行高效压缩，且保证实时性和互动性，是交互式多方位电视直播系统的关键问题。相信随着计算机技术和信息技术的高速发展，交互式多方位电视直播的模式将会逐步推行。

[1] 黄淑敏. 新闻学视觉下的电视直播研究[D].西安：西北师范大学，2009.

[2] 崔林. 现场并非直播——兼谈电视新闻现场直播的叙述方式[J].现代传播，2005(5)：100-102.

[3] 陶劼. 试析电视现场直播的三维范式构建[D].南宁：广西大学，2013.

[4] LOU Jianguang，CAI Hua，LI Jiang. A real time interactive multi-view video system[C]//Proc. ACM Multimedia's 05. [S.l.]：ACM，2005：161-170.

[5] 孟群. 电视节目制作技术[M].北京：高等教育出版社，2006.

[6] ITU-T Rec，H.264/ISO/IEC 11490-10. Advanced video coding final committee draft, Document JVT-E022[S].2003.

[7] 陈普坤. 基于小波变换的多视角视频编码研究[D].广州：中山大学，2007.

[8] 刘淑杰. 多视角视频编码的关键性技术研究[D].合肥：中国科技大学，2008.

[9] 张军. 多视角纹理深度视频联合编码的关键技术研究[D].合肥：中国科技大学，2011.

责任编辑：任健男

Design of Interactive Multi-view Live TV System

LU Yongwen

(GuangdongRadioandTVStation,Guangzhou510066,China)

The structure of interactive multi-view live TV system and it’s suitable programs, the difference with normal live TV system are introduced in detail in this paper. The key technical problem of this system that how to compress the video data effectively is also discussed. The superiority compared to normal live TV shows that the interactive multi-view live TV should be the popular live TV mode in future.

live TV; camera; multi-view; interactive

TN948

B

10.16280/j.videoe.2015.18.017

2015-06-29

【本文献信息】卢勇文.交互式多方位电视直播系统设计[J].电视技术,2015，39(18).