双视立体视频同步合成系统设计与实现

黎之乐，王兴东 ，周 军 ，熊怡因

（1.上海交通大学 电子工程系 图像通信与信息处理研究所，上海 200240；2.上海市数字媒体处理与传输重点实验室，上海 200240；3.上海精视信息技术有限责任公司，上海 200030）

0 引言

立体视频技术是当前视频研究中的一个活跃领域，已有越来越多的国内外学者从事这方面的研究。立体视频的研究范围包括多个研究方向，如立体视频的提取技术、立体视频的显示技术以及立体视频的编码压缩技术[1-4]。立体视频作为一种比普通视频提供更多信息内容和具有更多数据量的数字媒体[5]，广受人们青睐，随着技术的进步与市场的推动，立体视频技术必将成为主流的视听技术。

人两眼的视差特性是使人产生立体感的根本因素，立体显示终端要提供一对视差图像信号，分别送左右眼接收。因此，要完整地传输和处理立体视频需要2倍于普通平面视频的带宽。而对更高传输带宽的需求也正是阻碍立体电视推广的重要因素之一。

笔者介绍一套基于“左右放置”（side-by-side）合成算法[3-4]的立体视频同步采集系统，其特点在于它可以实时拍摄和录制符合“左右放置”标准的立体视频。对合成的视频信号的编解码处理仅需要一套普通的编解码器，且与普通信号的处理没有任何差别。这样的设计实现了通过普通电视网络传输立体视频信号而不需要传输网络提供额外的带宽，对立体电视的推广有较大的意义。

1 立体视频合成算法

1.1 合成算法的要求

合成视频的算法要满足以下要求：

1）最终的合成视频必须同时包含两路视频信号的信息。

2）合成视频的格式必须与合成源信号一致。

3）合成视频的编解码和网络传输使用的带宽与普通的平面视频信号无异。

所有的合成算法均以视频输入源同步为前提。本系统使用了左右放置合成算法，并且提供了相应的帧同步解决方案。

1.2 左右合成算法介绍

左右放置合成算法如图1所示，最终得到的合成视频信号数据是按视频源分别左右放置的。用监视器观看时，会看到监视器左右两边分别对应显示左右路摄像机拍摄的视频。

2 立体视频合成采集系统设计

2.1 系统结构

图2为合成系统的基本构成图。系统的两路输入视频信号码率以及输出视频信号码率均为1.5 Gbit/s。

2.2 DDRSDRAM帧同步解决方案

笔者提出并实现了使用DDRSDRAM芯片作为缓冲器件来对两路待合成视频信号进行帧同步的方案。

本方案使用DDRSDRAM作为一路视频数据的缓存。图3为本设计中DDRSDRAM部分的数据流示意图，由于DDRSDRAM存在自刷新操作，因此进出DDRS⁃DARM的数据流是不连续的，需要使用2个缓存队列使数据流变得连续。

图4为帧同步的状态机示意图。首先状态机读取存入DDRSDRAM中的数据找到帧首，状态机跳转，停止读取DDRSDRAM中的数据，读取另一路视频数据找到帧首则状态跳转，恢复读取DDRSDRAM中的数据，此时输出两路视频信号已经同步。

该方案与Genlock方案相比，要廉价和便宜很多，只要使用的FPGA开发板带一块与FPGA相连的DDRS⁃DRAM芯片即可。

本设计采用Lattice生产的LatticeECP2M系列672封装的FPGA，使用的DDRSDRAM芯片为Etrontech生产的EM6AA160TS-5G，单颗芯片的存储容量为256 Mbit。

2.3 立体视频合成实现

2.3.1 降采样算法

本设计采用的输入源为1080i格式的高清视频信号，其合成的关键是SMPTE292标准里定义的EAV序列和SAV序列的检测。

根据SMPTE292标准，SAV到EAV之间的数据属于有效的视频行采样数据，而EAV到SAV的数据为辅助空间数据，辅助数据包括嵌入式音频等。

在合成过程中，辅助数据空间的数据以一路的数据为准。YCbCr的采样比例为4∶2∶2，因此需要对Y与Cb、Cr分开处理。

以20 bit的数据格式为例，在有效视频空间的数据格式见表1。

表1 20 bit高清视频格式数据

对灰度数据Y，采取隔点取样的方法对两路视频的灰度数据进行降采样。也就是说表1中Y1，Y3等灰度数据将丢弃。

对色差数据Cb、Cr，不能采取与灰度数据Y一样的取样合成方法，否则色差空间里的数据将由第1路的Cb和第2路Cr数据组成。为解决这个问题，对每组Cb和Cr数据进行降采样。也就是说表1中的Cb1和Cr1等色差数据将被丢弃。

降采样是视频合成操作的第一步，是整个合成算法比较重要的一步。降采样后两路1920×1080的视频信号变为960×1080的降采样视频信号，但并不改变YCbCr信号的数据比。降采样要保证经过恢复算法后视频信号的失真仍能被主观接受。实验表明，这样的降采样可以被很好地恢复。

2.3.2 降采样视频数据合成

合成的任务是将降采样得到的两路960×1080视频信号按照相应的合成算法合成相应的数据格式。

对左右放置的合成算法而言，需要将两路960×1080的视频信号按左右集中放置，并拼接成1920×1080格式的合成视频信号。左右放置合成的编码相关性较好，因此得到了广泛应用。

3 应用系统

笔者等人利用上述技术方案设计了一套TD-LTE无线立体高清实时传输系统，系统方案见图5。该系统的TD-LTE网络由中国移动提供。这套系统中使用的资源包括：2台高清摄像头，本设计中制作的帧同步模块与合成模块，普通的高清编解码器，视频恢复模块，2台带偏振片的高清投影仪以及荧幕。图6为整套系统使用的设备合影。

4 小结

图6 立体视频合成传输系统的设备

本文介绍的这套立体视频同步采集系统使用非常灵活，合成算法集成性好，可以根据不同的需求配置成不同的系统。由于合成视频成功地减少了额外的带宽需求，因此这套系统对立体电视的推广具有一定的意义。

[1]冯茂岩，沈春林.立体显示技术及其研究现状[J].电视技术，2008，32（11）：42-43.

[2]张兆杨，安平，张之江，等.发展3DTV需解决的技术及其应用趋势[J].电视技术，2010，34（6）：4-6.

[3]MUELLER K.3D-TV Transmission Formats and Coding[R].Berlin：Heinrich-Hertz Institut（HHI），Germany，2010.

[4]李小兰.立体电视编码传输技术及业务实现[J].电视技术，2010，34（11）：4-9.

[5]TAM J.3D-TV：benefits from human visual perception studies[R].Ottawa：Communications Research Centre（CRC），Canada，2010.