活态文化资源双目立体视频存储技术研究

李华，苏志斌，任慧

(中国传媒大学自动化系，北京100024)

活态文化资源双目立体视频存储技术研究

李华，苏志斌，任慧

(中国传媒大学自动化系，北京100024)

活态文化资源是一种重要的人文资源，对其进行合理的记录和保存对文化的发展和传承具有重要意义。本文重点对双目立体视频数据的存储方式进行分析和研究。实验表明，采用Simulcast方式对两路视频进行存储处理，生成两路高清视频文件能够更好的保存我国宝贵的文化资源，同时推动文化领域的核心技术发展。

活态文化资源；双目立体视频；存储技术

1 概述

活态文化资源[1]是一种以人类行为活动为主体的非物质文化遗产，是人类生存和发展的宝贵财富，其主要特征包括：作为人的行为活动的动态性和传承性，作为艺术、文化表达形式的创造性和独特性，作为民间文化的群体性和地域性[2]。典型的活态文化资源有民族舞蹈、戏曲、婚庆、祭祀和传统手工艺制作等。由于受各种因素影响，很多宝贵的文化资源正逐渐消失。对这种不可再生资源进行恰当的记录和保存，对文化的发展和传承具有重要意义。本文主要依托国家科技支撑计划项目“文化资源数字化关键技术及应用示范”的子课题“文化资源数字化采集、加工、支撑技术的研究”，重点对活态文化资源双目立体视频的存储技术进行研究，并通过实验选出合适的存储方式对立体视频数据进行保存。

2 双目立体视频存储方式分析和研究

双目立体视频数据是通过采用间距为65mm的单机双镜头摄像机系统进行拍摄所得，数据量较大。为了能够在保证视频质量的同时降低数据量，本节对双目立体视频的存储方式进行了分析研究。

2.1 视频存储方式现状分析

(1)Simulcast是对两路视频信号各自进行处理，如图1所示，都采用相同的编码格式，各自存储、传输，互不干扰，是典型的双路存储方式。这种方法完全利用现有的2D视频编码方法，处理简单。但是没有利用两个视点间的空间冗余，数据量大，编码效率较低。

(2)MRSC(Mixed Resolution Stereo Coding)又称为非对称立体视频编码。与Simulcast类似，是对两路信号各自压缩处理，但该方法利用了双目抑制理论，即当一个视点图像质量大幅下降时，感知视频质量将取决于另一视点的全分辨率图像质量，对左右眼视频采用不同质量等级进行编解码。这种方式可以在降低比特率的同时，保证较好的立体视频主观质量。

(3)H.264 stereo SEI message(Supplemental Enhancement Information)原理如图2所示。该方法得到的压缩比特流除包含帧数据外，还有两视点的关系、视图顺序等附加信息。接收端通过检测SEI message就可以立即识别出视频缩放、去噪、彩色格式转换等信息并进行适当的处理。它具有可靠有效的压缩性能[4]。该方法通过H.264/AVC标准实现。

(4)MVP(MPEG-2 Multi-View Profile)这种方法类似于H.264 stereo SEI message，但它基于MPEG-2标准，通过MPEG-2实现。

图1 simulcast和MRSC编码方式

图2 SEI和MVP编码方式

(5)SVC(Scalable Video Coding)其高质量视频比特流中包含一个或多个较低空间分辨率、较低时间分辨率或者较低质量的视频信号编码的子比特流。这些子比特流通常由较大比特流的包丢弃衍生出来。用较低分辨率的数据来预测高分辨率数据，从而降低高分辨率视频的编码比特率。该方法现作为H.264/MPEG-4 AVC标准的扩展，通过H.264/AVC实现。

(6)MVC(Muti-view video coding)通常用于多视点视频的编解码，利用相邻视点的图像作为参考帧进行视点间预测。MVC能够有效的对从多个视点同时采集的视频序列进行编码，并生成单路码流。它是目前为止对多路视频最高效的编码方法。当MVC用于双目立体视频时，其编码效率同H.264/AVC stereo SEI message。该方法通过H.264/AVC标准实现。

(7)Video Plus Depth (V + D)利用普通视频生成深度视频，再将深度信息映射为8bit灰度图输出。欧洲ATTEST (Advanced Three Dimensional Television System Technologies)研究指出，深度信息码流只需要彩色信号的20%，总码率低，现行的2D接收器可以只解析Video信息而忽略Depth信息，兼容性好，但不能处理半透明物体和遮挡关系，且复杂度较高。

商人与文人——明末徽州书画商王越石与鉴藏家的交往………………………………………………范金民（4）：112

2.2 双目立体视频存储方式研究

本文的研究对象主要是项目组购置单机双镜头摄像机采集系统拍摄所得数据。对于活态文化资源双目立体视频的存储，需要考虑以下几个因素：1)该系统将左右视点视频数据独立存储到两张S×S卡上；2)双路存储所需的2D视频压缩技术已相当成熟，而单路存储的3D压缩技术还有待进一步的发展；3)视频数据作为珍贵资料保存，并用于今后的各项研究，需要更好的后向兼容性；4)压缩无实时性要求；5)目前的3D显示技术使观众实际看到的画面比输出视频损失了一半分辨率；6)单路方式在生成一路码流时已经损失了不可恢复的额外数据。所以，本文重点对以Simulcast和MRSC为主的双路存储方式进行分析研究。

Simulcast方式在编码前后对图像不做任何额外处理，两路视频采用相同的图像分辨率、编码方法进行编解码并存储。MRSC方式是先对一路(如左视点)图像进行水平和垂直方向像素各进行1/2的下采样，得到的图像分辨率为原来的1/4，另一路(如右视点)图像不做额外处理，然后再对两路视频采用相同的编码方法进行编解码并存储。若将采集到的两路参数相同的原视频左视点仅经过下采样、上采样直接送入播放器，其效果远差于Simulcast方式，但是如果在总比特率一定的情况下，左视点视频经下采样，再在编码时控制其所占比特率，并且在解码后将其图像进行上采样后再送入播放器，则可以获得较好的立体视频综合质量[5]。

3 双目立体视频存储方式质量评价

为了更清晰直观的分析Simulcast和MRSC两种方式在双目立体视频存储方式上的优缺点，本文分别采用了客观和主观质量评价的方式对存储结果进行分析。

3.1 客观质量评价方法

为了更直观的得到两种方式的左右视点综合客观质量结果，本文采用两视点的总峰值信噪比TPSNR(Total Peak Signal to Noise Ratio)来衡量客观质量[6]。计算公式如下：

其中：

AMSE(Average Mean Square Error)为左右视点的原图像和经压缩解压后图像的均方误差平均值。

3.2 观质量评价方法

目前比较常用的主观评价方法是双激励连续质量标度法DSCQS (Double Stimulus Continuous Quality Scale)[7]。该方法要求观察者观看多组由参考序列和测试序列组成的视频对，在每组序列观看两次或多次后，对组中的参考序列和测试序列质量分别进行打分。参考序列和测试序列随机播放，序列播放及打分时间安排如图3所示，其中T1=T3=10s，T2=3s，T4=5-11s。评分表如图4所示，采用5分制连续评分准则，以避免打分时的量化误差。打分时要求观察者要综合考虑双目立体视频的深度感觉、立体感、舒适度、视觉经验等因素。

图3 DSCQS法时间安排

图4 DSCQS评分表

客观质量评价方法只能大体上反映出视频质量，其结果与主观结果不一定一致，有一定局限性，但计算方便适于实际应用。主观评价是评价视频质量最直接、最有效的方法。立体视频质量需要综合考虑立体感、舒适度等多种因素，虽然费时费力不便于在实际中广泛应用，但是考虑到本文实验结果的可用性，综合采用了客观和主观两种方法对视频质量进行评价。

4 实验和结果分析

本文以H.264编解码方法为例对Simulcast和MRSC两种存储方式进行了实验。采用了项目组购置的双目立体视频采集系统拍摄所得数据，对多组视频序列进行客观和主观的测试。首先通过客观实验结果确定两种方式在相同总比特率条件下，左右视点各占多少比特率时能达到最佳的客观效果，然后根据该结果播放相应的立体视频，并进行主观视频质量评价。

4.1 客观实验和结果分析

文中列出了其中的3组测试序列的左视点图像第一帧如图5(a)、6(a)、7(a)。分别计算左视点所占总比特率的百分比从10%-90%时的多组序列对应的TPSNR值，并以其为横、纵坐标画曲线如图5(b)、6(b)、7(b)所示。三组序列的总比特率分别为200kbit/s、600kbit/s、1200kbit/s。Simulcast方式使用的分辨率都为960×540，MRSC方式中各视点分辨率如下：bamboo：左视点480×270、右视点960×540；skateboard：左视点480×270，右视点960×540；taekwondo：左视点480×270，右视点960×540。

图5(a) bamboo

图5(b) bamboo-TPSNR

图6(a) skateboard

图6(b) skateboard-TPSNR

图7(a) taekwondo

图7(b) taekwondo-TPSNR

由实验结果可知，Simulcast方式下，左视频比特率约占50%时TPSNR值最高，MRSC方式下，左视频比特率分别占32%(skateboard)、35%(bamboo)和40%(taekwondo)时，相应的视频获得最高的TPSNR值。MRSC方式的最优左视点所占比特率没有固定值，根据视频而变化，但基本是在30%-40%。

4.2 主观实验和结果分析

观看时，使用Stereoscopic Player播放器，由10名志愿者戴上红青眼镜对以红青方式显示的立体视频进行观看，并根据DSCQS方法，综合考虑深度感觉、立体感、舒适度、视觉经验等因素进行打分。文中将Simulcast方式的视频作为参考序列，编解码时左视点约占总比特率的50%，MRSC方式的视频作为测试序列，编解码时使用的左视点比特率按照客观实验结果所得的最优和次优比例进行，以进一步评价。具体参数如表1所示。

DSCQS法得到的分数表显示为连续分数。为了使平均分数更直观，在所有打分结束后，对较集中的分数区间进行量化、加和、取平均值，得到的评价结果如表2所示。

表1 待评价视频参数

表2 主观质量评分结果

由实验结果可知，在一定条件下MRSC方式的主观质量略优于Simulcast方式。MRSC方式立体视频综合质量虽然取决于低质量视点所占总比特率比例和总比特率，但是总体来说，低质量视点的最优比例为30%-40%。

MRSC方式中有一路视频因为采用水平和垂直方向上的各1/2的下采样，使该路视频压缩编码所需处理的原始数据与原视频相比降低了3/4。能在一定程度上减少总数据量。但是，该种方法在下采样和上采样过程中损失的数据是不可恢复的。Simulcast方式拥有较好的主观质量，虽然数据量略大，计算复杂度比MRSC方式略高[9]，但是该种方法所得的两路视频质量完全没有额外损失。

经过以上对存储方式的分析，并考虑到存储和应用等因素，我们最终得出Simulcast方式最符合活态文化资源双目立体视频压缩存储的需求。它的优势主要体现在以下几个方面：1)对两路视频进行单独压缩处理，不会损失额外的分辨率；2)两路生成的都是高清文件，两者可以互为备份；3)技术成熟、算法简单，完全兼容现有的2D设备；4)既能满足3D观看需求，又能得到高质量的原始素材，从而方便进行再加工和调整；5)视频的主观质量好。

5 结论

本文根据活态文化资源立体视频存储需求，对双目立体视频的存储方式进行分析和研究，选用Simulcast方式对视频数据进行存储处理。这可以更好地保存我国宝贵的文化资源，同时推动文化领域的核心技术发展。

[1]苏志斌，李华，吕朝辉，任慧.活态文化资源双目立体视频采集系统研究[J].中国传媒大学学报[2]自然科学版，2012，19(4)：46-53.

[2]牛淑萍.文化资源学[M].福州：福建人民出版社，2012，9.

[3]Minoli D.3DTV Content Capture，Encoding and Transmission：Building the Transport Infrastructure for Commercial Services [M].John Wiley & Sons Inc，Hoboken，New Jersey，2010：47-69.

[4]Sun S，Lei S.Stereo-view video coding using H.264 tools[J].Proc SPIE Int Soc Opt Eng，2005，5685：177-184.

[5]Brust H，Smolic A，Mueller K，Tech G，Wiegand T.Mixed resolution coding of stereoscopic video for Mobile devices[C].3DTV Conference： The True Vision - Capture，Transmission and Display of 3D Video，2009：1-4.

[6]Tech G，Brust H，Müller K，Aksay A，Bugdayci D.Development and optimization of coding algorithms for mobile 3DTV[R].Technical Report Mobile 3 DTV，2009.

[7]ITU-R Recommendation BT 500-11.Methodology for the subjective assessment of the quality of television pictures，2002.

ResearchonStereoscopicVideoStorageTechnologyforLivingCultureResources

LI Hua，SU Zhi-bin，REN Hui

(Department of Automation，Communication University of China，Beijing 100024)

Living culture resources are very important among kinds of human resources，so preserving them has great significance in the development and heritage of culture.Our research aims to find a proper storage format of stereoscopic video to record the data of living culture resources.Experiments showed that simulcast way can generate two HD video files with less lost of image quality.This research will benefit the storage of our country’s precious culture resources and promote the development of core technology in cultural field.

living culture resources； stereoscopic video；storage technology

2013-07-03

“十二五”国家科技支撑计划重点项目(2012BAH01F00)

李华(1990- )，女(汉族)，安徽人，在读硕士研究生。E-mail：ka_ka_li@163.com

TN949

A

1673-4793(2013)04-0066-06

(责任编辑：龙学锋)