周 菡,于文斌
(1.中国电信陕西公司信息技术支撑中心,陕西西安 710071;2.西安电子科技大学通信工程学院,陕西西安 710071)
近年来以视频和图像等多媒体业务作为主要传输对象的通信技术成为当今通信领域研究的重点。但是由于面临着信道噪声和频带紧缺等因素的影响,在网络带宽十分有限的情况下,只能使用较低的信道编码效率,而较低信道编码效率会造成传输冗余的增加,降低信道利用率。因此更好地进行数据压缩和差错控制成为多媒体通信技术的关键问题。
不平等错误保护技术,目前已在图像和视频的无线传输中得到广泛关注[1]。以视频业务信息的传输为例,在视频比特流中的各个部分有着不同的重要性,某些比特对错误的抵抗能力比其他比特要差,从而需要对信号的不同部分给予不同等级的保护。不等差错保护作为联合信源信道编码的一种,在网络资源有限情况下,根据业务码流中的不同部分的重要性不同,采用不同的信道保护机制,从而获得可用视频或图像业务。目前不等差错保护策略主要有两个研究方向:一是研究如何对信源编码端数据进行等级划分;二是对等级划分后的数据采用怎样的不等编码保护问题。而这其中对于业务码流信息中的各个部分重要性的分析和划分就显得尤为重要,码流信息按重要性划分为接下来的不平等差错编码保护提供了可能。对MPEG-2[2-3]码流信息的不等差错保护也引起了广泛关注。
文中对MPEG-2视频码流信息的重要性划分方式进行研究,提出一种基于帧间层次的视频码流划分方案。仿真结果表明本文所提的层次划分方式优于传统的基于图像帧的划分方式经不等差错保护后视频恢复效果。
下面以MPEG-2视频标准中的数据分割原则,结合不同图像帧(I,P,B帧)对视频重建所起作用不同提出一种简单有效的视频码流划分方式,即帧间层次划分方式。该划分方式区分不同的图像帧,以及图像帧中的不同层次,根据各图像帧中不同层次对视频重建贡献度不同,将视频码流进行分类划分。
在测试帧内层次划分时,选用一个增强层,取数据分割的优先级断点值为69,可将图像帧中的内容分割为两层,将视频码流分成6组不同类型的数据,即I帧基本层,I帧增强层,P帧基本层,P帧增强层,B帧基本层和B帧增强层。在不同信道误码率情况下对这6组不同类型的信息分别引入随机错误,则重建视频图像的PSNR均值如表1所示。
表1 各帧不同层次出错后重建视频图像PSNR均值 /dB
根据表1中的仿真实验计算结果可知,对同一图像帧的基本层及增强层,在相同误码率时重建视频图像PSNR均值的存在着差异;不同图像帧的相同层次之间出错后重建视频图像的PSNR均值也存在差异。视频增强层对误码率有要求,若要接收并使用视频增强层则必须满足其相应的误码要求。
根据仿真结果,PSNR均值达到33~38 dB为准对视频码流进行分类,则视频码流被分成4类不同重要性的等级。其中I帧的基本层对误码要求最高作为第一等级信息数据;P帧基本层和I帧的增强层出错恢复效果接近,对误码要求低于第1类作为第2等级信息;B帧的基本层及P帧的增强层作为第3等级信息;B帧增强层的容错能力最强,该类信息为第4等级。
根据视频码流信息中基本层和增强层对视频所起作用的不同,结合I,P,B帧图像对视频所起作用不同的原则划分整个视频码流,最终得到4类对视频重建贡献度不同的码流信息:
第1类信息 包括视频码流中的头、控制信息,I帧图像的基本层;
第2类信息 包括I帧图像增强层,P帧图像的基本层;
第3类信息 包括P帧图像增强层,B帧图像的基本层;
第4类信息 包括B帧的增强层及视频码流中的填充信息。
按照层次结构划分方式,在选用的视频样本中各类信息所占比例为:0.1701,0.2801,0.4426,0.1072。
根据上面的不同重要性级别内容,视频码流信息按照层次划分方式进行划分的结构示意图如图1所示,图中的“H”表示图像头及slice头信息,该类信息归到第一等级的信息中予以重点保护。
图1 视频码流层次划分方式
根据视频层次对视频贡献作用不同结合不同图像帧的数据划分方式,在划分时利用MPEG-2标准中的数据分割原则[7-8],划分方式简单,划分后所得到的不同类信息的对重建视频所起作用也有所不同。图2为不同等级信息在不同误码情况下的重建视频图像的PSNR均值曲线。各类信息的PSNR均值曲线区分明显,其中第1、2等级在不同误码时的重建视频图像PSNR均值曲线接近,而与第3、4类信息差距较大。
基于帧间层次的视频码流划分方案是基于视频标准中数据分割原则,根据各帧不同层次对重建视频所起的作用不同的基础上提出的,实际上是对码流信息中不同类型的数据按照数据分割方式进行了划分。
图2 不同信息出错后重建视频图像PSNR均值曲线
根据MPEG-2标准中的数据分割原则,结合不同图像帧,提出将视频文件分为了4个不同重要性类别的分类方式。业务信息的不平等差错保护传输,在完成了业务信息的划分之后,需要对不同等级的信息进行不等差错编码保护。下面按照帧间层次划分方式对所选用的视频样本进行分类,对分类信息进行不平等差错编码保护仿真实验。
在仿真测试时将一个编码分组长度(1504 bit)根据四类信息所占比例{0.1701,0.2801,0.4426,0.1072},分为4个不同长度用于不同类信息的传输。仿真条件:信道为加性高斯白噪声信道。所采用的信道编码方式为ZS-IGLDPC,设置编码结构中的4类(k=4)不同重要性信息的重复次数分别为:Rep1=7,Rep2=6,Rep3=5,Rep4=4;信道编码码率为0.5211。对层次划分所得的4类信息进行不等差错编译码仿真,图3为4类信息的误码性能曲线。
图3 按层次划分方式不等差错保护误码曲线
在不同信噪比时计算4类信息经信道不等差错保护传输后重建视频图像的PSNR均值,所得结果如表2所示。
表2 帧间层次划分UEP重建视频图像PSNR均值 dB
通过上表中不难发现,在选取的信道条件下,采用帧间层次划分的视频码流的不平等差错保护的重建视频图像的PSNR均值要高于不分类情况下均等保护重建视频图像的PSNR均值,且高于按传统图像帧划分时重建视频图像的PSNR均值。在信息信噪比为2.6 dB时,按照层次划分方式相比不分类情况,重建视频图像的PSNR均值约有8 dB的提高;相比传统的按图像帧的划分方式进行不等差错保护的视频恢复图像,其PSNR均值约有4 dB的提高。
在信噪比为2.6 dB时,不同分类方式经相应信道编码保护后重建视频图像效果直观图如图4所示。
图4 2.6 dB时不同分类方式重建视频图像效果直观图
图4中的画圆圈部分为视频图像出错位置,按照层次划分方式经不等差错编码保护后的重建视频效果要优于码流不分类均等差错保护的情况,相比传统的按照图像帧划分经不等差错保护的方式在视频恢复效果上也有所提高。
基于帧间层次的视频码流划分方式是在MPEG-2的数据分割原则基础上结合图像帧对视频影响作用不同而提出的,层次划分过程复杂度不高,相比传统划分方式,在区分图像帧基础上,只需区分图像帧中的不同层次数据即可。通过仿真测试验证,视频采用帧间层次进行码流信息划分,作不等差错编码保护之后所获得的重建视频效果要优于不分类情况,相比传统的图像帧不同的划分方式,效果也有较大的提升。
[1] SRINIVASAN M,CHELLAPA R,BURLINA P.Adaptive source-channel subband video coding for wireless channels[C].Workshop on Multimedia Signal Processing,1997.
[2] CHIARIGLIONE L.MPEG and multimedia communications[J].IEEE Trans.Circuits and Systems for Video Technology,1997,7(1):5 -18.
[3] HASKELL B G.Image and video coding - emerging standards and beyond[J].IEEE Trans.Circuits and Systems for Video Technology,1998,8(7):814 -837.
[4] 孔繁锵,吴成柯,张方,等.一种基于联合信源信道自适应的不等错误保护方法[J].电视技术,2004(11):8-11.
[5] 杨海明,赵明生.多媒体会议中图像通信的不等差错保护技术实现[J].电视技术,2004(6):80-82.
[6] 陈孙阳,陈颖琪,王慈.视频传输不等差错保护方案设计[J].电视技术,2010(6):87 -89,105.
[7] 郑伟国,肖自美,杨群星.变码率MPEG-2视频编码的统计特性及数据分割可分级的新方法[J].通信学报,1998,19(10):32-39.
[8] 胡栋.视频分级编码及可靠传输的编码技术研究[D].上海:上海交通大学,2007.