分布式视频编码边信息改进技术

2015-06-22 14:40邸金红马鹏阁范曼曼
电视技术 2015年5期
关键词:关键帧译码空域

邸金红,马鹏阁,范曼曼

(1.郑州航空工业管理学院 电子通信工程系,河南 郑州 450015;2.佛罗里达大学 工程学院,美国 甘斯威尔 32611)

分布式视频编码边信息改进技术

邸金红1,马鹏阁1,范曼曼2

(1.郑州航空工业管理学院 电子通信工程系,河南 郑州 450015;2.佛罗里达大学 工程学院,美国 甘斯威尔 32611)

高质量的边信息生成技术是分布式视频编码系统实现高压缩效率的关键所在。提出一种边信息的改进方法,对部分译码的Wyner-Ziv(WZ)帧中运动剧烈的区域进行空域修正,使用相邻关键帧对应块的空间预测值与实际值之间的差值来补偿当前部分译码WZ帧中空间预测的误差。仿真结果表明该方法提升了边信息的质量,进而提高了DVC系统的率失真性能。

分布式视频编码;边信息;空域修正

随着“三网融合”与“物联网”产业的不断推进,新一代视频压缩编码技术——分布式视频编码(Distributed Video Coding,DVC)引起了业内广泛的关注。然而DVC与传统的视频编码仍然存在一定的性能差距。如何提高DVC的率失真(Rate Distortion,RD)性能,其关键点之一在于如何在编码端速率满足适定的要求下,提高译码端边信息(Side Information,SI)的质量。所谓边信息是相对主信息而言的,主信息为编码端生成的关于信源的信息,而边信息是指除主信息之外一切关于当前信源的信息。在相关信源各自独立编码的前提下,译码端所获得的边信息质量越高,信源间的统计相关性挖掘越充分,编码端需要传递的主信息越少,压缩效率越高。

目前边信息生成方法主要包括两类:一类是基于相邻帧线性预测方法[1-3],即边信息由相邻帧线性预测获得,预测方法可以是前一相邻帧和后一相邻帧运动补偿内插,或者采用相邻帧运动补偿外推;第二类是基于编码端辅助信息生成方法[4-6],即在编码端为待译码的WZ帧传送辅助信息,用以辅助译码端生成更高质量的边信息。这类方法编码端传递过多的辅助信息会增加编码复杂度,带来系统压缩性能的降低。而第一类方法主要受限之处在于,相邻视频序列中物体的运动是线性运动,通过线性预测得到插值后的图像。线性插值法在处理慢速、简单运动的视频序列时效果良好,但是当处理中高速运动或者运动复杂的物体时,线性插值法的性能急剧下降,造成最后重构的WZ帧效果较差。然而,视频帧除了在时间上具有连续性和相关性,在空间上也存在相关性,通常在运动补偿时域内插(MCTI)方法中没有利用视频帧在空域上的相关性。为补偿线性假设和高速运动的限制,本文提出了一种边信息改进方法。对于视频帧中运动复杂或者高速运动的区域,利用空间相关性改进边信息质量。

2 边信息改进方法

本文提出一种边信息的改进方法,首先利用时间相关性生成初始边信息,对于运动复杂或者高速运动的区域,时间方向上预测不准确,此时利用空间上的相关性对初始边信息的对应区域进行空域修正。DVC解码端边信息的生成过程如图1所示。

图1 使用空域相关性修正初始边信息

边信息改进方法如下:首先,已解码的相邻关键帧使用MCTI方法获得初始边信息,在运动估计过程中,记录下运动矢量的大小,对运动矢量幅度大于某一给定阈值的块,认为该区域的运动复杂或者速度较快,该区域的块需要下一步的空域修正。其次,使用信道传输的校验比特对初始边信息进行初次译码,此时生成的WZ帧称为部分译码的WZ帧。对部分译码的WZ帧的运动剧烈块采用本文提出的空域修正方法进行修正,具体过程如下所述。最后,将修正后的部分译码的WZ帧作为边信息,结合校验比特进行第二次译码,通过重构和反DCT变换后得到最终的译码WZ帧。

本文提出的空域修正方法如图2所示。

图2 本文提出的空域修正方法

块A是需要进行空域修正的区域。假设A相邻位置处的其他块a,b,c,d都不需要进行空域修正,那么A处的像素计算式为

(1)

式中:a(x,y)表示块a位于(x,y)处的像素值,同理对于块b, c, d,此处认为各相邻块在预测A块时的权值相同;A′(x,y)表示块A位于(x,y)处像素的预测值,该像素的实际值为A(x,y)。由于实际值A(x,y)与预测值A′(x,y)之间存在误差dA,因此,如果能够计算出dA,那么实际值为

A(x,y)=A′(x,y)+dA

(2)

本文提出使用相邻的已译码的关键帧中对应块的信息来估计部分译码WZ帧中的dA。图2b是与当前WZ帧相邻的已译码的关键帧,可以是前一关键帧,也可以是后一关键帧。图2a中块A是图2b中块B通过运动估计得到的,二者是通过运动矢量相关联的对应块,即A(x,y)对应B(m,n)。对块B使用与A相同的空间预测算法得到预测块B′,即

(3)

式中:B′(m,n)是块B位于(m,n)处像素的预测值,a1,b1,c1,d1是块B的相邻块,用来进行空间预测。对已译码的关键帧来说,实际值B(m,n)是已知的,因此实际值与预测值之间的误差为

dB=B(m,n)-B′(m,n)

(4)

得到关键帧中空间预测与实际值之间的误差dB后,使用该误差值作为部分译码WZ帧空间预测误差dA。本文使用前后两个关键帧作为参考帧,假设前后两帧与图2中A(x,y)对应的分别是B(m,n),C(u,v),分别计算对应块的空间预测误差dB-before和dB-back,取二者的平均值作为dA的值,即

(5)

本文算法在实现过程中,对图2a中块A进行空间预测时,使用的相邻块都是部分译码WZ帧中不需要进行空域修正的块。如果块A的相邻块也需要进行空域修正,那在预测A块时使用除该块之外的其余不需要空域修正的块,相应地关键帧中的块B也使用同样位置的块进行空间预测。如果A的4个相邻块都需要进行空域修正,则增大块的像素(如从8×8变为16×16),以保证空域修正的参考块都是时间方向上预测较为准确的块。

2 仿真结果与分析

仿真测试序列为QCIF格式的Foreman和Coastguard序列,将本文算法用于Aaron等[7]提出的DVC系统中。DVC系统性能测试中,每组图片(GOP)的数目是2。编码时,偶数帧为关键帧,采用H.264/AVC帧内模式编码;奇数帧为WZ帧,采用Wyner-Ziv编码。测试序列各取100帧,帧率为30f/s(帧/秒)。仿真过程中,峰值信噪比PSNR用每一帧的亮度分量计算。RD曲线只考虑WZ帧亮度分量的平均码率及平均PSNR值。

图3和图4分别给出了Foreman序列和Coastguard序列的前100帧的边信息PSNR的仿真结果。提出的边信息改进方法与MCTI进行对比,仿真结果表明,本文提出的基于空域修正的边信息改进方法,更有效地提高了视频序列边信息的PSNR值。对Foreman序列和Coastguard序列,采用本文方法提升的PSNR的平均值分别约为0.94dB和1.68dB。本文方法主要是对运动剧烈的块进行空域修正,因此对运动相对较快的Coastguard序列提升的性能比较大。

为了更直观地观察边信息的改进质量,图5给出Coastguard第75帧,使用MCTI和本文算法的仿真结果图。由图5可知,MCTI方法在大多数背景区域内插效果很好,但是由于快艇的速度很快,其上的人物受到背景的影响,轮廓非常模糊。通过本文的空域修正后,人物的轮廓变得比较清晰,提高了图像的主观质量。

图3 Foreman序列边信息PSNR值

图4 Coastguard序列边信息PSNR值

图5 Coastguard主观质量比较(第75帧)

图6和图7为两个序列的率失真曲线。将本文算法与Aaron等[7]提出的方案、H.264帧内、H.264帧间做了比较。从仿真结果可以看出:本文提出的算法和Aaron算法相比PSNR性能提高了0.7~1.5 dB,也相应缩小了DVC与H.264帧间编码率失真性能之间的差距。

图6 Foreman序列率失真曲线

图7 Coastguard序列率失真曲线

3 小结

本文提出了一种新的边信息改进方法,对部分译码的WZ帧中运动剧烈的区域进行空域修正,从而得到新的边信息进行WZ帧译码。仿真结果表明,在没有增加编码复杂度的情况下,本文提出的算法不仅有效改善了边信息的质量,而且提高了DVC系统的性能。

[1]CAGNAZZO M, MAUGEY T, PESQUET-POPESCU B.A differential motion estimation method for image interpolation in distributed video coding[C]//Proc.IEEE International Conference on Acoustics, Speech and Signal Processing.Taiwan: IEEE Press, 2009: 1861-1864.

[2] PETRAZZUOLI G, CAGNAZZO M,PESQUET-POPESCU B.High order motion interpolation for side information improvement in DVC[C]//Proc.IEEE International Conference on Acoustics, Speech and Signal Processing.Dallas Texas,USA: IEEE Press, 2010: 2342-2345.

[3]NATRIO L, BRITES C, ASCENSO J, et al.Extrapolating side information for low-delay pixel-domain distributed video coding[C]//Proc.The International Workshop on Very Low Bit Rate Video Coding.Sardinia,Italy: IEEE Press, 2005: 16-21.

[4]史萍,罗坤.分布式视频编码中边信息的产生[J].电视技术,2010,34(11):27-29.

[5]MAUGEY T, YAACOUB C, FARAH J, et al.Side information enhancement using an adaptive hash-based genetic algorithm in a Wyner-Ziv context[C]//Proc.IEEE International Workshop on Ultimedia Signal Processing.[S.l.]: IEEE Press, 2010: 298-302.

[6]DELIGIANNIS N, JACOBS M, VERBIST F, et al.Efficient hash-driven Wyner-Ziv video coding for visual sensors[C]//Proc.IEEE International Conference on Distributed Smart Cameras.[S.l.]: IEEE Press, 2011: 1-6.

[7]AARON A, RANE S, SETTON E, et al.Transform-domain Wyner-Ziv codec for video[C]//Proc.SPIE Conference on Visual Communications and Image Processing.[S.l.]:SPIE Press, 2004: 520-528.

邸金红(1980— ),女,博士,讲师,主研多媒体通信、视频编码与传输;

马鹏阁(1976— ),博士,副教授,主研机载目标探测与跟踪系统、机载光电对抗系统;

范曼曼(1987— ),女,研究生,主研视频编码。

责任编辑:薛 京

Improvement of Side Information in Distributed Video Coding

DI Jinhong1, MA Pengge1, FAN Manman2

(1.DepartmentofElectronicandCommunicationEngineering,ZhengzhouInstituteofAeronauticalIndustryManagement,Zhengzhou450015,China; 2.TheCollegeofEngineering,UniversityofFlorida,Gainesville32611,America)

The good construction technology of side information is essential to fulfill high compression efficiency for distributed video coding system.A refinement method of side information is presented in this paper.The spatial correlation of the fast-motion blocks in the partially decoded Wyner-Ziv (WZ) frame is adopted.The difference between the predication value corresponding to the key frame and the actual value of the block is used to compensate the prediction error of the partially decoded WZ frame.Simulation results show that the proposed method can improve the quality of side information and the rate distortion performance of distributed video coding codec.

distributed video coding; side information; spatial correlation

国家自然科学基金项目(61271190);河南省教育厅重点项目(14B510029)

TN949.6

A

10.16280/j.videoe.2015.05.008

2014-01-22

【本文献信息】邸金红,马鹏阁,范曼曼.分布式视频编码边信息改进技术[J].电视技术,2015,39(5).

猜你喜欢
关键帧译码空域
分段CRC 辅助极化码SCL 比特翻转译码算法
我国全空域防空体系精彩亮相珠海航展
基于校正搜索宽度的极化码译码算法研究
自适应无监督聚类算法的运动图像关键帧跟踪
基于改进关键帧选择的RGB-D SLAM算法
从霍尔的编码译码理论看弹幕的译码
基于贝叶斯估计的短时空域扇区交通流量预测
基于相关系数的道路监控视频关键帧提取算法
浅谈我国低空空域运行管理现状及发展
基于能量空域调控的射频加热花生酱均匀性研究