一种H.264时域可伸缩编码的量化参数选择策略

2013-09-17 10:25李秀清吴俊峰
电视技术 2013年3期
关键词:宏块时域残差

刘 昱,李秀清,吴俊峰

(天津大学电子信息工程学院,天津 300072)

一种H.264时域可伸缩编码的量化参数选择策略

刘 昱,李秀清,吴俊峰

(天津大学电子信息工程学院,天津 300072)

提出一种用于H.264 SVC时域分级编码中的量化参数选择方法。该方法使用H.264 SVC编码处理中的统计数据完成快速视频内容检测。在视频数据出现场景变化时,为较高时域级别的SVC的图像帧设定精细的量化参数,保证参考帧的图像质量,提高SVC编码性能。对不同视频序列的实验表明,所提出的方法在几乎不增加计算量的条件下,可以有效地提高H.264 SVC时域伸缩编码的性能。

H.264 SVC;视频场景切换;量化策略

【本文献信息】刘昱,李秀清,吴俊峰.一种H.264时域可伸缩编码的量化参数选择策略[J].电视技术,2013,37(3).

1 H.264 SVC简介

近年来,数字多媒体技术得到了快速而广泛的应用。2005年1月,MPEG和VCEG联合提出了最终的H.264 SVC标准[1]。H.264 SVC是一种与H.264/AVC标准兼容并提供编码伸缩性的新技术,它的基本层完全可以被H.264/AVC解码器所解码。H.264 SVC采用了分级预测结构,用以提供多层次的时域伸缩性。此外,H.264 SVC还在不同分辨率间采用了自适应的层间预测技术,以便进一步实现高编码效率[2]。可以预见,H.264 SVC必将被广泛应用于网络流媒体等领域。

时域可伸缩技术是指视频码流能够以不同的帧率进行解码。假设基本时域层的码率设置为3.75 Hz,则通过使用多个增强层,帧率最高可以达到60 Hz。视频流的帧率被归为几个级别,级别0是基本层,级别1,2,3作为增强层。

H.264 SVC的分级P预测及分级B预测结构如图1所示。时域层的每组帧均可以在层>K的帧缺失的情况下被解码。图1中的结构包含4个层级分别为T0,T1,T2,T3,{T0,T1,T2,T3}是基本的帧率,{T0,T1,T2},{T0,T1}和{T0}分别是基本帧率的1/2,1/4,1/8。图1a中的分级P预测适用于像电视会议这种低时延系统中。但是,由于冗余数据的存在,这可能导致严重的视频质量下降。因而,对于图像质量有严格要求的应用,可以采用分级B预测,如图1b所示。

图1 SVC时域可伸缩编码预测结构

2 JM的时域层的量化策略

在标准制定工作组所提供的H.264 SVC参考编码器JMVM中,提供了一种用于时域可伸缩编码的量化参数选择策略。该策略可以考虑参考图像的质量,时域基本层的各帧应采用较小的量化参数以实现较高的图像质量,而增强层的QP应随着编码层级别而逐渐增加。不同时域层的量化参数可通过下列公式得到[2-3]

式中:QPini是最初的量化参数;N是时域可伸缩的总层数;round()为QPx的取整操作。对于k层来说,QPk可由式(1)得到。例如,图1所示的时域预测结构中,如果T0量化参数为36,则T1量化参数为33。

虽然这个机制可能导致一个GoP中PSNR产生严重的漂移,但重建的视频显示,周期性的质量漂移并没有出现,并且该机制已经被证明适用于大量的测试序列。

3 基于视频内容变换的量化参数选择策略

虽然上述的时域层量化机制有很强的适用性,但量化参数的选择没有考虑到视频内容的变化。如图1所示,和传统的视频编码结构相比,H.264 SVC中的当前帧和参考帧之间的距离要大得多。因此,场景变化发生在当前帧和参考帧之间的可能性大大增强。在视频编码中,场景变换产生大量的冗余数据。如果对于大冗余数据采用大的量化参数,那么视频将出现明显的块效应,质量会急剧下降。在图1b中,如果场景变换在第5帧(T1层)处发生,由于第5帧作为T2和T3层的直接或者间接参考帧,整个GoP的PSNR会明显降低。为了提高在场景变换时的视频编码质量,本文建议了一种H.264 SVC场景变换检测,并基于视频内容的场景变化提出了一种量化参数选择方法。

3.1 快速场景变换检测

目前有很多算法用于场景变换的检测,文献[4]利用像素统计信息来进行场景变换检测。这些算法都需要很大的计算量。在视频编码的过程中,预测残差数据可以用来进行场景变换检测[5-6],本文通过编码统计过程中的预测残差进行场景变换检测。

设每个宏块的预测残差为RMB,公式为

式中:dij为原始图像数据与预测数据的差值,进行绝对值求和后,用于宏块残差的统计,对于I帧的总残差为

式中:M,N分别为一帧图像中的水平和垂直方向的宏块数目。相应地,对于P帧见式(4)

在编码过程中,可以依据I帧的编码数据得到RI,同时RI以GoP为单位进行更新。在获得RI后,对于后续的每个P帧,可以获得RP。由于RI全部由帧内预测残差构成,而RP则主要由帧间预测残差构成。帧间残差为运动补偿后的差值数据,如果待编码宏块可以在参考帧中找到良好的预测,残差数据将很小,即在时域上没有发生场景切换。反之,如果发生场景切换,则P帧中的大部分宏块数据无法在参考中找到良好的预测,残差较大,通常来说有RI>3RP。基于上述原理,本文提出通过计算RI与RP的比例,确定视频内容是否发生场景切换的方法,如果

则当前P帧判断为发生场景切换。

3.2 基于场景变换的量化参数选择方法

H.264 SVC编码的GoP结构是由编码器预先设定的。如果视频内容的场景切换出现在I帧,则该帧将全部采用帧内编码模式进行编码,编码质量不会出现下降。如果场景切换出现在低层的P帧(如图1中第5帧),则需改进原有的量化参数(见表1),选择方法为

式中:⎿」为向上取整处理。采用上述方法,当P帧出现场景变换时,该帧所对应的量化参数变小,进而保证该参考帧的编码质量,该帧用于后续的时域参考后,可以提高视频码流质量。

表1 场景变换检测及QP调整

4 实验结果及分析

实验采用常用的视频测试序列,包括“football”,“waterfall”,“foreman”,“silent”等,并拼接成序列“football_foreman”,“mobile_tempete”,“waterfall_silent_waterfall”。“football_foreman”,“mobile_tempete”分别在第8 帧,第24帧处形成场景变换。在“waterfall_silent_waterfall”中,场景变换发生在第10帧,第20帧处。实验采用JSVM6.5,并设置参数如下:1帧参考图像,快速搜索模式,CABAC编码,GoP取32,仅采用时域可伸缩性,起始QP在24到36间,并且33帧图像被编码到6层。测试结果如图2~图5。

图2中,根据预测相关性,“waterfall_silent_waterfall”有5帧图像发生了场景变换,“opt”方法明显提高30 Hz时域层的编码质量。图3显示帧率为15 f/s时,性能也提高了约0.25 dB。图4、图5显示对于不同序列、不同帧率也有所提高。结果显示“opt”方法明显提高了编码效率。

图5 7.5 f/s football_foreman测试结果

实验还测试了其他大量序列。针对这些序列,本方法可以得到相似的结果。与JSVM中的量化方法相比,此方法可以实现0.1~0.25 dB的PSNR增益。

5 小结

本文提出基于场景变换的量化参数选择方法。通过检查不同宏块间的比例来检测场景变换。每一帧的量化参数根据视频内容的变换进行调整。测试结果表明,本文所提出的方法可以较为准确地检测视频内容的变换,并依据编码统计数据动态调整H.264时域可伸缩编码的量化参数,可以获得0.1~0.25 dB的PSNR增益。

:

[1]JVT.Joint Draft 11:Scalable video coding[S].2007.

[2]WIEN M,SCHWARZ H,OELNAUM T.Performance analysis of SVC[J].IEEE Trans.Circuits System Video Technology,2007,17(9):1194-1203.

[3]JVT.Joint scalable video model[S].2007.

[4]LELESCU D,SCHONFELD D.Statistical sequential analysis for realtime video scene change detection on cmpressed multimedia bitstream[C]//Proc.ICME 2003.[S.l.]:IEEE Press,2003:106-117.

[5]PEI S C,CHOU Y Z.Effective wipe detection in MPEG compressed video using macro block type information[C]//Proc.ICME 2002.[S.l.]:IEEE Press,2002:309-319.

[6]SANGKEUN L,HAYES M H.Scene change detection using adaptive threshold and sub-macroblock images in compressed sequences[C]//Proc.ICME 2001.[S.l.]:IEEE Press,2001:52-55.

Novel Temporal Quantization Strategy of H.264 SVC

LIU Yu,LI Xiuqing,WU Junfeng

(School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China)

A novel quantization parameter(QP)selection strategy for each frame of different temporal layers is suggested.A method of scene change detection using statistic data derived in the coding processing is proposed.If scene change occurs in video sequence,this strategy can improve the coding performance by providing high quality reference pictures.Experiments of different video sequences show that the proposed strategy can enhance the performance of temporal scalable coding with little computation increasing.

H.264 SVC;scene change;quantization strategy

TN949.6

A

刘 昱(1976— ),副教授,硕士生导师,主研数字音视频压缩编码、多媒体系统与应用、惯性导航等;

李秀清(1984— ),硕士生,主研H.264 SVC编解码;吴俊峰(1984— ),硕士,主研视频编解码理论。

责任编辑:时 雯

2012-07-18

猜你喜欢
宏块时域残差
基于双向GRU与残差拟合的车辆跟驰建模
基于残差学习的自适应无人机目标跟踪算法
基于运动估计与补偿的雷达拼图预测分析*
基于递归残差网络的图像超分辨率重建
基于时域信号的三电平逆变器复合故障诊断
基于极大似然准则与滚动时域估计的自适应UKF算法
基于时域逆滤波的宽带脉冲声生成技术
基于选择特征宏块的快速视频稳像
基于时域波形特征的输电线雷击识别
平稳自相关过程的残差累积和控制图