徐 宁,殷海兵,郭龙盛
(中国计量学院信息工程学院,浙江杭州310018)
视频编码标准H.264/AVC的测试模型采用基于拉普拉斯分布的二次R-Q模型。编码过程中,通过码率控制分配编码比特,获得量化参数QP,并且获得率失真参数λ进行率失真优化,而QP和λ是影响视频编码效率的关键因素。视频实时传输,缓冲区十分有限,帧级码流控制不能精确控制,宏块级码流控制更为精细[1],而进行运动估计、模式选择需要用到率失真参数λ。因此,R-Q模型宏块级应用尤为重要。
实验证明,DCT系数统计概率分布符合一定的概率密度函数,据此建立R-Q模型。早期,学者们认为DCT系数中的AC系数符合高斯分布。后来,学者相继提出拉普拉斯分布、广义高斯分布和柯西分布,其中拉普拉斯分布应用广泛[2]。运用以上这些分布进而推导相应的R-Q模型。
关于R-Q模型的研究很多,文献[1-2]基于柯西分布提出R-Q模型;文献[3]提出一种基于拉普拉斯分布的R-Q模型;文献[4]和文献[5]分别对文献[3]中的R-Q模型进行改进、优化。文献[6]基于文献[2]提出一种新的R-Q模型;文献[7]提出一种基于广义高斯分布的R-Q模型。文献[8]根据码率与零值在变换系数量化后所占百分比之间的关系,提出一种新的模型。本文主要对4种主流R-Q模型宏块级精准度和复杂度进行分析。
运用拉普拉斯分布概率密度函数推导出率失真函数R(D),对其进行泰勒级数展开、简化得到[3]
式(2)为式(1)的应用
文献[4]对式(2)进行改进、简化,得
式中,参数p与编码帧类型有关。
文献[2]作者根据柯西分布概率密度函数,理论推导,简化R-Q模型为
式中,参数p与编码帧熵值有关。
文献[7]详细叙述了此模型,用于编码比特预测,降低模式选择复杂度。此模型理论推导与上述模型不同,首先根据广义高斯分布概率密度函数计算像素点自信息,然后根据块自信息预测编码比特,整个过程参数多、运算复杂,即使大部分数值采用查表方式获得。式(5)是块自信息与编码比特之间的表达式
式中,rB代表块信息量。
对式(2),(3),(4)和(5)4种R-Q模型进行测试、比较。
本节通过实验对上述4种R-Q模型宏块级精准度进行分析。MAD model,SATD model,Cauchy model,GGD model分别代表基于拉普拉斯分布的R-Q模型、基于拉普拉斯分布的改进R-Q模型、基于柯西分布的R-Q模型及基于广义高斯分布的R-Q模型。本实验采用JM12.0作为测试代码,测试条件:RDOptimization=1,RateControlEnable=0,SearchRange=16,ProfileIDC=77,NumberReferenceFrames=1。
图1~4分别表示4种模型误差分布情况,横坐标表示预测产生的误差,纵坐标表示拥有相应误差的宏块数目,可以大概看出,较之其他3幅图,图3误差分布范围窄,精准度高。
图1 SATD模型误差分布
实验分别测试qcif,cif,720p这3种分辨力序列。表1~4给出4种R-Q模型在不同分辨力序列下比较的详细信息。各表表身第2~5列测试数据是4种模型预测误差率在20%以内的概率。第2列数据数值比其他3列高,基于广义高斯分布R-Q模型的精准度之所以如此高,正如第1节所述,此模型依据广义高斯分布概率密度函数计算像素点自信息,进而预测编码比特;而其他3种模型的预测是根据相应的概率密度函数,计算熵值(自信息均值),然后预测编码比特。
各表第6,7列数据分别等于第3,4列数据之差和第4,5列数据之差。从第6列数据来看,基于柯西分布的R-Q模型与基于拉普拉斯分布的R-Q改进模型差别很小,式(3)和式(4)结构相似,但参数赋值不同,式(4)参数是根据已编码宏块信息设定,式(3)参数包含当前编码宏块复杂度信息SATD,这是式(3)比式(4)精准度高的一个原因。由第7列数据,结合式(2)和式(3),基于拉普拉斯分布的R-Q改进模型,无论从精准度还是复杂度方面,要比之前的模型好。
表1 4种模型的测试数据1(qcif分辨力序列)
表2 4种模型的测试数据2(cif分辨力序列)
表3 4种模型的测试数据3(720p分辨力序列)
表4 4种模型的测试数据4(qcif mobile序列)
表4说明了量化后为零的系数占的比例(percentage of zero)对于R-Q模型精准度的影响。这4行数据是qcif的mobile序列在QP分别为28,32,34,36下的测试数据。从这些数据可以看出,随着QP的增大,percentage of zero增大,R-Q模型精准度下降。依据建立4种R-Q模型的推导过程,可以认为理论上量化后为零的系数都参与了编码比特预测,而在实际编码过程中,并不是所有量化后为零的系数都贡献编码比特,为零的系数理论概率值与实际存在差别,因此4种模型的精准度有所下降,但这并不是唯一导致精准度下降的原因。
表1~3中*1、*2和*3行数据分别是qcif,cif和720p测试序列每列数据的均值。从上述3行数据来看,720p测试序列4种模型的预测精准度不及qcif,cif测试序列。这与测试序列内容有关:720p的测试序列视频内容平坦,无剧烈运动,时间相关性强,因此,量化后为零的系数所占的比例(percentage of zero)较其他2种分辨力测试序列高。
从第2列数据看到,测试序列football的精准度最低,但它的percentage of zero不是最高的,这说明系数为零的比例并不是影响R-Q模型精准度的唯一原因。测试序列football较之其他测试序列,时间相关性不强,场景变化快;而4种R-Q模型参数根据已编码宏块信息设定,也就是系数准确度受到时间相关性影响,因此football精准度较之其他测试序列低;这列数据中cif的mobile的精准度最高。此测试序列内容空间复杂度较之其他测试序列高,percentage of zero较之其他测试序列低,实际量化后系数为零的概率与理论值差值小,因此,此测试序列的精准度高。
实验证明:1)因为上述R-Q模型是由概率密度函数计算自信息或熵值(自信息均值),预测编码比特数,理论上量化后系数为零的概率与实际概率存在差别,所以存在误差。2)产生误差的另外一个原因是,R-Q模型系数准确度的影响。由于上述R-Q模型系数由已编码宏块信息设定,因此若测试序列时间相关性不强,则影响到系数准确度,进而影响R-Q模型精准度。
根据R-Q模型结构把4种模型分为两类:
1)基于广义高斯分布R-Q模型:此模型参数计算和更新分为自信息参数更新和预测编码比特参数更新,根据相邻参考帧内容计算自信息参数更新,而预测编码比特的参数更新运用线性回归方法计算。此模型共有18个参数进行计算和更新,每帧自信息参数计算和更新复杂度为16×(1次×指数+1次×对数+2次×除法)运算。每个宏块的预测编码比特参数计算和更新复杂度为2×(1次×指数+1次×乘法)运算,此模型精准度高,适合于编码比特预测,但复杂度高不适合用于码率控制。
2)其他3种R-Q模型:每种模型只拥有一个计算和更新的参数,当前编码宏块采用已编码帧对应宏块的参数进行运算、宏块编码之后,运用实际编码比特进行参数更新,每个宏块预测编码比特的参数计算和更新复杂度为1×(1次×指数+1次×除法)运算;虽然3种模型精度不及前一种模型,但复杂度低,适合用于码率控制。
本文对4种R-Q模型宏块级精准度进行分析。1)分析4种模型的推导过程,基于广义高斯分布的R-Q模型与其他3种模型推导过程有所区别。因为两者的用途不同,前者用于编码比特预测,精准度高,但运算复杂,而后者用于码率控制进行码率分配、QP选择。2)4种R-Q模型产生预测误差的原因有两个:(1)DCT系数统计分布中,系数为零的概率理论值与实际的概率不符;(2)R-Q模型参数的准确度受到视频内容时间相关性影响。
综合上述分析,R-Q模型精准度受到两方面因素影响,有待于进一步改进。本文为改进R-Q模型及提出新的R-Q模型和优化码率控制算法提供了基础的数据分析,并且将R-Q模型用于模式选择中编码比特数预测复杂度过高,需进一步简化。
[1]SANZ-RODRIGUEZ S,DEL-AMA-ESTEBAN O,DE-FRUTOS-LOPEZ M,et al.Cauchy-density-based basic unit layer rate controller for H.264/AVC[J].IEEE Trans.Circuits Syst.Video Technol.,2010,20(8):1139-1143.
[2]KAMACI N,ALUNBASAK Y,MERSEREAU R M.Frame bit allocation for the H.264/AVC Video coder via cauchy-density-based rate and distortion models[J].IEEE Trans.Circuits Syst.Video Technol.,2005,15(8):994-1005.
[3]CHIANG T,ZHANG Ya-qin.A new rate control scheme using quadratic rate distortion model[J].IEEE Trans.Circuits Syst.Video Technol.,1997,7(1):246-250.
[4]KWON D K,SHEN M Y,KUO C C J.Rate control for H.264 video with enhanced rate and distortion models[J].IEEE Trans.Circuits Syst.Video Technol.,2007,17(5):517-529.
[5]MA Siwei,GAO Wen,LU Yan.Rate-distortion analysis for H.264/AVC video coding and its application to rate control[J].IEEE Trans.Circuits Syst.Video Technol.,2005,15(12):1533-1544.
[6]HU Sudeng,WANG Hanli,KWONG S,et al.Frame level rate control for H.264/AVC with novel rate-quantization model[C]//Proc.IEEE International Conference on Multimedia & Expo.Singapore,2010.[S.l.]:IEEE Press,2010:226-231.
[7]ZHAO Xin,SUN Jun,MA Siwei,et al.Novel statistical modeling,analysis and implementation of rate-distortion estimation for H.264/AVC Coders[J].IEEE Trans.Circuits Syst.Video Technol.,2010,20(5):647-660.
[8]李浩,张颖,张兆扬.一种H.264视频编码码率控制方法[J].电视技术,2003,27(12):10-20.