联合率失真模型的帧级码率控制方法

何书前，邓正杰，石 春

1.中山大学 信息科学与技术学院，广州 510275 2.海南师范大学 信息科学技术学院，海口 571158

联合率失真模型的帧级码率控制方法

何书前1，2，邓正杰2，石 春2

1.中山大学 信息科学与技术学院，广州 510275 2.海南师范大学 信息科学技术学院，海口 571158

1 引言

在视频通信系统中，如何在有限的带宽和缓冲资源条件下达到最好的视频编码质量，码率控制起到非常重要的作用。特别是在H.264/AVC视频编码标准[1-2]的应用中，率失真最优化（RDO）技术的使用引入了量化参数求解的“鸡蛋问题“，给码率控制带来了巨大挑战。其中，H.264/AVC标准中推荐了JVT-G012[3]通过预测编码复杂度很好地解决了该问题，在GOP中分配帧比特和选择量化参数以达到编码目标。因为该方法采用单通线性预测模型，将造成较大的预测误差，从而引入较大的帧间编码质量波动。为了解决编码复杂度的预测精度问题，Ma等4]建议了双通的码率控制策略，如果第一遍编码未能获得准确的量化值，第二遍编码时将很好地提高精度；但该方法引入了非常高的计算复杂度。后来，引入了线性R-Q模型，将双通方法扩展为半双通码率控制算法，在计算复杂度和预测精度之间取得了较好的折中。在文献[5]中，改进了G012中的MAD预测模型，并在R-Q模型中引入了头信息的影响，将码率控制方法扩展到H.264低延时视频通信系统中。Wanghanli等人[6]指出了I帧初始量化的选择将影响整个GOP的编码质量，并利用I帧的熵信息和Intra16的编码信息预测初始量化参数，大大提高了GOP的编码率失真性能。Bo Yan[7]等人则将I帧和P帧的编码复杂度联合建模，获得了更佳的比特分配方案。综上所述，在文献[3-13]提出的方法，均假定时间上相邻的编码单元之间的头信息不变，码率模型则简化为残差码率模型，并定义为量化参数与视频内容参数的函数，其中视频内容参数均采用了残差信息的方差，因此，得到的率失真模型精度有限。在本文中不仅对头信息进行了分析建模，而且引入头信息与残差信息之间的关系，改进了码率模型，并利用前一编码单元的分布稳定特性对实际残差直方图与拉普拉斯假设预测的直方图进行了修正。另外，量化失真即残差失真，现有的残差失真模型假定残差服从拉普拉斯分布，已得到了非常好的效果；结合联合码率模型与残差失真模型，构建在受限的码率条件下，求最小的失真问题的求解方法。

2 头信息编码分析

由H.264编码原理可知，总的视频编码输出信息中不仅包含残差信息，还包括了由运动信息、模式信息、语法信息（参考帧、量化与其他语法）组成的头信息。如图1所示，在头信息中，主要组成部分为模式信息和运动矢量信息，其他的（如量化参数等）头信息占的比重较小且稳定，用常数来表示，因此，头信息的定义如下：

R(h)=R(Mode)+R(Inter)+θ （1）模式信息R(Mode)，运动矢量信息R(Inter)，为头信息的重要部分，其他类型为常量θ。R(Mode)和R(Inter)两个变量的大小与编码模式选择密切相关，不同的模式可表示为分块数量NB，编码模式分块的数量NB越大，则R(Mode)和R(Inter)产生的信息量越大，同时，同一种模式下，运动矢量差值mvd越大，则R(Inter)的信息量越大。头信息的输出码率与视频帧的内容复杂度相关，内容复杂度越高，宏块分块越小，得到的头信息则越高；另外，头信息与残差信息存在耦合关系，相对于相同的帧间编码条件，越小的宏块分块模式，残差信息则越小，反之亦然。

如图2所示，本文对news视频序列进行了测试，给出了运动矢量、模式与编码块数之间的关系，如图2列出了帧的模式与编码的块数的关系以及帧运动矢量信息与编码块数之间的关系。

从图2中可以看出，帧运动矢量信息、模式编码信息与块数量之间成明显的线性关系，即

同理，运动矢量与模式编码信息之间也存在线性关系；

其中，参数 β(mvd)由mvd决定，每帧的编码分块数NB=为帧中第i个宏块的分块数，MF为帧中包含的宏块总数。将式（2）（3）带入式（1）可得头信息编码模型：

视频序列的帧间时空相关性较强，因此，相邻帧间的运动程度变化较小，β(mvd)可以由已编码帧的平均值预测此外，NB直接反映了时空相关性的变化MAD表示当前帧与前一帧的平均绝对差。头信息的估计模型为：

图1 News视频序列头信息组成部份

图2 News R（Inter）-NB关系图和R（Mode）-NB关系图

3 帧间复杂度描述

混合预测编码框架下，帧间编码的原理是在参考帧中找到最佳的编码模块，对原始块与预测块的差值进行编码，联合分块信息与运动信息，组成总的编码信息量R。不同大小的块得到的差值不一样，得到的运动信息也不一样；当块数量越大，运动信息越大，同时，得到的残差值越小；当块数量越小，宏块残差差值则越大，运动信息则越少。

当帧间编码的参考帧与原始帧确定之后，相对于某一量化参数，帧间时空复杂度则表示为最小的率失真代价。采用的各种编码模式进行预测编码来描述时空复杂度，将时空复杂度分为空间复杂度和时间复杂度。其中空间复杂度用量化前残差信息来描述R(t)，时间复杂度则用头信息来描述R(h)。因此，得到时空复杂度，用信息量的方式描述：R=R(t)+R(mv)。如图3所示，对不同运动程度的视频序列进行测试，采用不同的量化参数，不同的编码模式分别表示为16×16为1，8×16为2，16×8为3，8×8为8，收集头信息与量化之前残差信息量，对于每个宏块，每种模式得到的信息量基本重合，每一种编码模式得到的残差信息和头信息的总和几乎相等。因此，假定帧间预测编码得到的时空复杂度为固定值，并等于目标码率R，由以上的测试结果可知，每种编码模式的时空复杂度相同。即

将上式代入到式（6）中，可得：

目前，已有多篇文献[14-15]证明视频残差信息服从拉普拉斯分布，在这里，假定残差信息的概率密度为拉普拉斯分布为残差信息方差。在量化之前，有了概率密度分布，残差信息的信息量表示为信息熵可得：

4 量化率失真模型码率控制

根据香浓的率失真理论，残差信息的量化失真模型很容易推导得到：

图3 序列帧中各编码模式编码信息量

图4 本文方法与G-012码率控制算法帧PSNR/R值比较

对于目标码率受限条件下的率失真最优化码率控制问题，给定目标码率R，通过式（5）得到R′(h)和N′B，代入式（10）中可得到残差信息的方差σ。从文献[15]可知，码率控制方法为了保持PSNR的稳定性，将保持前后帧之间的量化参数值控制在一定的范围内[-Δ，+Δ]，这里选择Δ=3。设前一帧量化参数值为Q，则量化范围为{Q-3，Q-2，Q-1，Q，Q+1，Q+2，Q+3}，从式（11）和（12）可得和，其中 k属于以上量化参数范围。通过 λ= 0.85×将信息与失真统一到同一量纲，得到相应的代价Jk，最佳率失真代价的量化参数及为Q*(min{Jk})。

5 实验对比

本文算法已经在JVT参考软件JM10.2平台[15]上实现，并对不同的运动激烈程度的QCIF（144×176）格式的视频序列进行了测试，视频序列的分类为：低运动或低空间复杂度视频序列（Akiyo和Container），中等空间复杂度或运动程度视频序列（Foreman和News）和高空间复杂度和快速运动视频序列（Football和Mobile）。参考软件的测试条件如下：每种视频序列编码结构采用IPP结构；参考帧数选择为1；RDO最优化编码；运动估计搜索范围为16；每个视频序列编码100帧。首先采用固定量化参数对每种视频序列进行编码，得到输出码率，作为JM模型的参考对比；接着固定量化参数作为码率控制算法的初始量化值，同时，将以上输出码率作为码率控制算法的目标码率，对固定量化参数编码JM方法，G012码率控制和本文算法进行了比较。

表1给出了实验测试结果，分别从输出码率和PSNR两个方面，采用平均PSNR/输出码率比值进行比较，对于运动剧烈程度较大的视频序列，头信息占比较大时，PSNR增益较小，最大达到了0.21 dB；较低的运动剧烈程度的视频序列，相邻帧的头信息变化较小，PSNR增益较大，最大达到了0.27 dB。由于本方法采用了头信息与残差的联合率失真模型，每种视频序列的视频输出实际码率与目标码率的匹配程度均优于G012方法，体现了高精确的码率控制。

图4给出了JVT算法G012与本文算法的Akiyo视频序列每帧PSNR/R比较，其中，横坐标为帧序号，纵坐标分别为PSNR/R比值。图中结果显示，不管是每帧的PSNR还是输出码率对比，本文方法单位比特得到的PSNR增益大多数帧均优于G012，特别是PSNR值，平均达到了0.27 dB；与JVT G012码率控制方法相比，最高达0.51 dB。

表1 各种方法的对比结果

6 结束语

本文分析了视频编码器输出的码率组成，指出了头信息在中低码率应用中的重要性，提出了一种联合头信息与残差信息率失真模型的帧级码率控制方法。首先，分析了头信息中运动信息与模式信息的影响，建立了头信息模型；接着，利用时空复杂度对各种模式的稳定性，假定残差信号服从拉氏分布，通过残差信息的率失真模型，得到联合率失真模型；最后，利用视频内容的高时空相关性，得到率失真模型的估计模型，应用于帧级码率控制算法中。实验结果显示，本文方法不仅从模型控制精度方面，还是从视频解码质量方面，均优于JVT G012方法。

[1]Wiegand T，Sullivan G J，Bjontegaard G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：560-576.

[2]Wiegand T，Sullivan G J，Luthra A.Draft ITU-T recommendation and final draft international standard of joint video specification（ITU-T Rec.H.264---ISO/IEC 14496-10 AVC）[Z].2003.

[3]Li Z G，Pan F，Lim K P，et al.Adaptive basic unit layer rate-control for JVT[C]//7th JVT Meeting，Pattaya II，Thailand，2003.

[4]Ma S W，Gao W，Lu Y.Rate-distortion analysis for H.264/ AVC video coding and its application to rate control[J]. IEEE Transactionson CircuitsandSystemsfor Video Technology，2005，15（12）：1533-1544.

[5]Liu Yang，Li Zhengguo，Soh Y C.A novel rate control scheme for low delay video communication of H.264/AVC standard[J]. IEEE Transactions on Circuits and Systems for Video Technology，2007，17（1）：68-78.

[6]Wang Hanli，Kwong S.Rate-distortion optimization of rate control for H.264 with adaptive initial quantization parameter determination[J].IEEE Transactions on Circuits and Systems for Video Technology，2008，18（1）：140-144.

[7]Yan B，Sun K R.Joint complexity estimation of I-frame and P-frame for H264AVC rate control[J].IEEE Transactions on Circuits and Systems for Video Technology，2012，22（5）：790-798.

[8]Jiang M Q，Ling N.On Lagrange multiplier and quantizer adjustment for H.264 frame-layer video rate control[J]. IEEE Transactions on Circuits and Systems for Video Technology，2006，16（5）：663-669.

[9]Yuan W，Lin S X，Zhang Y D，et al.Optimum bit allocation and ratecontrolforH.264/AVC[J].IEEE Transactionson Circuits and Systems for Video Technology，2006，16（6）：705-715.

[10]Li X，Oertel N，Hutter A，et al.Laplace distribution based Lagrangian rate distortion optimization forhybrid video coding[J].IEEE Transactions on Circuits and Systems for Video Technology，2009，19（2）：193-205.

[11]Liao Ke-Ying，Yang Jar-Ferr，Sun Ming-Ting.Rate-distortion costestimation forH.264/AVC[J].IEEE Transactions on Circuits and Systems for Video Technology，2010，20（1）：38-49.

[12]Moon J M，Kim J H.A new low-complexity integer distortion estimation method forH.264/AVC encoder[J].IEEE Transactions on Circuits and Systems for Video Technology，2010，20（2）：207-212.

[13]Dong Jianpeng，Ling Nam.A context-adaptiveprediction scheme for parameter estimation in H.264/AVC Macroblock layer rate control[J].IEEE Transactions on Circuits and Systems for Video Technology，2009，19（8）：1108-1117.

[14]Guo Liwei，Au O C，Ma Mengyao，et al.A novel analytic quantization-distortion modelforhybrid video coding[J]. IEEE Transactionson Circuitsand SystemsforVideo Technology，2009，19（5）：627-641.

[15]H.264/AVC reference softwares[EB/OL].[2012-08-20].http：// iphome.hhi.de/suehring/tml/.

HE Shuqian1，2,DENG Zhengjie2,SHI Chun2

1.School of Information Science and Technology,Sun Yat-Sen University,Guangzhou 510275,China 2.School of Information Science and Technology,Hainan Normal University,Haikou 571158,China

This paper presents a new frame-level rate control scheme for H.264/AVC with joint rate and distortion models.A rate model for the header information is developed to estimate header bits more accurately.The number of header bits is modeled as a function of the number of blocks and the average bits of MVs.A new Rate-Distortion（R-D）model for header information and texture is proposed to joint header-texture rate model and a distortion model.An accurate estimation method is proposed to improve rate distortion performance.When compared with the rate control scheme G012 which is adopted by the latest JVT H.264/AVC reference model JM10.2,the proposed rate control algorithm could improve the matching rate between actual bits and targets ones by up to 98.06%.The average luminance PSNR of decoded video is increased by up to 0.27 dB.

rate distortion;rate control;header information;target rate

在H.264/AVC视频编码框架下，基于联合率失真模型，提出了一种新的帧级码率控制方法。利用分块数量和平均运动矢量信息，发展了一种精确的头信息估计模型；联合头信息与残差信息模型，并结合残差失真模型，提出新的联合头信息与残差率失真模型；利用精确的估计方法进一步提高率失真性能。相对于最新的JVT H.264/AVC参考软件JM10.2中采用的JVT-G012方法，该方法提高了实际码率与目标码率之间的匹配率达到了98.06%，重构视频的平均亮度PSNR值增加了0.27 dB。

率失真；码率控制；头信息；目标码率

A

TN919.8

10.3778/j.issn.1002-8331.1304-0219

HE Shuqian,DENG Zhengjie,SHI Chun.Joint rate distortion models rate control method for frame level.Computer Engineering and Applications,2013,49（23）：19-23.

海南省自然科学基金项目（No.611128，No.612122，No.613164，No.613163）。

何书前（1978—），男，博士研究生，副教授，研究领域为视频编码、压缩感知；邓正杰（1980—），男，博士，副教授，研究领域为图像处理；石春（1976—），男，博士，副教授，研究领域为无线通信。E-mail：heshuqian05@126.com

2013-04-15

2013-05-24

1002-8331（2013）23-0019-05

CNKI出版日期：2013-06-26 http://www.cnki.net/kcms/detail/11.2127.TP.20130626.1539.004.html