H.264中帧内预测模式选择算法的研究

杨 松，任永峰

(淮阴工学院计算机工程学院，江苏淮安223003)

0 引言

在以往的标准中，帧内图像编码一般直接将图像分成像素块，对于像素块的数值直接进行DCT变换和量化，这样处理就导致图像压缩效率不是很高。H.264根据相邻像素可能有相同的性质［1］，充分利用了相邻像素之间的相关特性，采用了新的帧内预测模式，根据已解码重建的相邻块像素来实现对当前块的预测，并且对当前块和实际块的预测残差进行变换、量化、熵编码等以消除空间域冗余。通常视频序列空间相邻像素之间具有强相关性，往往存在着大量的空域冗余［2］，特别是在变化平缓的背景区域，由于相邻像素值相近，只对实际值和预测值的差值进行编码，这样就能用较少的比特数来表达帧内编码的像素信息，从而实现一种更为高效的帧内空间域预测编码模式。H.264针对不同尺寸编码单元在空间域设计了多个方向预测编码模式，力图以此消除帧内编码图像的空间冗余。

1 帧内预测模式复杂度分析

H.264的帧内预测模式选择具有多预测模式的特点，这种方法有效地提高了帧内预测的精度，但是对其复杂度进行分析发现，这种多预测模式对于编码效率有很大的影响。H.264视频编码采取的帧内预测模式选择算法是率失真最优化(RDO)方法，即编码器必须要搜索各种组合中的所有的帧内模块的预测模式，然后选出率失真(RD)开销最小的模式作为最优编码模式。对于这种全搜索的预测模式选择算法的具体过程介绍如下:

(1)对于亮度宏块中的某一块，按9种帧内预测模式分别建立相应的帧内预测块。

(2)计算每个预测块和其原始块之间的失真度。失真度由原始像素和重建像素决定，有绝对残差和(SAD)与残差平方和(SSD)两种计算方式。

其中，Xi，j为原始信号，Pi，j为采用某种预测模式后的预测结果。

(3)计算该模式的率失真开销 RDcost4×4=SAD(SSD)+ λMODE·R。

其中R为编码比特率，λMODE为拉格朗日算子，它可以用来控制宏块编码率失真的平衡，可以基于量化参数QP计算得到，对于P帧而言，λMODE=

(4)遍历所有的9种4×4帧内预测模式，选取具有最小率失真开销RDcost4×4的模式作为最佳帧内预测模式;然后对宏块中16个4×4块按照类似步骤，获得每个4×4块的RDcost4×4，对结果求和获得整个宏块的率失真开销RDcost16×16。

(5)以同样的方法遍历4种16×16宏块帧内预测模式，计算相应宏块率失真开销RDcost16×16，选择宏块率失真开销RDcost16×16最小的模式为最佳16×16宏块的帧内预测模式。

(6)比较(4)和(5)中最小的宏块率失真开销RDcost16×16，取其较小值所对应模式为亮度16×16宏块帧内预测模式。

(7)对每一种8×8色度宏块的帧内预测模式计算相应的率失真开销RDcost8×8，选择最小的宏块组合率失真开销RDcostMB作为该宏块组合的最佳帧内预测模式。

于是对一个宏块组合共需N8×8×(16×N4×4+N16×16)=592次模式计算才能选出最佳的帧内预测模式。其中 N8×8、N4×4和 N16×16分别代表8 × 8 色度块、4×4亮度块和16×16亮度块的帧内预测模式数目。

2 基于相邻模式相关性的优化算法研究及其实现

2.1 优化算法的思想

在文献［3］中提出了一种利用时间相关性和空间相关性的相关信息来提前终止模式判决的方法。在新的JM参考模型中也引入了这一方法来提前终止某些模式判决。在基本档次［2］，可以通过对参数进行简单的修改来实现提前终止，以减少不必要的帧内预测模式选择。此外，文献［4］、［5］和［6］指出，可以在帧内预测中使用一些“先验”知识来降低编码的计算复杂度，以此来提高编码的时间效率。于是我们设想基于某些信息事先对于多种预测模式进行过滤，从而选定几个候选模式而放弃其他的预测模式，这样就可以使得帧内预测处理少掉很多不必要的计算，从而有效地提高模式选择的效率。本文根据这个思路并且借鉴了AOPDE中最佳预测模式概率的判断方法提出一种对帧内预测模式进行分类选择的新算法。

通过对4×4亮度块9种预测模式进行分析，得知4×4亮度块的9种帧内预测模式具有明显的方向性，所以可以找到相关性较强的那个方向，并利用这个方向进行模式预测。

在边缘方向直方图优化方法［7］中，采用将4×4块中的所有相似边缘方向的像素幅度进行累加，并且将不同方向最后的累加值进行比较的方法，来确定4×4块中所包含的边缘是否强烈从而选出较强的方向。对这种算法进行深入分析，发现算法通过比较水平方向的强度和垂直方向的强度来确定该帧是倾向于水平方向预测，还是垂直方向预测。受此启发，本文认为8种方向模式从大方向上可以分为两部分，即偏水平方向和偏垂直方向，如图1所示。偏水平方向又分为水平向上(模式8)，水平(模式1)，水平向下(模式6);偏垂直方向分为垂直向右(模式5)，垂直(模式0)，垂直向左(模式7)。通过对几种方向的预测模式进一步观察发现这些模式存在一个偏移关系:认为模式4，模式3与模式1，模式0之间存在一个的偏移关系;同样，模式7，模式6也可以看成是由模式5，模式8进行45°偏移而得。在对这些模式的关系进行分析之后，可以认为相邻模式之间具有相关性。基于此，假设模式1为最佳预测模式(RD开销最小)，则模式8、模式6由于具有和模式1比较相似的方向，其率失真开销应该也比较小;将其推广可以认为具有最小RD开销值的最优预测模式附近的两个相邻模式的率失真开销也比较小。

图1 帧内预测的8个预测方向

2.2 优化算法的实现及可行性分析

基于前面的分析，算法将首先计算可能性比较大的水平预测模式和垂直预测模式这两种模式的率失真开销，希望通过一系列相关搜索来跳过一些可能性不大的模式，从而达到降低帧内模式选择的计算复杂度的目的。

算法的具体实现如下:

(1)计算通过帧间模式预测所得到的最佳帧间模式的AR值，ABE值，将两者进行比较;

(2)若AR＜ABE，则跳出，否则继续第三步;

(3)比较当前块相邻模块A和B的最佳帧内模式下的 RD开销值，设定 RDbest=min(RDA，RDB);

(4)将当前4×4块的9种模式设为可选，分别计算模式0、模式1和模式2的RD开销值RD0、RD1和RD2;

(5)比较RD0与RD1，并进行比较，若RD0＞RD1，则跳到第8步，否则继续;

(6)分别计算模式3、模式4、模式6和模式8的SAD值，并比较其大小;

(7)取具有最小SAD值的预测模式作为候选模式之一，计算其 RD开销值;并且与RD0、RD1、RD2、min(RDA，RDB)进行比较，选取率失真开销值最小的预测模式作为当前4×4块的最佳帧内预测模式。跳到第9步;

(8)取具有最小RD开销值的模式为最佳帧内模式，跳到第6步;

(9)确定4×4块的最佳预测模式。

对算法的复杂度进行分析可知，该算法对于帧内预测模式选择只需要进行4次RD开销值的计算，因此可以大大减少帧内预测的计算复杂度;此外，该算法与使用sobel算子的边缘方向直方图优化的典型算法相比，还有其独特的优点。在边缘方向直方图优化算法中，需要通过sobel算子对边缘进行检测，在检测过程中需要对所有像素点进行计算;相对而言，本算法中对于SAD值大小进行比较的过程计算量极少，因为在求取RD开销的过程中，已经求得了SAD值，因此，在本算法中并没有引入额外的计算。将该算法与帧间预测模式选择算法结合使用，可以使得整个模式选择的运算复杂度大大降低。

3 实验结果

利用典型的测试序列，通过△Time、△Bits，以及△PSNR三个参数来对新算法的性能进行衡量，结果分别如图2、图3和图4所示。

图2 新算法编码时间的减少

考虑到我国PAL制广播电视是每秒25帧，电影是每秒24帧［8］的实际情况，在实验中采用每秒25帧的帧频。

图3 新算法编码比特数目的增加

图4 不同序列的变化

由实验仿真结果以及一系列分析可以确定，对于图像内容细节不是很大以及运动不是很剧烈的图像序列而言，新算法确实能够在不引起图像质量明显下降的情况下，大幅度提高编码时间。也就是说，对于视频编码的一般应用(例如视频会议，以及可视电话)而言，新算法在提高编码效率方面具有一定的优势。文中只对P帧图像进行了研究，这在带来良好优化效果的同时，也使新的算法具有一定的局限性，而这也正为我们的下一步工作指明了方向。

［1］JVT－G050，Joint Video Team(JVT)of ISO/IEC MPEG and ITU－T VCEG，Draft ITU－T Recommendation and final draft international standard of Joint Video Specification［S］.

［2］毕厚杰.新一代视频压缩编码标准—H.264/AVC［M］.北京:人民邮电出版社，2005.

［3］Byeungwoo Jeon，Jeyun Lee.Fast mode decision for H.264［C］.Multimedia and Expo，2004.ICME’04.2004 IEEE International Conference，27 － 30 June 2004:1131－1134.

［4］Bojun Meng.Efficient intra－ prediction algorithm in H.264［J］.IEEE International Conference on Image Processing，2003(3):837 －840.

［5］Chang－sung Kim，Qing Li C，Jay Kuo.Fast intra－prediction model selection for H.264 CODEC［J］.Proceedings of the Society of Photo－optical Instrumentation Engineers，2003(9):99 －110.

［6］Chang－ sung Kim，Hsuan － Huei Shih，C.Say Kuo.Feature－based Intra－Prediction mode decision for H.264［J］.IEEE International Conference on Image Processing，2004，2(10):769 －772.

［7］Pan Feng，Lin Xiao.Fast Mode Decision for Intra Prediction［J］.IEEE Trans.on Circuits and Systems for Video Technology，2005，15(7):813 －822.

［8］Yao Wang，Jorn Ostermann，Ya－Qin Zhang.视频处理与通信［M］.候正信，杨喜，王文全，译.北京:电子工业出版社，2003.