AVS2帧间预测模式快速判决方法

产小红，滕国伟，王国中，赵海武，李国平

(上海大学 通信与信息工程学院，上海 200444)



AVS2帧间预测模式快速判决方法

产小红，滕国伟，王国中，赵海武，李国平

(上海大学 通信与信息工程学院，上海 200444)

新一代国家自主音视频编码标准AVS2已制定完成，相对于上一代标准其具有更高的编码效率，但同时编码复杂度大幅度增加。为了降低编码器的编码复杂度以达到实时应用性能，针对编码单元的预测单元划分进行深入研究，提出了一种帧间预测模式快速判决方法，该方法利用编码单元时域与空域的信息再结合编码单元的纹理信息来预测其划分方式，从而在帧间编码过程中避免遍历所有划分模式。实验表明，该算法可以使编码时间平均下降38%，并且对编码效率影响很小。

AVS2；帧间预测模式；时空域相关性；纹理特征

新一代国家自主音视频编码标准(以下简称AVS2)已经制定完成，其压缩效率相比上一代标准(简称AVS1)和国际标准H.264/AVC提高了约一倍，特别在场景视频编码方面有更高的性能提升。AVS2能获得如此优异的压缩性能是因为它采用了更多先进的编码技术，最具代表性的是灵活的四叉树划分结构和多样化的预测模式。其中在帧内预测方面，亮度有30个方向预测模式及3个非方向预测模式；在帧间预测方面则添加了双前向预测等帧间预测模式[1]。

先进的编码技术使编码效率提高了，但是编码过程更加复杂了。例如在采用四叉树划分结构进行编码时，如果最小编码单元的尺寸为8×8，则每个64×64的块共有1+174=83 522种可能的划分方式。而AVS1，每个宏块有4种划分方式，16个宏块是相加的关系，编码一个64×64的图像块只需要64种可能的方式。相比之下，其编码复杂度提高了许多倍数，其他新技术也有类似情况。因此，研究如何降低AVS2的编码复杂度，是非常有必要的。

1 AVS2帧间预测相关技术介绍

1.1 AVS2的编码块结构

为了更加灵活、高效地划分视频场景中的不同纹理细节的视频内容或者视频对象，AVS2采用了基于编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)和变换单元(Transform Unit，TU)的编码结构[2]。用CU代替了AVS1中的宏块，并赋予其更多灵活的功能。CU基于四叉树结构进行划分，过程如图1所示。最大编码单元LCU (Largest Coding Unit)大小为64×64，深度为0，LCU可以划分为4个32×32的CU，深度为1，每个32×32的CU又可以划分为4个16×16的CU，如此递归划分直到CU的大小为8×8，也就是最小编码单元SCU(Smallest Coding Unit)。在编码过程中每幅图像都可被划分为多个LCU，然后按照上述过程递归划分。

图1 CU分层

PU是进行预测(包括帧内和帧间预测)的基本单元，由CU划分而得到。在AVS2中，对于一个大小为2N×2N的CU来说，它可以被划分成多个PU，AVS2帧间PU的划分模式如图2所示。图2列出了8种帧间CU划分为PU的模式，其中NO_SPLIT，HOR_SYM，VER_SYM和CROSS_SPLIT是对称划分，而HOR_UP，HOR_DOWN，VER_LEFT和VER_RIGHT是非对称划分，它们都是帧间的预测模式[2]。除此之外帧间还有与NO_SPLIT划分尺寸相同的SKIP预测模式，一共有9种帧间预测模式。

图2 CU与帧间PU的关系

1.2 AVS2帧间预测过程

AVS2进行帧间预测编码时，将一幅图像分成若干个LCU。对每个LCU采用类似树的后续遍历顺序进行编码，过程如图1所示。要确定一个LCU的编码模式需要遍历LCU下各个深度的CU的所有预测模式。如果最小编码单元的尺寸为8×8，则每个64×64的LCU理论上需要尝试预测模式计算：13×(1+4+42+43)=1 105次。对一幅1 920×1 080分辨率的视频图像进行率失真模式选择计算，大约需进行1 105×1 920×1 080÷64÷64≈559 406次，而每种帧间模式需要遍历参考图像，进行运动估计和运动补偿等计算，可见AVS2的帧间编码过程极其复杂和耗时，因此优化AVS2的帧间编码算法对于其实时应用有重大意义。

2 基于时域空域相关性以及纹理特征的预测模式判决方法

目前已有一些降低视频编码复杂度的算法。如文献[3]提出一种帧内预测模式快速决策算法来减小帧内预测模式的数量。文献[4]提出了一种AVS2帧内快速算法，该算法利用已编码CU预测上层CU的模式。文献[5]提出的算法利用相邻PU的相关性避免遍历所有的参考图像，从而提高编码效率。

2.1 AVS2的模式选择算法

以往对编码块的帧间预测模式研究，较多的是利用时域和空域相关性，如把周围已编码图像块的预测模式作为候选模式对当前正在编码的块进行预测，虽然这些方法对减小当前块的模式计算有一定效果，但是往往因为信息利用得不全产生误差，而且误差会对预测下一编码单元产生影响。有的算法还会设定一个阈值用于判断是否进行预测，该阈值设定的精确性非常关键，其精确度直接影响模式选择的效果。本文所提出的算法除利用时域和空域中相邻的编码块，还利用纹理信息进行快速模式判决，可降低外部因素导致的误差。

相邻块与待编码块存在很多相似特征，所以编码块的预测模式和时域、空域相邻的编码块的预测模式存在很强的相关性。而就一个编码块而言，各种帧间预测模式被选择的概率存在很大差异。为了分析各帧间预测模式的分布情况，本文选取了几个序列进行实验以统计每种预测模式的使用概率。为保证实验的普适性，所选取的序列拥有不同的分辨率和纹理特征，Catus，BasketballDrive，City序列的分辨率分别为1 920×1 280，1 280×720，832×480。实验结果如表1所示。

表1 各预测模式使用的概率

从表1可以看出，编码块的预测模式中各种模式被选为最佳模式的概率差异很大，其中SKIP模式被选为最佳模式的概率最大，平均达到了70%多。而且对于不同的序列而言，每种预测模式被选为最佳模式的概率差异也较大。从表中还可以看出，当序列中的水平(垂直)对称模式使用的概率较大时，水平(垂直)非对称模式也使用得更多。从这些实验结果不难推断，编码块选择何种预测模式和序列本身的纹理特性有很大的关系。

AVS2在帧间预测过程中，并没有考虑序列的纹理特征，都是遍历尝试所有的预测模式以找到最佳模式。本文综合利用预测模式的时域、空域相关性以及编码块的纹理特征，提出快速方法加快帧间预测模式判决，同时保证编码效率。

2.2 时空域相关性以及纹理特征分析

本节在对当前CU进行模式预测之前，可以选取多个时域、空域相邻块作为参考块，并且从参考块中选取一个和当前编码块纹理最接近的参考块作为最佳参考块。接着分析当前CU的纹理特性，根据纹理特性判断进行水平对称划分还是进行垂直对称划分，同时将最佳参考块的预测模式作为对比，避免产生差错。在确定了水平还是垂直划分之后，进一步分析CU的纹理特征，决定是否进行非对称划分。通过该算法可以使帧间预测的复杂度大大减小，而且最佳参考块的存在保证了算法的准确性。

目前已有较多方法用于检验一幅图片的纹理信息，如文献[6]使用图像熵值来判定纹理特征；文献[7]使用归一化后的直流交流系数比AC_DC_ratio来表征图像的纹理复杂度；文献[8]则使用灰度直方图的自相关函数来判断纹理；文献[9]则采用MAD分析待编码宏块水平和垂直方向上的纹理复杂度。

最小均方误差MSE可以有效反映一组数据的变化程度。如果图像某个方向上像素的MSE较小，也就是起伏程度较小，那么这个方向上的像素属于同一对象的概率就较大。因此本文就用MSE来表述图像的纹理特征。

根据MSE的定义，可以利用式(1)和(2)计算CU垂直方向和水平方向的均方误差，即

(1)

(2)

式中：MSEVer和MSEHor表示CU垂直方向和水平方向的均方误差；W和H分别是待编码CU的宽度和高度(以像素点为单位)；α和β是系数值，用于调整不同划分模式下的水平与垂直方向上的像素点数，计算MSEVer和MSEHor时，α和β的值都为1；p(x,y)表示CU像素点的值；mx和my在计算MSEVer和MSEHor时分别表示当前CU的第x+1行像素点的平均值和第y+1列像素点的平均值。

两个编码块纹理特征的相似度，可以利用水平均方误差MSEHor和垂直均方误差MSEVer的绝对误差的和来表示，如式(3)。abs越小就表示两个编码块的纹理特征越接近。

(3)

若一组像素具有较小的MSE则表明这些像素值比较接近，划分到同一块的可能性就比较大。所以如果MSEHor

当然也要考虑一些特殊情况，比如由于光线等其他外部因素的影响可能导致一些并不属于同一个对象的像素点具有比较接近的像素值。所以本文在进行纹理分析之前选择一个最佳参考块，根据最佳参考块的预测模式就能避免因为外部因素而产生差错。例如若根据纹理特征判断应该计算当前CU的水平对称模式HOR_SYM并且舍弃垂直对称模式VER_SYM，而最佳参考块的预测模式是3种垂直划分模式VER_SYM，VER_LEFT，VER_RIGHT中的1种，这时就有必要计算垂直对称模式VER_SYM。

由于水平和垂直方向上还有4种非对称模式，即水平和垂直各有2个非对称模式，如图1所示。所以水平对称模式或垂直对称模式被确定之后，对水平方向或垂直方向的纹理进一步分析，仍使用式(1)和式(2)对当前深度下非对称划分的PU的均方误差求值。分析水平非对称的两种模式HOR_UP和HOR_DOWN时，使用式(2)，并用MSEUpUp和MSEUpDown分别代表HOR_UP模式下的上下块的MSE，α的值都为1，β的值分别为0.25和0.75；用MSEDownUp和MSEDownDown分别代表HOR_DOWN模式下的上下块的MSE，α的值都为1，β的值分别为0.75和0.25。计算这4个PU的MSE时mx表示当前PU的第x+1行像素点的平均值。分析垂直非对称的两种模式VER_LEFT和VER_RIGHT时，使用式(1)，并用MSELeftLeft和MSELeftRight分别代表VER_LEFT模式下的左右块的MSE,α的值分别为0.25和0.75，β的值都为1；用MSERightLeft和MSERightRight分别代表VER_RIGHT模式下的左右块的MSE，α的值为0.75和0.25，β的值都为1。计算这4个MSE时my表示当前PU第y+1列像素点的平均值。

对于水平和垂直方向上的4种非对称模式，如果小尺寸PU的均方误差小于大尺寸PU的均方误差，那么小尺寸PU中的像素点属于同一个对象的概率较大，则计算该模式的代价。如对于VER_LEFT模式而言，若MSELeftLeft

2.3 算法流程

根据上述分析，本文提出了一种基于时域空域相关性以及纹理特征的帧间预测模式快速判决方法，算法流程如图3所示。算法的具体步骤如下：

1)对当前CU进行编码前，选取前一帧对应位置相同深度的CU，以及同一帧左边和上边相邻位置同一深度的CU作为参考CU。计算当前CU以及3个参考CU的水平均方误差MSEHor和垂直均方误差MSEVer。利用式(3)将3个参考CU的纹理与当前CU的纹理进行比较，选择纹理最接近的CU作为当前CU的最佳参考块，并且获得最佳参考块的预测模式Mode0。

2)计算NO_SPLIT模式的率失真代价，并将当前CU的最佳预测模式BestMode设为NO_SPLIT模式。

3)比较当前CU水平均方误差MSEHor和垂直均方误差MSEVer。若MSEHor

4)若Mode0为3种垂直划分模式VER_SYM、VER_LEFT、VER_RIGHT中的1种，则计算水平对称模式HOR_SYM和垂直对称模式VER_SYM的率失真代价，并且与当前最佳模式相比，选择代价最小的模式作为最佳预测模式BestMode；否则只计算水平对称模式HOR_SYM的率失真代价，并与当前最佳模式比较得到最佳模式BestMode。

图3 算法流程图

5)若Mode0为3种水平划分模式HOR_SYM、HOR_UP、HOR_DOWN中的1种，则计算垂直对称模式VER_SYM和水平对称模式HOR_SYM的率失真代价，并且与当前最佳模式相比，选择代价最小的模式作为最佳预测模式BestMode；否则只计算垂直对称模式VER_SYM的率失真代价，并与当前最佳模式比较得到最佳模式BestMode。

6)若经过步骤4)或步骤5)之后最佳模式BestMode为NO_SPLIT模式，则结束后续非对称模式计算， 跳转到步骤9)。

7)若经过步骤4)或步骤5)之后最佳模式BestMode为水平对称模式HOR_SYM，则计算水平非对称模式HOR_UP(HOR_DOWN)上方位置PU的水平均方误差MSEUpUp(MSEDownUp)和下方位置PU的水平均方误差MSEUpDown(MSEDownDown)。若MSEUpUp

8)若经过步骤4)或步骤5)之后最佳模式BestMode为垂直对称模式VER_SYM，则计算垂直非对称模式VER_LEFT(VER_RIGHT)左侧位置PU的垂直均方误差MSELeftLeft(MSERightLeft)和右侧位置PU的垂直均方误差MSELeftRight(MSERightRight)。若MSELeftLeft

9)比较其他剩余模式。

由算法的流程图和具体步骤可知该算法最多可以减少5种模式计算，最少也可以减少3种模式计算，使帧间编码复杂度大大减小。更重要的是，该算法不需要设定阈值，这样产生误差的概率就很小，而且在利用纹理特征进行模式判决时，利用最佳参考块作比较，这样进一步保证了算法的准确性。

3 实验结果

利用AVS2参考软件RD12.0作为实验平台测试本文提出算法的性能，并且与遍历所有模式的算法进行比较，实验条件如表2所示。本文通过式(4)～(6)进行数据分析，测试不同量化参数(QP)、不同序列下的编码时间time、峰值信噪比PSNR及编码比特率Bit-rate的变化，从而对算法进行综合评价。式(4)中，timereference是原始算法在RD12.0上的编码时间，timeproposed是使用本文提出的快速算法在RD12.0上的编码时间，Δtime即表示两种算法编码时间上的变化。式(5)和(6)中各变量的意义与式(4)类似。

(4)

(5)

(6)

表2 实验条件

为了验证算法的通用性，本文选择具有不同分辨率、纹理及运动特征的视频序列进行测试。测试序列的分辨率如下：BasketballDrive与Kimonol为1 920×1 080，City与Crew为1 280×720，PartyScene与RaceHorses为832×480。表3为本文算法与遍历所有预测模式的算法编码时间及BD-PSNR和BD-Rate的实验比较结果。

表3 本文算法与遍历所有模式方法的实验比较结果

从表3中可以看出，本文提出的基于时域、空域相关性以及纹理特征的帧间预测模式判决方法，可显著降低帧间编码时间，而且编码性能只有极小的损失。不同QP下平均编码时间都超过34%的下降，QP为45时，平均编码时间下降44.67%。特别的对于运动比较平缓的Kimonol序列，下降的编码时间最多，在QP为45时达到55.11%，而纹理复杂的City序列，其编码时间平均下降也达到30%多。因为该算法采用相邻最佳参考块作比较，进一步降低判断误差，对编码比特率以及PSNR影响非常小。

4 结语

本文针对AVS2的帧间预测过程中多划分模式带来的编码复杂度增加问题，通过利用时域、空域相关性以及CU的纹理信息，确定PU的最可能划分方式，选择可能性较大的模式进行计算，从而避免遍历计算所有模式。实验结果表明，本文提出的算法应用于AVS2参考软件中，可降低编码时间平均约38%，而编码性能基本保持不变，有助于其实时实现，可促进AVS2视频编码在高清、超高清视频领域的应用。

[1]黄铁军.AVS2标准及未来展望[J]. 电视技术,2014,38(22):7-10.

[2]周芸.AVS2视频编码关键技术[J]. 广播电视信息,2015，9(2):18-21.

[3]SHEN X, YU L, CHEN J. Fast coding unit size selection for HEVC based on Bayesian decision rule[C]//Proc. Picture Coding Symposium(PCS). California,[s.n.],2012:453-456.

[4]赵超,赵海武,王国中,等.快速AVS2帧内预测选择算法[J]. 计算机应用,2015,35(11):3284-3287.

[5]林琪,赵海武,王国中,等.面向AVS2的快速帧间预测算法[J]. 电视技术,2014,38(17):76-84.

[6]郑箫桢.AVS视频提案AVS_M3012:AMP快速决策机制[EB/OL].[2016-03-10].http://www.avs.org.cn/index.asp?meetingid=65&filetype=proposal.

[7]孟庆磊,姚春莲,宋建斌,等.一种面向H.264/AVC的快速帧内预测选择算法[J]. 北京航空航天大学学报,2007,33(2):219-223.

[8]LIN Y K, CHANG T S. Fast block type decision algorithm for intra prediction in H.264 [C]//Proc. International Conference on Image Processing(ICIP).Genova,Italy:[s.n.], 2005:54-58.

[9]沈礼权,张兆扬,刘志,等.一种结合全零块检测和纹理特征的快速帧内预测模式选择算法[J]. 四川大学学报,2007,39(1):134-139.

产小红(1990— )，硕士生，主研视频编码标准、新媒体技术；

滕国伟(1975— )，硕士生导师，主研数字音视频编解码技术、智能视频分析等；

王国中(1962— )，博士生导师，主研视频编解码与多媒体通信、图像处理等；

赵海武(1973— )，硕士生导师，主研数字视频编解码技术、转码技术等；

李国平(1974— )，硕士生导师，主研数字音视频编解码技术、复用技术、网络传输技术等。

责任编辑：薛 京

Fast decision algorithm for AVS2 inter prediction mode

CHAN Xiaohong, TENG Guowei, WANG Guozhong, ZHAO Haiwu, LI Guoping

(SchoolofCommunicationandInformationEngineering,ShanghaiUniversity,Shanghai200444,China)

The new generation of the national independent audio and video coding standard AVS2 has been finalized. It has higher coding efficiency relatives to the previous generation, but it also increases a substantial the encoding complexity. In order to reduce AVS2 encoding complexity to achieve real-time application performance, this paper makes in-depth research on prediction unit of encoding unit and proposes a fast decision algorithm of inter prediction mode. The algorithm utilizes spatio-temporal correlation and the texture feature of coding unit to forecast coding unit’s partition mode, which can avoid iterating over all partition modes. Experiments show that the algorithm can reduce encoding time by 38% on average and the algorithm has only a little impact on encoding efficiency.

AVS2; inter prediction mode; spatio-temporal correlation; texture feature

产小红，滕国伟，王国中，等.AVS2帧间预测模式快速判决方法[J]. 电视技术，2016,40(11)：1-6. CHAN X H, TENG G W, WANG G Z, et al.Fast decision algorithm for AVS2 inter prediction mode[J]. Video engineering，2016,40(11)：1-6.

TN919.81

A

10.16280/j.videoe.2016.11.001

上海市自然科学基金项目(14ZR1415200)；上海市“科技创新行动计划”项目(14511105602)

2016-04-11