一种新的HEVC快速帧间预测单元模式判决算法

张文鑫

(上海海事大学 信息工程学院，上海 201306)

一种新的HEVC快速帧间预测单元模式判决算法

张文鑫

(上海海事大学 信息工程学院，上海 201306)

针对HEVC中帧间预测模式判断所带来的高复杂度计算，根据视频时域上高度相关性的特点，提出了一种减少AMVP模式执行次数的低计算复杂度的快速帧间预测模式判决的方法。基于相邻帧的相同位置编码单元(CU)的预测单元(PU)模式上的时域相关性，跳过当前PU 模式选择过程中一些冗余的AMVP模式的计算，以此来降低编码的复杂度。实验结果表明，在编码效率和峰值信噪比(PSNR)损失很小的情况下，比现有HEVC帧间预测算法减少了33.04%的编码时间。

新一代高效视频编码；帧间预测；预测单元；AMVP模式；编码时间

0 引言

高效视频编码技术(HEVC)是由视频编码联合组发布的最新一代视频编码标准。HEVC 最重要的技术之一就是采用四叉树划分结构，包括编码单元(CU)、转换单元(TU)、预测单元(PU)[1]。这个框架可以更加灵活、精准地表示视频对象，并且提供了一个清晰的层次结构进行优化。最基本的编码单元CU单元具有不同的大小 ，从最大尺寸的64×64不断地递归细分成8×8。HM编码器需要穷尽每一个CU节点上所有PU和TU的组合类型。PU是最基本的预测单元，它有不同的形状去编码不规则的图形。在帧间编码中，编码器会选择最合适的TU去转换和量化。基于这样递归的编码结构使得HEVC 比AVC有着更高的编码效率。但是，在选择理想的TU、PU和CU尺寸时会增加许多运算复杂度。而PU的模式选择增加了最多的运算复杂度，大概占了整个编码时长的69%[2]。因此，减少帧间预测编码的时长至关重要。

文献[3]利用了相邻PU在空间上的相关性，上侧的PU决定帧间预测模式，并且只在选择的帧间预测模式上进行运动估计。这种方法只是考虑了相邻块之间空间上的相关性，并没有考虑相邻帧时域上的相关性。文献[4]提出了一种快速的帧间预测模式选择方法，即当PU形状为2N×2N并且最佳模式是SKIP模式时对当前CU中不对称分割PU的预测模式中不进行AMVP的运算[4]。尽管这种方法简单而且有效，但是当2N×2N的PU没有选择SKIP 模式时依旧要进行包括merge和AMVP 两种模式的运算。基于在视频序列中帧与帧之间强烈的时域相关性，文献[5]提出了一种快速的PU预测模式选择的算法。它利用前一帧和当前帧对应CU之间强烈的时域相关性以及前一帧对应帧周围CU的PU模式来减少一些当前CU中PU 的可能模式[5]。但是对于运动剧烈的序列，这种方法编码效率要差很多。

1 HEVC中帧间预测模式判决以及判决算法的改进

1.1帧间预测流程

在HEVC 中，PU的模式选择是为了寻找到最佳的预测模式和分块大小。图1展示了在HEVC中PU模式选择的必要流程。这里nN×nN代表的是不同大小的帧间预测单元PU，包括N×2N,2N×N,N×N以及不规则划分的PU，AMVP 模式是HEVC中新的部分，AMVP模式需要发送运动矢量、参考图像索引和最佳运动矢量与当前运动矢量之间的残差，需要大量的计算，因此执行AMVP模式需要大量的编码时间。

图1 HEVC中PU模式选择流程

Merge模式中当前的PU通过Merge指针继承了参考帧的运动矢量，它相当于H.264中“skip”和“direct”模式。因此，在Merge模式中，不发送运动矢量和参考图像索引。

在PU最佳预测模式选择的过程中，运动估计(ME)是最复杂的部分，包括率失真计算(RD)和亚像素插值过程。常规ME的计算复杂性度比Merge高很多。换句话说，AMVP过程的编码时间比合并模式过程的时间多得多。表1显示了不同类序列AMVP模式计算过程的时间成本在两种不同配置下占整体编码时间的比例，根据式(1)计算得到。

(1)

从表1可以看出，在两类预测结构随机接入(RA)和低延迟(LD)的配置下，AMVP过程的编码时间占用的总编码时间超过一半。如果在一些PU预测模式判断过程中可以减少AMVP模式的选择，AMVP处理的编码时间将减少，这样总的编码时间会减少。

1.2改进的预测单元模式选择流程

文献[6]中提出了一种通过减少遍历编码深度范围的方法来快速寻找到最佳的编码单元深度。该方法表明了当前的编码单元与相邻的编码单元在时空上具有很大的相似性[6]。表2表明，当前帧CU与前一帧中对应CU深度之间的相关性。因为运动剧烈的序列BQSquare中CU的大小常常是8×8和16×16，而运动比较平缓的 Vidyo1 序列中CU块的大小常常是64×64和32×32[7]，它们被用来表明当前帧CU和参考帧对应CU之间的相关性。

从表2可以发现，当前帧中的CU与前一帧中对应位置的CU确实存在极大的相关性。在运动剧烈的测试序列中前一帧比当前帧中编码单元的尺寸大的概率为78.61%，而在运动平缓的测试序列中这一概率为89.38%[8]。以此为依据以及当前编码单元与前一帧中相应位置编码单元中PU预测模式的相关性来跳过PU模式决策过程中一些不必要的AMVP模式的计算。

表2 相邻帧之间CU单元的时域相关性

此外，表2显示，在运动剧烈的测试序列中当前帧中编码单元的尺寸为8×8，并且前一帧对应编码单元的尺寸为64×64所占比例为0.492 5%，在运动平缓序列中该比例为0.133 6%。因此，针对这些CU可以跳过帧间PU模式判定。

首先，测试序列的第一帧采用标准中的PU预测模式判决的方法，而在剩下的帧中本文采用所提出的新算法进行PU预测模式的判断。

通过RCU的不同取值自适应地选取候选PU模式。根据RCU的取值范围分为3种情况讨论候选PU模式的选取，如图2所示。

图2 本文整体算法流程

(1)RCU<1，即当前编码CU尺寸大于参考帧中对应位置CU尺寸，即当前编码CU尺寸大于前一帧中相应位置CU尺寸。在这种情况下，当前CU单元有极大的可能性(运动剧烈序列中78.61%，运动平缓序列中89.38%)会被划分成更小的编码单元。因此，如果PU的最佳模式不是跳跃模式即不满足2N×2N和帧间融合模式，则对nN×nN(包括N×2N，2N×N，N×N和不对称子分区)尺寸的PU进行标准中的模式判决的算法。

(2)1

(3)RCU=8时，即当前帧中编码单元的尺寸为8×8并且前一帧对应编码单元的尺寸为64×64。直接跳过帧间预测模式进入帧内预测模式。

2 实验平台与仿真结果分析

该算法是在HM10.0 实现。本文选择3个高分辨率序列：A类、B类、E类。由于这3个高分辨率序列与两个小尺寸的序列C类和D类相比当前CU和前一帧对应位置CU大小有比较高的相关性，通过使用两类帧间预测结构来对这3个高分辨率序列进行测试。实验结果列于表3中。差分比特率和编码的计算复杂度降低用于评价编码性能，其中后者是由平均节省时间(AST)表示，如下式：

表3 实验结果统计

从表3可以看出，在RA配置上所提出的算法编码时间减少38.05%的同时平均只有0.87%的比特率增量，在LD配置仅1.29%的比特率增量而编码时间减少33.04%。 在RA配置信噪比仅下降了0.027%，而在LD配置时信噪比仅下降了0.033%。当与在相同的结构不同类的序列比较时，该算法能够在编码效果下降很小的情况下极大地增加编码效率，减少编码时间。

文献[3]算法在RA配置时，编码时间减少27%而比特率上升0.95%。与文献[3]的算法相比本文的时间节省更多而有更小的比特率。相比文献[4]的方法，虽然本文算法的比特率增加较多，但是能减少更多的编码时间。

3 结论

本文利用当前帧中CU尺寸大小与参考帧中CU尺寸大小在时域上的相关性来减少PU帧间模式选择过程中AMVP模式的计算。如果参考帧中CU的尺寸大于或者等于当前帧中CU的尺寸，那就先跳过其PU预测模式中的AMVP模式的计算，而后只对不符合跳过条件的PU进行AMVP模式的计算。仿真结果表明，在比特率略有上升的情况下极大地减少了编码时间。

[1] LI B, SULLIVAN G J, XU J. Compression performance of high efficiency video coding (HEVC) working draft 4[C]. IEEE International Symposium on Circuits and Systems. IEEE, 2012:886-889.

[2] HAN W J, MIN J, KIM I K, et al. Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools[J]. IEEE Transactions on Circuits & Systems for Video Technology,2010,20(12):1709-1720.

[3] LEE A, JUN D S, KIM J, et al. An efficient inter prediction mode decision method for fast motion estimation in HEVC[C]. International Conference on ICT Convergence.IEEE,2013:502-505.

[4] YANG S, LEE H, SHIM H J, et al. Fast inter mode decision process for HEVC encoder[C]. Ivmsp Workshop, 2013 IEEE. IEEE, 2013:1-4.

[5] PARK C S, KIM B G, HONG G S, et al. Fast coding unit (CU) depth decision algorithm for high efficiency video coding (HEVC)[M]. Advances in Computer Science and its Applications. Springer Berlin Heidelberg, 2014:293-299.

[6] PARK C, KIM B G, HONG G S, et al. Fast coding Unit (CU) depth decision algorithm for high efficiency video coding (HEVC)[J]. Lecture Notes in Electrical Engineering, 2014, 279:293-299.

[7] LI Y, HE X H, ZHONG G Y, et al. A fast inter-frame prediction unit mode decision algorithm for high efficiency video coding based on temporal correlation[J]. Journal of Electronics & Information Technology, 2014, 35(10):2365-2370.

[8] ZHANG Y, WANG H, LI Z. Fast coding unit depth decision algorithm for interframe coding in HEVC[C]. Data Compression Conference, IEEE, 2013: 53-62.

[9] BJONTEGAARD G. Calculation of average PSNR differences between RD-curves[C]. ITU-T VCEG-M33, April, 2001, 2001.

A new inter-frame prediction unit mode decision alogrithm based ontemporal correlation for HEVC

Zhang Wenxin

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306, China)

In order to reduce the computational complexity load in inter-frame prediction coding of High Efficiency Video Coding(HEVC), a fast inter-frame prediction mode decision was proposed by reducing the number of operations of the Advanced Motion Vector Prediction (AMVP) mode .We can skip some unnecessary operations of AMVP based on that the current frame’s PU mode may be same with the reference frame’s for the same location. The experimental results show that the proposed method can save 33.04% of coding time compared with the original algorithm for HEVC under the condition of minimal loss of coding efficiency and PSNR.

High Efficiency Video Coding(HEVC); inter-prediction; Prediction Unit (PU); Advanced Motion Vector Prediction (AMVP); encoding time

XX

：A

10.19358/j.issn.1674- 7720.2017.17.012

张文鑫.一种新的HEVC快速帧间预测单元模式判决算法[J].微型机与应用，2017,36(17)：42-44.

2017-03-07)

张文鑫(1993-)，男，硕士，主要研究方向：HEVC帧间预测中Merge模式。