基于时域相关性的HEVC帧间预测快速决策算法∗

刘 鹏 罗 娜 寇俊楠

（西安邮电大学电子工程学院 西安 710061）

1 引言

随着人们对视频质量需求的上升，H.264/AVC在高清视频压缩应用方面已经不能满足人们的需求［1］。视频编码联合协作小组在2013年1月发布了高效率视频编码（High Efficiency Video Coding，HEVC）标准［2］，每个模块都对 H.264［3］中原有的技术加以改进，在有限带宽下传输更高质量的视频。但HEVC的四叉树［4～6］递归结构使得计算量增加2～3倍，限制了其快速在视频领域应用。在不影响视频质量的情况下降低HEVC的复杂度是目前研究的主要方向［7］。

国内外的帧间预测快速算法研究中，Fang［8］等计算每个待编码单元（CU）及其子块的帧差离散度（FDD）和运动特征（RMF）确定的候选帧间预测模式。Shen［9］通过时空域相邻CU的加权进行深度值预测。Hou［10］利用率失真代价确定的阈值来提前终止CU的分割；Yang［11］利用上层预测单元（PU）的运动矢量作为当前PU的运动矢量，减少了运动估计的次数；Zhang［12］提出了以最小绝对变化差值和（Sum of Absolute Transformed Differenc⁃es，SATD）为选取最优模型准则的方法，有效解决了变形运动下merge模式参数增多的问题，但在普通激烈程度画面的应用效果一般。Tan［13］利用相关CU的深度差值信息优化，同时对菱形搜索进行改进，但未考虑视频序列的差异性，因此搜索结果与最优结果存在误差。

以上算法多利用时空域相关性，未能充分考虑到不同视频序列的差异性波动，导致编码图像质量有所下降。本文通过计算区域离散度和相关性，充分利用图像信息，减少CU和PU的遍历数量，预测准确性提高。

2 HEVC帧间预测

H.265不同于H.264中CU的固定大小，每一帧图像首先按顺序被依次分割为64×64大小的LCU，如图1所示，一个CU可以不进行划分，也可以进一步以四叉树［14］形式划分为均分为更小的CU，编码深度从0到3，相应的CU的大小为64×64、32×32、16×16和8×8。

PU划分是在CU划分的基础上。对于一个2N×2N的CU模式，帧内预测PU划分模式有2N×2N和N×N两种；帧间预测［15］PU可选模式有4种对称模式（2N×2N、N×N、2N×N、N×2N）、4种非对称模式（2N×nD、2N×nU、nL×2N、nR×2N）、skip模式。PU的模式划分如图2所示。

图2 帧间PU预测模式

官方参考软件HM14.0［16］中对一个CU依次按Merge2N ×2N、skip、inter模式下的4种对称 PU 划分、inter模式下的4种非对称划分的顺序，从以上所有模式中选出率失真代价最小的CU分割模式和PU划分模式［17］。这是帧间预测计算量大的主要原因。

3 基于时域相关性的快速帧间预测

3.1 基于离散度的CU深度预测

对于视频图像，如图3所示，图像纹理较复杂的区域对应的残差分布不均匀，需要用小尺度的CU精确地描述复杂的区域信息，而图像纹理较为平坦的区域CU往往采用尺度大的CU来减少码率［18～19］。因此，可以根据区域离散度 MD（Mea⁃sures of Dispersion）的大小来判断图像中CU块像素平坦程度，以此来预测CU划分深度的大致范围。

图3 BasketballDrill中一帧的CU划分

CU的尺寸大小与区域的像素离散度有密切关系。因此，对图像CU块的MD定义如下：

其中MDid表示深度为d的第i个子CU的离散度，Eid表示深度为d的第i个子CU的像素均值，同样Ejd-1深度为d-1的第j个CU的像素均值，且Ejd-1可由其四叉树划分下的四个Eid得来。Ejd-1的计算如式（2）。

为避免子CU块均处于纹理复杂而均值相似出现误判的情况，先将所有LCU块划分至最低深度，按自下向上的顺序依次判决，高层的CU像素均值可以由低层的四个CU均值相加除4得到，对离散度满足条件的四个CU进行逐层合并。

统计离散度，对每个深度设置阈值Td，当四个深度为d+1的CU的离散度有一个大于当前深度阈值时，当前四个CU不进行合并，并等待当前LCU层所有深度为d+1的CU判定完毕后，进入上一层CU计算。为减少计算量，每个离散度大于阈值的CU，对其父CU不再计算，并做标记。当一个CU被做标记，则跳过此CU及与其相关的三个CU的离散度计算，并将其父CU做标记，直至CU深度为0。

MD计算公式中进行了归一化，在平坦区域中，MD在0.25浮动，在复杂区域MD会偏离0.25。统计不同复杂度视频不同深度下，已划分的四个CU中最大离散度MDmax如表1所示。

表1 各深度子CU的最大MD取值范围

由表1可知，复杂区域CU的MDmax在［0.26，0.5］之间。统计最大深度分别为1、2、3的各CU的MDmax取值范围，尽可能保证划分准确性的情况下，各深度阈值如表2。

表2 各深度CU的MDmax阈值

算法流程如下：

1）将LCU划分至最大深度。

2）判断当前深度CU是否为最上层CU，是则跳至步骤5，否则进入下一步。

3）计算当前深度下的各CU离散度MDid，当一个CU存在不可合并标记，这个CU和其一组的共四个CU不进行计算。

4）每四个CU一组，比较各CU离散度与当前深度下阈值Td的大小。四个CU均满足MDid

5）当前LCU预划分结束。

3.2 基于块相关的PU划分模式优化

视频是由连续的帧组成，相邻的两帧往往有着很强的关联性。但因不同视频帧中运动物体的波动，相邻的PU划分往往有所差别，因此提出时域相关性决策算法。利用相邻两帧CU的相关性，选择可能性极大的PU模式，对所选的模式进行率失真判决。

式3中，CUcol表示当前 CU 的同位CU［21］，E(CUcol)表示同位CU的均值，CUcur是当前CU的均值。δ(CUcur)与δ(CUcol)分别表示当前CU像素的方差与同位CU的方差，同位CU的方差。

对CUcol模式为帧内和帧间分开讨论。

CUcol预测模式为为帧内预测时，建立相关性与CU划分之间的关系如表3。

表3 CUcol为帧内预测时相关性与PU模式关系

相关度落在［0.95，0.1］时，两个CU相似度极高，采用Skip和2N×2N模式，加入到RA4；相关度落在［0.9，0.95］时，两个CU相似，但图像中存在幅度不大的位移情况，采用2N×nU、2N×nD、nL×2N、nR×2N模式，加入到RA3；相关度落在［0.8，0.9］之间时，图像位移幅度较大，或者轻微的形变，采用2N×N、N×2N、N×N模式，加入到RA2。当相关性落在［0，0.8］时，两CU相关性不大，遍历所有模式，加入到RA1。

类似CUcol为帧内模式，若CUcol为帧间模式，按照相关性大小划分为四个区间，分别对应ER1至ER4，具体对应关系如表4。

表4 CUcol为帧间预测时相关性与PU模式关系

在计算相关性时和离散度时均用到了像素均值，因此将CU和PU的模式决策优化结合到一起，算法总流程见图4。

图4 基于块相关的HEVC帧间快速决策算法

4 实验结果与分析

为了测试基于时域相关性的算法性能，以HM14.0为测试模型，对提出的算法进行了实现，测试的视频选用标准测试序列，序列信息如表5。

选用了不同分辨率和不同运动程度的序列。硬件配置为CPU Intel Core i5-8400，内存为8G，操作系统为Windows 10，IDE（Integrated Development Environment）选用Microsoft Visual Studio 2010。量化参数QP取常用的22、27、32、37四种，配置文件取 encoder_lowdelay_main.cfg和 encoder_randomac⁃cess_main.cfg。对性能的评估采用同等码率下峰值信噪比 BD-PSNR（delta peak signal-to-noise rate）和相对编码时间差TD，TD计算如下：

测试结果如表6。

表5 测试序列信息

由表6可知，在PSNR略微下降的情况下，降低了约30%的编码时间。对于运动剧烈的视频如BasketballPass和Basketball-Drill，画面中存在快速位移，相邻帧时域相关性较差，时间性能提升较平坦视频差一些。但算法整体上有效地降低了帧间预测的计算时间。

表6 序列测试结果统计

5 结语

利用图像自身的纹理信息，通过离散度对CU划分进行预处理，减小CU需要遍历的深度，在PU模式决策中，利用相邻帧之间的时域相关性，缩小PU模式决策需要遍历的范围。在保证图像质量基本不变的情况下，编码时间减少了26%以上，大幅度降低了帧间预测编码中的计算量。