一种HEVC样点自适应补偿改进方法

赵 川，张萌萌，马希荣

(1.天津师范大学 计算机与信息工程学院，天津 300387；2. 北方工业大学 电子信息工程学院，北京 100144)

一种HEVC样点自适应补偿改进方法

赵 川1，张萌萌2，马希荣1

(1.天津师范大学 计算机与信息工程学院，天津 300387；2. 北方工业大学 电子信息工程学院，北京 100144)

新一代视频编码标准HEVC在环路滤波技术中采用样点自适应补偿算法解决变换量化引起的振铃效应，包括边带补偿和边缘补偿，但是边带补偿算法没有完全考虑边带分布情况，仅传递4个连续的边带。利用图像直方图充分分析了边带分布情况，自适应地提取了帧内预测模式纹理信息，针对不同大小的树形编码块提出了一种样点自适应补偿改进方法。实验结果表明，与HM10.0相比，该方法提高了编码性能，尤其在色度上比特率增益可达到-7.53%，图像边缘部分主观评价质量提升效果明显。

HEVC；样点自适应补偿；边带补偿；直方图分析；纹理特性

1 HEVC编码

随着存储数据海量化、存储方式多元化以及计算机网络通信软硬件水平提升，超高清、超高分辨率视频已经成为用户的强烈需求。H.265/HEVC视频压缩编码标准由ISO移动图像专家组(MPEG)和ITU视频专家组(VCEG)的优秀学者历经3年时间不断优化创新，继承上一代H.264/AVC标准优势，编码效率提高近50%，尤其表现在8K×4K、1 080p等高分辨率视频中，吸引全球范围科研机构和Microsoft、Polycom等视频领域跨国公司的广泛关注。

HEVC依然使用H.264的混合编码框架[1-2]，包含预测、变换、量化、熵编码等模块，框架中每个模块为提高压缩性能加入更加高效的算法策略而相应带来计算复杂度，如帧内预测支持35种模式、帧间预测引入Merge模式、变换量化支持高达32×32变换单元、熵编码放弃了低效的CAVLC而仅采用CABAC算法等。用户在视觉上对视频的主观评价为主观质量评价，而高清视频图像展现出的纹理细节极易引起评价者的注意，尤其是物体边缘和文字内容对主观评价起着至关重要的作用。为进一步提升视频的主观质量，HEVC环路滤波技术不仅沿用H.264标准中的去块滤波器，而且加入样点自适应补偿滤波，减少由运动估计和变换量化所产生振铃效应带来的视频主观质量损失。

在历次视频编码联合开发组织会议征集草案中，草案JCTVC-A124[3]在HEVC的初始版本中使用边带修正(BDC)和极值修正(EXC)，消除重建帧与原始帧之间的失真；草案JCTVC-D122[4]提出样点自适应补偿(SAO)，吸收BDC、EXC技术，改进为边带补偿(BO)和边缘补偿(EO)，选取最小失真模式进行样点补偿；草案JCTVC-E049[5]设定树形编码单元为补偿单元，其中包括一个亮度树形编码块(CTB)和两个色度CTB，并且提取邻近CTB信息应用Merge模式快速算法。

在环路滤波器中，HEVC融合BO和EO算法进行SAO滤波[6-7]，旨在消除从4×4到64×64大小CTB块变换量化和运动估计8抽头亮度滤波和4抽头色度滤波后引起的吉布斯效应。如图1所示，无论量化步长(QP)变化，在视频序列图像边缘处重建帧像素点与原始帧相比均会产生明显的正负差值，出现振铃效果。本文针对此问题，利用视频序列原始图像直方图统计和帧内预测判别过程的自适应纹理信息，分析原始图像CTU像素值分布和边缘特性，改进BO算法使BO编码效率显著提升。

图1 吉布斯效应产生振铃效果示意图

2 样点自适应补偿滤波器设计

振铃效应是图像中物体边缘位置产生连续失真现象，很大程度影响图片主观质量。SAO滤波是为提升经过预测、变换、量化、去块滤波后重建帧质量，降低与原始帧之间的失真程度，主要采用BO和EO算法。

2.1 边带补偿

BO将图像灰度值分成若干个边带，如8比特深度视频格式以0～255值表征亮度和颜色分量，每个边带包含8个像素值共32个边带，即用[8，8k+7]表示第k个边带，k∈[0，31]。每个边带根据自身像素特点进行补偿，且同一边带使用相同补偿值。HEVC考虑到CTB的像素值大多分布在连续4个边带中，因此，仅对4个连续边带的像素值进行补偿，如图2所示。通过率失真计算最优补偿值，最终将起始边带位置和4个带符号的补偿值传至解码端。

图2 8 bit深度视频边带补偿范围示意图

2.2 边缘补偿

EO是基于边缘像素值检测的滤波过程，设定图3a中0°，45°，90°，135°这4种边缘检测方向，将当前像素值c与邻近像素值a、b对比，并设定图3b中4种边缘补偿分类条件：比两侧邻近值小；等于一侧邻近值且比另一侧邻近值小；等于一侧邻近值且比另一侧值大；比两侧邻近值大。最后，按照不同边缘补偿类型分别计算出重建帧像素与原始帧像素差值均值作为补偿值，HEVC将补偿类型以及补偿值绝对值传至解码端。

图3 边缘补偿像素检测条件

2.3 SAO优化算法设计

2.3.1 提取邻近SAO参数的参数融合模式

SAO使用参数融合模式(Merge模式)，提取邻近CTB的SAO参数，仅需要传递融合标志位至解码端，从而进一步提高传递效率。因此，SAO传输补偿类型为BO模式、EO_0、EO_45、EO_90、EO_135和MERGE_UP、MERGE_LEFT，还有不补偿。其中MERGE模式中，MERGE_UP是提取CTB上侧SAO补偿参数，而MERGE_ LEFT左侧的SAO补偿参数。

2.3.2 SAO率失真优化算法

HEVC采用SAO率失真优化算法，避免多次重复计算重建帧与原始帧之间的失真，大幅度提升了SAO率失真算法效率。

设(x，y)为像素位置，s(x，y)为原始帧像素值，u(x，y)为重建帧像素值(SAO补偿前)，C为像素范围，m为补偿值。

原始帧与重建帧之间的失真为

Dpre=∑(x,y)∈c(s(x,y)-u(x,y))2

(1)

原始帧与重建帧(SAO补偿后)之间的失真为

Dpost=∑(x,y)∈c(s(x,y)-(u(x,y)+m))2

(2)

因此，SAO补偿前后Dpre与Dpost的差值为

ΔD=Dpost-Dpre=∑(x,y)∈

c(m2-2m(s(x,y)-u(x,y)))=Nm2-2mE

(3)

式中：N是帧像素个数；E是原始帧与SAO补偿前重建帧之间的差值和。

在决策SAO最优模式时，利用相对率失真函数ΔJ=ΔD+λR快速计算失真，其中λ为拉格朗日因子，R为编码SAO参数信息所需的比特数。

3 边带分布直方图分析

直方图是表征图像像素分布特征的结构图，SAO以边带为单位将像素值进行分类对重建帧进行补偿，因此本文利用直方图进一步观察序列的边带分布特征。根据视频图像特性，边带分布较复杂，平滑块集中在较窄的边带，含有尖锐边缘的区域集中在跨度较大的两个边带，而大块区域含有更多像素点，边带分布比较分散。本文针对较大和较小的CTB分别进行如下分析。

3.1 针对较大CTB直方图分析

对64×64，32×32和16×16的较大CTB包含内容丰富，边带分布复杂，不仅含有4个连续边带分布的情况，而且出现边带分布较集中或较分散的情况。截取32×32大小CTB分析边带观察直方图分布，图4a显示复杂的纹理区域边带分布较分散，边带分布跨度大于4个边带，而图4b显示平滑的纹理区域边带分布较为集中，边带分布跨度小于4个边带。

图4 SlideShow序列中32×32CTB边带分布

因此，本文以较大原始帧CTB为单元，对像素值边带分布统计分析。以JCT-VC测试条件[8]指定的Class A至 Class F 中21个8 bit测试序列为统计样本，0～255像素值分成32个边带，每个边带含有8个灰度值，测试视频出现4个连续边带的CTB作为正常分布块，而出现少于4个连续补偿边带的CTB作为窄边带分布块，出现大于4个连续边带的CTB为宽边带分布块。

根据统计分析结果表明，如表1所示，对于较大CTB的正常分布块占52%，而宽边带和窄边带分布块分别占8%和40%。

表1 较大原始帧CTB边带分布概率 %

3.2 针对较小CTB直方图统计

对8×8，4×4大小则包含像素点较少，与较大块CTB相比所含内容较少，边带分布不仅含有4个连续边带分布的情况，而且出现HEVC无法解决的两个或多个边带分布跨度较大的情况。截取8×8大小CTB分析观察边带直方图分布，图5a显示边带分布较分散，集中出现在两个边带，且边带分布跨度大于4个边带，而图5b显示边带分布较分散，边带集中出现在多个边带，边带分布间跨度大于4个边带。

图5 SlideShow序列中8×8 CTB边带分布

因此，与较大块CTB相同，本文选取JCT-VC测试条件指定视频序列样本，将边带分布集中在1个波峰情况作为单波峰分布块，而边带分布形成2个波峰(跨度大于4个边带)作为双波峰分布块，大于2个波峰(波峰间跨度大于4个边带)作为多波峰分布块。

根据统计分析结果表明，如表2所示，对于单波峰补偿块出现概率为71%，而双波峰和多波峰出现概率分别为25%和4%。

表2 较小原始帧CTB边带分布概率 %

4 帧内预测模式信息提取纹理

HEVC帧内预测是利用预测单元邻近像素点信息，消除图像的空间冗余性。HEVC提供35种预测模式，其中包含33种方向预测模式，DC、Planar两种平滑区域预测模式。为降低帧内预测复杂度，HEVC利用哈达玛变换残差计算的粗略模式选择(RMD)和邻近信息可能最优模式(MPM)，提取帧内预测最优模式集计算率失真代价(RDO)，得到帧内预测最优模式。

本文前期的大量工作[9-10]得出结论，RMD最优模式与RDO最优模式在表征预测块纹理上具有相关性，尤其是针对较小的CTB单元。若RMD最优模式与RDO最优模式均为方向预测模式且方向性一致或相邻，可准确表征预测块纹理方向，从而提取图像的边缘方向；若RMD最优模式与RDO最优模式均为DC或Planar模式，可准确表征预测块为平滑区域。因此，通过预测编码过程中每次帧内预测模式判别，利用RMD最优模式与RDO最优模式之间的相关性，可快速提取CTB纹理特点。

5 边带补偿改进方法设计

本文基于直方图观察分析CTB边带分布，分别针对64×64,32×32,16×16的较大CTB和8×8,4×4的较小CTB的复杂的边带分布情况，自适应地提取帧内预测模式的信息判别CTB纹理特征，对HEVC中的BO算法进行优化，图6a和图6b分别为应用于较小和较大CTB的BO改进方法流程图。

图6 边带补偿改进方法流程图

5.1 自适应判定纹理特征

为准确判断图像波峰特征，在计算8×8和4×4较小CTB边带补偿模式前，提取帧内预测中RMD最优模式和RDO最优模式，利用两种模式图像纹理相关性进行“图像纹理判别”，如图6a所示。

如果RMD最优模式与RDO最优模式均为DC或者Planar模式时，该CTB则为平滑区域；如果RMD最优模式与RDO最优模式的同为角度模式，且方向相邻(模式相差小于或等于2)，该CTB则为图像纹理规则区域，即含边缘区域；如果RMD最优模式与RDO最优模式的同为角度模式，且方向不相邻(模式大于2)，该CTB则为图像纹理非规则区域，即无边缘区域。

5.2 边带补偿新增模式

根据图像直方图分析过程得到结论，针对较小与较大CTB边带分布特点不同，分别采用不同补偿模式。

对于8×8和4×4较小CTB，如图6a所示，图像纹理判别后，若为平滑区域，则该区域判定为单波峰分布，以传统BO为标志位，传递4个连续的边带补偿值；若为含边缘区域，判定边界特征像素点对边带间隔Y，如图7a和图7b分别表示 8×8 和4×4的边界特征像素点位置，以帧内预测过程提取的CTB纹理方向为参考对称轴，判定图7中具有相同数值位置的特征像素点，如果特征像素点所在边带间隔Y<4则该区域依然判定为单波峰分布，以传统BO为标志位，如果Y≥4则该区域依然判定为双波峰分布，以BO_D为标志位，传递2个非连续边带补偿值；若为无边缘区域，则提取波峰边带值后，以BO_M为标志位，识别含像素较多的波峰边带，传递3～4个非连续边带补偿值。

对于64×64，32×32，16×16较大CTB，如图6b 所示，统计图像像素边带分布，判定图像属于正常边带分布、窄边带分布或宽边带分布。正常边带分布依然保留BO模式，以传统BO为标志位，传递4个连续的边带补偿值；窄边带分布设置BO_N为标志位，传递2个连续边带补偿值；宽边带分布设置BO_B为标志位，传递5～8个连续边带补偿值。

6 实验结果

本实验测试环境使用HEVC标准参考代码HM10.0在Windows 8系统VS2012编译运行，按照HEVC测试标准[8]规定，对Class A-Class F所有测试序列进行统计和测试。以全I帧(AI)、随机存取(RA)、低延迟-P帧(LP)、低延迟-B帧(LB)为编码环境，设置22，27，32，37作为QP值，利用Bjontegaard-Delta比特率[11](BD-rate)将提出的边带补偿优化改进方法与HEVC原始BO方法进行对比，并统计编解码时间，结果如表所示。

客观评价上，表3展示了4种编码条件下大量样本的测试结果，Y，Cb，Cr这3个分量的比特率获得增益平均值为 -0.42%， -2.34%，-2.72%。该方法在色度分量上编码效率，尤其是在静态背景特征的Class E的测试序列、LP测试环境下可达到-7.53%。表中的编码时间和解码时间变化显示，编解码复杂度上的提升可忽略不计。主观评价上，将改进方法与HEVC原始BO方法解码后的图像与原始帧对比，图8a～图8c左图显示边缘部分像素点得到较好补偿，而且 图8a～图8c 右图显示改进算法一定程度上避免了不适用SAO补偿情况出现。

表3 6组序列在不同测试环境下的编码效率及运行时间

图8 序列SlideShow编码图像主观评价对比

7 结论

本文利用图像直方图观察序列原始帧边带分布，分析较大和较小CTB边带分布特征，新增BO_B，BO_N，BO_D，BO_M这4种边带补偿模式，弥补HEVC边带补偿算法的不足，并自适应提取帧内预测模式判别中RMD最优模式与RDO最优模式相关性表征纹理特征，辅助较小CTB边带补偿模式选择。实验结果表明，与HM10.0相比，本文提出SAO改进方法提高了编码性能，尤其在色度上比特率增益可达到-7.53%，并且图像边缘部分主观评价质量提升效果明显。

[1] SULLIVAN G，OHM J，WOO-JIN H，et al.Overview of the highefficiency video coding(HEVC)standard[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1649-1668.

[2] BOSSEN F， BROSS B， SUHRING K，et al. HEVC complexity and implementation analysis[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1685-1696.

[3] KEN M， WOO-JIN H，IL-KOO K. Document JCTVC-A124，Samsung’s response to the call for proposals on video compression technology[S]. 2010.

[4] FU C，CHEN C，HUANG Y， et al. Document JCTVC-D122，Picture quadtreeadaptive offset[S]. 2011.

[5] FU C，CHEN C， TASI C，et al. Document JCTVC-E049，Sample adaptive offset with LCU-Independent decoding[S]. 2011.

[6] FU C，ALSHINA E，ALSHIN A， et al.Sample adaptive offset in the HEVC standard[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1755-1764.

[7] 唐华敏，杜建超，王庆雷.视频编码标准HEVC中的环路滤波技术分析[J].电视技术，2014，38(11)：1-4.

[8] BOSSEN F. Document JCTVC- J1100，Common HM test conditions and software reference configurations[S]. 2012.

[9] ZHANG M，ZHAO C，XU J. An adaptive fast intra mode decision in HEVC[C]//Proc. IEEE International Conference on Image Processing(ICIP).Orlando： IEEE Press， 2012，221-224.

[10] ZHANG M， ZHAO C， XU J， et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.IEEE International Symposium on Circuits and Systems (ISCAS).Beijing： IEEE Press， 2013，2852-2855.

[11] BJONTEGAARD G. Document VCEG-M33，Calculation of average PSNR differences between RD curves[S].2001.

赵 川(1986— )，助理实验师，主研视频编码与通信、图像视频处理；

张萌萌(1978— )，副教授，主要研究方向为视频传输及编码、图像信息处理、嵌入式系统设计；

马希荣(1962— )，女，教授，主研情感计算、模式识别、智能机器人。

责任编辑：时 雯

Improved Scheme for Sample Adaptive Offset in HEVC

ZHAO Chuan1，ZHANG Mengmeng2，MA Xirong1

(1.CollegeofComputerandInformationEngineering，TianjinNormalUniversity，Tianjin300387，China；2.CollegeofElectronicInformationEngineering，NorthChinaUniversityofTechnology，Beijing100144，China)

Sample adaptive offset(SAO)is adopted in the state-of-the-art video coding standard HEVC，including band offset(BO) and edge offset(EO) to attenuate ringing artifacts，which are more likely to appear after transform and quantization. Although BO spreads over 4 continuous bands， it is a fixed strategy for different blocks with the same size and does not consider a range narrower or wider than four bands. In this paper， band distribution of coding tree block(CTB)is analyzed by utilizing histogram， and adaptively bring a block’s texture characteristics in intra prediction. Based on the analysis， an improved strategy is further developed for BO in SAO for HEVC. Experimental results indicate that significant performance and up to 7.53%, BD-rate reduction is achieved in chrome with marginal running time increase and the subjective visual quality is enhanced in the edge under common test conditions of HEVC

oftware version 10.0.

HEVC；sample adaptive offset；band offset；histogram analyze；texture characteristic

【本文献信息】赵川，张萌萌，马希荣.一种HEVC样点自适应补偿改进方法[J].电视技术,2015，39(13).

国家自然科学基金项目(61370111；61103113)；天津师范大学教学改革研究基金项目(JG14409021)；天津师范大学实验室改革研究基金

TN919.81

A

10.16280/j.videoe.2015.13.003

2015-02-02