基于时域相关性的自适应采样值补偿算法

罗丽冬，王永芳，2，王宇兵，石亚文，张兆杨，2

(1.上海大学 通信与信息工程学院，上海 200072；2.新型显示技术及应用集成教育部重点实验室，上海200072)



基于时域相关性的自适应采样值补偿算法

罗丽冬1，王永芳1，2，王宇兵1，石亚文1，张兆杨1，2

(1.上海大学 通信与信息工程学院，上海 200072；2.新型显示技术及应用集成教育部重点实验室，上海200072)

虽然自适应采样值补偿(SAO)滤波器能有效提高视频的主客观质量，但是SAO编码参数存在大量冗余，导致其不能适用于低比特率环境。因此，提出了一种基于时域相关性的自适应采样值补偿算法。通过率失真代价来选择当前帧是否复用最近已编码帧的SAO编码参数，并为每一帧设置一个标志位来标识是否复用。实验结果表明，与HTM原始SAO滤波器算法相比，该算法在主观质量和复杂度基本不变的情况下，3个视频分量的BD-rate平均分别减少1.06%、1.10%和0.99%。因此，所提出的算法能很好地改善SAO的性能。

SAO；时域相关性；HTM

3D视频因能提供更加真实和自然的视觉体验，能够更加生动地再现场景而备受人们青睐。为了更好地支持3D视频的应用，满足用户对高清视频的需要，MPEG和ITU-T两组织成立视频联合开发小组(Joint Collaborative Team on 3D Video Coding Extension Development，JCT-3V)开发基于H.264/AVC或HEVC的新3D视频压缩标准[1]，并提供了3D-HEVC的测试模型HTM(HEVC-Based Test Model)。

虽然HTM大幅提高了多视点加深度(Multi-view Video Plus Depth，MVD)格式的视频编码效率，但是由于采用基于块的预测和变换的混合编码方式，块状效应、振铃效应、模糊效应和色彩偏差[2]等失真在HTM编解码视频中依然存在。为了减小上述失真对视频带来的影响，HTM在H.264/AVC原有的去块滤波(De-blocking Filter，DF)模块后新增加了自适应采样值补偿技术(Sample Adaptive Offset，SAO)[3]。SAO滤波器可以有效降低视频中的振铃效应，从而提高视频的主客观质量。

在JCT-VC(Joint Collaborative Team on Video Coding)会议上，有很多学者提出了很好的关于SAO滤波器的算法。文献[4]提出了极端值修正(Extreme-value Correction，EXC)算法和带状修正(Band Correction，BDC)算法。这两种算法都是对像素进行分类，然后为每个像素增加相应的补偿值。它们之间的区别是：EXC是根据当前像素值与相邻像素值之间的关系进行分类；BDC则是根据像素灰度值进行分类。文献[5]和文献[6]提出将EXC和BDC两种算法同时作用于当前编码树块(Coding Tree Block，CTB)，并根据率失真代价为CTB选择最佳的算法。文献[7]认为边界补偿算法不能有效去除所有方向的振铃效应，而提出了垂直方向和水平方向相结合的算法。文献[8]认为带状补偿算法不能适用于所有的视频区域，而提出了根据不同的视频特性选择不同的带状补偿算法。为了降低解码复杂度，SAO编码参数需要写入码流供解码使用，从而增加了编码传输的比特率。众所周知，同一视点中相邻编码帧内容具有很大的相关性[9]，因此，本文提出一种复用前一帧的SAO编码参数的算法来减小时域上SAO编码参数冗余，从而提高SAO滤波器的性能。

1 HTM自适应采样值补偿算法

在HTM中，SAO滤波器位于编码环路之内并在DF之后。SAO滤波器的关键思路是为每个像素增加一个补偿值来减小重建帧与原始帧之间的失真度。SAO滤波器设计的难点在于如何对像素进行分类及如何为不同分类选择相应的补偿值。目前，SAO滤波器采用两种算法来解决上述难点：边界补偿(Edge Offset，EO)算法和带状补偿(Band Offset，BO)算法。

1.1 EO算法

根据相邻像素之间的位置关系，EO可以分成4类：水平方向(SAO_EO_0)、垂直方向(SAO_EO_1)、135°对角线方向(SAO_EO_2)和45°对角线方向(SAO_EO_3)，如图1所示。在编码端，每个CTB根据率失真代价选择最佳的EO类型，并将选择的EO类型写入码流中去。

图1 4种不同EO类型

对于每个EO类型，根据相邻像素值之间的关系，可以将CTB中像素分为5类，具体分类标准如表1所示。EO算法通过为当前像素增加一个补偿值来减小重建帧与原始帧之间的失真度，但是错误的补偿值会产生明显的块状效应，最终导致视频失真更厉害。为了避免上述情况，文献[10]提出像素分类标准1和2的补偿值不能为负数，如果为负数，则相应的补偿值设为0；标准3和4的补偿值不能为正数，如果为正数，同样将对应的补偿值设为0，从而减小视频的失真度。

表1 EO类型的像素分类标准

1.2 BO算法

BO算法直接根据像素的灰度值将像素分布在32条带中。如果像素采用8 bit进行编码，则灰度值的范围是0～255。如果当前像素的灰度属于k×8 ～k×8 + 7之间，则当前像素属于第k条带，其中k的取值范围为0，1，2，…，31。EO像素最多分为4种，然而BO可以将像素分成32种。但是一帧图片，特别是一个CTB，像素的大小基本很接近，波动范围一般不会是0～255。为了减小对线性内存的需要，根据率失真代价选择最佳的4条连续的带作为BO像素的分类[11-12]。与EO不同的是，BO算法的补偿值可以为任意值。

2 基于时域相关性的SAO算法

每个CTB都有自己的SAO编码参数，并且每个视频分量都有单独的SAO编码参数[11]。 每个CTB可以选择的SAO滤波器类型有3种：不需要SAO滤波器处理、EO或者BO。并根据率失真代价来选择最佳的类型。如果选择不需要SAO滤波器处理，只需传输一个标志位即可；选择EO，需要将EO类型和4种补偿值等信息写入码流；选择BO，需要将4条连续带的起始位置和4种补偿值等信息写入码流。然而，无论CTB最终选择何种类型，或多或少都需要一些比特数对SAO编码参数进行编码。EO算法根据4个不同的一维方向可以有效减少细节区域的振铃效应；BO算法可以减少平坦区域的振铃效应。虽然SAO滤波器可以提高视频的主客观质量，代价是增加了编码传输的比特率。

2.1 时域相关性

相邻视频帧内容具有很强的相关性，都采用相似的量化参数(Quantization Parameter，QP)。因此，相邻帧SAO编码参数可能具有很强的相似性。

表2～表4分别统计了view 0，view 1和view 2中相邻帧SAO编码参数的相关性，即根据率失真代价，当前帧复用前一帧SAO编码参数所占的比例。从表2～表4可以看出，view 0，view 1和view 2当前帧复用前一帧SAO编码参数所占的比例分别高达78%，86%和85%。特别是Kendo序列，在QP值为40的情况下，view 0，view 1和view 2复用所占的比例高达92%，99%和99%。并且在不同的QP值情况下，7个标准序列复用最低都超过50%以上。因此，表2～表4很好地证明了视频帧与帧之间SAO编码参数具有很强的相似性，可以通过复用前一帧的SAO编码参数来减小编码传输的比特率。

2.2 所提出的算法

为了充分利用SAO编码参数的时域相关性，通过复用前一帧传输的所有SAO编码参数，包括SAO滤波器类型，4个偏移值等参数，以减小时域上SAO编码参数所用的比特数。当前帧所有SAO编码参数用Param1表示，前一帧所有SAO编码参数用Param2表示。根据率失真代价从Param1和Param2中为当前帧选择最佳的SAO编码参数。因此，每帧需要增加一个标志位F，自适应标志当前帧SAO编码参数是采用Param1还是Param2。F为0表示当前帧SAO编码参数采用Param1；否则采用Param2。

表2 view 0当前帧复用前一帧SAO编码参数所占的比例 %

表3 view 1当前帧复用前一帧SAO编码参数所占的比例 %

表4 view 2当前帧复用前一帧SAO编码参数所占的比例 %

本文提出的算法实施步骤如下：判断当前帧是否是第一帧，如果是第一帧，则采用原始SAO滤波器处理过程，当前帧标志位F设为0，设置Param2的值，并将当前帧SAO参数Param2及标志位F写入码流；如果不是第一帧，则首先根据原始SAO滤波器处理过程得出Param1的值。然后根据率失真代价为当前帧选择最佳的SAO编码参数。如果最终选择Param1，则用Param1的值更新Param2，并设当前帧的标志位F为0，同样将当前最佳SAO编码参数Param2及标志位F写入码流；否则设置当前帧标志位F为1，Param2的值不变，此时，只需将标志位F写入码流，因为当前帧是复用前一帧SAO编码参数，而前一帧SAO编码参数已写入码流。view 0，view 1和view 2都采用上述算法。

3 实验结果与分析

本文实验在CPU酷睿3双核，主频3.3 GHz，内存4 Gbyte，操作系统Windows 7环境下实现。以HTM 6.1为测试平台，测试序列为Balloons，Kendo，Newspaper，GhostTownFly，Poznan_Hall2，Poznan_Street和Undo_Dancer。其中前3个序列分辨率为1 024×768，后4个序列为1 920×1 088，所有序列同时编码3个视点。量化参数QP为25，30，35和40。表5给出了实验测试条件。客观质量评价标准采用文献[13]提出的BD-rate。

表5 测试条件

3.1 客观质量比较

表6～表8分别统计了view 0，view 1和view 2采用不同算法的性能比较结果，SAO On，SAO Off和Proposed分别表示采用原始SAO算法，关闭原始SAO算法和采用本文提出的SAO算法。其中SAO On和Proposed都是与SAO Off进行实验数据比较。Differences表示Proposed与SAO On进行实验数据比较。从表6～表8中可以清楚地看出，所提出的算法在不同的视点及不同的视频分量上性能都要优于HTM原始SAO算法。所提出的算法与HTM原始SAO算法相比，亮度Y，色度U和V的BD-rate平均分别减少1.06%，1.10%和0.99%。与HTM SAO Off相比，Y，U和V的BD-rate平均减少1.74%，7.68%和6.18%。从表2～表4可以得出，虽然SAO On能很好地改善视频的客观质量，但是SAO编码参数在视频间存在大量冗余。并通过表6～表8可知，通过复用前一帧SAO算法，可以很好地改善SAO的性能。

图2～图5给出了4个不同序列的率失真曲线图。从图2～图5中可以很清晰地看出，所提出的算法在相同的比特率下，客观质量要明显优于SAO Off的客观质量，并且要略好于原始SAO On的客观质量。因此，本文的算法很好地改善了视频的客观质量。

表6 view 0 不同算法的性能比较

表7 view 1不同算法的性能比较

表8 view 2不同算法的性能比较

图2 GhostTownFly率失真曲线图

图3 Balloons率失真曲线图

图4 Poznan_Street率失真曲线图

图5 Kendo率失真曲线图

3.2 复杂度分析

表9给出了不同SAO算法实施在HTM平台上的编码复杂度对比。所提出的算法实施在HTM平台上的复杂度比原始SAO滤波算法实施在HTM平台上的编码复杂度平均增加0.34%，然而所提出的算法比没有加SAO算法的编码复杂度反而平均降低0.41%。这是由于SAO提高了编码性能，即提高了预测性能，减少了残差，从而导致BD-rate减小，总体上出现编码时间的下降。由以上分析可知，本文所提出的算法并没有增加HTM的编码时间，因此结合复杂度与客观质量，本文所提出的算法要优于原始SAO算法。

表9 不同算法实施在HTM上的编码时间比较

3.2 主观质量分析

图6和图7分别给出了Balloons序列和GhostTownFly序列在不同算法处理后的主观质量对比图。从图6和图7并结合PSNR可以得知，所提出的视频的主观质量要明显好于SAO Off的视频质量，并与原始的SAO算法的主观质量相当。

图6 Balloons序列的主观质量对比图

图7 GhostTownFly序列的主观质量对比图

4 小结

本文分析了HTM 6.1原始SAO滤波算法，并针对SAO编码参数存在大量冗余，提出了一种基于时域相关性的SAO算法。该算法通过率失真代价来判断当前帧是否复用前一帧的SAO编码参数，从而减小编码传输的比特率。实验结果表明，与原始SAO算法相比，所提出的算法在主观质量和复杂度基本不变的情况下，能很好地通过减小视频不同分量的BD-rate来提高视频的客观质量，从而改善了原始SAO算法的性能。

[1]JCT3V-C1001，3D-AVC draft text 5[S].2013.

[2]YUEN M，WU H R.A survey of hybrid MC/DPCM/DC video coding distortions[J].J.Signal Process，1998，70(3)： 247-278.

[3]FU C， ALSHINA E， HUANG Y，et al.Sample adaptive offset in the HEVC standard [J].IEEE Trans.Circuits and Systems for Video Technology，2012，22(12)： 1755-1764.

[4]JCTVC-A124，Samsung’s response to call for proposals on video compression technology[S].2010.

[5]JCTVC-C147，TE 10 Subtest 3：Quadtree adaptive offset[S]. 2010.

[6]JCTVC-D122，CE 8 Subtest 3：Picture adaptive offset[S]. 2011.

[7]ZHANG H，OSCAR C A，SHI Y F，et al.Improved sample adaptive offset for HEVC[C]//Proc.Signal and Information Processing Association Annual Summit and Conference (APSIPA 2013).Kaohsiung：IEEE Press，2013：1-4.

[8]LUO Bingji，GUO Xiaoqiang，CHENG Gong，et al.A new SAO based on histogram analysis in HEVC[C]//Proc.Picture Coding Symposium (PCS).San Jose，CA： IEEE Press，2013：49-52.

[9]赵文强，沈礼权，张兆杨.HEVC帧内预测算法的优化[J].电视技术，2012，36(8)：31-33.

[10]KIM W S， KWON D K.Improve sample adaptive offset for HEVC[C]//Proc.IEEE International Conference on Acoustics，Speech and Signal Processing (ICASSP 2013).Vancouver，BC：IEEE Press，2013：1700-1703.

[11]JCTVC-G246，On additional SAO band offset classifications[S].2011.

[12]JCTVC-H0406，Flexible band offset mode in SAO[S].2011.

[13]JCTVC-F057，Sample adaptive offset for Chroma[S].2011.

[14]VCEG-M33，Calculation of average PSNR differences between RD-curves[S].2001.

罗丽冬，硕士生，主研多视点视频编解码中滤波技术研究；

王永芳，女，副教授，硕导，主研3D视频编码和无线多媒体通信；

张兆杨，教授，博导，主研视频处理和多媒体通信。

责任编辑：时 雯

我国首部《移动互联网广告标准》发布施行

近日，我国第一部规范移动互联网广告的行业标准《移动互联网广告标准》(以下简称标准)正式发布，并于3月15日起正式施行。

据介绍，该标准为我国第一部规范移动互联网广告的行业标准，由中国广告协会网络互动分会主持、互动广告标准委员会牵头制定。标准的制定和发布，旨在解决移动互联网广告接口不统一及术语、定义、技术标准不规范等问题，为移动互联网广告监管提供统一的技术接口和监管标准，使从事移动互联网广告相关产业的公司有可遵循的行业标准和参照，保证移动互联网广告运作模式的规范性，提高移动互联网广告的用户体验，以推动中国移动互联网广告未来的健康快速发展。

据悉，该标准由《互联网数字广告基础标准》、《移动互联网广告监测标准》和《移动系统对接标准》3部分构成。以移动广告端为基础，覆盖了部分PC系统和数字视频、APP系统，并且实现了全网统一接口标准，为互联网广告监管和网络安全保障统一了接入通道。该标准由多家主流互联网企业、品牌广告主、网络广告公司及第三方监测技术公司等市场主体参与研制完成。

中国广告协会互动网络分会秘书长陈永表示，该标准将作为行业标准试行，此后将尝试申请成为国家标准。同时，随着移动互联网的多元化发展，移动互联网广告的标准将每半年做一次修订，以便应对不断出现的新问题。

Sample Adaptive Offset Algorithm Based on Temporal Correlation

LUO Lidong1，WANG Yongfang1，2，WANG Yubing1，SHI Yawen1，ZHANG Zhaoyang1，2

(1.SchoolofCommunicationandInformationEngineering，ShanghaiUniversity，Shanghai200072，China；2.KeyLaboratoryofAdvancedDisplayandSystemApplication，MinistryofEducation，Shanghai200072，China)

Although the subjective and objective quality of video can be improved effectively by adopting sample adaptive offset (SAO) filter， it’s not suitable for the real-time application for the large amount of parameters in SAO filter.Therefore， a simple but effective algorithm based on temporal correlation is proposed.In coding process， rate distortion (RD) cost is calculated to determine whether the parameters of former coding frame can be used directly by current coding frame， and then a flag bit is used to mark the result.Experimental results demonstrate that the proposed method can reduce 1.06%，1.10% and 0.99% for YUV components respectively in BD-rate as compared with HEVC-based test model 6.1 (HTM 6.1) anchor， with almost the same subjective quality and computational complexity， which can verify the effectiveness of the proposed approach.

SAO；temporal correlation；HTM

上海市自然科学基金项目(13ZR1416500)；国家自然科学基金项目(60972137；61301113)

TN919.81

A

10.16280/j.videoe.2015.07.001

2014-07-16

【本文献信息】罗丽冬，王永芳，王宇兵，等.基于时域相关性的自适应采样值补偿算法[J].电视技术,2015，39(7).