一种面向新一代可伸缩视频编码的上采样设计

王永建，梁麦先，铁小辉

(中国通信建设集团设计院有限公司，北京 100079)

一种面向新一代可伸缩视频编码的上采样设计

王永建，梁麦先，铁小辉

(中国通信建设集团设计院有限公司，北京 100079)

可伸缩视频编码属于新一代H.265/HEVC视频编码标准中的关键技术。本文分析了其相关技术，针对传统空间可伸缩视频编码中的上采样过程运算复杂、时间延迟等缺点，借鉴双边滤波器，将内容自适应嵌入到上采样过程中，提出了一种新的非线性和内容自适应设计方法。通过理论推导得出了改进后滤波器的表示公式，并设计出了新的上采样实现流程。通过仿真实验验证了理论推导的正确性，并与传统方法进行了比较，结果表明该方法可有效地提高编码效率、降低系统复杂性。

H.265/HEVC；可伸缩视频编码；上采样；双边滤波器；内容自适应

随着移动互联网、LTE、IPTV、智能终端、超高清显示等技术的发展，视频服务与人们生活联系日益紧密。网络环境(如传输介质、链路带宽等)越来越复杂，智能终端的分辨率、处理器、内存等性能多样，要求视频编码能自适应复杂多变的环境，传统的视频编码技术已不能满足要求，于是产生了可伸缩视频编码(Scalable Video Coding)技术。

ITU-T与ISO/IEC在2003年联合发布了H.264/AVC标准[1]，首次引入了可伸缩视频编码技术，取得了巨大成功；2013年，又发布了最新的H.265/HEVC(High Efficiency Video Coding)标准，包含了最新的可伸缩视频编码标准[2]。

可伸缩视频编码技术理念为：将视频信号采用分层编码的形式，即在时间、空间、质量或者频率上进行分层，形成一个基本层(Base layer)和多个增强层(Enhancement layer)。当通信带宽不足或信噪比很低时，仅对基本层的视频码流传送和解码，这时解码出的视频质量较差；当通信带宽变大或信噪比较高时，则对增强层的码流传送和解码；从而提高视频的解码质量，增强视频码流对复杂环境的适应性。

经过多年的研究，业界对可伸缩视频编码技术有多种实现方法，大致可划分为两大类：三维小波方法和联合可伸缩视频模型(JSVM，Joint Scalable Video Model)[3]。前者的代表为三维提升子带视频编码器(Barbell Lifting)[4]和运动补偿的嵌入式零树块编码器(MC-EZBC)[5-6]，后者的代表为H.264/AVC、MPEG-4 FGS[7]和H.265/HEVC等。三维小波方法的优点是在宽动态比特率范围内能够支持灵活的、细粒度的可伸缩性，但缺点是不能很好地支持运动图像的分级(低码率下编码性能较差)和空间可伸缩视频编码。JSVM的优点是基本层完全兼容H.264/AVC和H.265/HEVC(低码率下编码性能较好)，同时可灵活支持各种可伸缩视频编码。

可伸缩视频编码技术主要包括空间可伸缩、时间可伸缩、质量可伸缩等，本文研究内容属于空间可伸缩范畴，因此其他可伸缩技术本文不再赘述。

1 相关技术

1.1 空间可伸缩性

空间可伸缩视频编码(Spatial Scalable Video Coding)，指通过对不同空间分辨率的视频图像进行编码，形成基本层与增强层码流，其原理如图1所示。

图1 空间可伸缩视频编码原理图

图1中，预处理器对输入的原始视频图像进行空间下采样，形成低分辨率的图像；基本层编码器输出基本层码流，中间处理器对其解码、重构形成基本层图像；对基本层图像进行上采样，作为对原始视频图像进行编码的预测参考；增强层编码器对预测编码与原始视频图像之间的量化差值进行处理，得到高分辨率的增强层码流；增强层码流与基本层码流复用最后形成可伸缩的视频码流[1，8]。上采样是其中最为关键、复杂的部分。

1.2 HEVC系统结构

HEVC在主要原理和基本结构方面与H.264/AVC基本相同，但是其几乎在每一个实现环节上都进采取了相应的改进措施，尽管每一项措施的效率提高并不显著，然而总体效果却比H.264/AVC编码效率提高了约一倍[9-10]。HEVC采用多回路解码结构，增强层解码要对相对应的基本层进行完整解码与重构，系统结构如图2所示。

图2 HEVC系统结构图

图2中，基本层与增强层都由熵解码器(Entropy Decoder)、逆变换(Inverse Transformation)、逆量化(Inverse Quantization)、帧内预测(Intra Prediction)、运动补偿(Motion Compensation)、回路滤波器(Loop Filter)等构成。基本层解码后的图像输入到解码缓冲区(Decoded Picture Buffer)，作为运动补偿和随机层间预测的参考。如果基本层与增强层图像的空间分辨率不同，基本层图像要在层间预测之前先进行上采样。

在HEVC系统中，上采样器源于HEVC/H.265中的运动补偿插值器(该插值器可分离，大大降低了系统的复杂性)，使插入的像素值由基本层变化为增强层。对于空间可伸缩性，基本层的亮度值与增强层未滤波的亮度值共用。输入像素经N-tap滤波后获得内插像素，在HEVC中使用特定的8-tap线性滤波器用于亮度组件，4-tap滤波器用于色度组件[11，12]。但是在上采样时，基本层图像在内容自适应和非线性编码过程中遭到损坏，基本层噪声处理效果不理想，影响了实际效果。

1.3 双边滤波器

双边滤波器是一种具有去噪保边功能的非线性滤波器，在2-D邻域内取决于两个函数，分别由空间距离和像素亮度值差决定，可分别称之为空间邻近度因子与亮度相似度因子，从而实现非线性和自适应滤波[13]。

双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合[14]。假设某邻域S中心点为(x，y)，大小为(2N+1)×(2N+1)，邻域内任一个像素为(i，j)，输入亮度值为f(i，j)，则输出像素值g(i，j)表示为

(1)

设定W=w()，w()是加权系数，由空间邻近度因子Ws与亮度相似度因子Wr的乘积决定。

(2)

(3)

因此

W=Ws×Wr=

(4)

式(2)随着像素与中心点之间空间距离的增加而减小，σd表示控制参数，影响着衰减程度。

式(3)随着像素与中心点之间亮度值差的增大而减小，σR表示控制参数，影响着衰减程度。

式(4)中，像素与中心点之间空间距离越大或者亮度值相差越大，则权重值越低，去噪保边效果越好，不过却会大大增加复杂性，造成实现成本的增加。

另外，双边滤波器还受滤波器半宽N的影响，N越大平滑能力越强。

式(1)和(4)中，对于每个像素，2-D不可分割N×N双边滤波器(N是窗口大小)需要乘以2N2， 加上3(N2-1)，并除1。此时梯度和空间组件的权重值存储在查询表中，该方法能降低实现的复杂性，但需要额外的内存与频宽。

2 内容自适应上采样设计

2.1 设计思路

根据前文所述，空间可伸缩上采样需必备两个要素。第一，上采样时插入的像素值使基本层变化为增强层。第二，若要对增强层编码实现理想的预测，上采样时必须减少基本层的噪声。

当高振幅与高频信息的边缘与结构保持相对应时，双边滤波器能够消除低振幅高频的内容(通常夹带噪声)，达到理想的效果。通常，非线性滤波器会增加复杂性，双边滤波器仍不例外，例如运算量的增加，在滤波进行之前要等待上采样的结果存储完成而产生延迟等。为解决上述复杂性和延迟问题，本文受双边滤波器启发，设计一种新的内容自适应方法，以期提高系统效率，并且在滤波之前不需要对采样结果存储，降低系统复杂性与成本。

2.2 实现方法

将内容自适应嵌入上采样中，通过将插值和内容自适应组件分离实现。在已有的研究中，采用可分离双边滤波器实现内容自适应分离的方法已被证实，不过存在明显的缺陷，尤其是处理对角线结构时效果欠佳。为弥补该缺陷，本文拟将内容自适应嵌入到上采样过程中。

虽然采用可分离内容自适应滤波器能够减少运算量，却需要额外的线性缓冲区。为解决该问题，本文拟利用内容自适应过程中的整数像素或插入像素来消除对插入的相邻像素的依赖。

选择一个适当的位置，要求正在进行上采样的像素通过的同时完成内容自适应滤波，并且整数像素与基本层内像素的空间位置要相对应。当增强层图像分辨率大于基本层图像分辨率时，则包含了小数位置的像素(也可能包含整数位置像素)。

如果HEVC上采样过程中(2t)抽头值为{a-t，a-t+1，…，at-1}，则上采样可表示为

(5)

式中：表示向下取整运算，改进后的滤波器(设定窗口大小为3×1)可表示为

(6)

式中：像素(k，q)和(m，n)是与像素(i，j)相邻的整数像素，而像素(i，j)可能在整数像素位置或小数像素位置。在本文HEVC设计中，当(i，j)取整数值时Up=f(i，j)。另外，式(6)不仅具有与函数(1)类似的内容自适应滤波特性和类似的值域，并且具有明显降低运算量、延迟时间和线性缓冲需求等优点。因为，对于整数像素值的计算仅仅使用其他整数像素位置的信息，不需要相邻像素值的插入。与此类似，对于小数像素值的计算仅仅使用处于当前位置的插入像素与其他整数像素值。

这里要求计算时只使用整数像素值(或当前位置小数像素值)，当一个像素的上采样/插值完成的同时，不需要等待上采样结果，内容自适应滤波也同时完成，因此无需额外的线性缓冲。改进后的滤波器上采样的流程如图3所示。

图3 改进后的1-D内容自适应滤波上采样流程

在图3中，双边滤波采用插值法就地进行分离，虚线方块表示非线性和内容自适应组件。对于每个1-D内容自适应滤波阶段，滤波过程需要乘以2(M-1)+1，并加上3(M-1)-1(M是所支持的1-D域的长度，乘法中的加1为了计算每个滤波阶段中的除运算)。当M=3时，则需要乘以10，并加10。当M值比较小时，除运算可看做是使用倒数查询表的乘运算。由于空间查询表与梯度组件可以组合，相乘的数值可进一步减至6。因此，这种简化的方法在滤波一个抽样时可乘以6，并加10。另外，在最初的可分离阶段，这种简化的内容自适应滤波器作用于水平的上采样图像，与完全上采样的图像相比，该方法具有更低的垂直分辨率，因而这样的图像像素数量比完全上采样的图像滤波后要少，从而进一步降低了该方法的整体复杂性。

3 仿真实验分析

3.1 编码效率测试

为验证本文设计方法的有效性，本文将该方法集成到HEVC参考软件HM-12.0中[15]。这里允许增强层对线性内插帧或内容自适应内插帧预测，帧的选择由编码器完成，并在基于率失真代价的编码单元中进行自适应性选择，然后在比特流中对上采样器发出指示。

在仿真实验中，设定参数如下：窗口大小为3×1，σs=3.4；查询表基于权重梯度，为{16，15，12，9，6，4，2，1，0}，指数取最小值(梯度≫2，8)，σR=15；插值器为8-tap滤波器[15]。

选用HEVC常用测试条件，包括all-intra、随机存取、低延迟P配置等[16]。基于HM-12.0软件锚点序列，采用BDBR(BjOntegaard Delta Bit Rate)进行测试[17]。测试序列包含2个裁切后的4K序列(称为测试条件中的“A类”)和5个高清序列(称为测试条件中的“B类”)，图像帧为YUV 4∶2∶0色彩样式。

以增强层比率(EL)测试比特率，基本层(BL)比率保持不变，负数表示减少，选用2-D空间可伸缩常用测试用例AI、RA、LD-P，测试结果如表1所示。

表1 新设计方法编码效率测试 %

根据表1测试结果，将非线性和内容自适应特性加入上采样器后提高了编码效率，测试用例AI、RA、LD-P的增强层(EL)比特率分别下降了5.3%、5.8%、6.2%，正好对应于基本层(BL)与增强层(EL)两者(BL+EL)的4.3%，3.8%，4.8%的比特率下降。

3.2 复杂性测试

本文采用HEVC标准组织提供的复杂性测试方法[18]。

首先测试编码时的复杂性。对基于块的上采样，HM-12.0软件中标准的上采样器在上采样一个像素时乘以37，增加32，这对于亮度与色度都很有效果，这里假设色度与亮度样式为2∶1。

前文第二节所述的2-D不可分离双边滤波器，如果N=3，则乘以28然后加36。前文第3节所述改进后的滤波器，在仅计算一种色彩情况下，当M=3时，则乘以6然后加10。因此，如果计算色度与亮度，则乘以9然后加15。

选择在最坏情况下进行测试[19]，将所有块都采用新设计方法进行上采样时运算量的增加情况，与采用线性上采样器(与传统2-D不可分离双边滤波器一样)进行对比，测试结果如表2所示。

表2 新设计方法编码复杂性测试

根据表2测试结果，与传统2-D不可分离双边滤波器相比，采用新设计方法情况下运算量的增加小得多。另外，在实际的编码过程中，并不是所有的块都采用内容自适应滤波上采样器，并且上采样也仅仅是整个编码过程的一部分，因此，整体运算量的增加将远远小于最坏情况下的增加。

然后测试解码时的复杂性。基于HM-12.0软件锚点序列进行解码，将采用新设计方法时运算量的增加情况，与采用HM-12.0软件中标准的解码器时进行对比。测试结果如表3所示，结果表明增加很少。

表3 新设计方法解码复杂性测试 %

4 结论

本文介绍了HEVC中可伸缩视频编码相关技术，分析了目前存在的问题，在此基本上提出了一种非线性和内容自适应上采样方法。该方法将可分离非线性内容自适应滤波器引入到上采样过程中，实现上采样与内容自适应滤波同步完成，不须额外线性缓冲。通过仿真实验表明，该方法能有效提高编码效率并降低复杂度。

[1] Advanced video coding for generic audio-visual services[S]. 2003.

[2] BROSS B，HAN W J，OHM J R，et al. High efficiency video coding (HEVC) text specification draft 10 (for FOIS & Consent)[S]. 2013.

[3] REICHEL J， WIEN M， SCHWARZ H. Joint scalable video model jsvm-3 Annex [S]. 2005.

[4] XIONG R， XU J， WU F，et al. Barbell-lifting based 3-D wavelet coding scheme[J]. IEEE Trans. Circuits and Systems for Video Technology，2007，17(19)：1256-1296.

[5] HSIANG S T， WOODS J W. Embedded video coding using invertible motion compensated 3-D subband/wavelet filter bank [J]. Signal Processing：Image Communication， 2001，16(8)：705-724.

[6] CHEN P. Fully scalable subband/ wavelet coding [M]. [S.l.]：VDM Verlag Dr. MullerAktiengesellschaft & Co.，2003.

[7] LI W. Overview of fine granularity scalability in MPEG-4 video standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2001，11(3)：301-317.

[8] SCHWARZ H，MARPE D，WIEGAND T. Overview of the scalable video coding extension of the H.264/AVC standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2007，17(9)：1103-1120.

[9] SULLIVAN G J，OHM J R，HAN W J，et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2012，22(12)：1649-1668．

[10] POURAZAD M T， DOUTRE C， AZIMI M. HEVC：the new gold standard for video compression how does HEVC compare with H.264/AVC[J]. IEEE Consumer Electronis Magazine，2012，1(3)：36-46.

[11] MCCANN K，ROSEWARNE C，BROSS B，et al. High efficiency video coding (HEVC) test model 16 (HM 16) improved encoder description[S]. 2014.

[12] CHEN J. SHVC test model 1 (SHM 1)[S]. 2013.

[13] ALSHINA E. AHG-13，17：complexity and performance analysis of different length up-sampling filters in SHM 1.0[S]. 2013.

[14] RICHARD S. Computer vision：algorithms and applications[S]. 2010. [15] HEVC reference software[EB/OL].[2015-04-28].https：//hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/.

[16] LI X，BOYCE J，ONNO P，et al. Common SHM test conditions and software reference collfigurations[S]. 2013.

[17] BJONTEGAARD G. Calculation of average PSNR differences between RD-curves[S]. 2001.

[18] FRANOIS E，TABATABAI A，ALSHINA E. BoG report：methodology for evaluating complexity of combined and residual prediction methods in SHVC[S]. 2013.

[19] ZHAO J，MISRA K，SEGALL A. Non-SCE4：adaptive up-sampling of base layer picture using simplified separable bilateral filters[S]. 2013.

王永建(1981— )，硕士，高级工程师，主要研究方向为网络信息安全、多媒体通信、数据通信、数据挖掘分析等；

梁麦先(1964— )，女，教授级高级工程师，主要研究方向为数据通信、交换网络、电信核心网等；

铁小辉(1979— )，高级工程师，主要研究方向为多媒体通信、无线视频通信等。

责任编辑：时 雯

Upsampling Design for Next Generation Scalable Video Coding

WANG Yongjian， LIANG Maixian，TIE Xiaohui

(ChinaInternationalTelecommunicationConstructionGroupDesignInstituteCo.Ltd.，Beijing100079，China)

Scalable video coding is a key technology of the next generation video coding standard of H.265/HEVC. Contraposing the imperfection of calculations complexity and time delay，etc.，of upsampling process in the traditional spatial scalable video coding， its related technologies are analyzed， then a new nonlinear and content-adaptive design method are proposed by the content-adaptive embedded into the upsampling process， using the bilateral filter. The formula for the improved filter is derived by theoretical derivation， and a new upsampling process is designed. The theoretical derivation is proved to be correct by the simulation results. Compared with the traditional scheme， the coding efficiency is improved effectively， and the complexity of system is reduced by the method.

H.265/HEVC；scalable video coding；upsampling；the bilateral filter；content-adaptive

【本文献信息】王永建，梁麦先，铁小辉.一种面向新一代可伸缩视频编码的上采样设计[J].电视技术,2015，39(23).

TN919.8

A

10.16280/j.videoe.2015.23.004

2015-06-08