采用HEVC的精细可分级编码

洪佳庆，林其伟

（华侨大学 信息科学与工程学院，福建 厦门361021）

精细可分级（FGS）编码方案最先是基于MPEG-4提出的，之后被正式纳入 MPEG-4标准中［1］.近年来，随着H.264的广泛实用，许多国内外学者提出了一些基于H.264的FGS方案［2］.在这些基于H.264的FGS方案中，原始视频流被分为两个码流：基本层码流，增强层码流.基本层码流可以保证最基本的视频质量［3］，而增强层码流则可以提高增强的细节上的视频质量.FGS的增强层可以根据当时网络带宽的情况对码流进行任意位置的截断，只传输保留的部分，用户端接收到的增强层码流越多，解码的视频质量将会越高.FGS能够提供连续的可分级编码性能，在信道带宽时变较大时，能很好地调节增强层的码流，使视频图像质量过渡平滑.对于H.264 FGS，国内外学者从主观图像效果和客观编码效率两方面提出多种改进方法.如基于双环的MC＋FGS［4］、基于关键帧的开环、闭环混合编码［5］等，可以有效地提高编码效率，但也存在误差传递和积累问题，而且需要更大的计算复杂度.本文在新一代的视频编码标准［6］HEVC（high efficient video coding）基础上，提出一种改进的精细可分级编码方案.

1 基于离散余弦变换系数的位平面编码

将位平面编码量化后的离散余弦变换（DCT）系数看作是由若干个比特组成的二进制数［7］.对每个8×8的DCT块，采用Zig-Zag扫描的顺序，把64个DCT系数的绝对值写成二进制的形式，将相同位置的比特提取出来，得到一个位平面.位平面的个数由DCT系数的绝对值的最大值决定，编码从最高平面到最低平面.每个平面用（RUN，EOP）符号表示，通过VLC编码产生输出码流［8］.RUN表示1前面连续0的个数，EOP表示是否还有值为1的系数未被编码.若一个平面64个比特全为零，则用ALLZERO表示.按照这种位平面编码方法形成的（RUN，EOP）符号具有“嵌入式”的特性，能够在符号流的任意位置进行截断.

2 改进的FGS编码器结构

在以往的改进算法中，FGS的基本层采用的是H.264编码器，提高基本层的编码效率.但随着视频应用的发展，H.264的局限性不断凸显，而HEVC是面向更高清晰度、更高帧率、更高压缩率视频应用的协议标准，将成为今后视频应用发展的趋势.因此，对FGS的基本层进行改进，在基本层采用HEVC编码器.

图1 改进的FGS编码器结构Fig.1 Improved structure of FGS encoder

改进的FGS编码方案编码器结构，如图1所示.将一个视频序列编码为一个基本层码流和一个增强层码流.上面部分为FGS增强层的处理流程，对原始图像与基本层重建图像的差值图像采用基于DCT系数的位平面编码方式，得到增强层码流，具有可分级能力；基本层采用完整的HEVC编码器，将原始视频图像与预测图像的差值进行变换、量化、熵编码，从而得到基本层码流.

3 改善视频图像主观效果

3.1 选择增强

为了提高视频的视觉质量，FGS提供了3种功能：频率加权［9］、选择增强［10］和错误恢复特性［11］.选择增强是根据人们在观察图像时，往往对某一区域感兴趣，通过将感兴趣的数据块的比特平面进行上移，保证这些数据优先编码.在带宽有限时，感兴趣区域的数据能够尽可能多地保留下来，在接收端能够保证用户感兴趣区域的主观质量.选择增强示意图，如图2所示.

3.2 HEVC编码单元的分割方式

HEVC采用了更加灵活的编码结构来提高高分辨率视频的编码效率，包括编码单元、预测单元和变换单元.将一帧图像分割成互不重叠的最大编码单元（largest coding units，LCU），每个LCU以递归方式划分为多个编码单元（CU）［12］，直到8×8的CU为止.假如LCU设置为64×64，则CU的可能划分方式有64×64，32×32，16×16，8×8（编码单元的尺寸必须为2N×2N，其中N为以2为底的幂）几种方式，如图3所示.总的来说，对于较平坦的区域采用较大的分割尺寸，对于运动剧烈的区域采用较小的分割方式.

图2 选择增强示意图Fig.2 Schematic of selective enhancement

图3 最大编码单元的分割图Fig.3 Segmentation of the biggest coding unit

3.3 基于编码单元分割的FGS编码器

在HEVC中，分割尺寸的选择会影响压缩性能.通常情况下，大的分割尺寸适合于图像中的平坦区域，小的分割尺寸适合于图像中的细节比较丰富的区域.

对于LCU设置为64×64的情况，在编码增强层之前，根据HEVC编码单元分割模式的选择特点，对于尺寸为16×16和8×8的CU进行位平面提升，提升3个位平面，但对于尺寸为64×64，32×32的CU不进行位平面提升.将提升的区域作为感兴趣区域进行优先编码和传输，改善解码后视频主观质量，编码器结构如图4所示.

第一帧CU分割图，如图5所示.从图5可以看出：运动剧烈的区域分割尺寸较小.通常在视频序列中人们感兴趣的是运动的前景对象，因此将分割尺寸小的CU进行位平面提升，能有效改善主观效果.

图4 基于编码单元分割的FGS编码器结构Fig.4 Structure for FGS encoder based on coding units segmentation

图5 第一帧编码单元分割图Fig.5 Coding units segmentation for first frame code

4 实验结果及分析

使用 HM 10.0［13］测试不同码率下改进算法的编码性能，配置文件选encoder＿lowdelay＿P＿main.cfg与BasketballDrill.cfg.测试序列为Flowervase＿832×480＿30.yuv和BasketballPass＿416×240＿50.yuv，编码10帧.将重建图像序列的亮度分量的平均峰值信噪比（RSN）作为客观评价视频质量的标准，FGS的基本层中采用HEVC编码器，增强层中采用MPEG-4 FGS增强层编码.结构编码视频与仅采用HEVC编码视频性能比较，如图6所示.从图6中可以看出：码率较小时，HEVC FGS编码的视频图像质量略高于HEVC；随着码率的升高，视频图像的质量越高.

对16×16，8×8块进行提升、优先编码和传输，其图像质量与不进行提升编码感兴趣区域的图像质量对比，如图7所示.从图7中可以看出：感兴趣区域的PSNR有很大的提升，其中BasketballPass序列平均提升了近5.661 d B，Flowervase序列平均提升了近1.934 dB；且随着码率的提升，差值逐渐增大.

图6 基于HEVC的FGS与HEVC性能比较Fig.6 Comparison between HEVC and FGS based on HEVC

图7 基于编码单元分割FGS性能比较Fig.7 Comparison between FGS and FGS based on CU segmentation

5 结束语

在新一代视频编码标准HEVC的基础上构建可分级编码方案，其基本层采用完整的HEVC编码器，增强层采用MPEG-4 FGS的增强层编码方案.通过统计编码单元的分割方式，对小的分割方式优先编码与传输.实验结果表明：整体视频图像的质量、细节区域的视频图像质量都得到了有效提高.

［1］ 郑夜星.精细可分级视频编码算法研究［D］.厦门：华侨大学，2010：8-14.

［2］ HE Yu-wen，WU Feng，LI Shi-peng，et al.H.26L-based fine granularity scalable video coding［C］∥IEEE International Symposium on Circuits and Systems.Scottsdale：ISCAS，2002：548-551.

［3］ 谢建国.基于预取得视频带宽适应性传输算法［J］.计算机研究与发展，2009，46（2）：211-216.

［4］ 贺艳春.基于 H.264的FGS视频编码技术的研究［D］.厦门：华侨大学，2012：23-25.

［5］ 叶晓彤，邓云，蔡乐才.基于关键帧的开环-闭环混合FGS编码框架［J］.西南交通大学学报，2009，44（4）：484-489.

［6］ BROSS B，HAN W J，OHM J R，et al.High efficiency video coding（HEVC）text specification draft 10（for FDIS ＆Consent），JCTVC-L1003＿v2［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-296.

［7］ LI Wei-ping.Overview of fine granularity scalability in MPEG-4 video standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11（3）：301-317.

［8］ 饶琴.精细粒度可分级编码算法研究［D］.厦门：华侨大学，2011：20-22.

［9］ KIM S，HO Y-S.HVS-based frequency weighting for fine granular scalability［J］.Proc Information Communication Technologies，2003，8（10）：127-131.

［10］ 周孝.精细可分级编码技术的研究［D］.厦门：华侨大学，2008：19.

［11］ 王相海，宋传鸣.图像及视频可分级编码［M］.北京：科学出版社，2009：24.

［12］ HAN W J，MIN J，LEE T，et al.Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20（12）：1709-1720.

［13］ BOSSEN F，FLYNN D，SUEHRING K.HEVC HM10 reference software，JCTVC-L1010［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-4.