面向绘制质量的深度图像快速帧内编码

斯晓华，王国中，彭建华

(上海大学 通信与信息工程学院，上海 200436)

面向绘制质量的深度图像快速帧内编码

斯晓华，王国中，彭建华

(上海大学 通信与信息工程学院，上海 200436)

与彩色视频用来直接显示不同，在三维视频系统中深度视频序列的作用是在绘制虚拟视点时提供所需的几何信息，所以直接将现有编码算法应用于深度图像存在一定的局限性。针对深度视频序列的作用以及深度图像自身特征，提出了一种面向绘制质量的深度图像快速帧内编码方法，该方法包括基于深度图像统计特性和空域相关性的图像区域划分算法、HEVC的快速编码单元(CU)和预测块(PB)决策算法和帧内编码模式预先选择算法。实验结果表明：与直接利用HEVC测试软件编码深度视频相比，该快速算法在保证几乎相同的主客观绘制质量的前提下，每个视点的编码速度平均提升了35%以上。

高效视频编码标准；快速帧内编码；区域划分算法；编码单元决策

随着多媒体应用高速发展，为了更好地适应高效编码和网络友好型编码的需求，在2010年VCEG (Video Coding Experts Group)和 MPEG (Moving Picture Experts Group)联合成立了视频编码联合组 (Joint Collaborative Team on Video Coding，JCT-VC)来制定高效视频编码标准(High Efficiency Video Coding，HEVC)[1]。HEVC采用了多种新的编码工具来提高编码性能[2]，这就导致计算复杂度大幅地上升，于是针对HEVC出现了很多的快速算法，Shen等人[3，4]提出了利用空域相关性快速编码单元(Coding Unit，CU)和帧内模式决策算法；Jiang和Zhang等人[5，6]提出基于梯度的快速编码模式决策算法。

由于深度图像是用来绘制虚拟视点并不需要显示，这样针对深度视频这一特性在原有编码算法上产生了很多的改进快速算法，Chang等人[7]利用深度图像特征提出了一种快速模式决定算法；Zhang等人[8]提出了一种深度图像楔形提前决定算法；在多视点加深度(Multiview Video Plus Depth， MVD)中，文献[9]利用深度图像和彩色图像的相关性提高编码深度。

综合考虑深度图像特性和HEVC编码框架，本文在HEVC参考代码[10]上实现了基于绘制质量的深度图像快速帧内编码算法，实验结果表明在保证绘制质量的前提下，该算法明显降低了编码时间，提升了编码效率。

1 深度图像特性和绘制失真

1.1 深度图像特征概述

深度图像表征了场景中的几何信息，图1(原图为彩色图片)可以看出深度图像是1幅灰度图像，其纹理与对应的彩色图像有很强的相关性且纹理较简单。深度图像的深度值表示镜头到目标物体之间距离，这样也就从另一个侧面表示场景中的物体之间的远近关系。由于同一个物体的表面到镜头的距离是平滑变化的，所以深度图像边缘中间存在大片的平滑变化区域(平坦区域)。

图1 彩色图像和对应深度图像

总结深度图像特征主要有以下几点：1)深度图像的深度值表征了目标之间的远近关系；2)深度图像的纹理表示了物体的边缘，且纹理较为简单；3)深度图像纹理的中心是大片的平坦区域。

1.2 深度图像失真与绘制失真

在3D系统的客户端通过基于深度图绘制(Depth-Image-Based-Rendering，DIBR)技术[11]，利用深度图像绘制虚拟视点，下面研究深度图像编码失真与绘制的虚拟视点失真之间的关系。Zhang等人[12]利用DIBR映射原理推导出了在水平阵列相机情况下深度失真与绘制失真可以近似表示为

ΔPr(Δxh,Δyv)=k·ΔDp(xp,yp)

(1)

式中：ΔPr(Δxh,Δyv)表示在P位置水平失真Δxh和垂直失真Δyv产生的绘制失真；k是尺度因子；ΔDp(xp,yp)表示在P位置深度图像的失真。可以看出深度图像失真和绘制失真是成线性关系。由于深度失真ΔDp(xp,yp)产生映射旋转失真，当深度失真一定时，xp和yp可以分别表示为

(2)

(3)

式中：z，Δz分别表示镜头到目标之间的距离及其失真；x和y分别表示有失真时对应的虚拟视的位置。可以看出当距离失真Δz一定时，距离越远绘制失真越小。深度值和距离的对应量化如下

(4)

式中：d为深度图像的深度值；znear和zfar分别表示镜头到目标之间的最近距离和最远距离。

总之，在水平相机阵列中，深度图像失真和对应的虚拟视点失真成线性关系，且相同深度值失真的情况下，深度值越大的区域失真越大，也即越近的目标失真越大。

2 本文算法

深度图像的作用是用来绘制虚拟视点，所以绘制图像的质量是评价深度图像编码性能的重要指标，笔者基于HEVC平台提出了一种面向绘制质量的深度图像快速帧内编码算法，该算法利用深度图像特征提出了基于统计特性的深度图像区域预划分算法，并利用空域相关性对深度图像进行区域再划分。笔者在研究了深度图像编码失真对绘制视质量的影响之后，结合人眼主观感兴趣区域特性，提出了快速CU决策算法和帧内编码模式预先选择算法。

算法实现主要包括3个部分：首先，利用深度图像的特征采用统计的方法将编码树单元(CodingTreeUnit,CTU)所属图像区域进行预划分，划分出前景、背景和待定区域；然后，利用CU空间相关性将待定区域划分为平坦和纹理区域，并对不同的区域做CU和PB块大小做提前决策；最后，根据PB区域属性对PB帧内模式进行提前选择。

2.1 深度图像区域预划分

由于深度图像的深度值可以表征目标之间的远近，本文提出了一种基于统计的深度图像区域预划分算法。首先统计得到深度图像值的最大值和最小值，获得判决图像区域的阈值，如图2所示；然后分别统计每个CTU像素点属性，对CTU所属图像区域进行预划分，程序流程如图2所示。

图2 深度值特征获取流程

图2是统计1帧获得当前帧深度值的最大值Dmax和最小值Dmin，然后通过式(5)、式(6)获得当前帧的前景和背景划分的阈值

Tfg=Dmax-(Dmax-Dmin)/4

(5)

Tbg=Dmin+(Dmax-Dmin)/4

(6)

式中：fg和bg分别表示前景和背景像素点个数；Tfg和Tbg分别表示前景划分阈值和背景划分阈值。这两个阈值对输入的CTU进行区域预划分，通过图3的过程统计当前CTU属于背

图3 CTU区域预划分流程

景和前景像素总数，当前景像素总数大于预划分阈值时，把该CTU划分为前景区域；当背景像素总数大于预划分阈值时，把该CTU划分为背景区域；其他CTU划分为待定区域，这样就完成了CTU区域预划分。预划分阈值Tpre为

(7)

式中：WCTU和HCTU分别CTU的宽和高，是常量。

2.2HEVC的CU和PB决策算法

HEVC中每个CTU按金字塔分层结构分成一定层数的CU(用CU的深度表征层数)，而每个CU在帧内编码时又划分为2N×2N和N×N两种形式的PB。

从1.1节得出深度图像有以下特征：深度图像纹理的中心是大片的平坦区域，表征目标的表面。该文算法预划分的前景区域就是近景物体的表面，该区域属于平坦区域，适合HEVC的大块编码，结合经验选择CU的深度为0，PB的大小选择2N×2N和N×N两种；从1.2节得出越远的目标(背景区域)编码失真对绘制质量影响越小，由基于人眼视觉特性(HumanVisualSystem，HVS)可知人眼对背景区域的失真不敏感，综合考虑这两点笔者对背景区域进行了提前决策：CU的深度选择1和2，PB的大小选择2N×2N。

CU和PB决策算法充分利用了深度图像的特征和HVS，对前景和背景区域的编码CU和PB块大小提前进行了提前决策，减少了块模式选择运算，有效地减少了编码器的编码时间。

2.3 帧内编码模式预先选择算法

该部分主要包括两个部分：根据空域相关性再划分待定区域的CU属性以及帧内编码模式预先选择。流程图如图4所示，首先判断当前CU是否属于待定区域(2.1节已经对CTU进行了区域预划分)，如果不属于，即当前CU属于前景区域或者背景区域，则选择当前PB的编码模式为0(planar模式，适用于表面平滑滤波)和1(DC模式，适用于平坦区域)；如果属于待定区域，则根据左上PB的编码模式来判定当前PB属性，如果左上PB均为方向模式(帧内模式2～34)则当前PB属于纹理区域需遍历所有模式；如果左上PB均为模式1则当前PB属于平坦区域采用模式1；如果左上PB均为模式0则当前PB属于目标表面区域采用模式1；其他情况则采用模式0和1。

图4 帧内编码模式预先选择

本部分利用了PB与周围PB的空域相关性，通过已编码的PB对当前PB属性进行预测，对待定区域的CU进一步细划分，然后利用不同区域的特点对编码模式进行预先选择，减少了模式候选项，有效地提升了帧内编码速度。

3 实验与分析

在Intel(R) Core(TM) i3-2120 CPU，4 GHz RAM，32位Windows 7操作系统下进行了实验，算法实现的平台为HEVC参考模型HM10.0，测试序列为JCT-3V(Joint Collaborative Team on 3D Video Coding)官方标准序列，左视点序列分别为Balloons(视点3)、ChampagneTower(视点39)、Kendo(视点3)、Lovebird1(视点6)、Newspaper(视点4)、Pantomime(视点37)；右视点序列分别为Balloons(视点5)、ChampagneTower(视点41)、Kendo(视点5)、Lovebird1(视点8)、Newspaper(视点6)、Pantomime(视点39)。然后分别利用HEVC和本文算法编码左右视点并绘制虚拟视点。本文利用时间节省率(Time Saving Rate，TSR)来表征快速算法编码速度提升

(8)

由于绘制视点质量是表征深度图像编码的一个重要指标，本文利用PSNR提升(Increase PSNR，Inc_PSNR)来表征虚拟视点的客观质量提升，计算如下

(9)

式中：THM10.0，Tprop分别表示HEVC和本文快速算法的编码时间；PHM10.0，Pprop分别表示HEVC和本文快速算法编码的深度图像解码后的绘制视点的PSNR。

从表1可知本文快速算法可以平均提升35%以上的编码速度，最终绘制的虚拟视点保持了和HEVC编码基本一致的客观质量。

表1 快速算法编码节省时间率以及虚拟视点PSNR提升

4 结束语

本文对深度图像的特性以及深度失真对虚拟视点绘制的主客观质量影响进行了研究，综合考虑HEVC编码块的结构和帧内编码模式的特征，提出了深度图像的快速帧内编码方法。为了更好地适应于全I帧的应用场合并有效地改进HEVC编码计算的复杂度，本文采用了3个算法的有效组合，大量的实验结果显示：本文的算法不仅能够有效地降低深度图像编码复杂度，而且能够保证绘制的虚拟视点的主客观质量。

[1]BROSS B，HAN W J，SULLIVAN G J，et al.High efficiency video coding (HEVC) text specification draft 10，document JCTVC-L1003[S].2013.

[2]HAN G J，OHM J R，HAN W J，et al.Overview of the high efficiency video coding(HEVC) standard[J].IEEE Trans.Circuits Syst.Video Technol.，2012，22(12)：1649-1668.

[3]SHEN L，LIU Z，ZHANG X，et al.An effective CU size decision method for HEVC encoders[J].IEEE Trans.Multimedia，2013，15(2)：465-470.

[4]SHEN L，ZHANG Z.An fast CU size decision and mode decision algorithm for HEVC intra coding[J].IEEE Trans.Consumer Electronics，2013，59(1)：207-213.

[5]JIANG W，MA H，CHEN Y.Gradient based fast mode decision algorithm for intra prediction in HEVC[C]//Proc.CECNet 2012.[S.l.]：IEEE Press，2012：1836-1840.

[6]ZHANG Y，LI Z，LI B.Gradient-based fast decision for intra prediction in HEVC[C]//Proc.VCIP 2012.[S.l.]：IEEE Press，2012：1-6.

[7]CHANG Y T，CHUNG W H.Fast intra mode decision for depth map coding[C]//Proc.Consumer Electronics(ISCE 2013).[S.l.]：IEEE Press，2013：93-94.

[8]ZHANG Mengmeng，ZHAO Chuan，XU Jizheng，et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.Circuits and Systems(ISCAS 2013).Beijing，China：IEEE Press，2013：2852-2855.

[9]ZHANG Q.Low complexity multiview video plus depth coding[J]. IEEE Trans.Consumer Electronics，2011，57(4)：1857-1865.

[10]MCCANN K,BROSS B,HAN W J. High efficiency video coding (HEVC) test model 10 (HM10) encoder description[C]//Proc. 12th JCT-VC Meeting,JCTVC-L 1002.Geneva:JCTVC Press,2013:106-109.

[11]CHRISTOPH F.Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[J].Proceedings of SPIE，2004(5291)：93-104.

[12]ZHANG Q，AN P，ZHANG Y，et al.Efficient rendering distortion estimation for depth map compression[C]//Proc.Image Processing (ICIP 2011).Brussels：IEEE Press，2011：1105-1108.

斯晓华(1990— )，硕士生，主研三维视频编解码技术、深度视频编码技术；

王国中(1962— )，博士生导师，研究方向为视频编解码与多媒体通信、数字电视、视频云计算等；

彭建华(1989— )，硕士生，主研三维深度视频编码、图像处理技术。

责任编辑：时 雯

Fast Depth Map Intra Mode Coding Focus on Quality of View Synthesis

SI Xiaohua，WANG Guozhong，PENG Jianhua

(CommunicationandInformationEngineeringDepartment，ShanghaiUniversity，Shanghai200436，China)

The depth map provides the geometrical information for virtual view rendering in 3D video system and it is not displayed in screen，which is different from the color video.As a result，it is necessary to improve the existing compression algorithm when compress the depth map.Aiming at the function and feature of depth map， a fast depth map intra mode compression method focus on quality of view synthesis is proposed.This fast method include image region segmentation algorithm based on the statistic characteristic of depth map and the spatial correlation，fast CU and PB decision strategy in HEVC and fast intra mode decision algorithm.The experimental results show that the proposed fast method can reduce computation time more than 35% and maintain almost the similar quality of synthesized view.

HEVC；fast intra mode coding；region segmentation algorithm；CU and PB decision

国家自然科学基金项目(61271212)；工信部电子信息产业发展基金项目(1213711)；上海市科委重点项目 (12511502502)

TN919.81

A

10.16280/j.videoe.2015.05.003

2014-06-13

【本文献信息】斯晓华，王国中，彭建华.面向绘制质量的深度图像快速帧内编码[J].电视技术,2015，39(5).