一种基于局部直方图匹配的深度编码滤波算法

朱帅++邓慧萍++王曦明++周恒颖++栾桌

摘要：深度图压缩编码会引起深度图失真，进而造成虚拟合成视点图像边缘模糊、缺失甚至前/背景错位，严重影响3D视频质量。利用深度图边缘突出、内部平滑的特性，分析发现其局部累计直方图呈线性分段函数分布的规律。从深度图编码流中提取图像分块大小，建立图像块直方图映射函数，匹配编码失真后的深度图与原始参考深度图的局部累计直方图，校正由深度图编码引起的深度错误，改善深度图质量。实验结果表明，提出的方法不仅能提高深度图主观质量，消除深度图编码边缘模糊现象，而且信噪比最高可提高2.03dB。

关键词：3D视频；深度图编码；直方图匹配；深度图滤波

DOIDOI：10.11907/rjdk.161687

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2016）009016703

基金项目基金项目：大学生科技创新基金研究项目（14ZRA142）

作者简介作者简介：朱帅（1994 -），男，江苏沭阳人，武汉科技大学信息科学与工程学院学生，研究方向为2D转3D图像处理算法；邓慧萍（1982-），女，湖北武汉人，武汉科技大学信息科学与工程学院讲师、硕士生导师，研究方向为图像识别及处理算法。

0引言

三维视频（3DV）能给用户提供更真实的立体视觉体验，已成为数字媒体、网络、信息技术等各种视觉通信的一种新形式。深度信息是3D场景捕获中一个非常重要的几何量，它反映的是3D场景中物体到成像平面的距离。由于深度图与纹理图相比不仅更能节省码流，还能方便灵活地利用基于深度的绘制技术（DIBR）合成不同视角的虚拟视点[1]。因此，基于深度的3D视频数据格式是实现3D视频系统最有效且可行的方案。

深度图编码是3D视频系统中一个重要而特殊的问题，深度图与一般的自然图像/视频相比具有独特性。目前有很多方法探索利用深度图特征获得更好的编码性能或降低编码复杂度，这些方法包括基于空域上下采样的深度图非对称编码[23]、基于合成视点失真的深度编码优化[45]、利用深度与纹理相关性的联合编码[67]以及一些新的编码框架[8]。然而，在深度压缩编码过程中，量化必然会带来深度图失真，进而造成虚拟合成视点质量的严重下降，例如前/背景混叠造成的图像边缘模糊、边缘缺失甚至前/背景错位。因此深度图编码重构成为提高编码性能、改善3D视频质量的重要方法和手段，常用于深度编码的后处理增强深度图质量[910]，或用于环路滤波在解码前修正深度错误[1112]。

笔者提出了一种有效的深度编码后处理方法，它利用深度图局部累计直方图呈分段函数分布的规律，匹配编码失真后的深度图与原始参考深度图，校正由深度图编码引起的深度错误，提高深度图质量。该方法对深度图的主观质量和客观质量都能起到明显的改善效果。

3实验结果与分析

为了验证本文提出的基于局部直方图匹配的深度图滤波算法的有效性，实验中采用了5组深度图：Art（695×555）、 Venus（434×383）、teddy（900×750）、Cones（900×750）和books（695×555）。深度图采用H.264/AVC参考软件平台JMVC8.5编码，解码后的深度图采用提出算法进一步后处理滤波。深度图的分块大小从编码参数中提取，为编码块大小。为了验证不同失真下提出算法的有效性，量化参数（Quantization Parameter，QP）分别设置为32、40和48。

表1所示是5组深度图在不同QP下，滤波前、后的峰值信噪比（Peak Signal Noises Ratio， PSNR）。从中可以看出，深度图滤波后，PSNR均有不同程度的提高，最高可达到2.03dB，平均PSNR也提高了近1dB。

本文提出的算法不仅能提高深度图的PSNR，图像主观质量也有明显改进。图5所示是滤波前后深度图的主观质量对比结果，编码量化参数QP=48。为了更清晰地看到图像细节，截取了图像的局部块放大，将原始深度图、滤波前深度图和滤波后深度图进行对比。从图5（b）中可以看出，滤波前的深度图由于编码压缩引起了图像失真，在物体边缘有明显的模糊甚至方块效应。而经过提出滤波算法处理后的深度图，图像质量有了很大改善，边缘更清晰，更接近原始深度图质量，如图5（c）所示。

图6进一步给出了不同失真下提出算法的滤波效果。图6所示是Cones深度图在QP分别为32、40和48的情况下，编码失真后的深度图在滤波前、后的主观质量对比。由图6（a）可以看出，QP越大，深度图编码失真越明显。在QP=48时，深度图质量下降严重，图像边缘模糊不清。但经过提出算法滤波后，深度图质量都有比较明显的改善，边缘清晰、干净。结果表明，深度图失真越严重，提出滤波算法的效果越显著。

4结语

本文充分分析了深度图的局部直方图统计特征，针对深度编码量化引起的深度图边缘模糊问题，提出了一种简单有效的深度编码后处理方法。该方法通过匹配失真深度图与参考深度图的累计直方图，建立映射函数，将失真深度图的错误深度值映射到正确的深度上。该方法不仅能提高深度图的PSNR，而且使深度图的主观质量得到明显提升，处理后的深度图像边缘更清晰、干净。

参考文献参考文献：

[1]FEHN C.Depthimagebased rendering （DIBR），compression，and transmission for a new approach on 3DTV [C].Proc of SPIE in Stereoscopic Displays and Virtual Reality Systems XI，Berlin：Springer，2004：93104.

[2]SHAO F，JIANG G Y，YU M，et al.Asymmetric coding of multiview video plus depth based 3D video for view rendering [J].IEEE Transactions on Multimedia，2012，14（1）：157167.

[3]DENG H P，YU L，ZHANG J T，et al.Edgepreserving down/upsampling for depth map compression in high efficiency video coding [J].Optical Engineering，2013，52（7）：5558

[4]ZHANG Y，KWONG S，XU L，et al.Regional bit allocation and rate distortion optimization for multiview depth video coding with view synthesis distortion model[J].IEEE Transactions on？Image Processing，2013，22（9）：34973511.

[5]DENG H P，YU L，FENG B，et al.Structural similaritybased synthesized view distortion estimation for depth map coding [J].IEEE Trans.on Consumer Electronics，2012，58（4）：13381344.

[6]杨旭，常义林，霍俊彦，等.一种三维视频深度图像快速帧内编码方法[J].西安电子科技大学学报，2012，39（3）：713.

[7]YUAN H，CHANG Y L，HUO J，et al.Modelbased joint bit allocation between texture videos and depth maps for 3D video coding [J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（4）：485497.

[8]MAITRE M，DO M N.Depth and depth–color coding using shapeadaptive wavelets[J].Journal of Visual Communication and Image Representation，2010，21（5）：513522.

[9]MIN D，LU J，DO M N.Depth video enhancement based on weighted mode filtering[J].IEEE Transactions on Image Processing，2012，21（3）：11761190.

[10]OH K J，YEA S，VETRO A，et al.Depth reconstruction filter for depth coding[J].Electronics letters，2009，45（6）：305306.

[11]LIU S J，LAI P L，TIAN D，et al..New depth coding techniques with utilization of corresponding video[J].IEEE Transactions on Broadcasting，2011，57（2）：551561.

[12]OH K J，VETRO A，HO Y S.Depth coding using a boundary reconstruction filter for 3D video systems[J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（3）：350359.

[13]李锦，王俊平，万国挺，等.一种结合直方图均衡化和MSRCR的图像增强新算法[J].西安电子科技大学学报，2014，41（3）：103109.

[14]HIRSCHM？LLER H，SCHARSTEIN D.Evaluation of cost functions for stereo matching[C].Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2007），IEEE，2007：18.

责任编辑（责任编辑：黄健）