基于联合双边滤波的深度图像增强算法

刘金荣，李淳芃，欧阳建权，刘 京



基于联合双边滤波的深度图像增强算法

刘金荣1,2，李淳芃2，欧阳建权1，刘 京2

(1. 湘潭大学智能计算与信息处理教育部重点实验室，湖南 湘潭 411105；2. 中国科学院计算技术研究所，北京 100190)

主动光设备是目前获取深度图的主要方法，被广泛应用于导航、人机交互、增强现实等领域。但主动光设备存在分辨率低、空洞、边缘不匹配等问题。为此，提出一种基于联合双边滤波的深度图像增强算法。采用基于深度的前景分割方法，找出深度图与彩色图边缘不匹配像素集合，利用基于联合双边滤波的插值算法对空洞进行填充。为更好保持边缘细节，增加引导深度相似项与梯度域项的方法进行插值。实验结果表明，该算法比已有方法的最小均方误差平均减少约13%，具有更好的保持边缘效果。

联合双边插值；双边滤波；梯度域；边缘保持；前景分割；深度图像增强

1 概述

深度图像被广泛应用于导航、人机交互、增强现实等领域。当前获取深度图像的方法主要有被动光方法[1]和主动光方法[2]。被动光方法是利用计算机视觉技术，通过计算二维图像特征与三维空间的几何对应关系获取深度图像。然而，被动光方法需要高代价的时间复杂度、严格的约束条件以及精确的图像校正等，因此很难在实际中得到应用。被动光方法是通过飞行时间或者光编码技术捕捉三维场景的深度，相对被动光方法，主动光设备因其能实时获取深度图像，成为另一种越来越受关注的深度获取方法。然而低成本的深度获取设备存在分辨率低、空洞、边缘不匹配等问题，限制其在实际中的应用。如何从低成本主动光设备获取的深度图中恢复高质量的深度图像具有重要作用。

深度信息与颜色纹理信息是对相同三维场景的不同观察结果，两者具有很强的结构相关性，因此通过融合高分辨率彩色图像增强深度图是可行的。在此基础上，目前对于深度图像增强方法已有不少的研究，归纳起来，主要分为2类：基于全局优化的插值方法[3-4]和基于双边的插值方法[5-6]。文献[3]采用基于马尔科夫随机场的深度图像插值方法，将高分辨率深度图的后验概率分布定义马尔科夫随机场，求最大后验概率。文献[4]提出了基于最小二乘优化的插值方法，并结合非局部均值和多元特征权重约束因子考虑像素间的平滑性，有效保证了边缘结构特征。文献[5]针对边缘扩散问题，提出一种自适应融合颜色相似项与原始深度相似项的插值方法，有效阻止了边缘扩散，使得算法更具鲁棒性。然而，基于双边滤波的插值方法容易损伤深度图像边缘结构，导致边缘过平滑。文献[6]提出基于双边滤波的插值算法，即将已知的高分辨率彩色图像作为引导图，直接对低分辨率图像进行联合双边上采样，但在深度不连续的区域对应相同的颜色时，该方法导致边缘扩散。文献[7]的工作与文献[4]比较相关，采用自回归作为优化模型。基于全局优化的插值方法，不仅考虑局部内的平滑因素，而且从整体上考虑深度图像全局代价，能获得高质量的深度图，但此类方法复杂度高，在实时性较强的深度图像增强中，低复杂度的基于双边滤波的插值方法更合适。文献[8-9]提出了基于双边滤波的空洞填补方法，但并没有增强深度图像的分辨率。近年来，基于梯度域的彩色图像滤波[10-11]被认为是一种有效保持边缘的滤波器。文献[4]证明了在基于全局优化框架下，彩色图像梯度域的平滑约束具有更好的边缘保持作用。因此，针对已有的基于联合双边滤波插值方法容易导致过平滑问题，本文引入引导深度相似项及梯度域项，提出一种改进的联合双边的深度图像插值方法，从而进一步减少边缘过平滑问题，进而提高插值效果。

2 算法描述

本文作为主动光深度图像后处理增强算法，提出一种融合彩色图像的深度图像增强方法，该方法首先对深度图像做预处理，然后计算出彩色图像梯度域、引导深度图像，最后采用改进的联合双边滤波插值方法进行插值。本文的总体框架如图1所示。

图1 深度图增强整体框架

2.1 预处理

经过图像视角对齐之后，深度图与彩色图存在不匹配的前景边缘，例如图2(c)彩色与深度图的融合结果所示，其边缘不匹配。如果这种不匹配边缘问题在插值之前没有解决，这些不匹配像素被当作正确的采样数据，导致插值错误，从而进一步恶化前景边不匹配现象。为解决此问题，本文首先根据前景与背景的显著深度差异，得到深度图的前景边缘轮廓，如图2(d)所示，记为。随后采用基于深度图的前景分割方法[13]得到彩色图的前景边缘轮廓，如图2(e)所示，记为，该方法根据对应的，对彩色图像建立前景与背景的混合高斯模型，然后采用图割法进行优化。

2.2 标准联合双边滤波插值

2.3 改进的联合双边滤波插值

图3 Art深度图局部2倍上采样的结果

针对上述第1个问题，采用文献[5]方法加入引导深度相似项。其基本思想是低分辨率的深度图像包含高分辨率的部分深度信息，可利用低分辨率的冗余信息来弥补仅依赖颜色相似项的不足。针对第2个问题，引入梯度项约束因子，相对于像素颜色的相似性的不稳定性，梯度项更稳定，从图像显著结构来说，梯度比颜色具有更强烈的边缘结构特征。综上所述，改进的联合多边插值方法如式(5)：

引导深度相似项定义为：

3 实验结果及分析

为验证本文改进方法的可行性与有效性，就本文算法与联合双边插值(JBU)[6]、基于MRF插值算法(MRFs)[3]、自适应联合双边插值(NAFDU)[5]作对比实验。实验数据采用了middlebury[1]标准数据集Art、Book、Moebius及由kinect采集的数据。标准数据集的彩色图像分辨率为1 376×1 088，原始深度图像分辨率分别为688×544、344×272、172×136 (即上采样2倍、4倍、8倍)。Kinect数据的彩色图像分辨率为1 280×1 024，深度图像分辨率为640×480。

3.1 实验1

各个算法运行在Art、Book及Mobius 3组实验数据下的结果与真实值之间的最小均方误差(MSE)如表1所示。

表1 最小均方误差对比

由表1可知，本文方法的MES值比MRFs、JBU及NAFDU分别减少了21.14%、20.57%、5.43%，比JBU与NAFDU平均减少了13%。本文算法的结果明显优于JBU方法和MRFs，较NAFDU方法也有改进。

3.2 实验2

对Art深度图进行4倍上采样，结果如图4所示，其中，左图为4倍深度图上采样，右图为左图方框放大结果。JBU算法[6](图4(a))与MRF[3](图4(b))均在在边缘起许多“毛状”想象，这是因仅靠彩色相似项约束时，当深度图两边的颜色相差不大时导致边缘扩散。而NAFDU算法[5](图4(c))通过加入引导深度图的约束，解决边缘扩散问题，但是它们在边缘处有过平滑问题。图4(d)说明了本文算法不仅在平滑区域得到了好的滤波，而且在边缘区域保持边缘细节。

图4 Art深度图4倍上采样的直观结果

3.3 实验3

为更进一步验证本文方法的实际可行性，本文在kinect获取的数据上做了验证，如图5所示。图5(c)是未经过前景边缘匹配处理的深度图，图5(e)是经过前景边缘匹配处理后的深度图。直观上图5(e)显然比图5(c)更加合理。从点云绘制结果来看，图5(f)的前景边缘附近的错误点比图5(d)的前景边缘附近的错误点要少很多，说明本文对深度图与彩色图像的前景不匹配问题处理是有效的。图2与图5说明了本文方法不仅能填充空洞，而且还将分辨率从640×480提升到1 280×1 024。

图5 kinect深度图增强

4 结束语

本文通过结合基于深度的前景分割、联合双边滤波插值方法，实现了一种融合彩色图的深度图增强方法。为了更好保持边缘信息，引入引导深度相似项及梯度域项，改进了已有的联双边滤波插值方法。实验结果表明，本文方法比已有的联合双边插值方法具有更好的保边效果。此外基于深度的前景分割预处理方法有效解决了前景边缘不匹配问题。下一步工作将解决其他非前景边缘不对称问题，进一步提高深度图质量。

[1] Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1/3): 7-42.

[2] SwissRangerTMSR4000 Data Sheet[EB/OL]. (2012-10-10). http://www.mesaimaging.ch/prodview4k.php.

[3] Diebel J. An Application of Markov Random Fields to Range Sensing[C]//Proc. of Advances in Neural Information Processing Systems Conference. [S. 1.]: IEEE Press, 2006: 291-298.

[4] Park J, Kim H, Tai Y W, et al. High Quality Depth Map Upsampling for 3D-TOF Cameras[C]//Proc. of IEEE International Conference on Computer Vision. [S. 1.]: IEEE Press, 2011: 1623-1630.

[5] Chan D, Buisman H, Theobalt C, et al. A Noise-aware Filter for Real-time Depth Upsampling[C]//Proc. of Workshop on Multi-camera and Multi-model Sensor Fusion Algorithms and Applications. Marseille, France: [s. n.], 2008: 1-12.

[6] Kopf J, Cohen M F. Joint Bilateral Upsampling[J]. ACM Transactions on Graphics, 2007, 26(3): 96-100.

[7] Yang Jingyu, Ye Xincheng, Li Kun, et al. Depth Recovery Using an Adaptive Color-guided Auto-regressive Model[C]// Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 158-171.

[8] Matyunin S, Vatolin D, Berdnikov Y, et al. Temporal Filtering for Depth Maps Generated by Kinect Depth Camera[C]//Proc. of 3DTV’11. [S. 1.]: IEEE Press, 2011: 1-4.

[9]Camplani M, Salgado L. Efficient Spatio-temporal Hole Filling Strategy for Kinect Depth Maps[C]//Proc. of IS&T/SPIE’12. [S. 1.]: IEEE Press, 2012: 8920-8928.

[10] Li Zhengguo, Zheng Jinghong, Zhu Zijian, et al. A Bilateral Filter in Gradient Domain[C]//Proc. of ICASSP’12. [S. 1.]: IEEE Press, 2012: 1113-1116.

[11] Yang Qingxiong. Recursive Bilateral Filtering[C]//Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 399-413.

[12] Herrera C, Kannala J. Joint Depth and Color Camera Calibration with Distortion Correction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2058-2064.

[13] Wang Liang, Gong Minglun, Zhang Chenxi, et al. Automatic Real-time Video Matting Using Time-of-flight Camera and Multi-channel Poisson Qquations[J]. International Journal of Computer Vision, 2012, 97(1): 104-121.

[14] Tomasi C, Manduchi R. Bilateral Filtering for Gray and Color Images[C]//Proc. of the 6th International Conference on Computer Vision. [S. 1.]: IEEE Press, 1998: 839-846.

[15] Keys R. Cubic Convolution Interpolation for Digital Image Processing[J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6): 1153-1160.

[16] 王孝通, 金 鑫, 徐晓刚, 等. 联合双边图像插值[J]. 中国图象图形学报, 2011, 16(12): 2117-2123.

编辑 索书志

Depth Image Enhancement Algorithm Based on Joint Bilateral Filtering

LIU Jin-rong1,2, LI Chun-peng2, OUYANG Jian-quan1, LIU Jing2

(1. Key Laboratory of Ministry of Education for Intelligence Computation and Information Processing, Xiangtan University, Xiangtan 411105, China; 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China)

Depth image captured by active sensor is a current tendency, which is widely used in navigation, human computer interaction, augmented reality and so on. However, common low-cost sensors have their own disadvantages, such as low resolution, holes, unmatched boundary of edge. For these problems, this paper proposes a depth image enhancement algorithm based on improved joint bilateral filtering. Depth-based foreground segmentation method is adopted to figure out the set of pixels of unmatched foreground edge, and interpolation algorithm based on joint bilateral filter is used to fill the holes. Meanwhile, in order to make further improvement, guided depth similar item and gradient item are introduced to preserve edge structure. Experimental results show that compared with the existing joint bilateral interpolation, the improved method decreases the Mean Squared Error(MSE) by 13% in average which has better effect on edge-preserving.

joint bilateral interpolation; bilateral filtering; gradient domain; edge preserving; foreground segmentation; depth image enhancement

1000-3428(2014)03-0249-04

A

TP391.41

湖南省高校创新平台开放基金资助项目(12K043)；湖南省科技厅基金资助项目(2012SK3165)。

刘金荣(1987－)，男，硕士研究生，主研方向：图像处理，多媒体处理；李淳芃，助理研究员；欧阳建权(通讯作者)，教授；刘 京，博士研究生。

2013-03-12

2013-04-09 E-mail：jinrong.liujy@gmail.com

10.3969/j.issn.1000-3428.2014.03.052