遥现中基于显著特征的深度图像滤波算法

冯策，戴树岭

（北京航空航天大学自动化与电气工程学院，北京100191）

遥现中基于显著特征的深度图像滤波算法

冯策，戴树岭

（北京航空航天大学自动化与电气工程学院，北京100191）

针对遥现系统中，由于相机精度、材质等原因导致深度信息质量不高，存在缺失以及噪声等问题，提出了基于显著特征的滤波算法。结合频率域的显著图分析算法和基于图的分割算法提取出人类感兴趣的显著区域，针对这部分区域利用联合双边滤波法进行重点处理。实验结果表明，该算法在有效抑制了平坦区域的噪声的同时，增强了显著区域深度图像的细节，并填补了边缘部分的缺失，实现了实时条件下深度图像的有效滤波。

深度图；联合双边滤波法；显著图；遥现；图像分割；滤波算法

遥现是一种致力于为本地用户呈现遥远现场体验感的技术。通过传感器获取远程的深度信息和彩色信息，实时传输到本地，为本地用户构建起远程的三维场景，使用户能够身临其境。近年来，这一技术在航天领域、3D视频通信［1］以及远程手术中都得到了广泛的应用，但是由于相机的自身精度以及对象材质等原因，导致获取的深度信息质量欠佳，若直接用于远程显示，效果较差，所以，如何改善深度图像的质量，提升远程的重构效果，是遥现系统中应当首要解决的问题。

近几年，随着深度传感器发展，研究人员在深度图像处理方面做出了许多的卓越工作［2-6］。传统保持边缘的滤波算法能有效改善深度图像的质量，但是存在修复质量和计算速度上相互制约的问题，无法满足遥现系统的需求，其中利用高斯核的保边滤波法［3-5］处理图像时需要较大尺寸的滤波窗口，导致计算速度低下，无法满足实时性的需求；而传统的中值滤波［6］虽然可以快速修复深度图，但是没有考虑图像边缘毛糙的问题。因此本文的研究目的是寻找一种方法来实现计算速度和修复质量的平衡。

通过对一组深度图像的观察和分析，总结出影响深度图像质量的2个主要因素：1）由于摄像头精度问题所固有的误差和光噪声；2）深度缺失。由于在物体边缘处存在深度不连续性，导致在对象的边界处会出现许多缺失。

针对以上2方面的问题，同时考虑到遥现系统对于实时性的要求，本文提出了一种基于显著特征的双边滤波法来改善深度图像的质量，只针对深度图像的显著区域进行重点优化，一方面可以节省计算资源，提升效率，另一方面可以利用显著图来修复深度图像的缺失，为远程显示创建更为真实的3D场景，提升用户的临场感。

1 算法框架

针对深度图像优化的需求，滤波算法需要具备4个性质，即平滑噪声、修复缺失、保持细节、高效性。

对于抑制噪声同时保持细节的要求，双边滤波法是最常用的算法，经典双边滤波法可以修复深度图像中较小的缺失，但对于较大的缺失则无能为力，而且对于质量较差图片需要较大半径的滤波器来处理，实时性也无法满足要求。

由于人类视觉主要集中在图像的某些关键区域，因此只针对这些区域进行双边滤波，可以优先的分配计算资源，实现滤波的高效性，同时可以利用相应的彩色纹理图对深度图像进行修复，基于以上考虑，本文研究算法的主要步骤如下：

1）计算彩色图的显著特征；

2）利用图像分割方法提取显著区域；

3）将显著图作为双边滤波的引导图，对深度图的显著区域进行滤波；

4）对深度图的非显著区域进行高斯滤波。

2 联合显著特征的滤波算法

在图像中，显著区域是人类的注意力最为集中的某些区域，也是图像中最能表现图像内容的区域。显著区域是由视觉特殊性以及图像中的颜色、亮度、边缘等特征所决定的。计算机视觉领域利用数学模型模拟了人类视觉的注意力机制，提出了自底向上和自顶向下的显著特征估计算法，显著特征估计目前是自适应压缩，兴趣区域提取任务中重要的步骤。

2.1 基于频率域的显著特征计算

根据本系统对于实时性的需求，本文采用的基于频率域的显著性分析算法［7］，该方法优点是显著性区域细节突出，比传统的显著图算法保存了更多的高频信息，尤其是边缘部分，如图2所示，这样可以更好的提取图像边界信息来修复图像边缘部分的缺失和噪声。本算法具体算式如下：

式中：Iu是图像I的算术平均灰度值，Iwhc是该图像经过高斯模糊后的图像，S（x，y）为图像I的显著值。

2.2 显著区域提取

本文的显著区域提取方法首先是利用图像分割算法对显著特征图进行分割，然后再根据自适应阈值提取出显著区域。

2.2.1 基于图的图像分割算法

文献［7］中显著区域的提取采用mean-shift算法来进行图像分割，虽然分割效果较好，但是很难满足实时性的需求，所以这里采用基于图的图像分割方法［8］，此方法是一种基于贪心选择的分割方法，该图像分割算法的运行时间接近于线性，满足系统对于实时性的要求。该算法更重要的特性在于，重视纹理特征变化较小的部分，这样更有助于深度图细节部分的修复。

基于图的图像分割方法［8］是通过2个特征来判断2个区域是否应该合并：区域间间距和区域内间距。如果2个区域的区域间间距明显大于其中任意一个区域的区域内间距，则认为这2个区域不可以合并。分割后提取出的显著区域如图3所示。

图2 基于频率域的显著特征计算Fig.2 Frequency-tuned salient characteristics computation

图3 显著区域的提取结果Fig.3 The result of salient region extraction

2.2.2 自适应阈值的定义

用基于图的图像分割方法提取出显著区域，将输入的显著图像分割成若干部分，通过设定自适应阈值来判定哪些部分为显著区域，一个部分显著均值如果大于阈值，则判定此部分为显著区域，不满足条件则为非显著区域，如图3（b）所示，非黑色区域为提取的显著区域，黑色区域则为非显著区域。其中自适应阈值定义如下：

2.3 改进的滤波算法

针对显著区域，本文利用联合显著区域的双边滤波法进行处理。针对非显著区域，利用高斯滤波进行处理。

图4 本文算法流程图Fig.4 Algorithm flowchart

本文算法的流程图如图4所示，算法针对图像进行逐像素的处理，当遍历到显著区域的像素时应用联合双边滤波，此处滤波只利用显著区域的邻域像素进行加权平均；当遍历到非显著区域的像素时则应用高斯滤波，此处滤波只利用非显著区域的邻域像素进行加权平均。

经典的高斯滤波器是利用局部加权平均的思想，但缺点是平滑了图像的同时，也模糊了图像的边缘。为了保持图像边缘，Tomasi等提出了双边滤波算法［9］，不仅考虑了距离权重，也考虑到了像素灰度相似性，Petschnig等［10］在双边滤波法的基础上提出了联合双边滤波的概念。它与双边滤波不同的是，联合双边滤波法的灰度相似性权重不是基于输入图像而是基于引导图像进行计算的，具体如下：

式中：Ip为输出图像，Iq为输入图像，g为引导图的灰度相似度权重因子，d为几何相似度的权重因子。

针对传统双边滤波法无法修复较大缺失的缺点，本文对双边滤波法进行了改进，一方面可以抑制噪声，保持细节；另一方面可以修复深度图像的较大缺失。

传感器在采集深度图像的同时可以获取相应的彩色图像，因此可以利用彩色图像中的有效信息来对深度图像进行修复，有效信息包括彩色图像的梯度、颜色、边缘、边界信息等。本文具体思想是利用显著图作为滤波算法的引导图，同时利用显著图的有效信息来对深度图像进行修复。

空间滤波算法是利用邻域像素的加权平均对中心像素进行填充，但是深度图像中存在2种无效邻域像素（第1种是缺失像素；第2种是与中心像素不处于同一背景的邻域像素），即无法对中心像素的填充做出贡献，这2种像素通常存在于边缘部分。因此，首先需要判断滤波窗口内的像素是否为有效像素，只有有效像素才可以对中心像素具有贡献。如图5所示，判断邻域像素是否有效需要同时满足3个方面条件：

1）邻域像素与待处理的中心像素处于同一区域内（同时在显著区域内，或同时在非显著区域内）；

2）邻域像素深度值大于设定的深度阈值（不是缺失像素）；

3）邻域像素与中心像素处于同一背景，即在显著图中对应位置的显著值近似。

图5 滤波窗口Fig.5 Filtering window

图5 是平滑图像的窗口，图5（b）中的右上方框的像素不满足深度阈值的条件，为无效像素，左上方框内的同时满足以上条件，为有效像素。针对显著区域的滤波如下：

其中：

而对于非显著区域，同理改进高斯滤波算法，使其去噪同时，也可以修复图像。针对非显著区域的滤波如下：

其中：

式中：Dpb为非显著区域的深度图加权求和的像素。

3 实验结果与分析

在实验中对一组真实图像采用本文所提出的方法进行了滤波。其中，玩具熊和人物2幅图像来源于深度相机拍摄的真实数据，深度图像分辨率为640×480，另一幅图像来源于公开测试集［11］。本文算法在PC机上（AMD2.6 Hz四核CPU，2 G内存），针对深度相机采集到的640×480分辨率的人物视频上进行了平均耗时的测试，本文采用14×14大小的窗口滤波器，同等窗口大小的双边滤波法平均耗时为1.36 s，而本文算法平均耗时为0.467 s（其中显著特征计算、显著区域提取、高斯滤波和双边滤波的平均耗时分别为为0.034，0.04，0.393 s），满足实时性的要求。

由图6所示，随着显著区域面积增加，双边滤波处理的图像面积也随之增大，因此耗时也逐渐呈上升趋势。

图6 耗时分析Fig.6 Time comsumption analysis

图7 为显著区域提取的过程，图8为本文算法滤波结果图，实验中与双边滤波法进行比较，图8（d）是细节放大图，圆框内是本文算法针对边缘毛糙的平滑效果，方框内是针对较大缺失的修复结果，椭圆框内是对于细节部分的保持，可以从对比中看出本文算法对于玩具熊的领结等细节部分给予了很好保持。图9是公开测试集的测试结果，与经典双边滤波结果进行了比较，本文算法边缘的优化效果比较理想。

图7 显著区域提取Fig.7 Extraction of salient region

图8 滤波结果图Fig.8 Filtering results

4 结论

本文提出了结合显著特征的滤波算法来修复深度图像。采用频率域的方法和基于图的图像分割方法计算其显著区域，针对深度图的显著区域使用联合双边滤波法进行重点优化。

1）该方法一方面利用显著区域的特点来修复深度图像的边缘毛糙和缺失，另一方面对于人类视觉敏感区域进行重点滤波，满足了遥现系统对于实时性的要求。在3幅真实的图像数据上测试了本文的方法，细节保持效果优于传统双边滤波法，缺失修复效果也较好。

2）本文算法适用于前景部分主要是人物的遥现系统，对于复杂背景的情况不是很适用，需要进一步的改进。在未来的工作中，将结合时间和空间的特性来改善深度图像的质量。

［1］张兆杨，安平，张之江，等.二维和三维视频处理及立体显示技术［M］.北京：科学出版社，2010：131-133.

［2］KIM S Y，LEEE K，HO Y S.Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54：732-740.

［3］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancement using adaptive steering kernel regression based on distance transform［J］／／Lecture Notes in Computer Science，2011，6938：291-300.

［4］CAMPLANI M，SALGADO L.Efficient spatio-temporal hole filling strategy for kinect depth maps［C］／／3D Image Processing and Applications.Burlingame：SPIE，2012：8920.［5］MATSUO T，FUKUSHIMA N，ISHIBASHI Y.Weighted joint bilateral filter with slope depth compensation filter for depth map refinement［C］／／VISAPP.Barcelona：Springer，2013：300-309.

［6］MAIMONE A，FUCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］／／10th IEEE International Symposium in Mixed and Augmented Reality（ISMAR）.Basel：IEEE，2011：137-146.

［7］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection［C］／／Computer Vision and Pattern Recognition.Miami：IEEE，2009：1597-1604.

［8］FELZENSZWALB P F，HUTTENLOCHER D P.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59（2）：167-181.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］／／International Conference on Computer Vision（ICCV）.Bombay：IEEE，1998：839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23（3）：664-672.

［11］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7-42.

The depth map filter algorithm based on salient features in telepresence

FENG Ce，DAI Shuling
（School of Automation Science and Electrical Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

In telepresence there are many critical problems，such as low quality depth data，absence of depth information，and noise，which are caused by the precision and material of camera.For solving these problems，a salient features based filter algorithm is proposed.The algorithm first extracts a salient region by the frequency-tuned method and graph-based image segmentation method.Next，the algorithm uses joint bilateral filter to process this region on purpose.Experimental results show that the proposed method can effectively reduce noise，recover the lost region and enhance details at the same time.This allows for achieving filtering depth map effectively in real time.

depth map；joint bilateral filter；salient map；telepresence；image segmentation；filter algorithm

10.3969／j.issn.1006-7043.201307011

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1006-7043.201307011.html

TN911.73

A

1006-7043（2014）11-1364-05

2013-07-04.网络出版时间：2014-09-25.

国家自然科学基金资助项目（50975010）；北京市科委基金资助项目（Z111100074811001）.

冯策（1984-），男，博士研究生；戴树岭（1966-），男，教授，博士生导师.

冯策，E-mail：fengce1984＠163.com.