深度图像预处理算法研究

吴海波，王 晨，崔 禹

(昆明理工大学 机电工程学院,云南 昆明 650500)

相机是视觉即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)、三维重建技术中唯一的传感器，被用来获取周围的环境信息[1]。微软公司推出的体感相机Kinect系列可以更加便捷地获取彩色图像数据和深度图像数据。在三维场景重建[2]、目标识别[3]和语义分割[4]等任务中，融合深度信息和颜色信息已成为新的趋势。由于受到自身精度和测量时光照变化等因素的影响，采集到的深度图像中，物体边缘和遮挡区域常含有较多噪点和空洞[5](深度图像的空洞表现为像值为零的区域)。此类图像若不经处理就被应用到视觉SLAM前端的视觉里程计部分，会诱发关键点提取错误和误匹配等问题。在实际应用中，设备和环境的改善受到成本和不可控性的制约[6]，因此为了满足实际应用的要求，对获取的图像进行预处理就显得尤为重要。

针对上述问题，文献[7～8]中提出采用高斯滤波方法进行深度图像修复。该方法通过确定一个待求像素值的像素点，将其自身与邻域内的像素点的像素值加权平均后，得到所求点的像素值。文献[9]提出的中值滤波算法则通过确定一个待求像素点，并将其邻域像素点的灰度值进行排序，取其中值来代替待求像素点的灰度值。但这两种算法在去除深度图像的噪声同时造成了边缘信息的缺失。文献[10～12]采用双边滤波算法对深度图像进行修复并实现了三维场景重建。双边滤波算法虽然可以在去除噪声的同时保持一定的边缘信息，但其计算复杂度较高，算法运行速度较慢，不能满足实时性要求。

本文提出一种基于彩色图像引导的快速双边滤波算法。该算法在双边滤波的基础上将彩色图像作为引导图加入输入端，并将其灰度图的灰度像素变化率作为滤波权值之一，将所得权值与深度图像的高斯滤波权值相乘得到最终的双边滤波权值。为了满足实时性要求，本文对上述算法进行快速高斯变换，降低计算的复杂度，提高了运行速度。为验证该算法的有效性，本文将其与传统的中值滤波、均值滤波和双边滤波进行对比实验和分析。实验结果表明，所提出的算法可显著提高深度图像去噪效果，并有效缩短运行时间。

1 深度测量原理及噪声分析

1.1 深度测量原理

传统的单目、双目相机主要通过不同帧图像之间的视差来计算图像的深度。RGB-D深度相机可以在同一时刻对某一位置，同时采集到相匹配的彩色图像和深度图像。其中，深度图像中不同的灰度值代表每个像素点的深度。

图1 RGB-D相机原理示意图Figure 1. Schematic diagram of RGB-D camera principle

如图1所示，目前的RGB-D相机按其测量原理主要分为两大类：(1)通过红外结构光原理测量像素距离，例如Kinect 1代和Project Tango 1代等。相机的红外结构光发射器向某测量对象发射一束红外结构光，然后相机根据红外结构光接受器所接收的结构光图案来计算相机自身与目标物体之间的距离；(2)通过飞行时间原理测量像素距离，例如Kinect 2代等。相机中的脉冲发射器向测量对象发射脉冲光，然后相机根据脉冲光接受器接收时间，确定从发送到返回的光束飞行时间，从而进一步计算出相机自身与目标物体之间的距离。

本文所使用的Kinect 1代深度相机采用结构光技术。红外投影仪投射出的激光散斑光源具有高度的不确定性，其编码方式会随着距离的改变而改变。因此，只要测量对象在场景中处于不同位置，则所捕捉到的散斑图案一定不同。在Kinect 1代中，红外摄像头的主要作用就是捕捉空间中的散斑图案。在散斑图像中，当某一测量距离大于或小于基准面到相机的距离时，则被认定为其对应的散斑图像在相机的基线方向上相对于参考图像有位置偏差[13]，即视差。而在计算出的图像数据中，场景中物体的位置有一个峰值，将图像中的所有峰值相加，通过插值即可计算得到整个空间的视差图。利用与深度相机相关的数学模型，根据视差图中每个像素的视差就可得到每个像素的深度数据。

1.2 深度测量数学模型

深度相机通过三角相似原理来获取所需的深度数据。图2为空间点P1和其对应视差u的关系，其中C为红外摄像机的光学中心，L为红外发射器的光学中心，P为标定平面的衍射点，P1为测量平面的衍射点，P11和P12分别为P1和P在红外摄像机上的成像点，红外发射器的光学中心与红外摄像机之间的距离为b，红外摄像机的焦距为f，P和P1的深度分别为Z0和Z1。

图2 深度相机测量原理Figure 2. Measurement principle of depth camera

由三角形PAP1与三角形PCL相似可得

(1)

由三角形AP1C与三角形CP11P12相似可得

(2)

由式(1)和式(2)可得式(3)。

(3)

式(3)表示了通过视差计算实际深度值的方法。空间中点的成像比例由该点的Z坐标和相机的焦距长度f共同决定。空间点的其余两个坐标值可以通过成像坐标系的坐标值和成像比例计算出，具体表达如下所示

(4)

(5)

式中，x1和y1表示成像坐标系中的坐标；x0和y0表示成像坐标系原点；δx和δy为透镜畸变的校正项。由此可知，空间点P1的三维坐标为(X1,Y1,Z1)。

2 深度图像预处理算法

如图3所示，深度相机采集的原始深度图像存在很多噪声和空洞，其大小、形状、位置均不规则。文献[14]提出深度图像存在噪声和空洞的原因主要有以下两点：(1)与目标物表面材质相关。不同材料可能会吸收、折射和反射光线。如图3所示，当红外设备投射到桌面时，会发生一定的反射，所以在深度图中桌面上会出现一部分空洞区域。这些空洞区域将会在后期点云生成部分造成影响；(2)由于遮挡，在相机的某一观测方位，被观察的物体被自身或其他物体的一部分挡住，使相机的视角出现盲区。

(a) (b)图3 深度相机采集的彩色图像和深度图像(a)彩色图像 (b)深度图像Figure 3. Images collected by depth camera(a)Color image (b)Depth image

2.1 中值滤波算法

中值滤波的基本原理为：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，从而消除孤立的噪声点。实现方法是：用某种二维滑动窗口，根据像素值大小对窗口内像素进行排序，生成单调升序(或降序)的二维数据序列。因此，中值滤波输出为g(x,y)=med{f(x-k,y-l)},(k,l∈W)，其中f(x,y)和g(x,y)分别为输入图像和输出图像。W为二维窗口，其大小通常为3×3和5×5。

中值滤波对颗粒状的脉冲噪声效果较好，但对于随机的高斯和泊松噪声效果不明显。

2.2 基于双边滤波器的深度图像滤波

双边滤波器是[15]一种基于高斯滤波器的改进算法，可看作加权的非线性高斯滤波。图像滤波可由式(6)表示。

(6)

式中，I(x,y)代表滤除噪声后的清晰图像；Ω是像素的邻域；ω(i,j)是滤波器在点(i,j)处的权值；n(i,j)为输入图像；ωp是一个标准量，如式(7)所示。

ωp=∑i,j∈Ωω(i,j)

(7)

双边滤波器的权值ω为高斯滤波权值ωg(i,j)和深度图像素值变化权值ωs(i,j)的乘积，其具体表达式如式(8)和式(9)所示。图像边缘处像素值变化较大，ωs(i,j)值较小，使得ω变小，滤波器在图像中边缘处的滤波作用减小，从而在去除图像噪声点的同时保持边缘信息。

(8)

(9)

式中，σg和σs表示两个滤波权值中的高斯函数标准差；S(x,y)表示深度图像的像素点；S(i,j)表示深度图像的像素值。

高斯滤波权值ωg忽略了图像灰度值的变化，在去噪同时也平滑了边缘。而双边滤波在其基础上增加了一个衡量深度图像灰度值变化的权值ωs。

本文利用彩色图像中完整的边缘信息补全深度图像中缺失的信息。首先，将彩色图像作为引导图像，对彩色图像灰度化；然后，在高斯滤波权值基础上，再用一个权值ωh来表示灰度化后的图像灰度值的变化，对深度图像进行校正修复。相比与原始深度图像，灰度化后的彩色图像能够更为精确地描述图像中的边缘信息。当图像边缘处像素值变化较大时，ωh较小，从而使得边缘处整体的权值ω变小，起到去噪保边的效果。加入引导图后权值计算式为

(10)

式中，ωh表示图像灰度值的变化权值；H(i,j)为彩色图像灰度化后的像素值；H(x,y)表示灰度图的像素点；σh表示改进双边滤波权值的高斯函数标准差。

综上，本文的改进双边滤波器权值ω(i,j)如式(11)所示。

ω(i,j)=ωg(i,j)×ωh(i,j)

(11)

2.3 改进的快速双边滤波算法

用多种算法对同一图像(图3)进行滤波处理，并在算法中加入计时，各算法的运行时间如表1所示。

表1 各算法运行时间

视觉SLAM对算法的实时性要求较高，由表1可以看出，均值滤波算法实时性较好，中值滤波实时性适中，双边滤波的实时性较差。由于双边滤波器的核函数为高斯函数，设输入图像的分辨率为M×N，滤波窗口半径为r，则权值计算的复杂度为O((M×N×n)2)，减慢了双边滤波的运算速度。针对这一情况，本文引入快速高斯变换[16]来降低双边滤波算法的计算复杂度，加快运算速度。

快速高斯变换过程中，定义Hermite函数为

(12)

进行Hermite展开如下

(13)

对上式平移和尺度变换可得

(14)

则一维高斯核函数可表示为

(15)

式中，G(tj)为一维高斯变换，取其中的的前r项，则权值计算的复杂度为O((M+N)×r)，低于直接使用高斯函数的复杂度。改进后的快速双边滤波算法对图3的处理速度为80 ms，与中值滤波的运算速度相近，可满足视觉SLAM实时性要求。

3 实验结果与分析

为了验证本文所提算法的有效性，选用具有代表性的ICL-NUIM数据集[17]图像作为原始数据，采用本文算法与其他算法对同一图像数据进行对比实验，以此来证明本文所提出的算法在去噪保边、修复空洞以及实时性方面的优越性。

图4分别给出了原始彩色图像、原始深度图像、均值滤波、中值滤波和本文改进的快速双边滤波算法的对比实验结果。

(a)

(b) (c)

(d)

(e)

(f)图4 不同算法的滤波结果(a)彩色图像 (b)原始深度图I (c)原始深度图II(d)均值滤波结果 (e)中值滤波结果 (f)本文算法结果Figure 4. Filtering results of different algorithms(a)Color image (b)Original depth image I(c)Original depth image II (d)Mean filtering results (e)Median filtering results (f)Results of the proposed algorithm

将上述处理结果局部区域进行放大，如图5所示，可以看到原始深度图像存在噪声并且在边缘处存在小面积空洞区域。由图5(b)和图5(c)可看出，均值滤波在去噪方面取得了一定效果，但在边缘保持和空洞修复方面效果较差。由图5(d)可看出，本文所提出的改进快速双边滤波算法利用彩色图像信息的完整边缘信息作为引导，在去除噪声的同时，可较好地保持边缘信息，并且对小面积的空洞区域有一定的修复效果。

(b)

(c)

(d)图5 局部放大效果图(a)局部放大的原始深度图 (b)局部放大后的均值滤波结果(c)局部放大后的中值滤波结果 (d)局部放大后的本文算法结果Figure 5.Partially enlarged renderings(a)Partially enlarged original depth map(b)Mean filtering results after partial amplification(c)Median filtering results after partial amplification(d)Results of the proposed algorithm after partial amplification

本文算法与传统算法对比结果如图5所示，结果显示相对于传统算法，本文算法的修复效果更优。峰值信噪比(Peak Signal to Noise Ratio，PSNR)[18-19]是一种全参考的图像质量评价指标。为了更加客观地评价本文所提算法的修复效果，本文引入PSNR来说明该算法的有效性。具体计算式为

(16)

(17)

式中，MSE表示当前图像X和参考图像Y的均方误差(Mean Square Error，MSE)；H、W分别为图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰阶数为256。PSNR的单位是dB，数值越大表示失真越小。

表2 在ICL-NUIM数据集上的客观指标PSNR对比

由表2可知，图像质量的客观质量指标与图5所观察到的图像修复结果一致。在对图像去噪和空洞修复问题上，均值滤波和中值滤波表现出的性能较差，而双边滤波和本文所提出的改进的双边滤波算法修复效果较好，且本文提出算法具有更明显优势。

在运行速度方面，针对上述两幅图像，采用不同算法对同一深度图像数据进行处理，并计算运行时间。所得到的算法运行时间如表3所示。

表3 在ICL-NUIM数据集上的算法运行时间对比

视觉SLAM对算法的实时性要求较高，由上表可知均值滤波算法实时性较好，中值滤波实时性适中，双边滤波的实时性较差。而本文算法既有去噪保边的双边滤波的作用，又在运算速度上与中值滤波相近，可满足视觉SLAM的实时性要求。

4 结束语

本文提出了一种基于彩色图引导的快速双边滤波算法来解决RGB-D深度相机获取的原始深度图像存在噪声和空洞的问题。该算法利用RGB-D深度相机采集的彩色图像，对其灰度化后，通过灰度图中的边缘信息确定滤波权值，并利用快速高斯变换对算法进行加速，从而完成深度图像的滤波和小面积的空洞修复。与现有算法的对比实验证明了该算法对深度图像修复效果较好且实时性更高。在后期进一步的研究中，可对本文算法进行优化，以期修复大面积的空洞区域。此外，还可通过GPU优化来进一步提升算法的运行速度。