基于小波分解与融合的视频去雨技术研究

陈强

（安康学院科研处，陕西安康 725000）

近年来，计算机视觉在智慧交通、遥感探测、医学仪器等领域都得到了广泛应用。其中机器视觉技术用于交通监管，例如在路口对车辆速度和驾驶行为进行监控，对违规车辆实现自动识别，节省了人力资源。但在雨雪天气下，采集到的图像不够清晰、对比度下降、细节丢失，在处理过程中容易出现误判或者延时过大的情况[1-3]。去雨技术可以清晰化被雨噪声污染的退化图像，有利于图像后续处理，提高相关技术的性能指标[4-6]。

雨滴在空间中的分布是随机的，且处于高速自由下落的运动状态，在图像中的检测和去除比较困难，图像去雨技术也成为当前的研究热点。Liu比较相邻各帧的RGB 颜色分量，得到差值图像，检测结果的准确率较高，但需要增加数据量，牺牲了实时性[7]。Santhaseelan 设计的视频去雨算法使用局部相位信息完成，去雨效果好，但同样实时性不强[8]。

视频去雨算法要想提高某一特性就要以牺牲其他性能为代价，存在计算量大、造成延时等问题[9]。该文根据雨线在频率域呈现高频的亮度特性，采用小波分解和融合的方法，从频域角度对视频各帧进行小波多层分解并计算出污染度，再根据污染度加权的重构规则对各帧进行小波重构，最后将各帧进行融合从而削弱图像中的大部分雨噪声。

1 雨滴特性

雨是日常生活中常遇到的天气现象，在雨天拍摄图片、视频时，由于雨滴在空间中的分布是随机的，且雨滴处于高速自由下落的运动状态，雨滴在视频成像时，会形成雨线，影响视频的质量。雨滴为半径0.05～1.75 mm 的近似球体，当雨滴较大时，近似为椭球体。在无风的情况下，雨滴降落受多个力学因素的共同影响，最终达到稳定速度，该速度与雨滴直径有关。雨滴的降落方向受风向影响，在同一图像中方向基本一致[10]。由于雨滴对光线的折射和反射，所以在图像中，雨滴对应的像素亮度明显高于背景像素。

另外，由于雨滴的下降速度影响，图像上会产生模糊的雨线，降低了图像的质量。雨滴的对应像素亮度同时受到雨滴和背景亮度的双重影响。其亮度变化具有时间上的对称性，并且雨滴像素的亮度值随时间的波动很小[11]。

RGB 3 个原色通道的视角范围远小于雨滴视角范围，所以通道值变化量可近似看成相等[12]。雨滴分布随机，近地面速度较快，同一雨滴不可能出现在相邻帧，任一像素也不会始终被雨滴遮挡。

2 图像的小波分解与融合

图像融合是将两幅或多幅图像的信息融合到一起，以获得对同一画面更为准确全面的图像描述。小波分解有明显的方向性和塔状结构，对不同频率的分量、方向、分解层，要用不同规则进行处理，利用冗余和互补信息来提高效果[13]。

对一幅图像进行N层小波分解，然后进行融合，步骤如下：

1）对原始图像（如图1（a））进行小波分解，分解为4 个图（图1（b）、（c）、（d）、（e）），分别对应低频近似系数、水平细节分量、垂直细节分量、对角细节分量。可根据实际需要，对低频近似系数分量重复上述过程，建立小波塔形分解，分解的层数越高，数据的尺寸越小，包含的细节信息越少。

图1 有雨图像的小波分解

2）融合各分解层，使各层的低频近似系数、高频水平细节分量、高频垂直细节分量、高频对角细节分量等可以根据不同的要求，采用不同规则进行融合。

3）对金字塔进行图像重构，得到融合结果。图像融合过程如图2 所示。

图2 图像融合过程

3 去雨算法

雨噪声的频率与景物信息有较为明显的区别，纹理细节频率最高，雨噪声的频率次之，颜色信息频率最低。经小波分解，雨噪声主要在低层高频系数中，因此应尽量提高分解层数；然后再确定细节信息、雨噪声等所在层[14]。

对退化图像进行小波融合，根据频率结构分别对背景与颜色、雨噪声、纹理边缘的细节三部分信息进行融合，并根据小波分解后的特点制定融合规则[15]。

融合雨噪声就是融合高频系数，融合规则的合理性是决定退化图像中雨噪声去除效果的关键。在视频中观察雨滴，其因移动而表现为明亮细线。雨滴呈透明液态，雨滴亮度均在200 尼特附近，比较一致[15]。

对含有雨噪声的图像进行小波处理时，鉴于雨的亮度比背景高得多，因此雨覆盖的部分与背景部分的灰度相差较大，可以用局部梯度来表示灰度变化的大小，局部梯度如式（1）所示:

其中，Δxf(i,j)和Δyf(i,j)分别表示点(i,j)在水平和垂直方向上的梯度；M、N表示局部区域边长。

雨的亮度一致，雨覆盖部分与背景能量值高且稳定，局部能量如式（2）所示：

其中，f(i,j)表示像素灰度值。

局部梯度G和局部能量E两个参数能表征出雨噪声具有高且一致的亮度。

雨噪声污染度S=G×E，表示图像被雨噪声污染的程度。

基于污染度的小波融合步骤如下：

1）小波分解：进行10 层小波分解，得到第2-4 层的高频系数（含大部分雨噪声）。

2）融合含噪高频系数：求解2-4 层高频系数矩阵及污染度S矩阵，对S矩阵归一化处理，然后和系数矩阵逆加权，得到大幅减噪的新系数矩阵。

3）融合不含噪系数：融合5-10 层系数及第1 层高频系数，其中包含了图像主要细节信息，进行均值处理后，可突出图像的颜色域和细节。

4）小波重构：重构融合后的系数，得到去雨图像。融合流程如图3 所示。

图3 融合流程

4 实验与验证

为了验证该文方法，使用Matlab 进行仿真试验，步骤如下：

第一步，将一段有雨视频分解成帧图像，在利用多幅退化帧图像进行融合的过程中，细节受损的多幅退化图像间可以相互弥补，突出细节信息。

第二步，对每个帧画面进行多层小波分解，随分解层数的提高，其中的细节信息降低，呈现塔状结构。图4 为多层小波分解的低频系数和分量，从上到下随分解层数的提高，图像中的像素块增大，整幅图像包含的细节信息减少，这一过程中雨噪声在层数较低时含量较多，尤其雨噪声在小波分解的第2-4层的含量最大，其他层多为背景信息，可以利用这个特性，制定融合规则，针对第2-4 层进行去除雨噪声处理，将其他层进行融合，突出背景信息。

图4 多层小波分解的低频系数和分量

第三步，通过各帧根据污染度反向加权削减雨噪声后进行小波融合。

第一步将视频分解得到6 帧图像，第二步将每一帧进行10 层小波分解，雨噪声明显比周围像素亮度大，对其中第2-4 层以局部梯度来度量灰度变化，以确定雨噪声的量，从而确定每一层的污染度。在进行融合时，根据污染度的大小反向加权，即污染度越大，权重越小，从而削弱第2-4 层的雨噪声。由于物体边缘或背景中的一些亮白像素容易误判为雨噪声，第2-4 层同样会被削弱，所以该文对第1、5-10 层（主要含背景信息）加的权值大于1，进行补充。最后将融合好的6 帧图像再次进行图像融合，最终得到图5（a）的融合结果。通过对比，融合后的图像背景和轮廓更加清晰，雨线明显减少，雨噪声得到了极大抑制。

图5 融合结果和原图像的对比

5 结论

该文采用小波多层分解[16]和融合的方法，将图像多层分解，确定含雨噪声比较集中的层，并制定了基于污染度的反向加权融合规则（即污染度越大，权值越小），借此来削弱雨噪声，并对视频中图像的特定层进行小波融合以去除雨线。实验证明，该方法去雨效果明显，具有一定的应用价值。