基于图像融合的水下图像清晰化方法

孙 杰

(中国人民解放军91550部队， 辽宁 大连 116023)

近年来，水下成像技术在海洋环境监测、海洋资源勘探、水下军事目标监视等领域发挥着越来越重要的作用。由于水体对光的吸收和散射作用，水下图像存在对比度低、模糊、色偏等缺陷，严重影响了水下成像的质量，如何提高水下图像的清晰度是水下成像技术需要解决的重要问题。

已有的水下图像清晰化方法主要分为两类：一类是图像复原方法，通过建立水下成像物理模型，求解模型参数反演出真实图像；另一类是图像增强方法，不依赖于成像模型，仅通过调节图像的灰度值提高图像的清晰度。典型的水下图像复原方法有Galdran等[1]提出的红通道反转的暗通道先验(Dark Channel Prior，DCP)方法、Jr等[2]提出的蓝绿通道的DCP方法、Pen等[3]提出的推广的暗通道先验(Generalization of Dark Channel Prior，GDCP)方法等。红通道反转的DCP方法是经典的DCP去雾方法[4]的变形，它利用正向的蓝绿通道和反向的红通道估算背景光和透射率，可以有效提高人工照明条件下水下图像的复原质量，但复原图像会出现偏暗的情况。蓝绿通道的DCP方法在进行水下图像复原时则不考虑红通道，该方法复原的图像有时也会偏暗。GDCP方法通过估算景深提高背景光的估计精度，从而改善DCP方法的性能。水下图像增强方法包括直方图均衡方法[5-6]、基于Retinex理论的图像增强方法[7-8]、图像融合方法[9]等。直方图均衡方法通过调整灰度值增加图像灰度的动态范围，提高图像的对比度，但无法解决水下图像的颜色失真问题。基于Retinex理论的图像增强方法将反射光分量从图像中分离出来，降低照射分量对图像的影响，从而达到增强图像的目的，该方法简单易于实现，并且具有校正色偏的功能。图像融合方法先对水下图像分别进行颜色校正和对比度增强处理，再对得到的两幅图像进行加权融合，获得的融合图像既减少了色偏，又具有较高的对比度。

本文提出了一种图像融合方法用于提高水下图像的清晰度。首先采用GDCP方法、带有色彩恢复的多尺度Retinex(Multiscale Retinex with Color Restoration，MSRCR)方法以及对比度受限自适应直方图均衡(Contrast Limited Adaptive Histogram Equalization，CLAHE)方法对水下图像分别进行复原和增强处理，得到图像融合的3个输入图像。然后利用可见度、饱和度、对比度和显著度等性能指标定义输入图像的权重图，采用基于金字塔分解的多尺度融合方法对输入图像进行加权融合。最后通过水下图像处理实验检验本文算法的性能。

1 GDCP方法

忽略水体对光的前向散射作用，水下成像模型表示为

Ic(x)=Jc(x)t(x)+Ac(1-t(x))c∈{R,G,B}

(1)

其中，c表示颜色通道，Jc(x)为场景的真实图像，Ic(x)为降质图像，t(x)为透射率，0≤t(x)≤1，Ac为背景光。

利用暗通道先验信息可以得到透射率的估计[4]：

(2)

其中，Ω(x)表示以x为中心的局部块。进而获得复原图像：

(3)

DCP方法利用暗通道0.1%最大值的像素点确定背景光，对于背景较暗的水下图像，往往会将较明亮的前景误认为是背景光，导致图像复原效果不佳。

(4)

(5)

其中，ωc=tanh(4|ac|)为c通道的重要性权重，dc为布尔型变量，当ac>0时，dc取1，此时c通道随景深增加而增加，否则，dc取0，对应于c通道随景深增加而减少的情况。

为避免个别噪声点的影响，将D(x)从大到小排列，取前0.1%的像素点对应的原图像灰度的平均值作为背景光。然后透射率t(x)的估计表示为

(6)

为去除复原图像的光晕和块效应，可利用导向滤波对透射率作进一步优化处理。最后得到的复原图像表示为

(7)

式中，透射率下限t0为0.1。

利用GDCP方法对图1所示的原始水下图像进行复原，粗略景深图如图2所示，可以看出：近景的梯度较大，而远景的梯度较小。图3为改进的景深图，与图2相比，景深的计算更加准确。由图4和图5可以看出：GDCP方法可显著提高图像的清晰度，而DCP方法的清晰化效果不明显。

图1 原始图像 图2 粗略景深图

图5 DCP方法复原的图像

2 MSRCR方法

根据Retinex理论，采集到的图像可表示为照射光和物体反射光的乘积，即

Ic(x)=Lc(x)Rc(x)c∈{R,G,B}

(8)

其中，Lc(x)为照射光部分，Rc(x)为物体反射光部分。为实现图像清晰化，需从Ic(x)中分离出Rc(x)，从而还原出物体的本来面貌。

MSRCR方法通过多个不同尺度的高斯函数估算出照射光，然后从原图像上抠除照射光即可获得多尺度反射光[10]。第i个尺度反射光的计算公式为

Rc,i(x)=log(Ic(x))-log(Ic(x)*Fi(x))

i=1,2,…,N

(9)

(10)

其中，权系数wi通常取为1/N。为解决图像的色偏问题，将各通道乘以颜色修正因子Cc(x)，即

(11)

Cc(x)用于调整各通道之间的比例关系，其计算公式如下：

(12)

其中，α和β为经验常数，通常取为125和46。

3 CLAHE方法

CLAHE方法将原始图像划分为互不重叠的子块，对每个子块定义灰度映射：

(13)

其中，M为子块的像素总数，N为灰度级的数量，h(k)表示子块第k个灰度级的像素数量，灰度映射将灰度值为n的像素点赋予了新的灰度值f(n)。整幅图像的灰度映射F(n)为四个相邻子块映射函数的合成。为减少图像增强带来的噪声影响，需对F(n)的斜率做出适当限制[11]。利用灰度映射F(n)可实现灰度值的重新分配，增加图像灰度的动态范围，从而提高图像的对比度。为避免颜色失真，本文将图像由RGB空间转换到HSV空间，仅对V通道进行对比度增强。

4 图像融合

分别采用GDCP、MSRCR和CLAHE 3种方法对原始水下图像进行复原和增强处理，将获得的3幅图像I1(x)、I2(x)和I3(x)作为图像融合的输入图像。下面采用多尺度融合方法获得最终清晰化图像。

4.1 融合权值选取

这里定义照度图、饱和图、局部对比图和显著图四种权重图，用于确定输入图像I1(x)、I2(x)和I3(x)在融合图像中所占的比重。

1) 照度图。将输入图像Ik(x)(k=1,2,3)由RGB空间转换到HSV空间，Ik(x)的照度图定义为RGB三通道与亮度通道V的偏差的均方根：

(14)

图像某个区域的WL,k越大，该区域的亮度越均衡，可见度越高，照度图用于增大高可见度的图像区域在融合图像中的比重。

2) 饱和图。输入图像Ik(x)(k=1,2,3)的饱和图定义为

WS,k=exp(-(Sk-1)2/(2σ2))

(15)

(16)

其中，Sk为Ik(x)的饱和度，RK,GK,BK分别为Ik的彩色图像分量值，σ为标准差，通常取为0.25。图像某个区域具有较大的WS,k，则该区域的饱和度较大，色彩越鲜艳。饱和图用于选择色彩丰富的图像区域加入到融合图像中。

3) 局部对比图。将输入图像Ik(x)(k=1,2,3)由RGB空间转换到Lab空间，Lk为亮度通道。局部对比图定义为每个像素的亮度与其周围像素平均亮度的偏差，输入图像Ik(x)(k=1,2,3)的局部对比图的计算公式为

WLC,k=|Lk-Lωhc,k|

(17)

其中，Lωhc,k为亮度通道的高斯低通滤波，该滤波的截止频率通常取为ωhc=π/2.75。局部对比图用于增强融合图像的局部对比度。

4) 显著图。显著图的计算公式为

WSal,k=||Pμ,k-Pωhc,k||

(18)

其中，Pμ,k是Lab三通道的均值，Pωhc,k是Lab三通道的高斯低通滤波，该滤波的截止频率通常取为ωhc=π/2.75。

显著图用于突出图像的显著性区域，增强显著性区域与相邻区域的对比度，从而提高图像的全局对比度。

对亮度图、饱和图、局部对比图和显著图进行求和：

(19)

(20)

将Wk定义为输入图像Ik(x)的权重图，作为图像融合的权值。

4.2 融合方法

像素级融合方法容易出现光晕现象，因此本文采用基于金字塔分解的多尺度融合方法。

图像融合的流程如图6所示，步骤如下：

步骤1分别对权重图Wk(x)(k=1,2,3)进行低通滤波和降采样，生成K层高斯金字塔，高斯金字塔的第i层记为Gi(Wk(x))，不同分解层对应于不同的尺度。

图6 图像融合的流程示意图

步骤2分别对输入图像Ik(x)(k=1,2,3)进行K层拉普拉斯金字塔分解。首先生成高斯金字塔，再对低尺度的高斯金字塔层进行上采样和低通滤波，与上一尺度的高斯金字塔层作差即可得到拉普拉斯金字塔的分解层，拉普拉斯金字塔的第层记为Li(Ik(x))，不同分解层同样对应于不同的尺度。

步骤3对每一个尺度的普拉斯金字塔层Li(Ik(x))采用同一尺度的高斯金字塔层Gi(Wk(x))进行加权求和，获得多尺度的融合图像：

(21)

步骤4对拉普拉斯金字塔Fi(x)(i=1,2,…,K)进行重构，即可获得融合图像F(x)。

5 实验结果

如图7所示，选取4幅水下图像，将本文方法与文献[1]的红通道反转的DCP方法、文献[8]的基于Retinex理论的图像增强方法以及文献[6]的直方图均衡方法进行对比验证。可以看出，文献[1]的方法提高了图像整体的清晰度，但部分区域亮度偏暗，并且色偏较为严重。文献[8]的方法增强了图像的细节，但图像偏白，噪声较多。文献[6]的方法提高了图像的对比度，但没有纠正色偏，获得的图像仍然呈现蓝绿色。而本文方法在提高对比度的同时，能够有效纠正色偏，细节更加突出，图像更加清晰，具有较好的视觉效果。

图7 处理效果对比

下面利用分块对比度质量指数(Patch-based Contrast Quality Index，PCQI)、水下彩色图像质量评价(Underwater Color Image Quality Evaluation，UCIQE)、水下图像质量度量(underwater image quality measure，UIQM)3种评价指标检验本文方法的性能。其中，PCQI用于衡量一般降质图像的对比度，UCIQE用于衡量水下图像的色偏、模糊度和对比度的综合指标，UIQM用于衡量水下图像的色彩度、清晰度和对比度的综合指标，这3个指标的值越大，图像的质量越高。表1给出了上述各方法对4幅图像处理结果的评价，本文方法相对其他方法在每个指标上都是最优的。

表1 评价指标的计算结果

6 结论

本文提出了一种基于图像融合的水下图像清晰化方法，即GDCP方法，由颜色的变化规律确定景深，利用景深信息估计背景光。分别采用GDCP、MSRCR以及CLAHE 3种方法对水下图像进行复原和增强处理，获得了图像融合的3个输入图像。利用图像的可见度、饱和度、对比度和显著度等性能指标定义3个输入图像的权重图，采用基于金字塔分解的多尺度融合方法对输入图像进行加权融合。实验结果表明，本文方法能够显著提高水下图像的清晰度和纠正色偏，并且在水下图像的质量评价指标上优于其他方法。