基于透射率融合与优化的水下图像复原

杨爱萍，杨炳旺，曲 畅，王 建,

(1. 天津大学电气自动化与信息工程学院，天津 300072；2. 国家海洋技术中心，天津 300112)

海洋资源是近年来各国都争相发展的资源，统计可知，海水的面积占整个地球面积的 70%，海洋包含着许多的生态、能源资源，保存着地球演化的重要信息. 目前，水下图像处理在很多方面有着重要的应用，例如资源的开采、海洋生态的研究以及海洋的军事利用等[1-2].光线在水下传播时受溶解的有机质和微小的悬浮颗粒的散射，水下图像显示异常的色彩，例如偏蓝或偏绿，并出现对比度下降或细节丢失现象[3].

目前有两类方法用于处理水下图像：一类为基于图像增强的方法[4-6]，此类方法主要为改善图像的对比度信息和颜色信息，采用图像处理相关算法获得增强图像；另一类是基于水下图像形成模型的方法[7-11]，这种方法利用图像在水下的降质过程，并使用水下图像形成模型进行水下图像恢复.

Henke等[4]提出一种颜色恒常性方法，但会出现红通道过补偿现象.Fu等[5]所提出的方法使用retinex方法来拆分反射分量和辐射度分量，并分别对其进行增强和合成，虽然这种方法在提升图像亮度方面有着良好的效果，但问题是易引入噪声. Ancuti等[6]将融合思想与水下图像增强相结合，定义4个权重图实现多尺度颜色校正和对比度增强以获得清晰化图像，但其缺点是计算复杂度较高. Drews等[8]和Galdran等[9]则是考虑利用暗通道方法，前者不考虑红通道的暗通道先验，只对另外两个通道进行处理，但该先验对浑浊程度较高的水下环境并不适用，后者则是对红通道进行了反转. De Oliveria等[10]提出了一种水下复合先验，基于背景光与对比度两种先验估计透射率. 虽然以上方法可以将水下图像恢复的视觉质量不同程度上提升，但在高浊度或严重污染的水体中其性能不令人满意.

通过上述分析，本文不仅考虑水体吸收和散射造成的图像降质，还充分考虑其对比度等细节损失，提出基于水体约束和对比度先验相结合的透射率融合与优化方法，并基于此提出新的水下图像复原方法.首先，建立了基于颜色衰减差异的水下图像形成模型，其场景环境光由成像光源计算得到.下一步，由于水下图像的色彩偏移严重，本文利用色彩校正的方法来对色偏进行去除.然后，基于水下场景约束，提出水体透射率估计方法，同时基于对比度先验估计对比度透射率，而后，融合上述两种透射率并优化.最后通过求解基于颜色衰减差异的水下图像形成模型来恢复图像.

1 水下图像形成模型

1.1 水下图像形成模型

对于原始水下图像形成模型，成像结果为3个部分的叠加即前向散射分量、直流分量和背向散射分量，如图1所示.

图1 水下图像形成模型Fig.1 Underwater imaging model

在实际情况中，因为摄像机和物体之间的间隔比较小，以致前向散射的影响能够被略去.水下图像形成模型能够简化为

式中：x为像素点；J(x)t(x)为直流分量；A ( 1 - t( x) )为背向散射分量；I( x)为未经处理的水下图像；J( x)为清晰的图像；A为水中的背景光；t( x)为光在水下的透 射率.

1.2 水下光源颜色

受水下悬浮颗粒影响，物体反射光及环境光发生散射，造成目标物体成像质量下降.关于水下图像，任何点的像素值可写成

式中：ω为可见光谱范围；e(λ)为某波段光的分布；M (λ)为成像物体表面反射率；λ为可见光波长；C (λ)为相机对某种波段的敏感度.如果认为水下光源由相同光源发出的情况下，则光源的颜色e为

1.3 基于颜色衰减差异的水下图像模型

目前通常使用计算大气环境光的方法估计水下场景的环境光，但获得的结果不准确. 为解决这一问题，本节考虑一种水下环境光估计的新思路，而后引出了一种基于颜色衰减差异的水下图像生成模型.

颜色恒常性理论认为光源的色彩在整幅图像中不变. 一般地，认定水下图像远景处的亮度信息与环境光强相近. 但是，环境光在水下由自然光和物质反射光所组成. 因此，可以认定环境光Ac是光源的颜色e. 根据式(1)～(3)，可以得到

式中下标c为通道. 水下环境光Ac可由光源的颜色e计算得到. 另外，因为不同色彩通道的水下衰减特性具有差异性，分别计算每个通道的场景透射率，则可以推导出基于颜色衰减差异的水下图像形成模型

2 水下图像恢复方法

为解决目前许多水下图像清晰化方法不适用于水体浊度偏高或严重污染的情况，本文提出一种基于透射率融合与优化的水下图像恢复方法.首先，消除图像的色彩失真，估计水下光源的颜色并用作环境光；为尽可能恢复水下图像对比度信息、细节以及色彩信息，先充分研究水中光的传输特性，并受基于场景边界约束去雾方法启发，本文提出了一种基于水体约束的估计透射率办法，同时基于对比度先验估计其对比度透射率以增强复原图像的细节信息；而后对两个透射率进行融合再优化，再经过对水下图像形成模型的求解，实现了水下图像的复原.算法流程如图 2所示.

图2 算法流程Fig.2 Flowchart of the proposed algorithm

2.1 去除色彩失真

3个色彩通道的最大值以及最小值能够由水下图像 Ic(x)的均值和均方差得到，即

如图 3所示，原始图像中存在严重的色偏现象，经过颜色校正后图像的视觉效果显著提升.但对于整体颜色失真过于严重的图像，即使使用颜色校正后仍会出现红通道过饱和现象.

图3 色彩失真去除前、后效果Fig.3 Comparison of original underwater image and color corrected underwater image

由图(3)可知，图 3(a)中的水下图像中有严重的色彩偏差；图 3(b)显示了消除色彩失真后的图像，表明视觉质量大大提高.

2.2 水下环境光估计

如第 1.3节所述，环境光的估计可以通过计算水下场景光源的颜色得到.灰度色调算法[12]通常用于估计场景光源的颜色，但灰度色调算法基于场景中各个波段的光同时衰减的前提，即光源颜色应具有一致性.因此，在首先对水下图像进行色彩失真去除之后，基于灰度色调算法估计场景的光源颜色并将其用作水下环境光.

2.3 基于水体约束和对比度先验的透射率融合

透射率估计是否准确是水下图像恢复质量的关键.为了最大程度恢复图像的色彩和细节，本文的研究基于使用场景边界约束[13]来计算透射率，并用于雾霾去除方法，再结合对比度先验，提出了一种可用于高浊度水下场景的透射率融合方法.

2.3.1 基于水体约束的透射率估计

为有效利用各通道的衰减差异，本文对水下图像3通道的透射率分别计算. 受雾霾去除方法[13]的启发，可以得到对应于水下图像的清晰图像对于每个颜色通道具有有限的值域，由式(5)的成像模型可以得到水下场景光传输约束条件，因此，可得到基于水体约束的透射率估计.

由式(5)可得3个颜色通道透射率为

由于图像清晰时，目标物体的外表反射率 Mc(x)的取值区间有限，可利用该限制推导出水介质透射率tc(x)的约束条件.环境光强度与成像物体外表反射率 Mc(x)的取值为

由式(9)得

由式(8)可知，tc(x)的取值区间进一步受到约束，对于各个像素x，获得透射率的下边界 tlow_c(x)，且有

2.3.2 局部窗口自适应选择

在计算场景的透射率时，通常假定它在局部块ω(x)中是恒定的，导致复原图像在物体边界处出现块效应. 为避免该问题，本文利用局部窗口自适应选择方法[14].

任意图像块y∈ω(x)，定义x和 y两个像素之间强度的差异为

通常，局部图像块ωc(x)为 3个通道中具有最小差异的前40%的像素.

通过式(12)获得的透射率应用局部最大滤波得

式中y为局部块ωc(y)的中心位置. 同时，对 tbd_c(y)进行局部最小滤波来避免局部透射率估计过大.

式中x为局部块ωc(x)的中心位置.

由式(14)、(15)，得到各通道水体约束透射率tbd_c(x)为

图 4给出了基于水体约束透射率. 可以看出，通过该方法得到的透射率可以直接表示水下各通道的衰减差异，各通道信息具有优势互补特性.

图4 水体约束透射率Fig.4 Water constrained transmission

2.3.3 基于对比度先验的透射率估计

水体透射率可用来恢复因介质吸收和散射造成的图像颜色失真和部分模糊现象，为充分复原图像的细节保真度，显著提升图像的对比度，本文提出了一种基于对比度先验的估计透射率方法，并将其融入图像复原模型.

通常，图像的部分块的对比度将与水的浊度成负相关关系. 因此，可将对比度透射率tcon(x)定义为

式中Jλ(y)为水下清晰图像.式(17)能够解释为由于水下传播过程能量衰减引起的对比度损失的比率.在式(17)中，因为清晰图像Jλ(y)的对比度是未知的，通常可假定清晰图像的部分图像块的每个像素的最大差异是1.

结合式(17)和式(18)，基于对比度先验的估计透射率可写成

从图 5可以看出，与图 4(c)中的红通道水体透射率相比，远景区域中对比度透射率值不再接近于零(图中红框内所示)，因此水体透射率能够较好地弥补对比度透射率的不足.两种透射率信息相结合，既可以去除水体散射影响，还可以有效去除对比度下降造成的模糊现象，有效恢复图像细节.

图6 融合透射率Fig.6 Fusion transmission

图5 对比度透射率Fig.5 Contrast transmission

2.3.4 基于水体约束和对比度先验的透射率融合

本文通过融合水体约束和对比度先验获得高准确度透射率用于恢复高质量清晰图像. 对于图像中的像素，透射率越大，视觉信息越有效，而越小意味着包含更多不需要的噪声. 因此，将水体透射率和对比度透射率的最大值作为融合的透射率，即

由图6可以看出，对于红通道衰减严重的水下图像，其水体透射率在近景区域内具有更高强度值，而对比度透射率在远景区域内具有更高的强度值，二者之间具有很好的互补性，双模式透射率能够更加准确地反映水下图像3通道各自不同的衰减特性.

由图6可以看出，对于具有较强红色通道衰减的水下图像，水体透射率能够较好地弥补对比度透射率的不足.具体体现在前者在接近相机的场景具有较高的值，而后者在远离相机的场景具有较高的强度值.

2.4 基于多方向梯度加权正则化的透射率细化

加权函数W( x, y)的作用是降低邻近像素点的景深差异，如像素点x和y之间景深的差值较小时，加权函数W( x, y)则接近于 1，当情况相反时，则接近于0.

由此，构造加权TV正则化的目标函数为

式中：第 1项是衡量两种透射率的保真度衡量项；第2项则是准确透射率tcop_c；λ为正则化参数；⊗代表卷积运算；◦是一种平滑乘性算子；Wj为权重矩阵，其计算式为

引入辅助变量uj并利用分量变量法求解式(23)的未知变量进而求解透射率的最优解，通过将复杂问题分解的方法，将目标函数改写成

式中β为权重值，β→∞时，式(24)与式(22)等同.

在式(24)中，为求解辅助变量uj和透射率tcop_c这两个未知变量，利用复杂问题分解为子问题的方法，经过交替更新来处理子问题的最优解.第 1步，tcop_c不变，对uj进行求解，得到子问题

由收缩定理[15]可得到uj，

保持uj值不变，对tcop_c进行求解，式(24)改写为

其中，快速傅里叶变换用于获得tcop_c为

式中：F-1(·)、F(·)分别为逆傅里叶变换、傅里叶变换；k为迭代次数，实验中设定k=9.

由图7可知，实验结果中边缘效应与块效应都能够被有效地抑制，并且所得到的透射率能够反映水下图像的衰减特性.

图 7显示了细化后的融合透射率，可以看出，正则化方法能较好地处理块效应.

图7 细化后的融合透射率 t c o p _ c(x)Fig.7 Refined fusion transmission t c o p _ c(x)

2.5 图像复原

根据获得的环境光和透射率，可以获得恢复的图像

式中tc0为 3通道透射率tcop_c的最小值.通过多次实验，选定tG0和tB0的值在区间[0.15,0.25].红通道tR0设为0.3，以预防红通道过补偿.

3 分析与评价

该实验由运行在主频为 3.4GHz的英特尔酷睿i7-6700上的Matlab程序完成，内存容量为8GB.实验数据集由互联网收集.

3.1 主观评价

通过将本文算法与水下图像处理领域的典型算法对比以证明有效性.由于文献[12]是针对特定的水下平台而设计，并且考虑了人造光源，故没有进行比较.各算法复原效果展示于图 8～图 11，其细节效果如图 12～图 15所示.从图 8～图 11不难发现，Henke等[4]算法在水体极其浑浊的情况下会过补偿红通道致使恢复的图片偏红，从图12～图15中可以发现其对细节的恢复也不够明显，对比之后，本文算法色彩没有失真，细节恢复也较为清晰；如图 8～图 11所示，Fu等[5]算法恢复的图像对比度得到显著改善，不足的是具有较多的噪声，在图12～图15中也能发现在细节处存在大量噪声，本文算法在抑制噪声方面更有效，整个图像不失真；在图 8～图 11中，Ancuti等[6]算法可以恢复图像的细节，但在某些区域会有过度增强，如图 12(e)、图 14(e)，会引入少许噪声，恢复效果不够理想，图 10(d)、图 11(d)在红色通道出现了过补偿，图片偏红，本文算法能恢复一定程度的细节，同时准确恢复红通道；从图 8～图 11所知，He等[7]算法与 Drews等[8]算法无法校正水下图像颜色偏移现象，也无法有效地恢复图片细节，如图 12～图15所示,其不能有效地改善图像的有效信息；如图8～图 11所示，Galdran等[9]算法恢复的图像能较好地处理红通道，也有较强的对比度提升，但亮度信息处理不好，致使视觉效果不自然，在图12(h)中，远景处的细节比较模糊，比较之下，本文算法亮度恢复更好；De Oliveria等[10]算法复原图像可视性良好，但在红色通道会出现过补偿，如图 10(h)、图 11(h).图12(i)显示其远景处的细节不及本文算法，本文算法能理想地恢复红通道，同时保证细节信息完整.综上所述，在主观评价中，使用本文方法能有效去除颜色失真、减弱原始图像中的色偏问题，较好地保持了保证了图像细节和水下图像的主色调，同时，图像的对比度得到较大提升.

图8 图像Coral清晰化对比Fig.8 Comparison of sharpening results for image Coral

图9 图像Fishes清晰化对比Fig.9 Comparison of sharpening results for image Fishes

图10 图像Divers清晰化对比Fig.10 Comparison of sharpening results for image Divers

图11 图像Buddha清晰化对比Fig.11 Comparison of sharpening results for image Buddha

图12 图像Coral细节对比Fig.12 Comparison of detail for image Coral

图13 图像Fishes细节对比Fig.13 Comparison of detail for image Fishes

图14 图像Drivers细节对比Fig.14 Comparison of detail for image Drivers

图15 图像Buddha细节对比Fig.15 Comparison of detail for image Buddha

3.2 客观评价

通过计算两种客观评价指标：色偏因子[16]和对比度，并用于本文算法的有效性验证.色彩的偏移程度可通过色偏因子K的值直观反映[16]，即C可写成

式中：L(x)为x处的亮度值；N为图中像素点的总数.图像的清晰度和C值呈正相关关系.

使用上述指标，本文算法和其他典型算法在不同图像上的质量评估结果如表1所示.计算出的色彩偏移程度数据K表明本文算法优于其他算法，本文算法处理的图像视觉效果保证良好的水准.对比度的计算数据也显示，本文算法优于其他算法，该结果表明本文算法对比度信息能有效地提升.本文以4组图像为例，经实验发现对大量数据统计有类似结果.

式中：Thres表示阈值；L的方差为2σ；Lab模式空间中的 a和 b颜色通道的平均值表示为 m eana和meanb；标准差表示为Ma和Mb.图像色彩偏移的程度与K值正相关.

采用 Lab模式空间的亮度值构建的对比度指标

表1 不同方法的评价指标对比Tab.1 Comparison of evaluation indicators of different methods

4 结 语

本文提出一种基于透射率融合的水下图像清晰化方法，旨在解决水体深度浑浊时图像的复原问题.本文首先设计了基于颜色衰减差异的水下图像形成模型，其假设场景中的环境光是水下光源的颜色；而后利用色彩校正的方法来去除色彩偏差；然后，提出一种透射率融合与优化的方法来有效地估计透射率信息，用于提升图像的细节和对比度.最后，求解新水下图像形成模型，以达到水下图像复原的效果.通过主观评价和客观评价，该方法复原图像的色彩较为自然，同时保持着良好的细节和对比度信息.今后可以研究更有效的融合方法，以取得更准确的透射率，来改善恢复效果.