双透射率成像模型与Retinex融合的水下图像清晰化

林 森， 周天飞

(1.沈阳理工大学自动化与电气工程学院， 沈阳 110159； 2.辽宁工程技术大学电子与信息工程学院， 葫芦岛 125105)

海洋为人类提供了丰富的能源，水下机器人依赖视觉系统获取的水下视频和图像是开发资源的重要方式，但在复杂成像环境中，水体以及水中杂质对光的吸收与散射导致水下图像质量大幅下降，比如吸收会降低光传播的能量，散射引起光传播方向的变化。由此造成的退化形式包括雾化现象、色彩失真和细节模糊[1]等，使得水下资源的开发存在极大困难。因此，水下图像的清晰化研究具有重要的应用价值。

近年来，研究者们提出了许多水下图像清晰化的方法，分为基于物理模型的水下图像复原技术和基于非物理模型的水下图像增强技术。水下图像复原需要根据图像降质模型对图像建模，估计模型参数逆求解得到清晰化图像。He等[2]通过大量统计得到暗通道先验理论(dark channel prior，DCP)，即在无雾图像中红绿蓝三颜色通道中至少存在一个低强度通道，并利用该理论进行背景光和透射率估计。杨爱萍等[3]在红通道预测与饱和指数的基础上，根据三颜色通道相对衰减比估计各通道透射率，使用Shades of Gray计算背景光，反演模型得到复原水下图像。林昌等[4]考虑到普遍算法对图像颜色纠正过度的问题，提出一种亮度自适应均衡化的改进带色彩恢复的多尺度视网膜增强(multi-scale retinex with color restore， MSRCR)算法，将全局亮度均衡后的图像与经过MSRCR算法之后的图像进行叠加，再通过拉伸灰度的方法实现色彩的提升。李景文等[5]基于针对处理后的图像色温偏低的问题，提出改进暗通道的自动色彩增强算法，利用暗通道先验算法和导向滤波得到精细化的图像。Tang等[6]将经典多尺度Retinex的亮度通道应用于预校正图像，提高对比度和颜色，采用下采样和无限脉冲响应高斯滤波来提高处理速度，并根据统计特性对恢复图像的光照进行补偿。邹沛煜等[7]提出了一种基于高低频分量融合的水下图像增强算法，基于Retinex多尺度提取算法估计亮度分量，代表原图像的高频分量，照射分量作为图像的低频分量，分别处理得到清晰水下图像。

上述算法在解决水下图像存在的雾化现象、色彩失衡等问题均有所改善，但是未全面解决细节信息、边缘轮廓及纹理丢失和模糊的问题。现综合考虑图像信息的保留程度、视觉效果以及算法复杂度，提出一种双透射率成像模型与Retinex融合的水下图像清晰化算法，基于传统算法上作出改进，以期综合增强水下图像信息方面得到良好的效果。

1 水下成像模型与算法架构

目前，Jaffe-McGlamer水下光学成像模型被广泛应用于水下光学图像处理算法中，该模型由三部分线性组合而成:直接分量、前向散射分量和后向散射分量，如图1所示。

在实际应用中，由于成像设备与目标对象距离较小，忽略前向散射分量。改进的水下图像光学成像模型如式(1)所示，由直接分量和后向散射分量两部分组成，前者为水下目标反射的且未受水体散射影响的光信号，而后者是水中杂质颗粒反射的光信号。

I(x)=Id(x)+Ib(x)=J(x)t(x)+

Ac[1-t(x)]

(1)

式(1)中：x为像素点；I为由相机拍摄的模糊图像；d为直接分量；b为后向散射分量；c为颜色通道中任一通道；J为待恢复的清晰图像；Ac为一个全局常数，表示背景光；t为传播介质的透射率，与场景深度成反比。根据Lambert-Beer定律可表示为

t(x)=e-βd(x)

(2)

式(2)中：β为背景光散射系数；d(x)为每个目标物体表面点到相机的深度。Akkaynak等[8]证明了水下成像模型中直接分量和后向散射分量对应的衰减系数不同，据此背景重新定义水下成像模型为

I(x)=J(x)td(x)+[1-tb(x)]Ac

(3)

式(3)中：td(x)为直接分量透射率;tb(x)为后向散射分量透射率，具体定义为

td(x)=exp[-σdz(x)]

(4)

tb(x)=exp[-σbz(x)]

(5)

式中：σd为直接衰减系数;σb为后向散射衰减系数，与传播距离和光线波长有关；z(x)为像素点到相机的距离。

水下图像的降质体现在三方面:图像雾化、色彩失衡和对比度降低。根据以上问题作出针对性处理，去除雾化、恢复色彩均衡以及增加对比度，算法在物理成像模型基础上，采用图像融合技术实现，结构框架如图2所示。为正确反映水下图像的基本信息和特征，选用适当输入图像和权重图。三幅输入图像分别是对采集到的水下图像进行去雾、色彩和全局对比度提升；接着对初步清晰化输入图像进行特征提取；最终从多幅图像中提取有用信息将多优势算法进行融合，得到清晰优质的水下图像。

图2 算法结构框架(图像比例2∶1)

2 输入图设计

2.1 改进双透射率模型算法

为去除图像雾化现象，采用基于改进的双透射率水下成像模型算法，其中含有背景光、直接分量透射率和后向散射分量透射率三种模型参数，相比传统模型增加了一个变量参数，此变量使水下图像复原算法精确度更高。接下来对模型参数求解。

(1)背景光Ac的估计。在传统的DCP和水下暗通道先验(underwater dark channel prior，UDCP)算法中，将暗通道中前0.1%数值的最亮像素平均值作为估计值，水体背景光值因此受到人造光源和白色明亮物体干扰而增大。现采用四叉树的分级搜索，先将图片分成四个区域找到标准差较小且均值较大的图像块，选择式(6)中值最小的区域作为目标区域，将此目标区域继续划分为四个更小区域，重复此过程直到指定阈值，得到最终目标区域:

(6)

(2)后向散射透射率tb(x)的估计。后向散射透射率的衰减系数与光线波长关联性较弱，故忽略此相关，即R、G、B三通道的后向散射透射率一致。为有效解决DCP算法中R通道值较低导致的色偏现象，Galdran等[9]在暗通道先验算法基础上提出一种红色暗通道先验:

(7)

式(7)中：JRDCP(x)为改进红色暗通道先验值；JR(y)、JG(y)、JB(y)分别为清晰图像中y点的R、G、B三通道的值；Ω(x)为以像素x为中心的局部区域，使用[1-JR(y)]替代JR(y)，避免由于红光吸收最为严重导致R通道值降低的问题。

对双透射率水下成像模型两边同时除以背景光Ac得

(8)

将式(7)代入式(8)求得后向散射透射率:

(9)

(3)直接分量透射率td(x)的估计。水下拍摄时目标与相机距离较小，光线传输距离对直接分量透射率影响较小，故忽略此影响。根据后向散射透射率的估计值以及两个透射率的定义可以得到全部像素点处的直接传输透射率的估计值，由式(4)和式(5)得

(10)

(11)

(4)图像恢复。将所有估计值代式(12)得到恢复后的无雾图像。

(12)

式(12)中：t0是为防止透射率过小设定的临界值，现取值0.3。

图3为实验效果对比图，由图3(b)可知，算法可以精确估计背景光值所在点，由图3(c)～图3(e)可验证方法符合水下光线传播定律，即红色光衰减最快，蓝绿光次之。对比图3(f)和图3(g)可知，本文算法相较于DCP算法去雾效果良好，DCP算法未能正确去除绿色色调并呈现蓝色色偏。

图3 对比图(图像比例6∶1)

2.2 改进MSRCR算法

为解决水下图像色彩失衡问题，采用MSRCR算法。Retinex思想是在成像过程中，将一幅图像S(x，y)分为保留图像内在属性的反射光图像R(x，y)和生成图像像素所处动态范围的入射光图像L(x，y)。其公式如式(13)所示。

S(x，y)=R(x，y)L(x，y)

(13)

多尺度Retinex算法(multi-scale Retinex， MSR)利用对数思想分离入射光和反射光图像，用高斯滤波对初始图像进行处理近似得到入射图像，并在不同尺度下对此进行加权组合:

ln[F(x，y)*S(x，y)]}

(14)

式(14)中：F(x，y)为高斯中心环绕函数；K为环绕函数总个数；wk为不同尺度对应的权值，取值为1/3。高斯滤波重点突出图像细节，忽略对图像边界带来的噪声，为解决此问题，采用引导滤波核函数代替高斯滤波核函数估计入射光图像，引导滤波核函数定义为

(15)

改进的MSRCR算法为使图像色彩得到更多恢复，引入颜色恢复因子Ci(x，y):

(16)

式(16)中：β为增益常数；α反映非线性强度；s=3为光谱通道R、G、B数目。

图4是改进的MSRCR处理结果，与高斯核函数相比，引导滤波核函数处理后的水下图像保持边缘特性，色彩强度和运算时间得到提升，现采用改进后颜色保真度高的优势。

图4 改进的MSRCR算法对比图(图像比例4∶1)

2.3 ACE算法

为进一步解决图像对比度低和颜色失衡，选用自动色彩增强(automatic color enhancement， ACE)算法，该方法采用局部自适应滤波并对图像进行全局对比度拉伸，得到最终输出如式(17)所示，实验表明算法与直方图均衡有关，可以扩展图像的态范围并具有较高的对比度。

(17)

式(17)中:R(x)为退化图像的重构像素值，maxR、minR为其最大值与最小值。

图5是初始图像和ACE算法处理图及R、G、B三通道直方图。比较得算法处理后对比度明显提升，灰度值等可能分布且高于原始值。

图5 算法对比图及RGB三通道直方图(图像比例3∶1)

3 权值与融合

3.1 权值及权重图

获得三幅融合输入图像后，定义三种权重图，即亮度图、色度图和局部对比图，权重图反映图像基本特征和必要信息，在融合中表示具有高权重值的像素，各权重图如图6所示。

图6 权重图(图像比例4∶1)

(1)亮度权重图(WL)。亮度图反映图像的明暗程度，可以有效衡量亮度缺失，使得在输出图像中可见度较高区域的比例大于可见度较低区域。计算各输入图像的三通道平均值，R、G、B通道与该平均值的标准差即为亮度图:

(18)

式(18)中:R、G、B分别为三通道像素值；L为三通道平均值。

(2)色度权重图(WE)。色度图反映图像的色彩纯度，决定着图像质量，用以补偿颜色降低的劣势。将图像转换到HSV空间，计算每个像素点的饱和度与区域内最大饱和度:

(19)

式(19)中:S(x)为像素点x的饱和度;Smax为最大饱和度，现取值为1；σ控制标准差的敏感性，取值0.3效果较好。

(3)局部对比度权重图(WS)。局部对比图反映图像的细节水平，用以复原图像局部丢失的细节信息。计算图像中各像素点与其邻域均值的标准差:

WS=‖Imean-Iwhc‖

(20)

式(20)中:Imean为像素平均值；Iwhc为低通滤波之后得到的亮度通道。

(21)

(22)

3.2 多尺度分解与融合

(23)

式(23)中：l为金字塔层数；k为输入图像的数目；Gl为对归一化权重图高斯分解的第l层；LPl为对输入图像拉普拉斯分解的第l层。

4 实验结果与分析

目前，对增强后的水下图像质量评价算法有两种:主观评价，通过人的主观感受直接对处理后的图像进行评价，现对色卡恢复图与多张代表性图像作出分析；客观评价，根据视觉系统的感知机制算法，模拟得出量化指标，以此对图像进行评价，现采用水下彩色图像质量评价(underwater color image quality evaluation， UCIQE)指标和加速鲁棒特征(speeded up robust features， SURF)指标。

为验证本文算法的有效性与鲁棒性，用该算法处理处于不同环境的水下图像，并与现有的水下图像清晰化算法进行对比与分析，其中包括Ancuti等[10]提出的融合算法、限制对比度自适应直方图均衡(contrast-limited adaptive histogram equalization， CLAHE)算法、去雾网络结合混合小波与方向滤波器[11](underwater image de-scattering and enhancing using DehazeNet and HWD， DehazeNet)算法、快速增强水下图像[13](fast underwater image enhancement for improved visual perception， FUnIE-GAN)算法。

4.1 主观评价

主观评价基于失真色卡和各浑浊水域图像，验证本文算法对色彩恢复程度的有效性。首先采用色卡颜色恢复实验，实验结果如图7第一行所示，第二行为各算法对应的色卡图像。

观察图7可知，Ancuti等[10]融合算法中三种不同色度的绿色色块区域之间区分度偏低，淡紫和深紫色块出现明显失真。CLAHE算法处理后图像整体偏模糊，大多数色块均未能恢复正确的颜色。DehazeNet算法处理后图像对比度得到改善，但淡紫和深紫色块被恢复成为淡蓝和深蓝色，颜色失真度较高。DUIENet算法处理后的图像整体颜色不鲜明，各色块模糊不清，颜色信息恢复不彻底。FUnIE-GAN算法处理后图像同样模糊，颜色信息缺失，各色块间区分度极低。综合以上算法，经过本文算法处理后的色卡图像亮度明显提升，去雾效果突出，颜色信息恢复自然，不同色块间区分度高，色彩鲜艳且各色块与真实色卡颜色极为接近。

图7 颜色恢复实验结果(图像比例3.5∶1)

为进一步验证本文算法在不同环境下对水下图像的颜色校正和清晰化效果，在多种权威图库中选取不同色偏不同浑浊程度的水下图像，采用多种清晰化算法对此处理进行对比分析，实验结果如图8所示。

对比分析图8可知， Ancuti等[10]的融合算法在部分图像中恢复的纹理比较清晰，但是色彩加深使整体偏暗色调，不利于观察其中的图像信息，比如第六幅图像中的背景。CLAHE算法清晰化效果一般，多幅图像的恢复效果未达到理想状态，出现明显的失真，比如第一、二幅图片的绿色色调并未去除，颜色恢复错误。DehazeNet算法去除浑浊效果较为良好，处理图像细节较为清晰，但是图像亮度较低，部分细节未能正确恢复，比如第二幅和第四幅图像的左上角部分。DUIENet算法无法有效恢复图像的清晰度，且在此基础上第一、二和三幅图像出现大量红色伪影，第四、五和六幅图像引入了蓝色色调干扰。FUnIE-GAN算法整体图像偏暗黄色，并存在严重的雾化现象，细节皆不突出，如第一、第二和第四幅图像，无法正确恢复有效信息。

图8 不同水域环境实验结果(图像比例6∶1)

4.2 客观评价

由主观评价总结本文算法对于不同水域的模糊图像均能达到良好的清晰化效果。为更加客观准确的对算法性能进行评价，采用UCIQE和SURF两项指标对算法处理后图像作出评估，进而分析本文算法质量。UCIQE采用CIELab空间的色调和饱和度方差与亮度清晰度的加权组合测量彩色图像质量。

表1是图8中各水下图像清晰化算法对应的UCIQE评价值，其中加粗字体是经各算法处理后对应的最佳值。在第6幅图像中DehazeNet算法处理后的UCIQE值略高，但整体来看，本文算法稳定，在各类水域中的UCIQE值均高于其他算法，表现均为良好，经本文算法处理后的水下图像可以同时平衡色调、清晰度和饱和度。

表1 UCIQE 指标定量评价结果

最后，使用SURF进行特征点匹配测试，将算法处理前后的特征点匹配数目进行比较，判断算法处理效果，进而对算法性能作出评价。一般来说算法处理效果越好，特征点匹配数目越多。如图9为测试效果，相关数据为匹配点数目，实验结果表明，在相同特征相似度阈值条件下，所提算法可以匹配到更多的特征点，平均值超出退化图像36个匹配点，表明算法在后续特征匹配过程中应用效果皆佳。

图9 特征匹配实验结果(图像比例2∶1)

5 结论

水下成像环境复杂导致获取的图像产生雾化现象，颜色失真和对比度低。针对水下图像清晰化研究出现的此类问题，提出双透射率成像模型与Retinex融合的水下图像清晰化算法。

(1)采用基于双透射率模型的改进算法，有效提升成像模型的完整性，反演得到复原图像可有效解决雾化现象。提出改进的MSRCR算法，使用引导滤波核函数代替高斯滤波核函数来估计入射分量，可以保持图像边缘特性的同时解决水下图像色彩不平衡。引用自动色彩增强算法，水下图像对比度得到提升。

(2)求得三幅输入图像不同尺度的权重图反映图像的基本特征和必要信息。

(3)对输入图像构建的拉普拉斯金字塔和对权重图构建的高斯金字塔进行多尺度像素级融合，逐层重建获得最终精细化的水下图像。实验效果表明，本文算法可以有效地修正色彩不平衡，最大尺度地保留图像细节，解决水体以及水中杂质对水下图像带来的退化问题。