融合显著性信息的水下图像清晰化算法

王朝宇，郭继昌，王天保，郑司达，张 怡

(天津大学 电气自动化与信息工程学院，天津 300072)

水下图像广泛应用于海洋能源勘探、生态监测、生产养殖、救援追踪和军事防卫等领域。由于水介质对光的选择性吸收和水中微粒的散射效应，水下图像通常存在细节模糊、对比度低和颜色失真的缺陷。水下环境的特殊性导致水下图像质量下降，这不利于人眼的观测和直接获取信息。针对水下图像颜色失真和对比度低的问题，水下图像清晰化研究具有重要意义。

根据是否基于成像模型，水下图像清晰化方法可以分为复原方法和增强方法。复原方法一般基于水下成像模型，通过逆运算恢复原始图像。针对光在水中选择性衰减的特性，文献[1]提出水下暗通道先验(Underwater Dark Channel Prior，UDCP)算法，仅依据绿色和蓝色通道的先验信息估计背景光。文献[2]基于最小信息损失原理估计水下成像模型，并根据直方图分布先验增强图像对比度，有效恢复了细节信息，但在颜色校正方面存在不足。增强方法通常不考虑图像的退化原因，可采用图像处理技术提升视觉质量。针对水下的色偏问题，文献[3]在 RGB和 HSI 颜色空间对水下图像进行直方图拉伸，有效去除色偏，但结果图的对比度较低。文献[4]对光照均匀的前景进行同态滤波，提高了对比度，但算法鲁棒性较差。文献[5]基于颜色平衡和多尺度融合对水下图像进行增强，提高了算法的准确性和鲁棒性，但光照不足会带来颜色失真问题。

复原方法采用理想化的水下成像模型、假设条件和局限的先验知识，有较低的准确性和鲁棒性。增强方法通常仅调整局部或全局的像素，忽略了图像退化的本质和复杂性，可能会使图像失真。现有的水下图像清晰化算法通常进行全局一致的清晰化，而水下图像的前景和背景在细节和颜色方面的失真程度不同。当显著区域的色偏被充分去除时，背景的色偏可能未被完全去除。

针对上述问题，笔者提出一种融合显著性信息的水下图像清晰化算法，依据显著性信息对水下图像进行分区域的颜色校正。显著图可以凸显出场景中引人注目且包含一定语义信息的显著区域，借助这一优势对水下图像进行分区域、有针对性的增强，在保留前景目标细节信息和原始颜色的同时，可以去除背景光带来的图像色偏。在结合水下成像模型进行水下图像的初步清晰化的基础上，融合多尺度超像素分割和多层元胞自动机进行水下图像的显著性检测，并根据显著性信息进行分区域有针对性的颜色校正。这种算法可有效去除图像色偏，并增强图像的局部对比度。

1 相关基础

1.1 简化的水下光学成像模型

根据大气成像模型，相机捕获的光由直接传输分量、前向散射分量和后向散射分量组成。直接传输分量指场景反射光中未发生偏折直接被相机接收的部分；前向散射分量指场景反射光中遇微粒而小角度散射被相机接收的部分，可忽略不计；后向散射分量指环境光中遇微粒发生散射被相机接收的部分，引起雾状效应，降低图像的对比度。图1为大气成像模型的示意图。

图1 大气成像模型

由于光在水介质中的选择性衰减，在大气光散射模型基础上，水下成像模型将R(红)、G(绿)、B(蓝)三通道分离，基于三通道的波长关系估计透射率。简化的水下成像模型的表达式为

Ic=Jctc+(1-tc)Ac，c∈{r，g，b} ，

(1)

其中，Jc表示场景反射光，为预期的复原图像；tc表示透射率，反映光的衰减程度，与水质、波长和景深有关；Ac表示背景光；c表示选择的颜色通道；r、g、b分别表示红、绿、蓝3个通道。

1.2 线性迭代聚类超像素分割和背景先验知识

超像素表示由相似纹理、颜色、亮度等特征的相邻像素构成的像素块，用少量的超像素代替大量的像素来表达图片特征，很大程度上降低了图像后续处理的复杂度。

线性迭代聚类(Simple LinearIC，SLIC)[6]算法将图像分割成超像素，其主要思想为：首先，将M×N大小的图像均匀分割成K个大约包含(M×N)/K个像素，长和宽约为S=((M×N)/K)1/2的超像素，计算每个超像素在Lab颜色空间和位置坐标空间的特征向量和中心点，将处于像素突变位置的中心点移至邻域中最小梯度值处；进行k均值聚类，在每个中心点的2S×2S邻域内，计算各像素点到中心点的欧式特征距离，将每个像素点分配给最近的超像素块，更新中心点，重复迭代，直至超像素不再改变。

由于目标区域通常远离图像边缘，基于背景先验的显著性检测算法[7]，将边界作为背景区域，根据背景与前景区域的相关性计算显著图。水下图像场景复杂，图像边界区域通常为背景，但也偶尔存在前景目标，可以在边界区域根据饱和度、色调和局部对比度信息筛选背景。

2 基于显著性信息的水下图像清晰化算法

针对水下图像颜色失真和对比度低的问题，笔者提出了一种基于显著性信息的水下图像清晰化算法。首先，基于水下成像模型进行水下图像的初步清晰化。同时，对水下图像进行显著性检测，获得一个在区间[0，1]上连续分布的显著图。最后，在Lab颜色空间中依据显著性信息对水下图像进行分区域的颜色校正。图2为文中算法框图。

图2 文中算法框图

首先，使用基于四叉树分割的分层搜索算法估计背景光，计算透射率，对水下图像进行初步清晰化；同时，对水下图像进行简单的SLIC超像素分割，在边界区域进行k均值聚类，根据饱和度和对比度信息提取边界背景区域，并根据各超像素与边界背景的特征相似度构建全局距离矩阵，并对全局距离矩阵进行更新，再使用多层元胞自动机合成最终的显著图；最后，依据显著性信息对各超像素进行不同程度的颜色校正，并通过局部自适应直方图拉伸亮度值，提高局部对比度。

2.1 水下图像的初步清晰化

针对水下图像细节模糊的问题，使用基于四叉树分割的分层搜索算法估计背景光，结合简化的水下成像模型，计算三通道的透射率图，进行初步清晰化，增强图像的细节信息。

为避免高亮度物体的影响，文献[8]提出基于四叉树分割的分层搜索算法估计背景光，其主要思想为：首先，将图像均匀划分为4个矩形区域，将各区域的平均像素值和标准差的差值作为分数值；然后，选择分值最高的区域，将其再分为4个较小的矩形区域，重复此过程，直到所选区域的大小小于指定阈值；最后，将选定区域中亮度最大的像素值作为大气光。该算法处理雾天图像准确率较高，但不适于水下图像。根据光在水中选择性衰减的特性，再根据亮度值的平均值与标准差的差值选定矩形区域，并将目标区域中蓝通道与红通道比值最大处的像素值作为背景光，避免了图像中白色物体的干扰，可以得到较为准确的水下图像背景光。

完成背景光估计后，根据简化的水下成像模型，计算水下图像的透射率图，由式(1)推导，得到初始透射率t=1-Idark/Adark。为了得到更加自然的图像，引入去雾系数ω，保留少量的模糊。同时，针对暗通道先验带来的块效应问题，对初始的透射率图进行导向滤波，保留图像的边缘细节信息，得到细化的透射率图t0的表达式为

t0=fGuid(1-ωIdark/Adark) ，

(2)

其中，fGuid(·)表示导向滤波算法；ω表示去雾系数，取值为0.95；Idark表示原图的暗通道图，即逐像素选取；Adark表示背景光的暗通道图。

光在水中传播时，会随波长发生不同程度的衰减。依据输入图像R、G、B三通道的p范数和像素值的比例关系对细化的透射率图进行更新，即

tc=t0gc(‖Ic‖pIb)/(‖Ib‖pIc)，c∈{r，g，b} ，

(3)

其中，‖Ic‖p表示c通道的p范数，gr=0.058，gg=0.052，gb=0.5，p=0.6。

为避免透射率过小而导致复原图像亮度过强，将R、G、B三通道的透射率最小值设为0.05。根据简化的水下成像模型表达式(1)，对水下图像进行复原，即

Jc=(Ic-Ac)/max(tc，0.05)+Ac，c∈{r，g，b} 。

(4)

2.2 水下图像的显著性检测

针对水下图像的色偏问题，依据显著性信息对水下图像进行分区域的去色偏处理，实现颜色校正。因为边界部分为背景区域的概率较大，所以在图像边界处选取背景区域，并依据超像素与边界背景区域的特征相似度计算全局距离矩阵，然后使用多层元胞自动机整合生成显著图。

2.2.1 计算全局距离矩阵

对图像进行初步清晰化后，进行多尺度的SLIC超像素分割[9]，将超像素数分别设为300、500和800，获得3个尺度的超像素分割结果。然后，对边界区域的超像素进行k均值聚类，根据Lab特征将边界区域的超像素聚为6类。由于水下图像的边界区域通常为对比度小、细节模糊且呈蓝绿色调的背景区域，本节在边界区域根据聚类的对比度和饱和度大小提取背景区域。将聚类所包含像素的饱和度的平均值作为聚类的饱和度值，Bk为第k个聚类Ok的饱和度，可表示为

Bk=mean(b(x，y))，(x，y)∈Ok，

(5)

其中，像素(x，y)的饱和度b(x，y)的表达式为

b(x，y)=max(Ic(x，y))-min(Ic(x，y))，c∈{r，g，b} 。

(6)

在像素(x，y)的邻域Ω(x，y)内，分别计算R、G、B各通道的最大像素差值，将三通道中的最大值作为该像素的局部对比度：

r(x，y)=max(Ic(p，q))-min(Ic(p，q))，(p，q)∈Ω(x，y)，c∈{r，g，b} 。

(7)

对式(7)进行归一化，可得

r*(x，y)=0.95(r(x，y)-min(r(x，y)))/(max(r(x，y))-min(r(x，y)))+0.05，(x，y)∈Ok，

(8)

其中，r(x，y)和r*(x，y)分别表示像素(x，y)的归一化前后的局部对比度，Ok表示聚类k。

随着景物到镜头距离的增大，局部区域趋于平滑，局部对比度相应减小，可根据局部对比度估计图像的相对深度。参考透射率与深度之间的指数关系，计算相对深度d(x，y)：

d(x，y)=-ln(r*(x，y))/β，

(9)

其中，系数β取0.024 5。计算归一化的相对深度d*(x，y)为

d*(x，y)=0.8(d(x，y)-min(d(x，y)))/(max(d(x，y))-min(d(x，y)))+0.1，(x，y)∈Ok。

(10)

将聚类k中像素相对深度的平均值作为聚类k的相对深度Dk，可表示为

Dk=mean(d*(x，y))，(x，y)∈Ok，

(11)

根据聚类k的饱和度和相对深度大小，判断其是否属于背景，即

(12)

其中，参数vk表示聚类k的背景属性，φk=1表示聚类k被选定为背景；φk=0表示聚类k没有被选定为背景。计算全局距离矩阵时，仅参考φk=1的边界背景区域。饱和度阈值BThreshold和相对深度阈值DThreshold分别根据图像饱和度和相对深度的整体情况设定，用于选定背景区域。

(13)

(14)

(15)

其中，pk表示聚类k的超像素数，‖ci，cj‖和‖ri，rj‖2表示超像素i和j在颜色空间的L1范数和位置空间的L2范数。将相邻单元及与相邻单元相邻的单元作为邻域。利用影响因子矩阵F*和相关系数矩阵C*更新全局距离矩阵[10]，同步更新规则f：Snb→S，如下所示：

St+1=C*St+(I-C*)F*St，

(16)

其中，St和St+1分别表示第t次和第t+1次迭代后的全局距离矩阵，I表示同尺寸单位矩阵。

2.2.2 多层元胞自动机整合生成显著图

使用OTSU算法生成自适应阈值，对M个全局距离矩阵进行迭代更新，并使用多层元胞自动机(Multi-layer Cellular Automata，MCA)整合生成显著图。

(17)

迭代更新N次后，对M层显著图进行整合，得到最终显著图SN为

(18)

2.3 基于显著性信息的颜色校正

现有的水下图像清晰化算法可以恢复图像的细节，但在颜色修正方面有所欠缺。水下图像清晰化存在3类问题：① 背景绿色色偏严重；② 背景蓝色色偏严重；③ 局部亮度的对比度过小。本节对初步清晰化后的水下图像进行颜色校正和对比度增强。

水下图像的显著图的显著区域和背景区域在对比度、色调上有显著差别。显著区域一般是较清晰的目标物且色偏较弱；背景区域通常为海域、平坦的泥沙海底或模糊不清的物体，通常色偏较强。为了针对性地处理色偏问题，结合图像的显著性信息对水下图像分区域进行颜色校正。

对比颜色分布不均的RGB色彩模型，基于人眼生理特性Lab色彩模型具有设备无关性和色域广阔的优势，可保留宽阔的色域和丰富的色彩。在Lab颜色空间上去除色偏[11]，根据全局显著性信息将水下图像分为细节特征丰富、蓝绿色偏较弱的显著区域和细节模糊、蓝绿色偏较强的背景区域[12]，分区域对Lab颜色空间的各通道进行针对性处理，改善了图像的色调、亮度和对比度。

针对背景蓝色色偏问题，根据Lab颜色空间的b通道值进行颜色校正。当b通道值过小时，图像整体色调偏蓝，算法通过提升背景区域的L通道值，提高背景的亮度和透明度，缓解蓝色的过饱和现象，使水下图像的视觉效果更自然。根据b通道值设定色偏校正参数u的值，融合图像的显著性信息处理L通道值，对水下图像进行分区域的颜色校正。具体算法可表示为

(19)

其中，IL(x，y)表示像素(x，y)在Lab颜色空间的亮度值，S(x，y)表示像素(x，y)的显著性值，AL表示背景区域的亮度。

针对绿色色偏问题，根据Lab颜色空间的a通道值大小，判定图像的绿色色偏程度。a值越小，图像越倾向于绿色色调。依据a通道值的大小设定色偏校正参数v，通过调整a通道值调整图像整体色调，降低绿色的占比，提高红色的占比，以去除绿色色偏[13]。根据像素绿色通道值与蓝色通道值的比值大小，自适应调节去色偏力度。当图像的蓝通道值明显大于绿通道值时，减小a通道值的提升幅度，避免颜色失真(图像整体色调偏红或偏紫)。具体算法可表示为

(20)

其中，参数σ设为1.2，IA(x，y)表示像素(x，y)在Lab颜色空间的a通道值，|AA|表示背景在Lab颜色空间的a通道值的绝对值，S(x，y)表示像素(x，y)的显著性值，Ig(x，y)和Ib(x，y)表示像素(x，y)在R、G、B颜色空间的绿通道值和蓝通道值，根据像素的a通道值的大小设置参数v。

针对图像对比度过小的问题，对L通道进行局部自适应直方图拉伸，提高局部对比度，增强细节信息，并恢复图像的结构信息[14]。

3 实验结果与分析

实验环境为MATLAB R2020b，Windows 10操作系统。设备型号为Intel(R) Core (TM) i7-7700HQ CPU @2.8 GHz，8 GB。实验数据集选用UFO-120[15]中的1 500张水下图像，从主观评价和客观评价两方面，将文中算法与近几年经典的水下图像清晰化算法UDCP[1]、GBdehazingRCorrection[16]、文献[2]、IBLA[17]、ULAP[18]、RGHS[19]和Water-Net[20]进行对比。主观评价从人眼视觉效果上评估图像的清晰化效果，客观评价采用常用的水下图像质量评价指标局部块对比度(Patch-based Contrast Quality Index，PCQI)、熵(Entropy)、无参考质量评价指标UIQM和水下图像质量评价指标UIQUE评估算法性能。

3.1 主观评价

实验采用真实的水下图像进行主观比较，图3 给出了文中算法与8种经典的水下图像清晰化算法对5张水下图像的处理结果。在视觉效果方面，文中算法在图像的颜色校正和对比度提升上有明显优势。观察图3可以发现，有些算法的结果图出现了色偏，可能是大气光的估计存在偏差，例如文献[1，16]；有些算法的部分结果图出现颜色过饱和或局部过亮、过暗的现象，可能与透射率估计的偏差有关，比如文献[2，17-18]；有些算法可以恢复图像的细节信息，显著提高图像的清晰度和对比度，但不能去除图像的蓝绿色偏，比如文献[19]；有些算法可以去除图像色偏，但部分结果图依然呈雾状，比如文献[20]。对比其他算法，文中算法有效地校正了图像的蓝绿色偏，提升了图像的细节和对比度，说明基于显著图可去除色偏，并保留图像的细节。

图3 算法结果对比图

3.2 客观评价

图像清晰化的目的是增强图像的对比度和清晰度以及校正图像的颜色和恢复细节特征。选用PCQI、Entropy、UIQM和UCIQE来量化算法性能。PCQI表示为每个局部块中平均强度、信号强度和信号结构的乘积。PCQI越大，说明图像局部对比度越大。Entropy为图像的平均信息量，表示图像的清晰度。UIQM[21]为图像的色彩分量 UICM、清晰度分量 UISM 和对比度分量UIConM的线性组合，表示图像的视觉质量。UCIQE[22]将色度、饱和度和对比度进行线性组合，量化水下图像非均匀颜色偏差、模糊度以及对比度。表1为8种算法对1 500张水下图像的处理结果。

由表1的实验结果可得，文中算法在PCQI、熵值(Entropy)、UIQM、UIConM和UISM指标上，优于其他算法。PCQI值越大，说明图像的局部对比度越大；Entropy值越大，说明图像保留的细节信息越丰富；UIQM值越大，说明图像的整体质量越高；UIConM值越大，说明算法在对比度提升方面越有明显优势；UISM值越高，说明算法的处理结果越清晰。同时，文中算法去除了水下图像的蓝绿色偏和颜色过饱和现象，输出图像颜色更加自然。虽然其他对比算法的UICM值较高，但分析发现这些图像的颜色过饱和、视觉效果不自然。文中算法的UICM 值和UCIQE值较低，但图像的蓝绿色偏和过饱和现象可得到有效去除，图像颜色更加自然。综上所述，该算法在去除色偏以及提高对比度和清晰度方面具有明显优势，且处理后图像颜色更加自然。

表1 对比实验客观指标

表2和表3分别反映了色偏校正参数u和v的大小对算法性能的影响。表2中，色偏校正参数v取V，u分别取4、8、12、14、16。当u取值接近12时，实验结果的客观指标最好。当u=U时，实验结果得到提升。表3中的色偏校正参数u取8，v分别取3、6、9、12、15。当v取值接近12时，实验结果的客观指标最好。当v取V时，实验结果得到提升。通过对比分析实验结果的客观指标，发现了参数u、v的取值对算法性能和结果的影响。当参数u、v取值位于适宜范围内时(取值在12附近)，实验结果较好。对参数进行适当的分段取值，可以进一步提升算法的性能。

表2 色偏校正参数u的设置对算法性能的影响

表3 色偏校正参数v的设置对算法性能的影响

表2中的v设为8，表3中的u设为U。当u=U或v=V时，参数u或v设为可变参数，而非常量。根据a通道值的大小，u分别取8、12和16，v分别取3、4、5、6、11和15。

3.3 消融实验对比

本小节进行相关的消融实验及分析，验证了基于显著性信息进行颜色校正可提高算法性能。图4 为进行颜色校正前后的对比图，表4为消融实验的客观指标。

(a) 颜色校正前 (b) 颜色校正后

表4 消融实验客观指标

经比较发现，颜色校正后水下图像的PCQI、Entropy、UIQM、UIConM、UISM和UCIQE均得到提升。这说明，基于显著性信息进行颜色校正可以提升图像的清晰度和局部对比度，恢复图像的细节信息。同时，算法去除了图像色偏和颜色过饱和现象，降低了UICM值的大小。这证实了基于显著性信息对图像分区域进行颜色校正的优势，在保留前景细节信息的同时，有效去除图像的背景色偏，提升了图像的整体质量。

4 结束语

针对当前水下图像清晰化在颜色校正和对比度增强上面临的挑战，笔者提出了一种基于显著性信息的水下图像清晰化算法。融合多尺度超像素分割和多层元胞自动机进行显著性检测，并根据显著性值的大小在Lab颜色空间对水下图像进行分区域的颜色校正处理。与近几年经典的水下图像清晰化算法相比，所提算法可有效去除水下图像的蓝绿色偏，增强对比度，且处理后图像的视觉效果更自然。对比全局一致的水下图像清晰化算法，该算法依据超像素的显著性大小进行分区域处理，具有针对性和自适应性。水下图像的显著图比深度图更易准确估计。因此，基于显著性信息进行水下图像的清晰化研究有广阔的发展空间。