基于色彩均衡和图像融合的水下图像增强方法研究

毛慧琴

（北海职业学院，广西 北海 536000）

0 引言

与普通图像相比，水下图像由于光的传播衰减、吸收和散射等影响，呈现出较差的可见度，导致外观模糊和对比度下降。水深的变化导致合成波长被切割，因此颜色会褪色。许多学者基于传统方法在水下图像清晰化领域开辟了多种新的研究思路。文献[1]采用联合多通道均衡和多尺度融合，取得了有效的雾化改善和蓝绿外观修复。文献[2]通过色彩校正和暗通道先验处理色偏，采用基于蓝通道的通道标准比计算，对红、绿通道进行补偿，增强了图像的色彩。文献[3]采用改进的暗原色算法、直方图均衡化及双边滤波器增强图像对比度，提高水下图像的清晰度。然而，此类方法需要建立水下光学成像模型，通常要具备较多的数学和专业知识。文献[4]采用一种基于梯度先验的水下图像恢复方法，提高了信噪比、清晰度和对比度。由于水下条件的多样性，现有许多方法在实际应用中存在一定限制。基于此，本文介绍一种基于传统相机捕获的单个图像，通过融合多个输入图像，在校正对比度和锐化输入图像的白平衡版本的同时去除水下图像中的雾霾的方法，以提高水下图像的可用性。

1 本文算法

本文提出的算法流程如图1所示。该图像增强方法无须建立光学模型，而是通过结合白平衡和图像融合两个步骤来改善水下图像。在本文的方法中，白平衡阶段旨在消除水下光散射引起的色偏，产生自然的海底图像外观；图像融合增强场景边缘和细节，以减轻后向散射引起的对比度损失，实现无伪影的混合。

图1 本文算法流程

1.1 水下白平衡色彩校正

在水下环境中，由于水中悬浮杂质造成不正常散射以及光线穿过水分子时的反射和折射，水下成像光衰减根据光的波长而变化，不同波长的颜色失真程度不同。红色衰减最严重，其次是蓝色，最后是绿色。因为红色最容易被吸收，所以当人们深入水体时，图像呈现出绿蓝色的外观。白平衡的主要目标是消除水质对光线的吸收、外界自然光或各种照明而导致的色偏。FINLAYSON G D等人提出的“shades-of-Gray”方法[5]和WEIJER J V等人的灰边假设算法[6]尝试通过应用MINKOWSKIp范数来消除色偏。虽然这些方法在选择适当的参数时能够获得较好的结果，但对于极其浑浊的水下场景，传统算法通常表现不佳，难以有效地消除色偏，且常呈现偏蓝的外观。

相比较而言，灰度世界算法[7]能够较好地消除蓝色色调，但存在红色伪影。为了解决这个问题，本文尝试在高度衰减的区域对红色通道进行补偿，向红色通道中添加一小部分绿色。这种方法的优势在于通过仅使用绿色通道的信息，向红色中添加绿色和蓝色，可以更好地恢复整个色谱，同时保持自然的外观。本文将每个像素位置x处的补偿红色通道Irc表示为

式中：表示图像I绿色通道平均值，表示红色通道平均值，α=1，将每个通道动态范围上限归一化到区间[0,1]。本文用上述方法进行颜色补偿，再采用灰度世界算法有效均衡调节水下图像色差。因为红色通道得到了更好的平衡，有效减少了红色伪影。本文白平衡算法处理后的实验结果如图2所示。相对于传统的白平衡技术，本文的方法在恢复水下图像颜色色偏方面呈现出较好的视觉效果，显示出更高的稳健性。

图2 白平衡算法调整结果图

1.2 多尺度融合算法

尽管白平衡算法较好地改善了水下图像色偏问题，但由于场景的边缘和细节受到散色的影响，图像的整体对比度和边缘清晰度提升效果仍有待提高。因此，本文介绍了一种多尺度融合算法处理水下图像模糊性质的方法，在校正图像的基础上主要分两个步骤：第一个步骤，完成伽马校正处理后提升对比度的图像和锐化处理增强边缘细节后的图像的显著性权重和饱和度权重计算；第二个步骤，多尺度融合两个图谱计算后的权重得到增强图像，具体过程如图3所示。

图3 多尺度融合算法流程

1.2.1 边缘增强算法

在水深超过10 m的深水环境中，白平衡水下图像因为吸收的颜色难以完全恢复而显得过亮。本文对白平衡图像进行伽马校正以提升图像整体对比度，但会导致图像边缘细节丢失。因此，本文在白平衡图像上进行锐化处理以增强图像的边缘细节。具体做法是，将高斯滤波后的图像与白平衡图像混合，得到锐化图像S。

式中：I表示白平衡图像，G*I表示高斯滤波版本I，线性归一化算子N{·}使用定义的唯一移位和缩放因子对图像的所有颜色像素强度进行移位和缩放，以覆盖整个可用的动态范围。其优势在于不需要参数调整，并在锐化方面表现出良好效果。

1.2.2 显著性权重和饱和度权重

引入显著性权重WS以更好地突出水下场景显著性对象的特征，改善输出图像整体对比度。然而，显著性权重图偏向显示具有高亮度值的区域。本文根据突出显示区域的饱和度下降观察结果，引入一个附加的饱和度权重图。

饱和度分量反映了图像的色度信息，饱和度低的图像色彩暗淡[8]。在白平衡图像提升图像对比度的同时，也要考虑提升图像的饱和度分量以恢复图像色彩的丰富度。

对于每个输入图像Ik，该饱和权重WSat具体实现可表示为

式中：Rk、Gk、Bk分别是图像每个像素的颜色通道，Lk为第k个输入的亮度。

为进行后续的加权融合过程，对输入图像Ik获得的3个权重图WL、WS和WSat合并后归一化成一个总权重图。对于每个输入图像Ik，其总的归一化权重图为

式中：δ表示正则化系数，设置δ=0.1。

由归一化权重映射加权的输入与图像每个像素位置x处的权重测量融合获得重建图像R(x)，表示为

由于融合采用两个输入，故k=2。

1.2.3 多尺度分解和融合

本文采用了金字塔融合的方法实现水下图像的增强[9]。金字塔作为一种图像集合，底部由大尺寸的原图组成，越往上层，尺寸越小，因此金字塔的层级数直接影响图像融合视觉效果。在完成伽马校正处理后提升对比度的图像和锐化处理增强边缘细节后的图像的显著性权重和饱和度权重计算后，对归一化后的权重图进行高斯金字塔分解，对伽马校正和锐化边缘图像进行拉普拉斯金字塔分解。拉普拉斯金字塔分解基本步骤如下。首先，对金字塔的每层图像进行高斯低通滤波，进行上采样，即图像在每个维度上扩大为原来的两倍，然后用给定的滤波器卷积去估计丢失像素的近似值；其次，高斯金字塔本层图像与上层低通滤波上采样后的高斯金字塔图像进行差值运算，得到本层图像的拉普拉斯金字塔图像。以此方法类推，得到拉普拉斯金字塔的各层图像。

这里将层级数为N的金字塔，通过l个上采样后恢复出原始图像拉普拉斯金字塔表示为

经过高斯金字塔和拉普拉斯金字塔分解，得到了输入图像Ik归一化权重图的高斯金字塔Gl和其本身的拉普拉斯金字塔Ll，将具有相同层级的两种金字塔按照不同层级可采用不同融合算子的方式进行如式（7）所示的方法融合，得到的第l层融合金字塔，表示为

式中：k代表输入图像的数量，本文中k=2。最后，通过适当的上采样后，采用逐层重建的方式得到最终增强的水下图像。这种在每一层级上独立地采用融合的方法，有效地避免融合后的图像产生伪影，获得与人的视觉特性更接近的图像效果。

2 结果与讨论

本文所提出的水下去雾方法针对来自不同业余爱好者的真实水下图像进行了测试。本实验使用Matlab软件实现算法编程，处理器为Intel（R）Core（TM）i7-6700 CPU(3.4GHz)，16GB内存，操作系统为Windows10。本文融合算法的优势在于仅采用一组可自动设置的精简参数。其中，白平衡过程依赖于单个参数α，在所有实验中该参数均设置为1。对于多尺度融合，分解级别的数量取决于图像尺寸，被定义为使得最小分辨率的尺寸达到十分之几像素（例如，600×800图像尺寸为7级）。不同方法对水下退化图像的增强效果如图4所示。

图4 不同方法增强处理实验对比

表1使用3个指标进行定量评估，分别是基于补丁的对比度质量指数（Patch-based Contrast Quality Index，PCQI）[14]、水下彩色图像质量评价（Underwater Color Image Quality Evaluation，UCIQE）[15]、和水下图像质量测量（Underwater Image Quality Measure，UIQM）[16]。PCQI是通用图像对比度度量，数值越大表示图像对比度越好；UCIQE利用色度、饱和度和对比度的线性组合进行定量评估，分别量化不均匀色偏、模糊和低对比度，数值越大表示图像整体恢复的质量越好；UIQM综合考虑了水下图像的色彩度、清晰度和对比度3个关键标准，数值越大越符合人类视觉效果。

表1 基于PCQI、UCIQE和UIQM指标的水下去雾评估

由表1可以看出，文献[1]图像的各项指标均值都小于其他算法，恢复的水下图像并不理想，但在改善图像蓝绿外观上略有色偏，部分场景图像的局部亮度提升略高；文献[10]针对自然水域下的图像，在图像亮度、对比度方面较好地恢复了水下图像的细节，部分图像UIQM数值偏低，表现出蓝色图像恢复稍低于其他对比方法；文献[11]UIQM数值高于文献[10]方法，在恢复图像色彩、不均匀亮度消除和边缘保留方面有较好的效果，UCIQE数值偏低，浑浊水下图像处理效果欠佳；文献[12]较好地还原图像颜色，增强了水下图像的细节，UCIQE数值不太理想，图像饱和度偏低，视觉效果上有所欠缺；文献[13]有效还原水下图像的细节，图像特征更清晰，部分图像UIQM数值偏低，有图像变暗的问题。就评估参数PCQI、UCIQE和UIQM平均指标值而言，本文方法在指标上表现出相似或更高的数值，尤其是PCQI取得了较高的数值，表明本文的方法能够显著增强不同场景的水下图像全局对比度、颜色和图像结构细节，有良好的视觉效果。

3 结语

本文介绍了一种建立在融合原理基础上的水下图像增强方法，除了单个原始图像之外不需要额外的信息。实验证明，本文的方法能够以高精度增强各种水下图像，包括不同的相机、深度和光照条件，同时能够恢复重要的褪色特征和边缘。但是在远离相机的水下场景区域，图像的颜色并不能完全恢复，总会保留一些雾度。未来仍需对此进一步研究。