水下图像增强方法综述

邓 晶

（福州大学 先进制造学院，福建 泉州 362200）

0 引 言

探索和利用海洋，已经成为各个国家的战略焦点。近年来，水下视觉在海洋军事、海洋科学研究和工业领域发挥着越来越重要的作用。目前，有很多设备可用于水下作业，如自主水下航行器和水下机器人等。然而，由于光吸收、散射和水质的影响，水下设备拍摄获得的水下图像通常存在颜色失真、模糊不清、细节丢失等问题。水下图像增强算法是水下设备完成水下任务的重要支撑，对提高水下作业效率至关重要。传统的水下图像增强通常采用无模型的增强方法[1]和基于物理模型的增强方法[2]。基于无模型方法多采用图像像素调整来提高图像的视觉效果，然而它们忽略了水下图像成像机制，不能适用于水下环境。基于物理模型的增强方法依赖于模型的先验方法，然而，由于水下环境的复杂性，单个物理模型难以反映真实水下环境，参数估计具有挑战性。得益于神经网络强大的非线性建模能力，深度学习在水下图像增强领域做出了突出贡献[3]，是一个值得探索的方向。

1 水下图像增强存在的问题及应用

由于水对光具有吸收作用，光在水中传播会发生能量的衰减。通常情况下，波长与衰减速度成正比。与蓝色和绿色光相比，红色和橙色波长的光被水更快地吸收，因此水下图像通常以蓝绿色调出现。如图1所示，红光在水下5 m已经完全被吸收。光在水中会发生散射效应，这将导致一部分光不能被成像设备所收集。此外，水中的悬浮粒子也容易发生散射。研究水下图像增强仍然是一项具有挑战性的任务，对于水下目标识别、提高水下目标检测精度等具有重大意义。

图1 水下光吸收示意图

常见的水下成像模型源自JAFFE[4]模型，如下所示：

式中：Ic和Jc分别是观察到的要恢复的退化图像和清晰图像，c表示颜色通道，Ac是环境光，d(x)表示场景深度，βc表示散射系数。其中环境光Ac和传输参数e-βcd(x)未知。依赖于波长的衰减会导致颜色失真，颜色失真会随着对象距离的增加而增加，而散射会导致场景上依赖于距离的附加分量，从而降低对比度。

水下图像增强是提高水下图像视觉质量不可或缺的一步。根据水下图像增强方法是否涉及深度学习技术，可以将水下图像增强分为传统的水下图像增强和基于深度学习的水下图像增强两类，具体分类如图2所示。

图2 水下图像增强分类图

2 传统的水下图像增强

根据是否使用水下图像成像模型，传统的水下图像增强模型分为非物理模型增强和基于物理模型增强两类。

2.1 非物理模型增强

非物理模型的方法无需建立水下图像成像模型，采用传统的图像增强方法，通过调整图像的像素值来提高图像质量，如直方图均衡化[5]、白平衡[6]以及像素分布调整[7]。ANCUTI等人[8]对原始水下图像进行预处理，得到经过颜色校正和对比度增强的水下图像，然后提出了一种多尺度融合策略，以获得高质量的水下图像。随后，ANCUTI等人[9]进一步改进了基于融合的水下图像增强策略，提出将基于多尺度融合策略的白平衡算法得到的两个版本进行融合。此外，文献[10]、文献[11]基于Retinex理论，FU等人[10]提出了一种基于Retinex理论的水下图像增强方法，该方法包括颜色校正、层分解和增强等操作，ZHANG等人[11]提出了一种基于视网膜的扩展多尺度UIE方法，在CIELAB颜色空间中处理水下图像。ANCUTI等人[12]在2019年提出了一种颜色通道补偿（3C）方法，根据对立的颜色通道重建丢失的通道，有效地增强了颜色的外观。最近，ZHANG等人[13]提出了通过最小颜色损失和局部自适应对比度增强的水下图像增强方法，根据最小颜色损失原则结合融合策略调整图像的颜色和细节，引入色彩平衡策略来平衡CIELAB色彩空间中的颜色差异，增强的结果具有鲜艳的色彩、改进的对比度和增强的细节。尽管这些无物理模型的方法可以在一定程度上提高视觉质量，但它们忽略了水下成像机制，不能适应水下环境，因此往往会产生过度/不足增强的结果或引入人工色彩。

2.2 基于物理模型增强

基于物理模型的方法将水下图像增强视为图像退化的逆问题。这些方法通常先建立一个物理的水下图像退化模型，然后根据各种先验假设估计未知的环境光模型参数和传输参数。最后，通过反演这一退化过程，可以得到高质量的图像。这些先验包括红色通道先验[14]、水下暗通道先验[15]、最小信息先验[16]、模糊先验[17]、一般暗通道先验[18]等。PENG和COSMAN[17]提出了一种基于图像模糊和光吸收的水下图像深度估计算法。根据估计的深度，基于水下成像模型可以恢复清晰的水下图像。PENG[18]进一步提出了在处理恶劣天气下拍摄的不同图像之前对暗通道的概化。WANG等人[19]开发了一种最大衰减识别方法（MAI），仅利用红色通道信息生成深度图和大气光。SONGET等人[20]提出了一个统计模型，利用背景光和传输图的优化提高水下图像的颜色和对比度。上述基于物理模型的方法往往需要先验知识，而图像增强的质量取决于参数估计的准确性。然而，由于水下环境的复杂性，单个物理模型难以反映真实水下环境，参数估计具有挑战性。

3 基于深度学习增强

最近，通过学习大量成对数据，神经网络可以实现对复杂非线性系统的端到端建模，从而提高感知图像的质量。目前，深度学习技术如卷积神经网络（Convolutional Neural Networks，CNN）和生成对抗网络（Generative Adversarial Networks，GAN）已在水下图像增强领域发挥了重要的作用，各种基于深度学习的增强网络被提出。

3.1 基于卷积神经网络的水下图像增强

UIE-Net[22]由两个完全卷积神经网络组成，用于学习颜色校正和去除雾霾任务，代表了使用CNN增强水下图像的开创性工作。CAO等人[23]分别提出了5层卷积神经网络和多尺度深度网络来估计背景光和场景深度。HOU等人[24]提出了一种水下残差网络来联合优化传输和校正颜色。2019年，LI等人[25]提出根据不同的水体类型模拟真实的水下图像，建立水下成像物理模型，利用10种合成的水下图像，训练10种水下图像增强（UWCNN）模型。每个UWCNN模型对对应类型的水下图像进行增强。之后，2020年，LI等人[26]收集了一个真实的水下图像配对数据集用于训练深度网络，并提出了一种门控融合网络Water-Net来增强水下图像。该门控深度模型需要三幅预处理图像作为门控网络的输入，包括Gamma校正图像、对比度改进图像和白平衡图像。最近，LI等人[27]又提出一种多颜色空间编码网络，通过将不同颜色空间的特征融合到一个统一的结构中，丰富了特征表示的多样性，同时设计及一个介质传输的解码器网络，以增强网络对质量退化区域的响应，有效地提高了水下图像的视觉质量。

3.2 基于生成对抗网络的水下图像增强

LI等人设计的WaterGAN[28]是最早的基于GAN的水下图像增强尝试，利用WaterGAN和图像形成模型来合成退化/干净的图像进行监督学习，包括深度估计模块和颜色校正模块。在循环一致对抗网络CycleGAN[29]的启发下，为了避免对成对训练数据的要求，LI在文献[30]中提出了一种弱监督的水下色彩校正网络（UCycleGAN）。GUO等人[31]使用多尺度密集生成对抗网络（MDGAN），利用密集连接、残差学习来提高水下图像增强的鲁棒性。考虑到运行效率，ISLAM等人[32]提出了一种基于条件GAN的实时水下增强方法，称为FUnIEGAN。为了使增强的图像有利于检测，CHEN等人[33]提出了两种感知增强模型，每一种都使用带有检测感知器的深度增强模型，检测感知器以梯度的形式提供反馈信息，以指导增强模型生成视觉上令人愉悦或检测有利的图像块级别。

4 总结与展望

非物理模型的水下图像增强采用传统的图像增强方法，主要通过调整图像像素达到提高图像质量的作用。但是由于没有考虑水下环境，不能适用于水下图像增强。基于物理模型的水下图像增强利用水下图像成像模型，根据先验假设估计未知参数，然而参数估计具有挑战性，单个物理模型不能反映水下环境的复杂性。随着深度学习的迅速发展，其在解决水下图像增强方面已经取得了很大的成果。但是由于水下图像受到水体温度、类型及地理位置的影响，目前的水下图像增强算法大多对于训练图像具有选择性。基于深度学习的增强方法通过学习成对数据实现端到端的建模，训练的效果严重依赖于给定的训练数据。因此，通过半监督、自监督等深度学习的方法非常有必要开展，能够减少增强效果对训练数据的依赖，提高算法的鲁棒性。

5 结 语

水下图像增强作为水下作业的低级视觉任务，在水下目标检测、跟踪等方面起着重要作用。在深度学习快速发展的今天，其已成为学术界研究的热点之一。本文首先介绍了水下图像增强的特点及应用，其次讨论了水下图像增强方法的分类。最后，本文对现有增强方法进行了总结，并结合深度学习方法，展望了水下图像增强未来的发展方向。