基于积极概率分布引导的水下图像增强网络

摘" 要： 针对水下环境复杂多变，导致现存算法难以稳定恢复水下退化图像的问题，文中提出一种基于积极概率分布引导的水下图像增强网络，该网络通过构建积极样本概率引导框架，从混合样本中估计其特征概率分布来引导网络恢复退化图像。首先，提出多分支信息提取架构获取输入特征的多空间特征，并分别在空间、像素、通道等方面增强图像特征分布；其次，结合条件变分自动编码器与自适应实例归一化获取特征分布，并改进现有风格迁移算法增强图像颜色与对比度；最后，结合多项损失函数进一步增强网络的鲁棒性，提高图像质量。实验结果表明，所提方法输出图像色泽清晰、颜色均衡，在多个数据集上的定性定量指标均优于对比的经典和新颖算法，对真实海洋工作具有重要意义。

关键词： 水下图像增强； 概率分布； 条件变分自动编码器； 自适应实例归一化； 注意力机制； 色偏校正

中图分类号： TN911.73⁃34； TP391.41" " " " " " " " " "文献标识码： A" " " " " " " "文章编号： 1004⁃373X（2024）23⁃0015⁃07

Underwater image enhancement network based on guidance of

positive probability distribution

ZHU Lizhong1， WANG Yaxin1， GUO Baoren2

（1. School of Automation and Electrical Engineering， Shenyang Ligong University， Shenyang 110159， China;

2. Northeast Branch of Huadian Electric Power Research Institute Co.， Ltd.， Shenyang 110167， China）

Abstract： The underwater environment is complex and changeable， which makes it difficult for the existing algorithms to restore the degraded underwater images stably， so an underwater image enhancement network based on the guidance of positive probability distribution is proposed， that is， by constructing a probability guidance framework of positive samples and estimating their characteristic probability distributions from mixed samples， the network is guided to restore the degraded underwater images. Firstly， a multi⁃branch information extraction architecture is proposed to obtain the multi⁃spatial features of input features， and enhance the image feature distributions in the aspects of space， pixels and channels. Secondly， the feature distribution is obtained by combining conditional variational autoencoder （CVAE） with adaptive instance normalization， and the existing style transfer algorithm is improved to enhance image color and contrast. Finally， the robustness of the network and the image quality are further improved by combining multiple loss functions. The experimental results show that the output image of the proposed method has clear and uniform color， and its qualitative and quantitative indicators on several data sets are superior to those of the classical and novel algorithms， so it is of great significance to real transactions of marine.

Keywords： underwater image enhancement; probability distribution; CVAE; adaptive case normalization; attention mechanism; color cast correction

0" 引" 言

图像作为机器视觉及其工程领域传递信息的主要载体，其质量对工作效率产生直接影响[1]，例如在水下目标检测、路径规划、海洋勘探等工作中，由于水体对光线的吸收和散射，直接获取的图像往往会出现不同程度的失真，进而降低海洋工作的整体效率。因此，致力于增强水下退化图像对推动水下工程发展具有极其重要的现实意义。

现阶段，水下图像增强方法即基于物理模型的传统水下图像复原方法和基于深度学习网络的水下图像增强算法[2]。其中，传统方法大多通过水下暗通道先验、最小信息先验、颜色衰减先验等方法来估计水下物理成像模型对应参数，并反演计算出清晰图像。例如，文献[3]提出一种混合水下图像矫正方法，该方法首先设计一种颜色校正方法来消除色偏问题，然后利用全局背景光估计和回归模型算法计算模型参数，结合水下成像模型恢复清晰图像。文献[4]提出一种基于背景光统计模型和透射图优化的水下图像增强方法，首先通过使用暗信道和水下衰减先验来估计传输图和背景光，然后通过得到的参数计算清晰图像，最后引入白平衡方法进一步提高其质量。文献[5]提出一种基于水下场景特征先验的水下图像增强算法，即通过退化图像的色调、亮度等特征估计背景光，并加入红通道补偿算法进一步修复透射图来获取清晰图像。虽然传统算法可以根据坚实的理论基础来缓解水下图像的退化问题，但上述先验理论难以标准拟合实际水下成像过程，导致其鲁棒性和泛化能力较差。

深度学习方法则大多借助其强大的特征学习能力来完成水下图像增强任务。例如，文献[6]提出了一种基于双色空间的卷积神经网络，即通过将退化图像的RGB和HSV色彩空间集成在卷积神经网络中进行训练，使其获得增强水下退化图像的能力。文献[7]提出了一种基于双层结构推断模型的水下图像增强网络，即通过分层处理退化图像的语义域、梯度域和像素域来增强特征图像，并引入一种超参数优化方案融合特征图像来输出清晰图像。文献[8]提出一种基于多尺度密集生成对抗网络的水下图像增强网络，该网络首先设计了一种多尺度密集残差块来学习退化图像特征，然后结合生成对抗网络提高其增强能力，并加入损失函数增强网络的鲁棒性。深度学习网络可以更好地缓解退化问题，具有较好的可移植性。然而，大多数深度学习网络采用端到端的训练方式，需要合理地将网络结构和损失函数相结合才能发挥其性能，这在一定程度上限制了其在真实环境中的应用和泛化能力。

针对上述问题，本文提出一种基于积极概率分布引导的水下图像增强网络，主要贡献如下。

1） 构建了一种积极样本概率引导框架，即训练阶段将退化和清晰图像作为混合样本输入，并从混合样本中估计其特征概率分布来引导网络恢复退化图像。

2） 设计多分支信息提取架构（Multi⁃Branch Information Extraction Architecture， M⁃BIEA），包括空间注意力、像素注意力及通道注意力分支来提取混合样本的多维度空间特征。

3） 通过结合条件变分自动编码器与自适应实例归一化获取清晰图像特征分布，并对现有风格迁移算法进行改进以进一步增强图像的颜色与对比度。

1" 本文算法

本文所提算法主要包含两个核心组件：多分支信息提取架构和概率分布估计模块（Probability Distribution Estimation Module， PDEM），其中，多分支信息提取架构主要利用像素卷积块（Pixel Convolution Block）、通道卷积块（Channel Convolution Block）、空间卷积块（Spatial Convolution Block）从输入特征中获取像素、通道及空间上的信息权重，同时还通过引入密集卷积块（Dense Convolution Block）来获取其深层次语义信息。概率分布估计模块则通过计算特征图像的均值和方差来从混合样本中获取清晰图像的概率分布，并引导网络增强退化图像[9]。

图1为具体的网络结构图，下面将详细介绍网络。

1.1" 多分支信息提取架构

该结构旨在从输入特征中提取多维空间信息，为后续计算概率分布提供充分的特征信息，进而提高网络的增强能力，内部结构如图2所示。

图2中：Conv2d表示卷积单元，1×1为卷积核大小，[C]为输出通道数。

图2a）为像素卷积块结构，该结构首先使用上采样（Upsample）[10]操作在像素点之间使用双线性插值法，将输入特征图像的长和宽放大为原来的2倍，从而提高像素信息的利用程度，然后使用1×1大小的卷积单元对特征图像进行逐像素处理，并使用Sigmoid激活函数[11]输出，公式为：

[VSigmoid（x）=11+e-x] （1）

在注意力机制中，与ReLU激活函数相比，该函数不仅能够更精确地捕捉并平滑映射输出的细微变化，而且在后续与元素相乘操作时，还能更有效地抑制突变特征带来的影响。最后将计算出的像素权重通过元素相乘的方式融入输入特征中。

图2b）为通道卷积块的结构。鉴于水下图像中三颜色通道的衰减程度不同，该结构采用通道注意力[12]来提取输入特征的通道权重信息。如图所示，为确保后续卷积单元能更有效地捕获特征图像的通道权重，首先使用全局平均池化操作将图像尺寸从[H]×[W]×[C]缩减至1×1×[C]；然后运用1×1卷积单元提取通道权重，并通过Sigmoid激活函数输出；最后通过元素相乘操作将通道权重与输入特征结合，使各通道获得相应的权重分配。

为保持输入图像的完整性，本文还引入空间注意力[13]模块关注图像的整体空间信息，结构如图2c）所示。该模块首先对输入特征的维度取平均值和最大值，将其大小从[H]×[W]×[C]变为[H]×[W]×1；然后使用全连接操作进行信息融合，并通过3×3卷积单元进一步提取图像的像素信息；最后采用Sigmoid激活函数提升网络对特征图像空间内细节和全局性的感知能力。

水下退化图像的信息承载量直接关系到后续机器视觉任务的工作效率。因此本文设计了包含三层卷积单元的密集连接模块来提取图像的深层语义信息，结构如图2d）所示。该模块将前层卷积单元提取的信息融入后续所有层中，提高特征信息利用率的同时提高网络深度，使得模块注重于深层语义信息的提取。

综上，图1展示的多分支信息提取架构处理流程如下：首先，在训练过程中将清晰图像和退化图像的混合样本输入到模块中；其次，分别从清晰图像和退化图像的混合样本中提取多维空间信息，通过全连接操作逐步将空间信息添加到密集卷积块中；最后，将空间信息直接输出至下一单元中防止融合时信息丢失。

1.2" 概率分布估计模块

现阶段，基于监督学习的深度学习算法大多采用端到端的训练模式来提升网络性能，而忽略了网络中间部分的权重变换，这通常导致增强过度或欠拟合问题。为解决这个问题，受文献[14]启发，本文采用一种概率分布估计模块，该模块可以从混合样本中估计清晰图像的增强分布概率，从而引导网络恢复退化图像。

该模块的主要目的是从混合样本中提取将退化图像转换为清晰图像的增强分布。因此，首先计算混合样本和退化特征样本每个通道的均值和方差矩阵，大小为[B]×[N]×1×1，其中，[B]表示混合样本的数量，[N]表示其通道数。

[Vmean=1W×Hi=1Wj=1HJ（i，j）] （2）

[VVar=1W×Hi=1Wj=1HI（i，j）-μ2] （3）

式中：[I（i，j）]表示混合样本特征；[μ]为均值；[W]、[H]分别表示混合样本的长和宽。

然后，使用1×1大小的卷积单元从矩阵获取相应的增强权重；最后，采用高斯分布从增强权重中重建增强概率分布。建立过程表示为：

[Pm≈Nm（h1（x），t21（x））] （4）

[Pv≈Ns（t2（x），h22（x））] （5）

式中：[h1x]、[h2x]分别表示从混合样本的均值和方差中提取的增强分布；[t1x]、[t2x]为从退化样本的均值和方差中获取的增强分布。

在深度学习网络的训练过程中，大多通过损失函数或特征权重的更新来提高网络的增强能力。而本文设计的概率分布估计模块专注于当前阶段输入的特征样本，因此采用风格迁移算法（AdaIN）进一步将概率分布转化为整体风格迁移，即利用混合样本的均值、标准差及高斯分布，将清晰图像的增强分布概率融入退化样本中。这种方法不仅提升了图像的质量，还提高了算法的泛化能力，公式可表示为：

[AdaIN（x）=Pm+x-h1（x）t1（x）×Pv] （6）

测试阶段直接将退化样本输入到网络中，通过使用训练阶段获得的概率分布权重提高图像质量。

1.3" 损失函数

本文采用以下多项式损失函数来进一步提高设计网络的鲁棒性和泛化能力。

1） 增强概率分布损失

为保证风格迁移的稳定性，本文使用KL散度（Kullback⁃Leibler Divergence）计算退化样本和混合样本的提取参数。

[VKLPQ=P（x）*logP（x）Q（x）] （7）

式中：[P]和[Q]分别表示两个概率分布。两个样本的对应散度分布可表示：

[L1=VNm（x）Nm（y，x）] （8）

[L2=VNs（x）Ns（y，x）] （9）

式中：[x]、[y]分别表示退化样本和混合样本特征。

2） [L1]损失

本文主要以概率分布结合风格迁移的方法使网络获得增强能力，导致算法容易丢失像素细节，因此采用[L1]损失函数进一步增强对图像细节的保持能力。计算公式为：

[LL1=1W×Hi=0Wj=0HJ（i， j）-J'（i， j）] （10）

式中：[J（i， j）]、[J'（i， j）]分别表示输出图像和对应的清晰图像。

3） 感知损失

为保证输出图像在视觉感官上进一步拟合真实清晰图像，采用基于VGG⁃16的感知损失来计算网络输出和清晰图像之间的差距，公式为：

[LPerceptual=1Ni=1N（Fi（J（x））-Fi（J'（x）））] （11）

式中：[Fi·]为输入图像在VGG⁃16网络中第[i]层的特征表示；[N]表示总特征层数。

综上，总损失函数公式为：

[L=VKL+0.5LL1+0.01LPerceptual]" （12）

式中：0.5、0.01为权重系数，均由实验得出。

2" 实验结果与分析

本节将从主观视觉和客观指标两方面与经典及新颖算法做对比来证明所提算法在水下退化图像增强方面的有效性。实验环境如表1所示，鉴于UIEBD[15]（Underwater Image Enhancement Benchmark Dataset）数据集为真实环境下获得的图像，本文使用UFO数据集[16]的预训练模型对UIEBD数据直接进行测试。对比算法包括：文献[17]提出的UDCP算法、文献[18]提出的ICCB算法、文献[19]提出的ULV算法；深度学习网络包括文献[20]提出的MLFcGAN网络、文献[21]提出的DLIFM网络。

2.1" 主观评价

图3展示了各算法在合成数据集UFO下的实验结果，可以看出：UDCP算法增强后的图像偏暗，且存在明显色偏现象；ICCB在处理水下图像衰减问题时表现不佳，导致结果偏灰色；相比之下，ULV算法虽然可以较好地保持图像的完整性，但仍然难以有效解决退化问题，鲁棒性较差；MLFcGAN和DLIFM算法输出的图像在解决色偏问题上有一定效果，但与真实图像相比，其贴合度较低且结果的清晰度有待提高；相较于上述算法，本文结果更贴近于对应清晰图像，不仅避免了增强不足或过度等问题，且清晰度较高。

图4展示了真实数据集UIEBD下的测试结果。观察结果可知：在真实环境下UDCP算法仍难以解决退化图像的色偏问题；ICCB算法虽然能较好地解决色偏问题，但结果图像出现光晕现象，导致部分信息丢失；ULV算法增强不彻底，且难以有效平滑图像的曝光问题；基于深度学习的MLFcGAN和DLIFM算法虽然在恢复图像颜色方面表现相对稳定，但MLFcGAN结果图像过于模糊，易丢失纹理细节，DLIFM算法曝光严重，均难以稳定应用于真实海洋作业中；而本文算法不仅可以更好地恢复真实水下退化图像，且未出现额外的色偏、光晕及曝光问题，表明所提算法鲁棒性和泛化能力更优越。

2.2" 客观评价

主观评价仅通过人眼观察对测试图像进行分析，具有一定的主观性，因此本节将对上述图像进行客观评价来进一步证明本文算法的优越性。

其中，有参考指标选用结构相似性（Structural Similarity Index Measurement System， SSIM）、峰值信噪比（Peak Signal⁃to⁃Noise Ratio， PSNR）[22]；而无参考指标则选用水下图像质量评价（Underwater Image Quality Measure， UIQM）[23]指标、彩色图像增强质量（Color Image Enhancement Quality， CIEQ）[24]指标及无参考图像空间质量评估器（Blind/Referenceless Image Spatial Quality Evaluator， BRISQUE）来评价对于真实水下退化图像的增强效果。UFO数据集下的测试结果如表2所示。可以看出，所提算法结果图像的SSIM、PSNR、UIQM、CIEQ及BRISQUE分别达到0.88、21.86、3.42、3.72、36.33，综合来看，表现均优于对比算法，尽管UIQM指标略逊于ICCB算法，但该算法的主观测试整体质量较差。

综上所述，相较于对比算法，本文算法在合成数据集下的表现更优秀，表明其学习能力更强，且有更好的鲁棒性。

UIEBD数据集下的测试指标对比结果如表3所示。可观察到，本文算法在真实数据集下的UIQM、CIEQ及BRISQUE指标分别为3.69、3.54、32.69，UIQM指标也达到次优值。

综合上述实验结果，本文算法不仅表现出卓越的学习能力，而且面对各种水下退化图像时的鲁棒性也显著优于对比算法。此外，针对真实水下退化图像也同样有较好的泛化能力。这些结果均表明本文算法更适用于真实海洋工作场景。

2.3" 应用实验

本节将对图像进行细节对比、特征匹配[25]、梯度检测[26]实验来进一步证明本文算法在海洋工作下的优越性。

如图5所示为本文算法和对比算法输出图像的细节对比结果，方框标注为放大区域。从对比结果可以看出，相较于其他算法，本文算法的输出图像在细节方面表现更为出色，尤其是在保持图片中的文字细节方面。表明该模型在复杂的水下环境中可以更有效地保留图像特征、纹理等关键信息，进而可以有效提高海洋工作效率。

图6和图7分别展示了本文算法的特征匹配结果以及梯度实验结果。在图6的左上角标注了特征匹配的数量。观察图6可以看出，经过本文算法的增强处理，特征匹配的数量明显增加，表明本文算法处理后的结果可以进一步提升图像后续识别的准确性和效率。由图7的梯度实验结果可以看出，经过本文算法的处理，可以完整地检测出动物的轮廓以及船体上的文字，不仅显著增强了图像在纹理方面的可识别性，同时也验证了本文算法在视觉表现上的卓越性能。综上所述，通过增加特征匹配数量和提升图像的可识别性，本文算法有效地增强了图像信息，使其在后续基于机器视觉的实际应用中具有更高的利用价值。

3" 结" 论

本文针对现有水下图像增强算法难以稳定恢复退化图像，进而不足以提高海洋工作效率的问题，提出一种基于积极概率分布引导的水下图像增强网络。该网络可以通过在混合样本中估计清晰图像的概率分布，引导模型稳定增强水下退化图像。其中，提出的多分支信息提取架构可以稳定获取输入样本的多维空间信息，提高特征利用程度；概率分布估计模块从多维空间信息中估计增强概率分布，并引导测试环节网络稳定增强退化图像。实验结果表明，本文网络输出图像不仅主观视觉上颜色自然、色彩明显，且在合成及真实数据集中的测试指标均优于对比算法，应用实验中也有力证明了本文方法对真实海洋工作的有效性。未来工作重点将进一步提高算法的稳定性，以期在实际应用中发挥更大的作用，推动海洋工作效率的进一步提升。

注：本文通讯作者为王雅鑫。

参考文献

[1] 王晟泽，鲍凯辰，范习健.试论计算机视觉技术在工业领域中的应用[J].网络安全技术与应用，2021（4）：146⁃147.

[2] 王海涛，林森，陶志勇.双注意力机制与改进U⁃Net的水下图像增强[J].电子测量技术，2023，46（1）：181⁃187.

[3] LI C， GUO J， GUO C， et al. A hybrid method for underwater image correction [J]. Pattern recognition letters， 2017， 94： 62⁃67.

[4] SONG W， WANG Y， HUANG D M， et al. Enhancement of underwater images with statistical model of background light and optimization of transmission map [J]. IEEE transactions on broadcasting， 2020， 66（1）： 153⁃169.

[5] ZHOU J C， ZHANG D H， ZHANG W S. Underwater image enhancement method via multi⁃feature prior fusion [J]. Applied intelligence， 2022， 52（14）： 16435⁃16457.

[6] WANG Y D， GUO J C， GAO H， et al. UIEC2⁃Net： CNN⁃based underwater image enhancement using two color space [J]. Signal processing： Image communication， 2021， 96： 116250.

[7] MU P， QIAN H T， BAI C. Structure⁃inferred bi⁃level model for underwater image enhancement [C]// Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 2286⁃2295.

[8] GUO Y C， LI H Y， ZHUANG P X. Underwater image enhancement using a multiscale dense generative adversarial network [J]. IEEE journal of oceanic engineering， 2019， 45（3）： 862⁃870.

[9] SUAD A， MOHD S M K， EZLIN N Z， et al. S⁃type random k satisfiability logic in discrete hopfield neural network using probability distribution： Performance optimization and analysis [J]. Mathematics， 2023， 11（4）： 984.

[10] LIU Z Y， TANG J T， ZHAO P. Salient object detection via hybrid upsampling and hybrid loss computing [J]. The visual computer： International journal of computer graphics， 2020， 36（4）： 843⁃853.

[11] SOPHIE L. Approximating smooth functions by deep neural networks with sigmoid activation function [EB/OL]. [2020⁃10⁃13]. https：//arxiv.org/abs/2010.04596.

[12] QIN X， WANG Z L， BAI Y C， et al. FFA⁃Net： Feature fusion attention network for single image dehazing [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.： s.n.]， 2020： 11908⁃11915.

[13] 杨振舰，李灿，王娇，等.一种基于条件约束注意力生成对抗网络的水下图像增强模型[J].天津城建大学学报，2023，29（4）：274⁃280.

[14] FU Z Q， WANG W， HUANG Y， et al. Uncertainty inspired underwater image enhancement [C]// European Conference on Computer Vision. Heidelberg： Springer， 2022： 465⁃482.

[15] 胡雨航，赵磊，李恒，等.多特征选择与双向残差融合的无监督水下图像增强[J].电子测量与仪器学报，2023，37（9）：190⁃202.

[16] 王欣，石慧.DRHA⁃UIE：基于双重残差混合注意力模块的水下图像增强方法[J].电子学报，2023，51（9）：2398⁃2407.

[17] DREWS P， NASCIMENTO E， MORAES F， et al. Transmission estimation in underwater single images [C]// Proceedings of the IEEE International Conference on Computer Vision Workshops. New York： IEEE， 2013： 825⁃830.

[18] 王国霖，田建东，李鹏越.基于双透射率水下成像模型的图像颜色校正[J].光学学报，2019，39（9）：16⁃25.

[19] HAO Y， HOU G， TAN L， et al. Texture enhanced underwater image restoration via Laplacian regularization [J]. Applied mathematical modelling， 2023， 119： 68⁃84.

[20] LIU X D， GAO Z， CHEN B M. MLFcGAN： Multilevel feature fusion⁃based conditional GAN for underwater image color correction [J]. IEEE geoscience and remote sensing letters， 2020， 17（9）： 1488⁃1492.

[21] CHEN X， ZHANG P， QUAN L， et al. Underwater image enhancement based on deep learning and image formation model [EB/OL]. [2021⁃01⁃04]. https：//arxiv.org/abs/2101.00991v1.

[22] 李晨，许雪，郭业才.基于深度神经网络的单幅图像盲去噪算法[J].电子测量技术，2023，46（21）：183⁃192.

[23] PANETTA K， GAO C， AGAIAN S. Human⁃visual⁃system⁃inspired underwater image quality measures [J]. IEEE journal of oceanic engineering， 2016， 41（3）： 541⁃551.

[24] LIU X， WANG Z， WANG L， et al. A hybrid retinex⁃based algorithm for UAV⁃taken image enhancement [J]. IEICE transactions on information and systems， 2021， 104（11）： 2024⁃2027.

[25] 马伟乐，肖腾，杨军星，等.一种渐进式的鲁棒特征匹配方法[J].测绘地理信息，2023，48（6）：56⁃61.

[26] 于新善，孟祥印，金腾飞，等.基于改进Canny算法的物体边缘检测算法[J].激光与光电子学进展，2023，60（22）：221⁃230.

作者简介：朱立忠（1967—），男，辽宁沈阳人，硕士研究生，教授，主要研究方向为智能控制、图像处理与融合。

王雅鑫（1999—），女，黑龙江哈尔滨人，硕士研究生，主要研究方向为深度学习、图像处理。

郭宝仁（1963—），男，辽宁沈阳人，高级工程师，主要研究方向为机械智能化。