融合密集特征的水下图像增强算法

王 伟，胡淑娴，裴 哲

(西安工程大学 计算机科学学院，陕西 西安 710048)

0 引 言

当前，人们愈来愈重视海洋资源的开发和利用，水下图像处理已经引起研究人员的极大兴趣和关注。然而，水下图像面临光的选择性吸收和光照不均匀等因素的影响，图片颜色易失真并呈现蓝、绿色基调，降低了图像的对比度。此外，介质散射中的背景散射还会导致图像呈现雾状模糊现象，严重影响了水下图像在实际应用中的完整性和可用性[1]。因此，如何校正颜色失真、提高对比度、解决细节模糊等问题是当前水下图像增强面临的主要挑战。

为了解决这些问题，众多科研工作者根据水下图像的成像特性，提出了一系列针对水下图像增强的研究方法，大致可以分为传统方法和深度学习2类。其中，传统的水下图像清晰化方法分为基于图像增强的方法[2]和基于物理降解模型的增强方法[3]。前者不考虑物理成像过程，后者则依赖具体的物理模型，主要是建立光照散射造成的数学模型，再基于暗通道先验知识对水下图像进行改进[4-5]。然而，由于水下环境复杂多变，上述传统增强方法易出现过度增强、图片曝光严重、增强效果不符合真实场景等问题，且大多数方法普适性较差。

近年来，深度学习以其高效性吸引了诸多研究人员的注意。如文献[6]首先将深度神经网络应用于单张图像去雾，虽然雾天模型在一定程度上与水下图像退化的过程类似，但由于水下成像环境特殊，直接应用去雾方法增强效果较差。为此，文献[7]在循环生成对抗网络(cycle-consistent generative adversarial networks,CycleGAN)基础上提出了将类似SegNet[8]的深度全卷积网络结构用于水下图像增强，此方法取得了较好的颜色校正效果，但该方法在训练网络时需要的深度信息在真实场景下很难获取。而文献[9]提出了改进的CycleGAN实现颜色校正，但在增强图像清晰度方面不够。文献[10]联合GAN和弱监督学习，提出一种针对校正图像色彩以及保持细节的水下图像增强模型，但水下图像固有的物理性质导致增强后的图像易出现局部曝光的问题。文献[11]利用深度神经网络先估计水下图像深度，再将其应用于颜色校正，但大规模数据难以获取，应用面较窄。文献[12]通过预处理将处理过的图像作为GAN的训练标签，并改进了生成器和判别器2个部分，进一步提升了水下图像的质量，但运行复杂度较高，计算效率低。文献[13]在提出的神经网络中融合水下图像的局部和全局信息，改善图像色偏问题，但增强后的图像仍存在模糊的地方。

在某种程度上，水下图像的退化过程类似于雾化模型[6]，两者都会受到介质散射的影响，受文献[14]中基于U-Net结构的去雾网络启发，为了恢复水下图像的颜色信息，并且补偿图像校正过程中细节信息的损失，本文在GAN和反向投影技术的基础上，提出了一种可以融合多尺度密集特征的水下图像增强算法—DFGAN算法。本文的主要贡献如下：①针对水下低质图像特点，在基于生成对抗网络的架构中改进了生成器的结构，利用跳跃连接在图像增强过程中融合了原始空间信息，提高颜色校正的视觉效果；②为了弥补编码后的高级别特征中丢失的空间信息并充分利用非相邻层的特征信息，该文基于反自有投影技术，引入了密集特征融合模块，以充分利用图像中的特征信息。实验结果表明，DFGAN在实现改变低质图像蓝绿色偏的同时，能够保持真实水下图像边缘细节，恢复纹理特征。

1 DFGAN算法

1.1 网络模型构建

GAN是一种不需要标注大量训练数据的深度学习模型，本文是在此基础上实现水下低质图像增强。GAN要同时训练一个生成器和一个判别器，在本文所设计的GAN模型中，直接将输入图像输入到生成器中，判别器将生成器合成的样本数据和真实的图片数据作为输入，同时对其输入是否为真实图片进行判断，将真实图片的标签为1，合成图片的标签为0，判别器通过训练尽量“蒙蔽”生成器的“眼睛”，使生成器不能对判别器的输出图像做出正常判断。GAN的数学模型可表示为

El-Pl[log2(1-D(G(l)))]

(1)

式中：V(D,G)为生成器和判别器的最终优化目标；E为数学期望；Pr为真实水下复原图像数据分布；Pl为合成水下复原图下l的先验分布；G(l)为生成器得到的水下增强图像样本；D(r)为判别器对水下增强图像真实数据和生成数据的判定。GAN模型框架如图1所示。

图 1 GAN模型框架图

生成器和判别器之间相互博弈，交替迭代优化，通过对抗训练拟合分散的数据，达到纳什均衡状态。最终使生成器对水下低质图像有较好的增强效果。针对水下低质图像的特点，本文在此基础上进行改进，构建的网络模型如图2所示。

图 2 DFGAN网络模型图Fig.2 DFGAN network model

图2中，为了尽可能保留颜色校正过程中真实图像的细节信息和纹理结构，使改变色偏后的图像可以得到进一步处理，本文提出的DFGAN算法中将基础的跳跃连接应用于编码器和解码器结构之间，还在生成器的解码器中加入了一个密集特征融合模块，更有效地利用来自非相邻层间的水下图像特征，弥补校正过程中丢失的细节信息。

1.2 生成器设计

在编码器和解码器之间，文中使用一个特征恢复模块，用于恢复水下低质图像特征，得到增强图像特征。DFGAN算法在将编码器的特征图跳跃连接到解码器的特征图上时，利用图像恢复模块对两者进行融合：首先，将解码器特征图上采样为原来尺寸的2倍的特征图，并将其与编码器特征图相加；其次，将结果输入到一个可训练的修复单元中，将修复结果与2倍上采样解码器特征图相减，作为图像修复模块的输出特征图，此过程即为图2解码器中的图像修复模块；最后，将输出特征图和先前得到的密集融合特征图共同传入下一密集特征融合模块中。

由于生成器的解码器不能充分利用非相邻层之间的特征，输入图片在下采样过程中会丢失上层特征要素的空间信息，导致水下图像在颜色校正后会损失其纹理结构，出现细节模糊的情况。因此，本文除了在编解码器之间应用了跳跃连接，还利用反向投影技术，在生成器中加入了一个密集特征融合模块[14]，即图2网络模型图里的灰色模块，其具体网络架构如图3所示。

图 3 密集特征融合模块Fig.3 Dense feature fusion module

反向投影技术以迭代的方式更新想要得到的水下图像参数，输出参数的形变量后，通过多次迭代使预测的参数更加准确。因此，本文将反向投影特征融合应用于生成器网络模型构建中，在生成器的解码器利用迭代误差反馈，将多个上下采样块级联，将多对不同分辨率的密集融合特征图进行融合，用在图像增强过程中保留图像纹理细节。

(2)

(3)

因此，DFGAN算法在生成器中设计跳跃连接和密集特征融合模块，能有效地融合多尺度的水下图像特征。

1.3 损失函数

生成器通过判别器输出的判别数据不断进行反向传播，两者之间交替迭代优化，在一方更新时均不改变对方的网络权重。而损失函数作为卷积神经网络的优化准则，定义不同的损失函数可以为网络模型设置不同的优化目标。本文提出的DFGAN算法在整个网络模型中的损失函数包括生成器中的对抗损失、全局相似度损失和水下图像信息损失这3部分，此外还包括判别器中的对抗损失。下面，具体介绍生成器和判别器的损失函数。

1) 对抗损失函数。本文定义的对抗损失函数为

Lc(G,D)=EX,Y[log2D(Y)+

EX,Y[log2(1-D(X,G(X)))]

(4)

该损失函数存在于生成器和判别器中，生成器的目标是最小化Lc的数值，而判别器的目标则是最大化Lc。

2) 全局相似度损失函数。GAN的生成器模型中使用的损失函数是像素级L1或L2，由于L1能让生成器生成的增强图像产生符合人眼视觉更真实的效果，所以文中定义全局相似度损失函数为

L1(G)=EX,Y[‖Y-G(X)‖1]

(5)

式中：X为输入低质水下图像；Y为真实增强图像；生成器中，X、Y之间存在单向映射。

3) 水下图像信息损失函数。为尽可能地保留颜色校正过程中原图像所包含的真实信息，本文在生成器中添加了一个针对丢失的水下图像内容信息的损失函数，使生成器生成更多具有相似特征的增强水下图像，该损失函数采用单峰的高斯函数拟合产生均方误差，能直接优化峰值信噪比数值，水下图像信息损失函数表示为

Li(G)=EX,Y[‖P(Y)-P(G(X))‖2]mi

(6)

式中：P函数为图片输入到训练好的VGG-19中输出的block5_conv2的高级图像特征。

在生成器和判别器的博弈训练过程中，为了使生成器在不断优化的过程中感知到更高质量的水下图像，让判别器判定其生成的图像在各个方面无限接近于真实增强图像，本文将生成器的目标函数定义为

λ1L1(G)+λ2Li(G)

(7)

式中：λ1和λ2这2个比例因子的参数分别设置为0.7和0.3。

2 结果及分析

EUVP数据集[15]包含多组不同地点、不同能见度等各种自然变化条件下研究人员经探索保存下来的水下图像；PyTorch来实现DFGAN模型，在具有超11 000张成对图片的EUVP训练集上进行训练，并在对应的测试样本上进行测试。训练使用1个NVIDIA TITAN RTX，训练模型时，batch设为8，训练500代后得到最终DFGAN模型。为了全面验证DFGAN算法的性能，对水下低质图像与增强后的图像分别从主观视觉感受和客观量化指标2个方面进行评价，并与现有的水下图像增强方法进行对比评估。

2.1 DFGAN增强结果

利用反向投影技术，基于GAN重新构建了针对水下低质图像颜色校正和边缘细节保留的增强方法，其增强效果如图4所示。

图 4 DFGAN增强效果图Fig.4 DFGAN enhancement rendering

拍摄到的水下图像如图4(a)所示，图片偏蓝、绿色，细节模糊，将这些低质图像输入生成器后，由于本文的DFGAN算法中的图像恢复模块和密集特征融合模块可以有效地提取水下图像特征，让接下来的处理得到了更多的层次，使DFGAN算法最终性能增益得到显著提高，即处理后得到的图4(b)在颜色、风格和细节方面更接近真实的脱水图像，见图4(c)，证明DFGAN算法在水下图像增强方面的有效性。

2.2 主观视觉感受评价

主观视觉感受评价是通过人眼对水下图像增强效果最直接的反馈，本文将通过主观视觉感受评测将DFGAN算法与当前主流的3种水下图像增强算法进行比对，即与基于Retinex理论的MSR算法[16]基础上改进的具有色彩恢复效果的MSRCR算法[17]，针对水下暗通道先验的UDCP算法[18]，以及基于循环生成对抗网络CycleGAN算法[19]的实验效果进行对比。4种不同算法的增强效果对比如图5所示。

(a)原图 (b)MSRCR算法 (c)UDCP算法 (d)CycleGAN算法 (e)DFGAN算法图 5 不同算法水下增强效果对比Fig.5 Comparison of underwater enhancement effects of different algorithms

从图5可以看出，MSRCR算法虽然可以有效校正蓝绿色偏，但图像会因为增加了噪声导致校正过度，使恢复的图片总体来看颜色偏白，图像色彩失真严重。UDCP算法虽然保留了图片的纹理结构，但由于大气光成分出现易出现较大误差，没有解决红色分量较少的问题，对水下图像的白平衡校正效果不理想，处理后的图片仍存在色偏问题。而CycleGAN算法虽然在图像风格迁移方面有较好的结果，但由于其在图像亮度和对比度上进行了与真实情况不符的强制相似，使增强过的图像与理想图像颜色有一定差距。相比之下，DFGAN算法改进了传统的生成对抗网络，加入特征恢复模块的同时，基于反向投影技术设计了密集特征融合模块，并且保留跳跃连接，有效地融合多尺度的水下图像特征，在校正图像色偏的同时保留了更多的边缘细节和纹理结构。

2.3 客观量化评价

由于不同个体对图片的主观视觉不同，主观评估具有一定的差异性，所以引入客观评估方法能更全面的验证本文算法的性能。为此，本文采用了4种通用的图像质量评估准则：结构相似性[20]、峰值信噪比[21]、水下彩色图像质量评价指标[22]和信息熵[23]。前2个指标属于全参考评价指标，后2个指标属于无参考评价指标。

结构相似性用来表示图像的退化程度，它基于图像结构进行建模，从亮度、对比度和结构相似度这3个方面来衡量图像之间的相似性。结构相似性S的值为

S=[L(x,y)α×C(x,y)β×T(x,y)γ]

(8)

式中：L(x,y)、C(x,y)、T(x,y)分别为图像的亮度、对比度和结构；α、β、γ为权重参数，均设为1。

峰值信噪比通过水下低质图像与处理后图像之间的均方误差对两幅图像的相似性进行评测，均方误差M和峰值信噪比P的值为

式中：m和n分别为水下图像的长和宽；I(i,j)和K(i,j)为处理前后的图像在该位置的像素值;Imax为像素点的最大值。

E表示离散信源的熵，可以衡量图像信息的丰富程度，反映了图像的灰度统计特性，信息熵E的值为

(10)

式中：Pm为灰度图像中灰度值为m的像素在全部像素中出现的概率；k为灰度级总数。

水下彩色图像质量评价度量是如今水下图像研究领域里应用最广泛的评测准则，以更贴合人眼视觉感知的CIELab颜色空间为基础，通过线性组合饱和度、色度、对比度这3个测量分量对水下图像增强质量进行评估，其值U为

U=c1×S1+c2×C2+c3×C3

(12)

式中：c1、c2、c3分别为线性组合里各分量的权重因子；S1为饱和度测量分量；C2为色度测量分量；C3为对比度测量分量。

结构相似性、峰值信噪比、信息熵和水下彩色图像质量这4个客观指标的数值越高，表示处理后的水下的图像保留下来的信息越多，越接近真实情况，增强效果越好。

本文随机选取了EUVP深海数据集[15]中的20张水下图像作为测试集，表1展示了本文DFGAN算法与MSR算法、MSRCR算法、UDCP算法和CycleGAN算法在测试集上各项评估指标的平均数值。

表1 客观评价指标数值

从表1可以看出，本文DFGAN算法与其他3种水下图像处理方法相比，在结构相似性和峰值信噪比的测量数值上高于其他3种算法，表明DFGAN算法增强后的图像的真实性最高。本文DFGAN算法的信息熵平均值在4种算法中最高，说明该算法处理后的水下图像丰富度高，细节保留较为完善。与其余3种算法相比，DFGAN算法的水下彩色图像质量评价指标数值更高，这也表示该算法能生成在视觉上与水下真实图像色彩相似度更高、边缘信息保留更完整的增强图像。客观评价数值证明，DFGAN算法在不同水下场景下能较为自然的恢复水下图像颜色，增强效果更好，便于后续操作。

3 结 语

针对水下复杂多变的成像环境，因水下低质图像颜色失真和校正过程中细节信息丢失的问题，在深度学习和特征融合的基础上，提出了一种基于GAN的密集特征融合水下图像增强方法。首先，通过改进生成对抗网络，校正蓝绿色差，提高可视性；其次，受去雾网络启发，将反向投影技术应用于生成器的解码器中，以此弥补色差校正过程中细节信息的损失，尽可能保持图像边缘细节，恢复纹理信息。文中DFGAN算法不但具有易理解和易操作特点，而且通过主、客观两方面的评估，结果均表明了其较现有的一些典型算法具有明显的优势。尽管如此，该算法还需要提高对专业水下图像数据集进行网络训练的速度，以期达到面向实际应用的需求，这也是下一步要开展的研究工作之一。