改进的CycleGAN 网络用于水下显微图像颜色校正

王昊天，刘庆省，陈 亮，叶旺全，卢 渊，郭金家，郑荣儿

（中国海洋大学信息科学与工程学部物理与光电工程学院，山东 青岛 266100）

1 引 言

深海热液矿床富含锰、铜、镍和钴等元素，是一种具有潜在开发价值的矿产资源，热液中的微生物在矿物沉积和结核生成过程中发挥了重要作用［1-2］。同时，在海底深部生态系统中，菌席为生态系统中的生物群落提供了碳源和能量，一般因其不同部位微生物种类和地质的差异而显示出不同的色彩［3］。水下显微成像技术具有高分辨率动态监测、无损观测等特点，可实现从几十微米到几百微米的微观尺度观测，该技术可以很好地满足海洋中针对微生物群体这一微观领域研究的需求。但是，复杂的水下环境及恶劣的光照条件使得获取的水下图像出现严重的质量退化。水下目标物的显微图像质量普遍较差，尤其会产生严重的颜色差，导致难以有效识别目标。

现阶段关于水下图像的质量复原研究，主要采用机器学习的方法。Zhang 等人［4］通过在神经网络中添加U-Net 网络以及感知损失函数来提高网络性能，达到对浑浊水下图像颜色复原的目的。Wu 等人［5］提出了一种基于结构分解的两阶段水下图像卷积神经网络（UWCNN-SD）增强算法，对不同类型的水下图像进行颜色校正和增强。Han 等人［6］提出了一种新的螺旋生成对抗网络框架，在目标函数中包括由均方误差和角度误差组成的像素级损失，可以有效地恢复出具有更多细节、生动色彩和更好对比度的真实水下图像。Zong 等人［7］提出了一个局部CycleGAN 网络来增强水下图像，它结合了局部鉴别器和全局鉴别器来约束增强图像的全局和局部视觉效果，有效地提升了水下图像质量，校正了图像色彩。Fu 等人［8］提出了一种基于全局-局部网络和压缩直方图均衡化的水下图像颜色校正方法来解决颜色畸变问题。Song 等人［9］提出了背景光的统计模型和传输图的优化来增强水下图像。然而，先验信息的获取依赖于水下成像环境，导致该方法对成像假设和模型参数很敏感，因此该方法可能不适用于变化强烈的水下环境。褚金奎等人［10］提出了一种基于特定偏振态的水下图像去散射方法，能简单有效地抑制浑浊水体的散射，增加图像对比度，改善图像质量。Zhuang 等人［11］提出了一种新颖的边缘保持滤波Retinex 算法用于水下图像增强，该算法将梯度域引导的图像滤波反射和光照先验嵌入到基于Retinex 的变分框架中，以改善图像结构，减少伪影或噪声。

对于水下显微图像，由于其具有更高的分辨率以及更低的像素差异度，一般的算法较难获得很好的处理效果。因此，本文提出一种改进的循环一致性生成对抗网络（Cycle-consistent Adversarial Network，CycleGAN）对水下显微成像系统拍摄的大量水下目标物的数据集进行训练处理，所获结果在水下目标物显微图像的颜色校正方面能得到广泛的应用。

2 改进的CycleGAN

2.1 CycleGAN

CycleGAN［12］是由两个镜像的生成对抗网络（Generative Adversarial Network，GAN）［13］构成的环形网络结构，主要包括两个生成器、两个判别器，损失函数不仅有生成对抗损失，还加入了循环一致损失（Cycle-consistency Loss）。该网络首先学习源域X到目标域Y之间映射，然后又能从目标域Y中还原回来，有效完成了非配对数据集在图像颜色和纹理方面的转换任务，具体过程如图1 所示。

以图1（a）正向网络为例，在正向网络中生成器G将源域X中数据x映射到目标域Y中y͂，鉴别器DY对生成图像y͂做出判断；再通过生成器F将其还原成为域X中数据x̃，而循环一致性损失则是为了让x和x̃尽可能相同。同理，目标域Y到源域X的转换与上述过程相同。生成器G和判别器DY之间的损失函数定义如下［12］：

其中，X，Y分别代表源域和目标域，x∊X，y∊Y，Pdata（x）为源域X的数据分布，Pdata（y）为目标域Y的数据分布，Ey～Pdata(y)代表y服从Pdata（y）的情况下求期望，Ex～Pdata(x)代表x服从Pdata（x）的情况下求期望。

同样，生成器F和判别器DX之间的损失函数可以表达成如下形式［12］：

为避免源域X中部分图像映射为目标域Y中同一图像的情况发生，CycleGAN 引入循环一致性损失（Cycle-Consistency Loss）函数用于计算x和x̃之间的损失。利用F（G（x））≈y和G（F（x））≈x定义循环一致性损失Lcyc如式（3）［12］：

2.2 引入结构相似性损失函数

通常自然图像是高度结构化的，降质的水下图像的像素与空气中标准图像的像素之间存在很强的相关性。特别是在空间环境相似的情况下，这些相关性携带着视觉场景中物体结构的重要信息。文献［14］在CycleGAN 网络结构中引入结构相似性（Structure Similarity Index Measure，SSIM）损失函数［14］，其中，SSIM 可以从亮度、对比度和结构三方面度量图像x和图像y的相似性，其定义如公式（4）所示：

其中：μx为x的均值，μy为y的均值，σxy为x，y的协方差，σx2为x的方差，σy2为y的方差，c1，c2为常数。

文献［14］在CycleGAN 网络中加入结构相似性损失函数的目的就是使生成的空气中图像和输入的水下颜色失真图像，在纹理结构、亮度和对比度上保持一定程度的相似性。但是，输入的水下失真图像一般对比度和亮度较低，且颜色失真严重，用该失真图像去校正生成的空气中图像，效果未必理想。本文希望生成的空气中图像在颜色和对比度方面都可以得到进一步增强。

受此启发，本文使用的SSIM 损失函数只是限制输入的原始水下降质图像X和重构的水下图像X̂在颜色和边缘纹理结构上保持一致性。所以，在彩色图像X和X̂的R、G、B 三个通道上分别计算SSIM 损失函数的值。然后将三个通道的SSIM 值取平均值，得到最终的SSIM 值。该改进可以加强对水下降质图像R、G、B 三通道颜色的精准校正，进一步增强CycleGAN 网络的性能，改进的网络结构如图2 所示。

图2 改进的循环一致对抗网络结构Fig.2 Structure of improved cycle-consistent adversarial network

综上，输入图像X和重构图像X̂之间的损失函数可被定义为：

其中，

其中：N为一幅图像中像素个数，P为图像中心像素值。

改进后的CycleGAN 网络总损失函数为对抗损失、循环一致损失、结构相似损失三部分的加权组合：

这里将权重系数λ与β赋值为1。

2.3 网络结构和训练细节

经典的CycleGAN 网络呈镜像结构，主要由两部分构成，每部分都是基于GAN 的子网络。每个GAN 网络的生成器均由编码器、转换器以及解码器构成。本文使用的生成器网络结构如图3 所示。

图3 生成器网络结构Fig.3 Structure of generator network

图3中编码器由三个卷积层构成，可用来提取源域图像的不同特征；解码器由三个转置卷积层构成，通过特征向量完成对图像的重构，在编码器和解码器之间还添加了9 个残差块（Residual Block）［12］构成转换器，组合图像的不同相近特征。

本文中GAN 网络的判别器采用原网络中70×70 的PatchGAN［12］，可以同时判别图像中多个70×70 图像块真假，把所有图像块的判定结果的平均值作为图像真假的判定结果，判别器网络结构如图4。

图4 判别器网络结构Fig.4 Structure of discriminator network

3 水下图像颜色恢复实验

本文模型训练使用计算机配置是CPU 为Intel Xeon W-2123、3.60 GHz、RAM 16 GB、显卡为NVIDIA TITAN RTX，利用搭建的水下显微成像系统，采集了模拟水体下的自制标靶图像。训练数据集的数据量为550 张512×512 的模拟水体中自制标靶及矿石图像数据、550 张512×512 对应的空气中图像数据。优化器采用性能较好的Adam 算法，学习率设置为0.000 2，迭代次数80，批次（batch size）为1。

3.1 水下显微成像系统

为研究水下显微成像过程及其影响因素，在显微成像的光学结构基础之上，搭建了如图5 所示的水下显微成像系统。该系统由图像采集模块、照明模块和显微成像模块构成。

图5 水下显微成像系统装置简图Fig.5 Device diagram of underwater microscopic imaging system

图像采集模块主要采用了一台200 万像素的彩色相机（BFLY-PGE-23S6C-C）对水下目标物进行高分辨率的彩色成像。照明模块由白色的环形LED 光源及光源控制器构成，为水下显微成像提供所需的均匀照明环境。显微成像模块由显微物镜（5×）和管透镜（1×）组成，以实现对水下目标的显微成像，本文实验基于此套系统对水下目标物进行显微图像采集。

3.2 模拟水体及数据集制备

为了更好地模拟复杂海水环境以及悬浮颗粒对光的强散射与强吸收作用，文中在实验室条件下制备了模拟水体，即通过向清水中加入脱脂牛奶模拟海水的散射作用，脱脂牛奶主要含有酪蛋白分子，其平均直径在0.04～0.3 nm 之间，可模拟瑞利散射的机制［15-16］；向清水中掺入具有特定光吸收特性的墨水来模拟海水对光的吸收效应。实验中选用的是法国J. Herbin D 系列彩色染料墨水［17］。

如图6 所示，在实验中所用照明光源波长范围内，该染料墨水的吸收光谱相对值曲线与海水的吸收光谱特性曲线的变化趋势较为类似，均存在一个“海水透光窗口”，其所覆盖的波长范围为430～570 nm。实验所用照明光源的波长范围都在650 nm 以下，避免了曲线特征变化趋势不相似的波长区域。因此，墨水在长波长与海水吸收的差异不影响实验中对海水吸收特性的模拟效果。综上，脱脂牛奶和染料墨水可以很好地模拟复杂海水环境的强吸收与强散射特性。

图6 典型的海水和蓝绿染料墨水的吸收光谱Fig.6 Absorption spectra of typical seawater and bluegreen dye inks

在样品的选择方面，由于天然岩石标本颜色种类单一，水下矿物样品难以获得，无法满足训练要求，为了增加训练神经网络的泛化能力。采用Photoshop 软件中的颜色库PANTONE+Color Bridge Uncoated 制作了颜色形状种类丰富的水下目标物标靶，并以此作为训练网络模型的训练数据集，部分自制标靶图像如图7所示。

图7 部分自制标靶图像Fig.7 Some self-made target images

4 结果分析与对比

4.1 实验结果主观分析

利用改进的CycleGAN 算法对自制的水下目标物标靶数据集进行训练处理；同时，为了对比处理效果，本文采用传统图像处理方法中的带色彩恢复系数的多尺度Retinex 算法（Multi Scale Retinex With Color Restoration，MSRCR）［18-19］对目标物进行处理，结果如图8所示。

图8 不同算法处理水下自制标靶图像结果Fig.8 Results of underwater self-made target images processed by different algorithms

从主观视觉角度可以看出，图8 中带色彩恢复系数的多尺度Retinex 算法（MSRCR）处理后的图像，存在明显的颜色过饱和现象，与空气中的目标物图像颜色差距较大。在迭代次数和学习率相同情况下，原始的CycleGAN 网络处理后的水下图像在照明不足部分（暗区域）出现了大量伪色彩，且存在图像颜色复原失真现象，图像颜色恢复较原图存在很大的差距。与此相比，改进后的CycleGAN 处理的水下图像颜色恢复得更加接近空气中的原图，图像亮度得到明显提升，且图像周围的干扰噪声得到了有效抑制，网络模型训练更加稳定。从图8 中可发现，实验采集的水下图像普遍呈现蓝绿色调，主要是由于模拟水体对可见光波段的强吸收具有明显的波长选择性，表现为短波长比长波长吸收少。此外，由于脱脂牛奶中酪蛋白分子产生强烈的后向散射效应，导致水下图像表面呈现“雾化”效果。经本文算法处理后，以上两种现象也得到了明显改善。

本文利用训练好的改进CycleGAN 网络对天然矿石的水下降质图像进行了处理。所选用天然矿石为斑点石（Dalmatian）、花绿石（Unakite）、图画石（Picture Jasper），这几种矿石的表面颜色和纹理均有较为明显的区别。通过对天然矿石特征区域的显微图像进行处理，得到如图9所示的实验结果。

图9 不同算法处理水下天然矿石图像结果对比Fig.9 Comparison of underwater natural stone images processed by different algorithms

从以上处理结果可以看出，带色彩恢复系数的多尺度Retinex 算法（MSRCR）处理后图像虽然亮度得到明显提升，但颜色恢复效果不佳。改进后的CycleGAN 算法图像颜色恢复得更加自然真实，图像亮度有了很大改善，纹理边界更加清晰，颜色上也更加接近空气中的原图。

4.2 实验结果客观评价

为了更加客观地说明本文算法对水下显微图像处理的适用性和优越性，本文通过客观评价指标峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM［20］，以及水下彩色图像质量评价指标（Undewater Color Image Quality Evaluation，UCIQE）［21］对不同算法处理后的水下显微图像进行定量分析比较。

要计算PSNR 必须先计算当前图像和参考图像的均方误差（MSE）。假设两幅图像X和Y，他们的分辨率均为m×n，则它们的均方误差可以定义为：

则峰值信噪比PSNR 可通过MSE 得出来：

其中：MAXI代表图像像素点的最大值，MSE的值越小，PSNR越大，说明处理后图像的质量越好。

UCIQE 是用CIELab 空间的色度、饱和度、对比度三者的加权组合来评价图像质量，其定义为：

其中：σc是色度的标准差，conl为对比度，μs是饱和度的平均值，c1，c2，c3是加权系数。

通过客观评价指标对水下目标物图像进行处理，得到如表1 所示的客观评价结果。

从表1 中可以看出改进的CycleGAN 算法处理后的水下图像的PSNR、SSIM 指标均好于CycleGAN 算法，改进的CycleGAN 算法的UCIQE指标与空气中标准图像的UCIQE 指标的差值最小，即改进的CycleGAN 算法处理后的水下图像更加接近空气中的标准图像；MSRCR 算法处理结果中的UCIQE 差值在几种算法中最高，即该算法处理后的水下图像与空气中的标准图像相去甚远，且PSNR 和SSIM 指标也不及前者；评价指标的客观评价结果与主观视觉感受相符。

表1 不同算法处理的水下显微图像客观评价指标Tab.1 Objective evaluation indexes of underwater microscopic images processed by different algorithms

5 结 论

为解决水下显微图像颜色失真的问题，本文提出了一种改进的CycleGAN 算法。通过在原始水下降质图像和重构水下图像之间加入R、G、B 三个通道的SSIM 损失函数，度量二者图像间的信息损失；并通过主观视觉感受和客观评价指标验证了改进算法对水下图像色彩恢复的有效性。结果表明，在强吸收与强散射混合水体中，自制标靶图像组中本文所提改进的CycleGAN算法处理后的效果表现良好，图像的PSNR、SSIM 指标分别较改进前提高了12.89% 和5.78%，较传统MSRCR 提高了41.85% 和35.62%，UCIQE 也与空气中图像最为接近；水下岩石样品图像的PSNR、SSIM 指标分别较改进前提高7.40%和5.78%，较传统MSRCR 提高了20.65%和75.86%，达到对水下显微图像颜色校正的需求，为研究水下矿石表面微生物矿化过程和深海菌席的研究提供了技术支撑，有望在海洋地质和海洋生物学方面得到应用。