一种改进CycleGAN的低照度图像增强网络

李天宇，吴 浩，毛艳玲，陈明举*，石 柱

(1.四川轻化工大学 人工智能四川省重点实验室，四川 宜宾 644005；2.四川轻化工大学 自动化与信息工程学院，四川 宜宾 644005)

0 引言

可见光图像的成像过程中，周围环境的光照强度往往影响着图像的质量。因此，低照度条件下获取的图像往往不清晰且识别率低，缺乏可用性，给后续的图像识别、目标检测以及分割带来很大的困难[1]。因此，低照度图像增强是今后一个非常重要的研究方向。

传统的低照度图像增强的主流方法如Pizer等人[2]提出的直方图增强法(Histogram Equalization，HE)，该方法计算简单、速度快，但是存在颜色失真和局部过曝光的现象[3]。同时，Land[4]提出了Retinex理论，通过模仿人体的视觉系统，利用反射分量来进行低照度图像增强。基于此理论，Jobson等人[5-7]进一步提出了单尺度Retinex方法(SSR)、多尺度Retinex方法(MSR)以及带颜色恢复的Retinex方法(MSRCR)；Fu等人[8]提出了一种基于融合的低照度图像增强方法；Guo等人[9]提出了通过图像照度区域估计来实现低照度图像的增强；Dong等人[10]结合图像去雾方法提出了一种新的低照度图像增强方法。Ying等人[11]设计了一个多曝光融合框架，并基于此提出了一种双曝光融合算法来提高图片的对比度。Wang等人[12]提出了一种基于非均匀光照的低光照算法，使得增强后的图像能够在很大程度上保持图像细节和自然度。虽然上述传统的低照度图像增强方法能够在一定程度上提高光照效果，但是往往伴随着颜色失真、像素扭曲等现象，增强后的图像往往质量不高。

随着深度学习算法的快速发展，许多学者开始探索将神经网络应用到低照度增强任务中，利用神经网络来学习低照度图像到正常光照图像的映射关系。如Lore等人[13]首次提出了使用深度自编码网络来实现低照度图像增强；Li等人[14]提出了利用4层卷积网络LightenNet来估计照度图，并结合Retinex理论实现低照度图像增强；文献[15]提出了全卷积网络RetinexNet，通过分解网络将低照度图片分解为反射图像和照度图像，并在此基础上利用增强网络进行后续的低照度增强操作。而Jiang等人[16]利用生成对抗网络提出了EnlightenGAN，通过全局—局部鉴别器以及自正则注意力机制使该网络在训练时不需要成对数据也能获得良好的增强效果。

目前，虽然基于深度学习的方法对低照度图像增强效果较好，但是仍存在整体主观效果不佳以及一些细节恢复不够充分的问题。因此，针对当前的低照度增强算法，仍有较大的提升空间。本文考虑到现有方法的不足，利用循环一致性对抗网络的学习方式，提出了一种改进CycleGAN的低照度增强网络。该方法以多尺度卷积、残差空洞卷积构建基于U-Net结构的低光照增强模块，然后引入基于全卷积的照度均衡处理模块来共同组成生成器网络，同时使用了PatchGAN作为判别器网络来构成新的循环一致性对抗网络，实现低照度图像到正常光照图像的转换。

1 循环一致性对抗网络基本原理

近年来，生成式对抗网络成为了计算机视觉领域的研究热点。传统的GAN网络[17]如pix2pix[18]等都需要成对的数据集来进行模型训练，而Zhu等人[19]于2017年提出了循环一致性对抗网络CycleGAN，解决了传统风格迁移算法需要成对数据集才能实现网络训练的问题。CycleGAN基于pix2pix网络架构，设计了2个相互对称的GAN网络，利用2个生成器和2个判别器来实现原图像和生成图像之间的相互映射，实现了非配对数据集也能够实现数据的相互转化。CycleGAN结构示意如图1所示。

图1 CycleGAN结构示意Fig.1 Schematic of CycleGAN structure

由图1可知，CycleGAN拥有G和F两个生成器，针对2个样本空间A，B包含2个映射关系：A-B和B-A。生成器G将图像样本A转化成近似图像样本B的Generated_B，再利用判别器DB判断Generated_B是否为真实图像；同时，利用生成器F将生成图像Generated_B转化为类似样本图像A的Generated_A。为了确保最终生成的Generated_A与原本的样本图像尽可能地相似，在此引入了一个循环一致性损失，来保证网络在不断训练过程中Generated_A与样本图像A能够越来越相似，此过程为前向循环过程。由于生成器F的输入均由生成器G传输过来，为了保证生成器F的学习效果，CycleGAN通过设置一个对偶反向循环过程，实现样本图像B的循环过程。

如果直接将CycleGAN用于低照度增强，由于其生成器结构较为单一，针对一些细节信息恢复能力不足，且可能会造成增强后的图像亮度不均衡。同时,传统的判别器处理较为简单，对增强后图像细节问题判断不足，造成网络收敛困难。因此针对CycleGAN的生成器和判别器结构进行改进，使其更适合于低照度增强任务。

2 一种改进CycleGAN的低照度图像增强网络

2.1 基于U-Net与照度均衡的生成器网络结构

一般，生成器网络都需要经过编码—解码过程，但是一般的编解码操作经常会导致特征信息的丢失，使得最后生成的图片和原图有较大差异。为了降低这种信息的损失，构建了以U-Net为框架的生成器模型，利用U-Net的跳跃连接结构来避免这种现象的发生。该生成网络主要由低光照增强模块和照度处理模块组成，其中低光照增强模块为改进的U-Net结构，主要包含编码器、转换器和解码器3部分，用以增强低照度图像，提高对低照度图像细节的恢复能力；照度处理模块为一个全卷积网络，用以平衡不同区域的亮度，增强整体直觉质量。生成器网络结构如图2所示。

图2 生成器网络结构Fig.2 Generator network structure

① 低照度增强模块

编码器为下采样过程，用于低照度图像特征信息的压缩与提取。首先采用了一个多尺度卷积模块对输入的原图进行特征提取。一般，低照度图像会呈现大面积暗黑，导致局部特征较为单一，使用不同大小卷积核有利于生成器获取更多的特征信息。本文分别使用了1×1，3×3，5×5以及7×7的卷积核来构成多尺度卷积模块，每个卷积核通道数为16，并且将卷积后的结果进行通道间的拼接，最后使用1×1的卷积将通道数调整至64。随后，编码器进行3次下采样操作，将256×256的特征图压缩至32×32的大小，每个下采样模块由3×3卷积核(步长为2)、实例归一化(Instance Normalization)以及激活函数ReLU组成。由于在低照度图像增强任务中，增强后的结果依赖某个图像实例，使用批归一化(Batch Normalization)对整个batch做归一化会影响到最后图片增强的质量。因此本文在卷积操作后使用了实例归一化(Instance Normalization)层，分别对特征图的宽高做归一化，可以加快模型的收敛速度并保持每个图像的独立性[20]。

转换器主要用来整合编码器所提取的图像特征，本文的转换器共使用6个残差块来完成低照度图像特征到正常光照图像特征的转换。转换器中的残差块由2个卷积层组成，2个卷积层都使用了卷积层+实例归一化+非线性激活函数ReLU的结构，第1个卷积块中使用了3×3大小的标准卷积，第2个卷积块中使用了3×3的空洞卷积，空洞率依次为2，2，2，4，4，4。引入空洞卷积主要是为了在扩大生成网络感受野的同时，还能保留特征图的许多细节信息，提高低照度图像增强的性能。空洞残差卷积如图3所示。

图3 空洞残差卷积Fig.3 Hollow residual convolution

解码器为上采样部分，主要是将转换器得到正常光照图像特征进一步还原出浅层特征，得到正常光照图像。上采样模块由一个反卷积层+实例归一化层+非线性激活函数ReLU组合而成，用于将图像大小恢复至和输入一样。最后一个解码块中取消了实例归一化层，使用了7×7的卷积，并将激活函数调整为tanh。该激活函数能够保持输入输出呈非线性单调上升和下降的关系，同时也能够在一定程度上减少梯度消失的现象发生。

② 照度均衡处理模块

一般的低照度增强算法都是对暗光图片进行整体的亮度恢复，因此增强后的图像容易出现亮度不均等问题，使得低亮度区域欠曝光，高亮度区域过曝光。本文设计了一个由全卷积网络构成的亮度注意模块作为分支网络，对低照度图像中的弱光区域进行定位，使得整个生成器最后增强的图像亮度分布均匀，提高网络的增强效果。

该照度均衡处理模块为增强网络的辅助分支，其结果与增强网络输出结果相乘，使得增强后图片不同光照区域亮度均衡，进一步提高了对低光照图像的增强效果。其结构如图2中的照度均衡处理分支所示。首先使用一个9×9的大卷积来获取输入图片较为全局的特征信息，随后经过5个3×3的卷积来提取弱光区域位置信息，输出弱光位置注意图。亮度注意力分支网络中除最后一层使用卷积+Sigmoid激活函数结构外，其余各层均是卷积+LeakyReLU的结构，并且网络中通道数均为32。

2.2 基于Patch-GAN的判别器网络结构

GAN网络基于博弈的概念来学习生成图像和真实图像之间的误差，利用生成器和判别器不断博弈的过程提升生成图像的质量，其中判别器的作用是确定生成器的生成结果是否满足数据分布，从而区分生成图像的真假。传统GAN网络判别器的输出结果是该样本为真的概率，该值代表的是图像整体的一个值，无法体现图像的局部特征。因此，对于一些对细节特征要求较高的任务存在一定的缺陷。

因此，本文的判别器是建立在Patch-GAN结构上的全卷积网络，将判别器的输出映射为一个N×N的矩阵，该矩阵中的每一个值都代表着其所属感受野区域为真的概率。相比于传统的判别器，使用一个矩阵作为输出能够更为充分考虑图像不同区域的细节特征，同时小尺寸的特征图计算也能够加快网络的收敛速度[21]，使网络更容易训练。本文设计了5层全卷积的判别器模型，前4个卷积块包含一个卷积层、一个实例归一化层和一个非线性激活函数LeakyReLU，并且卷积步长设置为2。此外，最后一个卷积块只包含卷积层和激活函数层，卷积步长为1，通道数为1。激活函数不再使用LeakyReLU，而采用值域为(0，1)的Sigmoid函数代替。最后判别器网络输出一个通道数为1的矩阵，该矩阵上的每个数值代表所属感受野区域的概率值，以此来判断生成图像的真假。

图4 判别器网络结构Fig.4 Discriminator network structure

2.3 损失函数

CycleGAN能够使用非成对数据集训练得到与成对数据集相同的效果，因此，本文仍使用CycleGAN中的对抗损失函数和循环一致性损失函数进行训练。假设低照度图像为X，正常光照图像为Y，则CycleGAN中存在2个映射关系，即生成器G：X→Y与生成器F：Y→X。于是针对判别器DY的对抗损失函数为：

LGAN(G,DY,X,Y)=Ey～Pdata(y)[ln(1-DY(G)(x))]+

Ey～Pdata(y)[lnDY(y)]，

(1)

循环一致性损失函数为：

Lcyc(G,F)=Ex～Pdata(x)[‖F(G(x))-x‖1]+

Ey～Pdata(y)[‖G(F(y))-y‖1]。

(2)

一般，对抗损失用来判断低照度图像增强后与正常光照图像的相似度，并通过不断对抗训练来使得生成的正常光照图像的质量越来越好。循环一致性损失用来约束原始数据集中的图像和生成图像的相似程度，使得第2个生成器转换回来的图像更为接近原始图像。CycleGAN中拥有2个映射关系，于是总的损失函数为：

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+

λLcyc(G,F)。

(3)

3 实验结果与分析

本文增强算法的实验在工作站上搭建环境并进行训练，工作站硬件配置CPU(Inter XeonE5-2695)，GPU(NvidiaTITAN XP)，主板(超微X10DRGQ)；操作系统为Windows10专业版；软件配置为Anaconda，Pycharm；编程语言为python，深度学习框架为keras。

3.1 实验环境与训练过程

在LOL数据集上进行网络训练，以485对图像作为训练集，15对图像作为测试集。图像统一归一化至416 pixel×416 pixel大小输入网络训练，网络Batchsize=1，一共训练200轮(epoch)，优化器为Adam，前一百轮学习率为0.000 5，后一百轮学习率为0.000 1。

实验采用了峰值信噪比(PSNR)、结构相似性(SSIM)、信息熵(EN)以及自然图像质量评价指标(NIQE)作为图像质量评价指标。

① PSNR：能够反映增强后的图像结构信息的完整程度，其值越高，表示受到的噪声影响越小，增强后的图像质量越高，失真程度也越小；

② SSIM：用来衡量2幅图像的相似程度，其值越大，表示增强后的图像与正常光照图像越相似；

③ EN：能够很好地反映增强后的图像中纹理信息的丰富程度，其值越大，表明图像的纹理信息越丰富，越接近于真实光照图像；

④ NIQE：是一种基于无监督学习无参考的图像质量评价指标，其值越低，表示增强后的图像质量越高，越符合真实图像。

3.2 对比实验主观评价

为了验证本文低光照增强算法的优越性，选取了MSRCR[7]，SRIE[8]，LIME[9]，DONG[10]，MF[11]，NPE[12]和RetinexNet[15]等算法在LOL的测试集中进行对比实验。从LOL数据集中随机选取了3张图片，使用上述低照度算法和本文算法进行处理，分别从整体主观效果和细节恢复情况2方面进行分析。

(1) 图像整体增强效果

本文算法与其余对比算法的实验结果整体增强效果对比如图5所示。

图5 实验结果对比Fig.5 Comparison of experimental results

由图5可以看出，MSRCR算法与SRIE算法相比，前者增强后的图像曝光严重，后者增强后的图像整体偏暗，二者增强后的图像本身的颜色细节信息缺失，导致图像整体不真实，增强效果距离真实清晰图像都有很大的差距。DONG算法图像整体色彩较SRIE算法有所提高，但是增强后的图像存在一些噪声以及伪影出现，细节恢复不到位。LIME算法相较于前3种算法对图像的整体处理效果更好，增强后的图像的局部亮度与真实图像相比存在一定差距，并且存在一定的细节信息丢失。MF算法以及NPE算法增强后图像整体色彩与真实图像较为接近，但是对偏暗区域亮度的增强效果偏弱，同时增强图中各物体之间色彩层次不太明显，图像中也有一定的噪声存在。RetinexNet算法增强后图像中各物体颜色分明，但是过于增强，相较于真实图像存在较多噪声，导致出现失真现象。本文增强算法的主观视觉效果要优于前面的各种算法，图像整体亮度接近真实图像，图中各物体的颜色分明，色彩信息得到了较好的恢复，并且细节丢失较少，图像更加自然。

(2) 细节对比分析

更详细的细节信息对比效果如图6所示，分别展示了3幅测试图的2处细节信息，实验对比算法仍然是上述7种低照度增强算法。由图6可以看出，每幅图对比2处细节信息。

(a) 测试图1细节对比

(b) 测试图2细节对比

(c) 测试图3细节对比图6 实验结果细节对比Fig.6 Detailed comparison of experimental results

图6(a)第1幅测试图分别对衣柜中衣物颜色还原度和玩偶头部细节恢复程度进行了比较，本文算法增强后的衣物颜色分明，颜色层次更贴近真实的图片；同时玩偶头部细节信息丰富，轮廓明显，纹理清晰。其余几种算法，增强后的衣物颜色均存在颜色层次不够分明的问题，同时增强后的衣物边缘信息模糊，存在大量的噪声；针对玩偶头部细节恢复，几种对比算法都有较好的表现，玩偶的颜色以及边缘细节信息较为接近真实图片。在图6(b)第2幅测试图中，首先针对电饭煲上字体信息，本文算法与各对比算法增强后的字体清晰可辨认，但本文算法增强后图像中电饭煲的颜色层次较其余增强算法与真实图像更为接近；其次，本文算法增强图像的筷筒金属反光真实，边缘轮廓更为清晰。在图6(c)第3幅测试图中，首先，本文算法、MSRCR、NPE以及RetinexNet算法增强后图片中的暗处保龄球摆放较为清晰，余下算法未能体现完整的保龄球个数；其次，针对地板倒影，本文算法能够得到更为光滑和清晰的影像。

3.3 对比实验客观评价

为了进一步说明本文的低照度增强方法的优越性，在实验过程中计算了各增强算法的PSNR，SSIM，NIQE和EN这4个图像评价指标来对本实验中的对比算法进行定量评价，如表1所示。由表1可知，3个测试图片中本文算法的PSNR值在3幅测试图片中最高，同时本文算法的SSIM值(结构相似性)也为最大，说明本文算法增强后的图片受噪声影响小、失真程度小且质量高，增强后的图像与真实图像最为接近，相较于其他算法图像的质量更为可靠。其次，针对NIQE值，本文算法最低，表明本文算法增强后的图像较其他算法视觉质量更高，处理出来的图像最接近于真实图像。最后，本文算法在第1幅图获得最高EN值，其余2幅图中略低于LIME算法，说明本文算法在一定程度上能够较好地保留原始图像中的细节信息。总体来看，本文的低照度增强算法的客观评价指标最好。

表1 图像评价指标对比Tab.1 Comparison of image evaluation index

4 结束语

为解决低照度图像的亮度恢复问题，提出了一种基于改进CycleGAN的低照度图像增强方法。该方法利用多尺度卷积和残差空洞卷积来构建基于U-Net结构的低光照增强模块，并结合基于全卷积的照度均衡处理模块共同构成生成器网络，能够保留特征图的许多细节信息，增强暗光区域色彩恢复，提高低照度图像增强的性能。同时，利用Patch-GAN作为判别器网络，能够充分考虑图像不同区域的细节特征，提高对增强后图像的鉴别能力，进一步增强网络的收敛能力。经过对比实验验证，本文的增强方法具有更好的增强效果，增强后的图像亮度均匀且细节损失较少、噪声较小，图像质量更高。同时其客观评价指标PSNR，SSIM，NIQE以及EN的值也表明本文算法较其他对比算法更优。因此，本文的低照度增强方法具有一定的学术参考价值和工程应用价值。随后的研究内容将针对对抗损失的问题，引入光照等因素的影响进一步优化增强网络，获得更好的增强效果。