基于注意力机制的多阶段低照度图像增强方法

李健　成雅清

关键词：低照度图像；多阶段；注意力机制；特征提取；特征融合

中图分类号：TP391.4 文献标识码：A 文章编号：1006-8228（2023）11-83-07

0 引言

低照度图像增强是一项重要的图像处理技术，旨通过增强低照度条件下的图像质量来解决图像的可视化效果差和信息传递效率低的问题。随着计算机视觉和图像处理技术的不断发展，越来越多的低照度图像增强算法被提出并得到了广泛应用，如视频监控、车载导航、夜间拍摄、医疗影像等。

传统低照度图像增强方法包括基于直方图均衡化的算法[1]、Retinex（Retinacortex）理论的算法[2-5]。其中，基于直方图均衡化的方法是旨通过调整图像的灰度值分布，使得整张图像的像素灰度值尽可能地分布在整个灰度值范围内，从而提高图像的对比度和亮度。基于Retinex 理论的方法是旨通过将图像分解为反射和亮度两部分，从而增强图像的对比度和亮度。

近年来，随着人工智能的发展，利用深度学习对低照度图像进行增强的方法逐渐取代了传统方法。如Lore 等[6]最早运用深度学习的方法实现了低光照图像增强LLNet（Low-light Net），提出了一种基于深度自动编码器的方法来识别弱光图像中的信号特征，在不过度放大饱和高动态范围图像的较亮部分的情况下自适应地使图像变亮。Wei 等[7]提出了一种基于Retinex 理论与深度学习方法相结合的网络Retinex-Net （Retinacortex Net），该网络利用三个模块（分解模块、增强模块和重建模块）去约束低照度图像的反射光和照射光之间的关系，从而增强图像效果。Jiang 等[8]提出了一种高效的无监督生成对抗网络EnlightenGAN （Enlighten Generative Adversarial Networks），其主要思想是利用生成器和判别器两个网络相互博弈以生成更加逼真的图像。Guo 等[9]提出了一种无需参考图像的网络Zero-Dce（Zero-Reference Deep CurveEstimation），该方法通过深度学习模型自适应地学习每张图像的曲线，可以将输入图像的暗部分和明部分分别映射到对应的输出空间中。通过对这两个部分的增强，将增强后的图像进行合成，得到最终的增强结果。Ma 等[10]提出了一个轻量级的自校准照明框架SCI（Self-Calibrated Illumination），建立了一个具有权重共享的级联光照学习过程，用于针对不同的现实世界场景进行低光照图像增强。

基于深度学习的方法相比于传统方法在结果上有显著的提升，但是，目前所提出的基于深度学习的方法需要更多计算资源和训练时间，并且还存在颜色失真、细节恢复能力差和整体主观视觉质量低等问题。针对上述问题本文提出一种基于注意力机制的多阶段低照度图像增强方法，能够有效解决局部噪声、颜色失真、细节纹理丢失等问题。

本文的贡献：①提出了一个基于注意力机制的特征提取模块，来解决图像局部增强能力弱、语义特征提取效果差的问题；②提出了一个基于上下文学习的细节恢复模块，来解决纹理细节恢复能力差的问题；③在公开数据集LOL 上进行实验，采用峰值信噪比（PSNR）和结构相似性（SSIM）[11]作为客观评价指标，实验结果的主观视觉效果、客观评价指标优于其他大多数方法，证明了本文模型的有效性。

1 网络构架设计本

文提出一種基于注意力机制的多阶段低照度图像增强网络AMS-Net（Attention Multi-Stage network）。网络结构如图1 所示。该网络共分为三个阶段，将原始图片分别分割为不重叠的1/4 尺寸，1/2 尺寸和原始尺寸作为各阶段的输入信息，实现从“粗”到“细”的恢复方法，在增强图像亮度的同时注重图像细节的恢复。

在该模型的各个阶段中，首先通过一个卷积和注意力机制模块PSA（Pyramid Split Attention）[12]进行初步特征提取；然后，利用编码器-解码器完成更多的细节特征提取，并将前两个阶段的特征图在空间维度上两两拼接；接着，由上下文学习模块ACCA（AggregatedContextual Channel Attention）对局部特征进行细节恢复；最后，利用监督注意力模块SAM（SupervisedAttention Module）[13]对相邻阶段进行特征融合。经过以上三个增强阶段的处理，最终将低照度图像还原出与原始清晰图像亮度、纹理清晰度接近的高质量图像。

1.1 特征提取模块

特征提取部分是低照度图像增强模型中的一个重要组成部分，其作用是从输入图像中提取有用的特征以便后续的处理。AMS-Net 的特征提取分为两步：首先通过一个卷积和注意力机制模块对输入图像的重要特征信息进行提取，得到初步的特征图；随后使用编码器-解码器模块，进一步提取不同大小和形状的物体语义特征。

1.1.1 注意力机制特征提取模块

为了增强低照度图像重要的空间位置信息并抑制不重要的背景信息，以提高模型对目标的定位准确性和语义信息的利用，本文采用注意力机制PSA（Pyramid Spatial Attention）模块[12]对低照度图像中重要的信息进行提取。该模块利用金字塔形特征提取和空间注意力机制提高网络对不同尺度低照度图像特征的感知能力和重要区域关注度。

PSA 模块构造如图2 所示。主要分为以下四个步骤：首先，通过实现分裂与拼接SPC（Split and Concat）模块[12]，获得多尺度特征图；其次，使seweight 模块[12，14]提取具有不同尺度特征图的通道注意力向量；然后，使用Softmax 函数重新校准多尺度通道的注意力向量，得到多尺度通道的权重；最后，将重新校准的权重和相应的特征图进行逐元素乘积的运算。通过以上操作，可以得到一个经过细化的特征图，该特征图中包含更丰富的多尺度特征信息。

1.1.2 编码器-解码器模块

为了提取不同大小和形状的物体语义特征，本文采用编码器和解码器网络。网络基于U-Net 结构，通过编码器进行下采样获得多尺度的图像特征，然后解码器对多尺度图像进行上采样来恢复图像原有的分辨率。

其网络结构如图3 所示。具体结构信息如下：首先，添加了通道注意力CAB（Channel AttentionBlocks）模块[12]以提取每个尺度的特征；其次，对于编码器-解码器模块中跳转连接部分（Skip Connections）的特征图也使用CAB 模块处理；最后，使用双线性上采样加一个卷积层进行处理，而不是使用转置卷积，来提高解码器处理后特征图的分辨率，有助于减少输出图像中由于转置卷积而出现的棋盘效应。

1.2 细节恢复模块

由于特征提取阶段采用下采样和上采样的操作，会导致图像细节的模糊和丢失。因此，受ACT（Aggregated Contextual Transformations）[15]启发，本节提出一种上下文注意力ACCA 模块，模型结构如图4所示。该模块利用遥远空间位置信息，来恢复图像细节，同时避免过度增加网络层次。ACCA 模块采用多级注意力机制，提升了特征图的表达能力，并通过操作不同尺度的注意力图增强了网络对特定区域的感知能力。具体流程如下。

⑴ 接收上一层提取出来特征图，将256 个通道的内核拆分为四个子内核，使每个子内核具有64 个输出通道。子内核使用不同的膨胀率来执行输入特征X1的不同变换，使用较大的膨胀率专注感受野大的全局区域，使用较小膨胀率专注感受野小的局部区域。

⑵ 将每个子内核输出的特征图分别经过Mish 激活函数后，输入到通道注意力EAC（Efficient ChannelAttention）[16]模块中，对其进行通道特征加强。EAC 模块可以提供更精细的特征表示，并且其参数和计算量的需求也小，因此使用ECA 模块可以优化模型结构、减少模型计算量、提高模型的训练效率。

⑶ 将来自不同感受野的上下文信息通过级联依次进行聚合，然后通过3 × 3的卷积进行特征融合。

⑷ 此外，通常使用残差连接[17]方式提高模型的准确性，其通过以空间不变的方式逐元素求和来聚合输入特征X₁和残差特征X₂，但是此操作忽略了缺失区域内外像素值的差异，导致修复图像中出现颜色差异问题。为了解决这一问题，本文采用一种新的门控残差连接，门控残差连接先通过标准卷积和Mish 激活函数运算从X₁计算空间变化的门值g，然后ACCA 模块通过与g 的加权和来聚合输入特征X₁和残差特征X₂。

通过门控残差连接的特征聚合在恢复缺失区域内特征的同时，并保留缺失区域外的已知特征。

2.4 对比实验

2.4.1 主观分析

本节对不同的低照度图像增强方法进行对比实验，可以更好地评估和比较它们的性能和优劣之处，选取的经典传统方法有LIME（Low-light Image Enhancement）[20]，具有代表性的深度学习方法有Zero-Dec（Zero-Reference Deep Curve Estimation）， RetinexNet（Retinacortex Net），Kind（Kindling the Darkness） [21]，HWMNet（Half Wavelet Attention on M-Net+）[22]。将以上实验置于统一实验环境，实验结果如图6 所示。

相较于本文提出方法的实验结果，LIME 方法整体亮度恢复偏暗，视觉效果不真实，并且会出现颜色失真；RetinexNet 方法会出现过度增强的情况，导致图像的细节损失和颜色失真，并且恢复后的图像噪声也特别多；Zero-Dec 方法相比于RetinexNet 算法在图像整体感知质量上表现略有提升，但在亮度增强方面存在不足，同时可能会引入伪影和失真，且噪声抑制效果不佳，影响图像的视觉效果；Kind 方法在亮度和饱和度方面表现不错，但是对于局部细节纹理的恢复不够清晰，且恢复过度容易引起颜色失真现象；HWMNet 方法在图像的细节和纹理恢复的不错，但在噪声抑制方面效果不佳，并且图像整体亮度过亮。本文提出的低照度图像增强方法在亮度、对比度和噪声抑制方面均表现出色，整体视觉效果相对于其他方法更佳，且主观视觉效果更接近于真實清晰图像。

2.4.2 客观分析

为进一步验证本文提出方法的有效性，本节实验采用PSNR 和SSIM 的指标作为参考，分别对不同的低照度图像增强方法进行定量分析。实验结果如表1所示，黑色加粗表示对比实验中单项指标的最优值。本文方法在指标PRSN，SSIM 的指标都为最优，分别为26.31，0.921。

从表1 中可以看出，AMS-Net 网络在PRSN，SSIM指标上远超于LIME、RetinexNet、Zero-Dce 网络；相比于Kind 在PRSN 指标上提升了26.12%，在SSIM 指标上提升了14.40%；相比与HWMNet 在PRSN 指标上提升了8.53%，在SSIM 指标上提升了8.09%。实验结果表明，AMS-Net 网络在客观评价指标方面相比于其他主流网络具备显著的优势，且在主观视觉质量方面更接近于原始高清图像。

2.5 消融实验

为了验证本文网络中局部特征提取模块和细节恢复模块的作用和效果，本文进行以下的消融实验：分别删减AMS-Net 的局部特征提取（PSA）模块和细节恢复（ACCA）模块，以及同时删减这两个模块，并与完整AMS-Net 进行对比。消融实验结果如图7 所示。其中，图7（a）为低照度图像，图7（b）为原始的清晰图像，图7（c）为AMS-Net 去除ACCA 模块和PSA 模块的生成图，图7（d）为AMS-Net只去除ACCA 模块的生成图，图7（e）为AMS-Net 只去除PSA 模块的生成图，图7（f）为本文提出的完整AMS-Net 的生成图。

可以看出，同时去除PSA 模块和ACCA 模块的增强结果，整体效果不错，但是图7（c）色彩盘处可以看到明显的噪声，图片的整体亮度也偏暗；当只去除ACCA模块时，增强结果相比于同时删减两个模块颜色亮度有所提升，图7（d）中公仔颜色更接近真实清晰图像；当只去除PSA 模块时，实验结果相比只去除ACCA 模块图像细节恢复的更加完整，但还是存在失真和噪声，图7（e）中非洲鼓上花纹颜色偏淡；而使用完整MMFNet的结果可以看出，本文设计的完整网络不仅能够有效地提高图像亮度，在色彩饱和度，噪声抑制，图像细节恢复都表现出很好的结果。

模块消融实验的客观评价如表2 所示。使用完整AMS-Net 模型的结果表现最优，相比于同时删除两个模块，PSNR 指标上升了3.3%，SSIM 指标上升了1.6%。PSNR，SSIM 指标越高意味着图像恢复的质量越好，此消融实验客观结果表明，PSA 模块与ACCA 模块对低照度图像有良好的增强效果。

3 结束语

本文提出了一种基于注意力机制的多尺度低照度图像增强的方法，该方法能够在不影响图像质量的情况下有效地对低照度图像进行增强。此网络结构分为三个阶段，三个阶段的输入分别为不同尺寸的低照度图像，其中每个阶段首先经过特征提取模块，以提取图像中重要特征信息；随后，由一个联系上下文学习模块进行细节恢复；最后进行特征融合，使得每个阶段的联系更紧密。通过与主流的低照度图像增强方法的对比可以看出，本文方法在主观视觉和客观数据上均为最优。然而，低照度图像增强在噪声抑制、信息丢失等问题上仍然具有挑战性，需要进一步研究和探索。