基于生成对抗网络的红外图像电力设备超分辨算法研究

严利雄，刘晓华，李 茗，司马朝进，刘志鹏

（国网湖北省电力有限公司检修公司，湖北 武汉 430000）

1 介 绍

单图像超分辨（SISR）问题指从对应的低分辨图像恢复出高分辨的图像[1]。深度学习和卷积神经网络的发展，极大地促进了单图像超分辨任务的进步[2-5]。然而，由于单图像超分辨算法中输入图像的固有信息缺失，如低分辨率图像中缺少对应高分辨图像中的各种纹理信息，在超分辨倍数超过4时，会出现模糊的现象。最近的相关工作中，引入了感知损失、对抗损失，在较大上采样倍数情况下，能够实现较高的生成图像视觉质量。但是这些方法可能产生虚假或者人工的纹理。

由于红外图像和可见光图像之间的巨大模态差异，如果直接将适用于可见光图像数据集上的超分辨算法用于电力设备红外图像，忽视电力设备红外图像和自然图像之间固有的模态差异，将导致不能取得满意的性能。因此，本文首先使用生成对抗网络，生成红外图像对应的可见光图像，然后基于可见光图像的纹理信息能够弥补低分辨红外图像的信息缺失，对红外图像进行增强，最后使用纹理匹配和转移进行超分辨。

本文和现有的单图像超分辨算法不同，探索了用于红外图像电力设备的基于参考图片的超分辨算法，利用了来自高分辨参考图像的纹理细节，补偿在低分辨图像中丢失的细节，生成更加详细更加逼真的纹理。参考图片来自不同的源域，如视频帧、相册、网络爬虫等。现有的基于参考的超分辨算法使用内在的参考或者外部图像来增强纹理细节，取得了较好的视觉质量。但这些方法假定参考图像和输入低分辨图像有着相同的内容，并且是对齐的图像对。如果参考图片和输入图片内容不一致或者图片不对齐，这些方法的性能会急剧下降，甚至低于单图像超分辨算法。与这些方法不同，本文不需要与输入图片内容相似或者对齐的参考图像，只需将已知参考图片的局部相似纹理信息转移到低分辨图片，进行超分辨。理想情况下，在给定良好的参考图片时，本文提出的方法性能应当强于单图像超分辨算法；在给出的参考图像质量不佳或者缺少参考图片时，本方法性能应当与单图像超分辨算法性能相当。本文首先在特征空间中进行局部纹理匹配，随后将匹配到的纹理通过深度模型转移到输出结果。纹理转移模型学习低分辨图像和参考纹理之间的复杂相似性，然后使用相似的纹理并抑制不同的纹理。

为了表明本文提出的方法有效性，并进行公平比较，本文还提出了一个电力设备红外图像数据集。本文的主要贡献有如下3点。

（1）本文提出了一个新的信息融合模块，利用可见光图像的纹理信息来增强红外图像。

（2）本文提出了一个端到端的深度模型，用基于参考的超分辨算法解决电力设备红外图像超分辨问题，打破了单图像超分辨算法的性能瓶颈（缺乏纹理信息），不需要图像的对齐，通过多尺度神经纹理传输模块来恢复纹理细节。

（3）本文构建了一个用于红外图像电力设备超分辨算法研究的数据集，在这个数据集上的广泛实验表明了本文方法的有效性。

2 相关工作

2.1 基于深度学习的单图像超分辨算法

随着深度学习在各项视觉任务上的快速发展，基于深度学习的单图像超分辨算法[2-3]在视觉质量或者峰值信噪比（PSNR）、结构相似度（SSIM）中皆优于非深度学习方法，因此本文仅仅关注基于深度学习的方法。

Dong等人将卷积神经网络引入超分辨算法[2]，训练了三层全卷积网络，以减少生成图像和原始高分辨图像之间的均方误差（MSE），展示了深度学习在超分辨中的有效性。Wang等人[3]将稀疏编码和深度网络用于超分辨算法，取得了巨大的改进。为了加快超分辨算法收敛过程，近年来，最先进的性能（PSNR指标）都是通过深度学习模型实现的[4-5]。

这些方法旨在尽量减少超分辨图像和高分辨图像之间的均方误差（MSE），与人类评估（感知质量）并不是完全一致。因此，与感知相关的约束被引入到超分辨算法中，以实现更好的视觉质量。本文提出的方法也使用了感知损失与对抗损失，以更直观地恢复合理的高分辨图像。

2.2 基于参考的图像超分辨算法

与使用单张低分辨图像作为输入的单图像超分辨算法不同，基于参考的超分辨算法引入了其他图像来帮助超分辨过程。参考图像通常需要具有与低分辨图像相似的纹理或者内容信息。参考图像可以从视频中的相邻帧中选择，或者来自网络检索的图像。此外，还有一种使用输入图像自身的领域信息作为参考的方法，不使用外部参考图像，因此更接近单图像超分辨算法。这些方法主要构建从低分辨到高分辨的块的修改的映射，并在像素级别或浅层模型融合高分辨修补步骤，因此不能对低分辨图像之间的复杂依赖关系和从高分辨修补程序中提取的详细信息进行建模。更通用的基于参考的算法是从网络检索类似的图像，并进行全局检索和局部匹配。但他们的方法基于如下假设：参考图像与低分辨图像完全对齐。使用光流来对齐输入图像和参考图像，但光流在匹配长距离对应时性能受到限制，无法处理严重未对齐的参照图像。本文提出了采用局部纹理匹配的思路，能够处理长距离依赖。与现有的基于模板的超分辨方法一样，本文也将模板图像的纹理融合到最终输出，但不是在图像空间进行融合，而是通过深度模型在多尺度特征空间中进行融合，从而能够将参考图像中的相似纹理信息转移到高分辨图像上。

3 方 法

本文的核心目标是解决红外图像电力设备的超分辨问题。在实际中我们发现，红外图像对应的可见光图像中的纹理信息，对于红外图像的超分辨具有重要意义，能够弥补低分辨率电力设备红外图像的信息缺失，因此本文首先使用循环生成对抗网络，为每一张电力设备红外图像生成对应的可见光图像。随后将生成的可见光图像和给定的低分辨率红外图像进行融合，得到增强的带有丰富纹理的融合图像。最后通过一个基于参考的超分辨网络，通过局部纹理匹配和转移，进一步的弥补低分辨红外图像中缺失的纹理细节，主要的思想是通过在特征空间中寻找参考模板和低分辨输入匹配的纹理特征，并以一种多尺度的方式转移到超分辨图像中。本文的总体网络结构如图1所示，分为三个部分，分别是低分辨可见光图像的生成、红外图像与自然图像的融合以及局部纹理匹配和迁移。

图1 总体网络结构图

3.1 可见光图像生成模块

实际应用中，电力设备的低分辨率红外图像中缺少纹理信息，为了减少的纹理信息对生成高分辨率图像的影响，并且易于收敛，本文使用变分自编码器（VAE）进行风格分离，旨在将红外域图像和可见光图像都映射到同一潜在向量中，这一潜在向量是风格无关的。随后经过两个生成对抗网络来进行特定域的图像生成。这个网络将可见光图像IRGB或者红外光图像IIR转换到对应的可见光IRGB'或者对应的红外光IIR'。

特定域图像生成结构包括两个编码器-解码器结构，分别对应可见光和红外图像模态的生成。变分自编码器的损失函数LVAE定义如下，其中KL是Kullback-Leibler散度，第二项中的||·||1代表L1损失：

随后两种生成对抗网络被用来从风格无关的潜在向量z中生成特定域的图片，生成器希望生成的图片与原始域尽可能相似，而鉴别器则要求生成的图片与真实的存在差异，对抗损失如下，其中超参数λ2用来控制GAN的效果，生成器试图最小化损失函数，鉴别器试图最大化损失函数：

循环一致性损失用来规范无监督的图像到图像的转换问题，因此，本文的循环一致性损失定义如下，其中第一项保证再次生成的图像与原始域图像相似，超参数用来控制不同损失项的权重：

总的损失函数是这些损失的加权和，本文采用默认权重为1，因此，损失函数为：

通过联合优化这些损失，能够得到一个用于将给低分辨率红外图像转化为低分辨率可见光图像的子网络。

3.2 信息融合模块

有许多方法可以将低分辨率红外图像和生成的低分辨率可将光图像进行融合。例如，将所有图片统一到红外域中，统一到可见光域中，或多光谱域中（将给定域和对应的生成域的图片拼接为4维的向量）。其中前两个域是同一电力设备在不同成像过程中两种形式，存在内在联系，极有可能相互重建；但如果将图像同一到红外域或者可将光域中，不可避免的造成了信息丢失，而简单的多光谱域中存在冗余。为此，本文从一个新的角度提出了一种新的融合策略，能够同时保持红外域图像的热辐射信息和可见图像的丰富纹理信息，在降低冗余同时挖掘深层次的信息。

本文将红外和可见图像融合问题表示为对抗性问题，主要的结构图如图1所示。首先，将电力设备红外图像和可见光图像拼接，输入到生成器中，生成器生成对应的融合图像，可见光图像和融合图像输入到鉴别器中，鉴别器鉴别图像是来自可见光，还是来自融合后的图像，直到鉴别器不能鉴定真假，训练完成。融合模块的损失函数分为生成器的损失函数和鉴别器的损失函数，其中生成器的损失函数包括两个部分：

其中，第一项是生成器和鉴别器的对抗损失，其中第二项代表内容损失，λ用来平衡对抗损失和内容损失。由于红外图像的热辐射信息由像素亮度决定，可见光图像的纹理信息由梯度决定，本文强制融合的图像和红外图像有着相同的亮度，和可见光图像有着相同的梯度。内容损失如下：

其中，H和W代表输入图像的高和宽，||·||F代表矩阵Frobenius范数。内容损失的第一项旨在于保持红外图像的热辐射信息，第二项旨在于保持可见光图像的梯度信息。由于本文的损失函数设计，如果没有鉴别器，融合模块倾向于保留红外图像的热辐射信息和红外图像的梯度信息，但信息不足，因为梯度信息不能够完全代表可见光图像中的纹理信息。因此，本文设计一个新的判别损失在红外图像基础上调整融合图像，从而使融合图像包含更多纹理信息，判别损失如下：

其中，Iv代表生成的可见光图像，b代表红外图像的标签，D(Iv)代表对Iv的鉴别结果。基于可见光图像中提取的特征，鉴别器将融合图像和可见光图像分开。使用最小二乘损失函数，使生成对抗网络训练更加稳定且收敛速度加快。

3.3 纹理匹配与转移模块

本文首先在特征空间中寻找模板图像和输入图片的相匹配的纹理信息，具体的结构如图2所示。纹理匹配过程在高分辨坐标系中完成，以便于直接将匹配到的纹理信息转移到超分辨的结果。和自参考的策略相似，使用双立方插值将低分辨融合图像采样到高分辨输出大小，同时使用连续上采样和下采样的方式将参考图像变得模糊。与之前的估计全局转移信息或者基于光流的方法不同，本文采用局部匹配的方法，对于参考图像的全局结构没有限制。由于低分辨率图像和参考图像在颜色、光照上有差距，本文在特征空间中进行相似度匹配，使用内积度量特征之间的相似性：

其中，si,j是指的是第i-th低分辨块和j-th参考图像之间的相似性。<·>代表内积。为了选择出最佳的匹配，参考图像的特征被归一化。为了计算效率，相似性计算以互相关的方式实现。

图2 纹理匹配和转移模块

本文提出的纹理转移模块，旨在与将多层次匹配到的纹理特征转移到生成模型中，具体结构如图2所示。对于每个尺度，将纹理匹配模块匹配到的纹理特征与当前网络特征拼接起来，作为下一级网络的输入。本文使用残差结构和跳跃连接来构建生成网络。

出于如下3点考虑：（1）保留低分辨输入图像的空间结构；（2）提高超分辨图像的视觉质量；（3）充分利用参考图像的丰富纹理细节，纹理匹配与转移模块的损失包括如下3个部分：重构损失Lrec，感知损失Lper，纹理损失Ltex。其中重构损失是许多超分辨算法采用的损失，通常用均方误差或者L1损失来度量，本文采用L1损失：

其中，V,C分别代表特征谱的大小和通道数量，||·||F代表Frobenius范数。

传统的单图像超分辨算法仅仅致力于降低生成的高分辨图像和实际的高分辨图像的差异，而本文提出的方法还考虑到生成的超分辨图像和参考图片之间的差异。具体来说，本文要求生成的超分辨图像和匹配后的纹理信息在特征空间中相似，对应的纹理损失如下：

其中，Gr代表格拉姆矩阵，参数λ1是对尺度的归一化因子，S1是由前面的纹理匹配计算出来的最佳匹配的权重。

4 实 验

本节将展示实验设置、实现细节、和其他方法对比以及消去实验。

4.1 实验设置

数据集。由于本文的目标是实现电力设备红外图像的超分辨，但是目前没有公开统一的用于超分辨的电力设备的红外图像数据库，因此本文选择自行构建数据集。使用两个对齐的摄像机（一个可见光和一个红外摄像机）收集了5 000对电力设备图像，随机划分3 500对图像作为训练集，剩余1 500对图像作为验证集。收集的图像是高清的，在训练时首先通过双立方下采样（4倍）作为低分辨率的输入。

评估指标。采用峰值信噪（Peak Signal to Noise Ratio，PSNR）和结构相似性指数（Structure Similarity Image Measure，SSIM）通常用来评价图像间的结构相似性。因此，本文同时选取这两个指标PSNR和SSIM对超分辨结果进行评价。

4.2 实现细节

网络结构。本文使用预训练的VGG-19网络进行可将光图像生成，信息融合，与纹理匹配和转移，总体结构如图1所示。可见光图像生成模块，信息融合模块的输入尺寸（可见光图像和红外图像）被调整为224×224大小。

训练策略。本文的3个部分：可将光图像生成模块、信息融合模块、纹理匹配与转移模块，能够以损失函数叠加的方式联合训练，但是为了训练的收敛速度考虑，首先将3个模块单独训练，最后再进行统一的微调。本文在一个NVIDIA TITAN XP上进行实验，批次设置为32，学习率设置为1e-5，迭代次数设置为96 000，并且在前3 000次迭代中采用warm up策略，在40 000和70 000次迭代时降低学习率到1/10，使用Adam优化器进行优化。

4.3 结果对比

为了验证本文提出方法的有效性，本文和现有的单图像超分辨算法和基于参考的超分辨算法进行对比，单图像超分辨算法包括SRCNN、SelfEx、SCN、DRCN、LapSRN、MDSR、ENet、SRGAN及MDSR等，这些算法在PSNR中取得了最先进的性能，而ENet和SRGAN取得了最好的视觉质量。对比方法总还包括了两种基于参考点超分辨算法，即Landmark和最近提出的CrossNet。

为了公平比较，这些方法都是使用同样的网络进行预训练，然后在本文提出的数据集的训练集进行训练，在验证集上进行。表1展示了所有的方法在提出的数据集上的结果，前9个是单图像超分辨算法的结果，后3个是基于参考的超分辨算法的结果。实验结果显示，本文提出的方法在电力设备红外图像超分辨数据集上的性能，超过了之前的方法，验证了本文提出的方法的有效性。

4.4 消去实验

本文的方法分为三个模块：可见光图像生成模块、信息融合模块、纹理匹配和转移模块。使用最基本的生成对抗网络作为本文的基准，表2展示了消去实验的结果，在基准上增加信息融合模块，PSNR由21.12大幅度提升到25.14，SSIM由0.687提升到0.720；再继续增加纹理匹配和转移模块，PSNR提升至27.12，SSIM提升至0.793，消去实验证明了本文提出的信息融合模块和纹理匹配和转移模块有效性。

表1 在本文提出数据集上的结果对比

表2 在提出的数据集上的消去实验

5 结 论

本文提出了一种新的针对红外图像电力设备的超分辨算法，并进行了实验验证。结果证明，本文的方法在红外图像电力设备超分辨问题上，优于之前的单图像超分辨算法和基于参考的超分辨算法。