基于多维损失函数优化FSRNet的气象观测图像超分辨率重构算法

王瑞祥

（1.河南省气象探测数据中心，河南 郑州 450003；2.中国气象局·河南省农业气象保障与应用技术重点实验室，河南 郑州 450003）

0 引言

目前，我国已建立地面、高空和空间观测相结合的综合气象观测网，在支撑公共气象、资源气象及生态气象服务中发挥了显著作用，但在部分气象灾害重点监测区域、特殊地理位置和一些重点服务区域仍然存在观测途径难、站点稀少等问题，难以捕捉到局地灾害性天气现象和观测资料。据此，河南作为志愿气象观测的试点省份，已招募社会志愿气象观测设备并入观测站网序列。但是由于志愿观测设备存在多样性，测量环境各异，仪器缺乏稳定性，数据采集和传输受到通信条件和观测环境多种因素的限制，一系列观测图像质量较低，给研究带来了困难，因此需要对气象观测图像进行超分辨率重构。

超分辨率（Super-Resolution，SR）是图像分析与识别中的一项基本技术，可以极大地促进农作物图像的目标识别任务，在传统的图像识别领域应用广泛［1-2］。在农业气象观测以及一些志愿观测图像中，例如农作物的生长图像、重要天气现象图像、天气过程的图像等，不同观测设备的图像质量存在较大的差异，传统图像空间中的像素级均方误差损失函数通常运用在极个别图像的超分辨率重构上［3］，其像素级的输出更接近真实的HR 图像，会使得输出的图像产生平滑和模糊的效果，对细节和纹理的要求不高。相对于普通图像的超分辨率，气象观测图像中不同的观测要素存在特定的先验知识，例如雾霾、冰雹、降水、大风以及农作物不同的周期生长，具有不同的知识特点，这些先验知识是气象图像的超分辨率的关键，例如，不同天气图像所对应的天气现象字段以及不同的农作物图片对应的生长周期等可以帮助重建更加精细的目标形状［4］，其字段的构造成分可以重塑目标细节。

通过对FSRNet 超分辨率网络各个模块进行分析研究发现，传统的超分辨率网络模块之间构造相对粗略，损失函数的设计相对欠缺不够完善，从而导致经过网络训练输出的超分辨率图像的纹理不够精细、各项硬指标和视觉质量不高。针对以上问题，本研究提出了一种基于多维损失函数优化FSRNet 的气象观测图像超分辨率重构算法，降低了计算复杂度，节省了大量的计算量，对网络训练采用递进式的方法，对模型进行分步训练，解决了网络训练时较难的参数调整，避免了粗略超分辨率网络造成先验估计准确性较低等相关问题，使粗略超分辨率网络输出质量较高的图像。

1 传统超分辨率网络

传统的超分辨率网络结构可大致分为粗糙SR网络（coarse SR network）、精细SR 编码器（fine SR encoder）、先验估计网络（prior estimation network）和精细SR 解码器（fine SR decoder）四个模块。网络的输入经过立方卷积插值模糊处理过的图像，最后输出的是高分辨率的SR 图像。通过立方卷积插值（bicubic）对气象观测图像进行接近高分辨率的图像放大效果处理，为了使先验估计网络直接从分辨率相对较低的气象观测图像中提取到关键的先验信息，首先不改变输出图像大小，使图像由粗糙SR 网络输入，先快速生成一个粗略的SR图像，使得先验估计网络能够提取到相对准确的图像中目标关键点和解析图。气象观测图像途径粗略的SR 网络后可以产生粗略SR 图像，将粗略SR 图像输入到先验估计网络中，通过先验估计网络来预测气象观测图像中的目标解析图和关键点热图，对图像进行降采样，使得输出的先验信息包括多个预测的目标解析图。接着将粗略SR 图像输入到精细SR 编码器中，精细SR 编码器利用残差块进行特征提取，将特征进行下采样，将先验特征融合图像特征作为串联结构形式，并把其作为精细SR 解码器的输入，运用精细SR 解码器将特征进行上采样到一个较高的分辨率，恢复最终的HR 图像，此时相对分辨率较模糊的气象观测图像就完成了传统的超分辨率重建，可以提高气象图像精细化程度，但图像的纹理不够精细、各项硬指标和视觉质量仍不高。

2 超分辨率网络的改进

2.1 粗糙SR网络的优化

原始的FSRNet 超分辨率网络对于图像的输入尺寸相对较大，往往是插值过后的低分辨率图像，然而输入图像的尺寸与经过神经网络训练计算的时间复杂度成正比，尺寸越大则时间复杂度越高。因此，为了提高网络的效率和重构质量，把原始图像进行降分辨度输入，保证输入尺寸为较低的16×16 低分辨率图像，并以此输入至粗糙SR 网络中进行图像恢复，并在粗糙SR 网络末端融入转置反卷积函数再把图像恢复至128×128×3。FSRNet 在粗糙SR网络中使用了3个残差块来提取特征，在最后增加一个转置卷积层来放大图像。

2.2 多维损失函数构建

通过使用FAN网络，来提取目标热图进行监督训练，引入的蒸馏FAN网络表示为FANd。

通过引入图像目标注意力损失，恢复目标图像周围区域的属性特征，由于图像的关键点热图可以更好地体现目标所在的位置特征，所以运用目标关键点热图表现位置信息，记为Mτ，将放大后的图像与目标图像构成逐要素信息矩阵向量，并对其进行向量积计算，以目标周围的图像特征作为图像目标注意力的重点关注区域，由此目标注意力损失可以表示为lat，其损失函数表示为式（1）。

式中：G代表图像目标SR 网络的生成器，G在训练的第一阶段表示为粗略SR 网络，后一阶段表示剩余网络。HSR和LSR分别为输入的目标图像和Plow。目标热图在各通道上的最大值为关键点注意力热图Mτ。使热图标准化至［0，1］范围内，使得界标之间的差异性特征更为鲜明，图像的长和宽W、H均为128像素。

先验损失的引入，通过先验估计网络PNet预测目标先验信息，减少生成的图像先验信息和目标先验信息之间的差异性，先验损失函数记为lprior，其定义如式（2）。

式中：PNet降采样后输出，所以经过粗略SR 网络后输出的气象观测图像为64×64像素。

感知损失的引入［5］，使用VGG16网络的高级特征记为φVGG，生成更真实的HR 图像，有效防止生成的气象图像产生失真和模糊的问题，感知损失函数记为lperc，其表现形式如式（3）。

通过引入逐像素均方误差损失训练，找出目标图像和超分辨图像之间的差异性最小的界值，均方误差损失函数记为lmse，其表现形式如式（4）。

与基于MSE的深度模型图像重建相比，生成对抗网络（GAN）对SR 的图像重建带来了显著的效果，通过判别网络区分SR 图像和真实环境下的高分辨率图像，有效地还原真实环境下的图像。引入对抗损失函数来生成超分辨率气象观测图像，通过构 建 鉴 别 器Diden，MSE 损 失 可 以 用IHSR～PNetr与ISR～PNetg之间的关系来表示，其中IHSR～PNetr表示为图像的目标分布特征，ISR～PNetg表示为图像生成的分布的特征，用Wasserstein 距离［6］的概念来度量IHSR～PNetr与ISR～PNetg之间的关系，为了对鉴别器中“Lipschitz-1 条件”进行有效规范和限定，采用带有梯度惩罚策略的WGAN（WGAN with gradient penalty）［7］，该策略相比于传统的WGAN 训练更加稳定，可以使收敛速度变得更快，并且使得生成的样本图像质量更高。令I～表示为PNetr和PNetg的样本中的随机采样图像，对抗性损失函数记为lWGAN，其表现形式如式（5）。

热力图可以精确描述目标中心点的特征，通过训练，可以准确得知目标中心存在损失，为了更好地发掘目标中心点的特征，引入热图损失，使得目标结构的一致性得以提升。通过量化目标图像热力图与最小生成图像相互之间存在的关系，用它们之间的差异性距离来计算热度损失，把热图损失记为lheatmap，其损失函数的形式语言定义如式（6）。

式中：N表示关键点的数量。综上所述，通过上述损失函数的融入，进行多维训练，首先训练粗略SR 网络，其次训练剩余网络部分，具体训练损失函数表示为式（7）、式（8）。

本研究优化超分辨率网络结构，构成了一种多维损失函数的超分辨率网络（Multi-dimensional loss function super resolution network，MLFSRNet），通过融入对抗性损失训练，以超分辨率网络生成器和鉴别器网络组成网络的整体结构。生成器网络的结构在FSRNet 的基础下优化了粗糙SR 网络，以卷积层（Conv）、平均池化层（AvePool）和LeakyReLU激活组成鉴别器网络的结构。

3 试验分析

3.1 数据集和相关参数

为了使模型能够更好地拟合真实环境，更容易与先进的算法模型进行比较，选择使用公开的数据集MWD（Multi-class Weather Dataset）进行试验分析，该数据集包含6 个常见类别的65 000 张图像，这些类别包括晴天、多云、下雨、下雪、薄雾和雷雨天气。该数据集还有利于天气分类和属性识别。

3.2 损失函数的影响分析

通过消融研究来验证本研究所提出的MLFSRNet网络在引入面部注意力损失、热图损失和感知损失的有效性，使用最普遍使用的峰值信噪比PSNR来评估超分辨率网络的性能，用结构相似性SSIM指标来评估各个损失函数对于网络优化的影响，以不同结构的网络进行试验对比。由表1 可知，由不同损失函数构成的网络与构造的多维损失函数相比，其中lstep1-δlheatmap-εlat是去掉了注意力损失和热度损失，只有像素损失和感知损失并进行对抗性训练的结果，lstep1-εlat加入了热图损失，lstep1包含注意力损失、热度损失以及像素损失和感知损失。由试验可知，当在模型中融入注意力损失和热图损失构成多维损失融入后，PSNR 和SSIM 指标在数据集上的试验效果都有明显上升，由此可知MLFSRNet网络的性能更好，可以生产出效果更佳的超分辨率图像。

表1 超分辨率网络的PSNR和SSIM指标的消融比较

3.3 粗略SR网络的优化分析

为了验证MLFSRNet 优化后粗略SR 网络的性能，与传统超分辨率网络的粗略SR网络进行对比分析。MLFSRNet 输入的是16×16 像素的低分辨率图像，FSRNet输入的是128×128像素，所以MLFSRNet的粗略SR 网络算法复杂度有所降低。该模型随着网络训练PSNR 和SSIM 的变化情况如图1 所示，MLFSRNet 和原始FSRNet 的粗略SR 网络在PSNR和SSIM 上的对比见表2，由此可知构造的模型对图像的超分辨率优化比传统模型效果更好。

图1 MLFSRNet网络训练PSNR和SSIM变化图

表2 MLFSRNet与传统FSRNet对比

3.4 MLFSRNet与先进算法模型对比分析

将构造的多维损失函数的超分辨率网络MLFSRNet方法与一些先进的算法模型进行对比分析，图2 分别显示了构造的算法在不同量级的MWD 数据集中效果都优于其他算法。由表3也可以看出构造的网络在PSNR和SSIM上都优于传统的FSRNet［8-9］。

图2 MLFSRNet网络与先进算法对比

表3 MLFSRNet与优秀的FSRNet比较PSNR和SSIM

4 结论

本研究提出了一种多维损失函数优化FSRNet的超分辨率网络MLFSRNet，首先引入热图损失、目标注意力损失和对抗性损失等多维损失函数，对FSRNet 进行模块优化，使用转置卷积放大低分辨率的图像，从而降低了算法复杂度，并提升了粗略SR 网络的性能。其次对模型进行分步训练，先对低分辨率图像进行粗略SR 网络训练，再使剩余网络融入训练，解决了网络训练时调参困难等相关问题，引入热图损失、目标注意力损失和对抗性损失训练，也提高了超分辨率气象观测图像的质量，通过试验证明MLFSRNet 对于气象图像的超分辨率重建效果比一些先进的算法更好，为气象领域图像天气现象识别提供了支撑。