基于轻量级网络的光纤环图像超分辨率重建

张乾闯，郭晨霞,2，杨瑞峰,2，陈晓乐

（1.中北大学 仪器与电子学院，山西 太原 030051；2.山西省自动化检测装备与系统工程技术研究中心，山西 太原 030051）

引言

光纤陀螺仪(fiber optic gyroscope,FOG)是一种光纤传感器设备，它基于Sagnac 效应测量载体相对于惯性空间的角速度[1]，在军事等领域中有广泛应用。在影响FOG 性能的众多因素中，光纤环(fiber optic coil,FOC)的绕制质量是影响光纤陀螺测量精度的关键因素，但是由于光纤材料的直径微小，只有125 μm，因此对FOC 图像的分辨率有极高的要求。

图像超分辨率(super-resolution,SR)是一种通过超分模型，将低分辨率图像(low-resolution,LR)或者是图像序列进行恢复得到高分辨率(highresolution,HR)图像的图像处理技术。现有的图像SR 方法可以分为：基于插值[2]、基于重建[3-4]和基于学习[5]的方法。基于插值的方法通过内插函数重建HR 图像，简洁高效，但通常会模糊重建图像的边缘和纹理。基于重建的方法通常根据一些图像先验提出假设，如稀疏先验，重建过程非常耗时。而基于深度学习的方法[6-8]直接学习从LR 图像到HR 图像的映射关系，通过加深或加宽网络[9-11]来提高性能，但也加重了运算负担。因此，设计轻量级SR 网络至关重要。

FOC 图像不同于自然图像，其包含更丰富的纹理，需要特定的网络来还原细节特征。其次，由于深度模型带来的运算负担，将现有的SR 方法直接应用于FOC 图像会存在适应性问题。并且，利用递归卷积块[12]、组卷积或深度卷积[13-14]构建的轻量级网络，其计算复杂度与具有独立展开块的网络相同。最后，相对较少的训练样本，会使得训练更加困难。

因此，本文提出了一种基于卷积神经网络(convolutional neural network,CNN)的图像超分辨率方法，来提高光纤环绕制FOC 图像的分辨率。首先设计了提取梯度信息的双分支网络，利用梯度学习分支提取丰富的几何结构信息，同时引入多阶段特征迁移机制来指导图像信息重建过程，从而获得满意的SR 结果。另外引入了轻量级残差块(lightweight residual block,LRB)来改进网络结构。实验表明，本文方法可以实现出色的超分辨率性能，并且在效率和性能方面优于其他先进网络。

1 本文方法

1.1 双分支网络结构

在图像采集过程中，与原始HR 图像相比，LR 图像丢失了部分视觉细节。丢失的视觉细节本质上是高频的，其主要包含在图像梯度场中。大多数超分辨率卷积神经网络都没有充分利用图像的梯度信息，而梯度信息的提取有助于图像边缘的高分辨率恢复。为了重建更清晰的纹理边缘，本文提出一种基于深度学习的双分支网络用于实时超分辨率光纤环绕制图像。如图1所示，网络包含一个图像信息分支和一个梯度信息分支。图像信息分支作为主路径用于图像特征提取，而梯度信息分支用于捕获丰富的高频特征以进一步促进梯度流和低级特征的传输。两者通过多阶段特征迁移策略进行联合优化，使得网络在不增加额外参数的情况下获得更好的图像重建效果。

图1 本文算法的网络结构Fig.1 Network structure diagram of proposed algorithm

给定LR 图像X，首先从中提取梯度图。通过计算相邻像素之间的差异来获取梯度图，则像素点(x，y)水平和垂直方向的梯度分别为

梯度图更加注重于高频细节，许多缓慢变化的低频区域的值将接近于零。梯度图Xg可由（2）式获得：

然后LR 图像和梯度图像分别沿各自路径进行特征提取和非线性映射。特征提取模块使用两个3×3 卷积层来提取浅层特征。由多个轻量级残差块(LRB)组成的链式结构同时作用于两个分支进行非线性特征映射，输出增强后的特征分量，结果分别表示为XI,n、XG,n。随后，将来自梯度信息分支的结果和图像信息分支的结果以像素形式相加，即Xadd=XI,n+XG,n。最后将Xadd输入到重建块以获得最终的超分辨率重建结果Y，该部分由两个堆叠的转置卷积构成。在网络中采用全局残差学习，以进一步促进梯度流和浅层特征的传输。此过程可表示为

式中：Fre表示重建块的函数；Fbic表示双三次上采样操作。

1.2 轻量级残差块

受线性压缩跳跃连接[15]的启发，本文构造了轻量级残差块(LRB)，如图2所示。LRB 包含两个特征映射单元，后跟一个局部残差连接。线性压缩层(linearly compressive layer,LCL)被集成到局部跳跃连接。线性压缩层通过1×1 卷积，将输入特征通道数由C压缩为C/2。压缩后的特征可以视作先前特征的紧凑表示，这使得后续层能够重用先前特征。然后利用卷积层来探索新的特征，其输出通道数也为C/2。因此，压缩后的特征与新探索的特征进行级联后的特征数仍为C。本文设定LRB 中输入特征的通道数为64。线性压缩跳跃连接继承了原始密集连接的优越性，随着网络深度的增加，保持当前层的参数和计算量不变，极大地降低了计算成本。假设第l 个特征映射单元的输入为Xl,in，上述过程可以表示为

图2 LRB 结构细节Fig.2 Diagram of structure details of LRB

式中：DWConv 表示3×3 深度可分离(depthwise)卷积层，上标为输入通道数，下标为输出通道数；FLCL表示LCL 函数；[…] 表示串联(concatenate)操作。每个卷积层之后紧跟一个参数整流线性单元(parametric rectified linear unit,PReLU)。

为了充分利用分层特征，在两个特征映射单元之后，使用局部特征融合(local feature fusion,LFF)层来进一步融合级联特征，由1×1 卷积层实现。此外，还采用局部残差学习来促进LRB 中的信息流动。因此，LRB 的输出为

式中：Hn和Hn-1分别表示LRB 的输入和输出；FLFF表示局部特征融合函数。

1.3 多阶段迁移学习

梯度信息对于获得丰富的结构特征至关重要。因此，本文在信息流和梯度流之间建立横向连接，允许在两个流之间传输特征。在图像信息分支的每个LRB 前引入了特征迁移的工作机制，以通过多条路径将不同级别的特征从一个流传输到另一个流，如图1所示。通过多阶段特征迁移，图像信息流的训练受益于来自梯度信息流的丰富信息。通过这种方式，信息分支可以轻松获得梯度高级特征，在不增加参数的情况下提高了图像信息分支的有效性。该过程可以表示为

式中：Fn表示图像信息分支中的第n个LRB 函数；XI,n和XI,n-1表示图像信息分支中第n个LRB 的输出和输入；XG,n表示梯度信息分支中第n个LRB的输出。

1.4 成像系统退化模型分析

虽然双三次下采样的退化模型在重建精度上取得了很大的进步，但现实成像系统中的退化模型往往会偏离这些假设，从而不可避免地导致训练真实场景超分辨率模型的严重恶化。系统成像过程中造成图像劣化的因素有很多，如光学系统的散焦、衍射极限、图像传感器的点扩散函数(point spread function,PSF)、温度变化或振动引起的模糊等。不同的模糊因素会导致图像对比度差，清晰度下降，最终影响图像质量。为了简化重建模型，一般只考虑光学模糊和散焦模糊。在实际应用中，光学成像系统受衍射极限和噪声的影响，其光能传播分布不均匀，一般可以假设为高斯分布。由于成像过程中离焦的不可避免的影响，将PSF 建模为各向异性高斯模糊核，可以表述为

式中σx和σy分别表示x和y方向的标准差。

2 实验与结果分析

2.1 数据集与训练细节

为了解决FOC 图像数据集缺乏的问题，所提出的网络使用通用图像作为辅助数据进行训练，然后将学习到的知识转移到FOC 图像。本文选择来自DIV2K 数据集的200 张高质量图像来训练模型。对于FOC 图像，将CCD 相机捕获的原始分辨率为 2 592×1 944 像素的FOC 图像定义为HR。为了生成LR 图像，应用第1.4 节描述的退化模型来合成训练数据。模糊核σx和σy的宽度从[0.2,4]中随机采样，核大小固定为15×15。经过人工筛选，获得在不同照度、曝光值和增益场景下拍摄的150 幅高质量灰度图像，其中100 张图像用于训练，其余图像用于测试。输入图片大小被水平裁剪为160×160 像素，步幅为140 像素。采用Adam[16](adaptive momentum estimation,Adam)算法进行优化，设置β1为0.9，β2为0.999，初始学习率为0.000 1。每次训练的批尺寸(batch size)为16。模型使用PyTorch 框架实现，并基于NVIDIA Quadro P4000 GPU 对其进行训练。在最终模型中，每个分支的LRB 数量设置为3，以平衡性能和模型参数。除LFF、LCL 和反卷积层外，所有卷积的内核大小、步长和填充分别设置为3、1 和1。

2.2 损失函数和评价指标

引入损失函数的目的是预测并最小化真实图像和重建图像之间的差异。本文选择L1 损失作为损失函数，因为它比L2 损失更符合人类视觉系统。此外，L1 损失更稳健，通常不受异常值的影响。给定训练图像对{xi,yi}，Yi表示真实图像。损失函数如下：

式中：F表示从LR 训练块xi生成HR 图像的映射函数。采用峰值信噪比[17](peak signal-to-noise ratio,PSNR)和结构相似性指数(structural similarity,SSIM)作为质量评估指标。

2.3 模型分析

为了验证本文方法的有效性，进行了一系列实验来分别验证不同部分的作用。实验结果如表1所示。

表1 4 种模型在4 倍比例因子下的PSNR/SSIM 值Table 1 PSNR/SSIM values for four models at 4× scale factors

通过调整两个分支的输入，将图像梯度分支的输入设置为0，此模型记为A(Model-A)。在模型B(Model-B)中，将图像梯度分支的输入也设置为LR 图像，即两个分支都输入LR 图像。通过比较表1所示的结果，可以得出结论，梯度信息能够辅助图像重建过程从而实现更出色的性能。另外，为了研究多阶段特征迁移机制对整个模型的影响，设计了一个没有特征迁移的双分支网络结构，记为模型C(Model-C)。将其与本文的完整模型进行对比，结果表明多阶段特征迁移机制有利于提高模型性能。

此外，为了验证不同退化模型的影响，分别用3 种退化模型对HR 图像进行下采样来产生训练对并进行了3 组实验。3 种退化模型分别是异步高斯核(asynchronous Gaussian kernel,Asyn-Gau)、双三次图像插值(Bicubic)和散焦模糊(Disk)。Disk内核半径从区间[1,4]均匀采样。图3 显示了网络对于不同退化模型的收敛曲线，可以看出使用Asyn-Gau 训练的模型在PSNR 方面实现了卓越的能力，这表明了本文退化模型的优势。

图3 测试集在4 倍放大因子下不同退化模型的迭代曲线Fig.3 Iterative curves of different degradation models at 4×scale factors for test set

图4 显示了上述不同版本模型的重建效果图。为了便于观察，对图像某区域进行了局部放大。首先，如果去掉梯度分支，网络则无法恢复清晰的图像(图4(c))。其次，模型B(图4(d))和C(图4(e))的整体视觉效果相比较而言清晰度有所提高，但与图4(h)相比仍然模糊。最后，在Bicubic 退化模型下的重建效果在视觉上与disk 和Asyn-Gau 区别不大。然而，使用所提出的Asyn-Gau 在PSNR 方面取得了更好的结果。

图4 不同模型下的效果比较Fig.4 Comparison of effects under different models

2.4 实验结果分析

将本文方法与几种先进的SR 方法在不同的比例因子(2×、3×和4×)下进行比较，包括双三次图像插值法(Bicubic)、基于稀疏表示[3]的方法(sparse coding super-resolution,ScSR)、基于自相似性的方法[4](self-exemplars super-resolution,SelfExSR)、基于超分辨率重建卷积神经网络[6](convolutional neural networks for super-resolution,SRCNN)、基于深度卷积神经的网络模型[7](deep convolutional networks for super-resolution,VDSR)、基于深度递归残差网络[12](deep recursive residual network,DRRN)、基于拉普拉斯金字塔的超分辨率网络[18](Laplacian pyramid super-resolution network,LapSRN)和基于深度即插即用的超分辨率方法[19](deep plug-and-play superresolution,DPSR)。所有基于模型的方法都在本文数据集上进行了训练。

表2 总结了不同算法的量化结果。除了广泛使用的PSNR 和SSIM 评估指标外，还采用了另一个评估指标— 信息保真度准则[20](information fidelity criterion,IFC)。总体而言，无监督方法的表现非常差，基于神经网络的方法优于无监督方法。对于PSNR 和SSIM 值，本文方法在3 个比例因子下均展现了最佳性能。观察到SelfExSR 在IFC的所有方法中得分最高，但很明显SelfExSR 的结果存在严重的伪影，这可能是导致结果较高的原因。

表2 一些先进网络的平均 PSNR、SSIM 和 IFC 结果对比Table 2 Comparison of average results of PSNR,SSIM and IFC for some advanced networks

为了展示不同方法重建后的视觉质量，裁剪部分区域放大后显示在图5 中。显然本文模型获得的重建图像中的边缘比其他图像中的边缘更清晰，也更接近HR 图像。

图5 在4×比例因子下不同方法的视觉比较Fig.5 Visual comparison of different methods for 4× scale factors

除了上述对合成下采样FOC 图像的实验外，本文还对分辨率为 1 280×1 024 像素的真实低质量FOC 图像进行了实验，这些图像由1.3×106像素的CCD 相机拍摄。图6 和图7 分别显示了对相机分辨率不足和失焦导致的真实低质量图像进行4 倍重建后的视觉比较。可以发现，大多数比较模型恢复的SR 图像都存在不同程度的模糊。相比之下，本文模型比其他比较方法恢复了更精细的边缘和更可靠的纹理细节，说明了本文方法在实际应用中的优势。

图6 真实LR 图像上的结果Fig.6 Results on real LR image

图7 真实LR 图像上的结果Fig.7 Results on real LR image

2.5 效率评估

本小节进一步分析了所提出方法的时间复杂度。不同方法的运行时间、参数数量如表3所示。结果显示本文方法比其他方法更快更轻。DRRN 虽然参数较少，但它是最耗时的，本文算法可以用较少的参数获得更好的性能。总体而言，所提出的方法在效率上与这些比较方法相比具有很强的竞争力，同时可以获得更好的结果。因此，对光纤绕线质量进行在线监测更为有效和实用。

表3 各算法的运行时间和参数量Table 3 Running time and parameters of different algorithms

3 结论

本文提出了一种用于光纤环绕制图像SR 的轻量级网络。网络通过梯度信息分支提取丰富的梯度信息，用于指导边缘高频细节的恢复。高效的线性压缩跳跃连接减少了原始密集连接的参数和计算，深度可分离卷积进一步降低了计算成本。与先进的轻量级方法相比，所提出的网络在效率和性能方面都领先于其他方法，因此它更易部署在实际应用中，并为光纤绕线质量监测提供了有力的保障。未来我们将进一步开发和寻求新的符合实际成像系统特性的退化模型，实现对PSF 和噪声的准确估计。