基于残差卷积神经网络遥感图像超分辨率重建

刘 爽， 周长才， 王 昕

(长春工业大学 计算机科学与工程学院， 吉林 长春 130012)

0 引 言

图像的超分辨率重建是一种将模糊的低分辨率图像转变为相对应的清晰的高分辨率图像技术[1]。传统的图像超分辨率重建算法主要分为基于插值[2]和重建[3]的方法，近年来，基于学习[4]的方法成为研究热点,2014年，Dong C等[5]首次提出超分辨卷积神经网络(Super-Resolution Convolutional Neural Network， SRCNN) 算法，将深度学习引入到图像重建领域，SRCNN结构非常简单，仅用三个卷积层就完成了图像的重建，并取得了较好的重建效果。

2016年，Kim J等[6]提出 VDSR 算法，该算法共有20个卷积层，并引入了全局残差学习，与浅层模型算法相比，该算法对自然图像的重建取得了更好的效果。本研究对遥感图像进行重建，对VDSR图像的重建进行改进，使其更适合遥感图像重建。

1 遥感图像超分辨率重建框架

1.1 网络结构

改进的网络模型结构如图 1 所示。

图1 改进的网络结构

模型一共20层，输入层为双三次插值(Bicubic)后的低分辨率图像；中间的18层结构相似，每一层都包括64个3×3的卷积核；最后一层用于图像重建，卷积核尺寸为3×3；激活函数由ReLU函数修改为LeakyReLU函数；为了保证输入图像与输出图像尺寸保持不变，在卷积前对图像边缘进行边框扩充(Padding=1)。

1.2 激活函数的改进

残差网络在训练时可能会出现梯度消失(爆炸)的情况，使训练不易收敛， VDSR 算法使用修正线性单元(ReLU)激活函数，其表达式为

ReLU(x)=max(x,0)。

(1)

ReLU 函数在大于0的区域梯度为常数，可以缓解梯度消失问题。ReLU函数只有线性关系，如果有一个很大的梯度流过一个 ReLU 神经元，那么ReLU很容易就“die”了，这个问题可以用带泄露线性整流(Leaky Recitiffied Linear Unit， LeakyReLU)函数应对，因此，在每个卷积层中使用LeakyReLU函数作为修正单元，以此来增强网络训练的稳定性,其表达式为

(2)

式中：x----输入信息;

a----参数，设为0.05。

1.3 学习规则的改进

在图像超分辨率重建中，VDSR使用了均方误差(Mean Squared Error， MSE)损失函数，而MSE有平方项，加大了误差对图像超分辨率的影响[7]；平均绝对误差(MAE)[8]是另一种常用的回归损失函数，对于超分辨率任务，MAE损失函数有更好的性能和更快的收敛速度[9]，因此,文中使用MAE损失函数替代MSE损失函数。

(3)

(4)

式中：N----训练样本的数量；

xi----第i个样本的实际值；

xk----第i个样本的预估值。

Adam在模型训练过程中采用可调整的学习率，区别于学习率保持稳定不变的随机梯度下降(SGD)，使每一次迭代的学习率都有一个较好的数值，并使训练质量提高[10]。因此,文中使用动量为0.9的Adam[11]优化器替代SGD算法[12]，对模型参数进行优化，不断降低与高分辨率图像之间的差异。Adam 具体表达式为:

(5)

(6)

(7)

式中：gt----t时间步的梯度;

mt----对梯度gt的一阶矩估计；

vt----对梯度gt的二阶矩估计；

β1,β2----参数，分别取0.9和0.999；

ε---- 取 10-8,以防止除数为0；

α----初始学习率，设为0.001。

2 实验分析与结果

2.1 实验环境与数据集

实验采用硬件平台为i7 中央处理器,以及GTX 2080Ti 图形处理器；网络模型为PyTorch框架，使用 PyCharm2020.1.3 x64进行搭建。训练时，放大因子(scale)取3，图像批处理大小(batchsize)为64，动量(momentum)为0.9，权重衰减(weight-decay)参数为0.000 1，初始学习率(Learning Rate，lr)设为0.001，每隔10个epoch降低0.1，一共训练50个epoch。

文中选用遥感图像数据集UCMerced_LandUse，这个数据集共包含 21 个类别，图像像素分辨率为 12×12 dpi，图像像素大小为 256*256。在每个类别图像中随机选取50幅图像生成训练数据集，通过旋转和缩放的方式进行数据增广，在每个类别剩余图像中随机选取30幅图像生成测试数据集。

2.2 评价指标

对于重建图像的客观评价，当前常用峰值信噪比( Peak Signal to Noise Ratio， PSNR)[13]和结构相似度( Structural Similarity Index Measurement， SSIM)[14]作为评价指标。

(8)

式中:M,N----图像的尺寸;

y(i，j) ----原始高分辨率图像；

f(i，j)----重建图像。

超分辨图像的重建效果随着PSNR值的增大而变好。

(9)

式中：x----原始高分辨率图像;

y----重建图像;

μx,μy----均值；

σx,σy----方差；

σxy----原始图像与重建图像的协方差。

SSIM值越接近于 1，代表超分辨图像的重建效果越好。

2.3 实验结果

为了证明改进算法的优越性，与双线性插值法(Bicubic)、VDSR算法及改进后的VDSR算法(文中算法)进行了重构对比实验。其中四幅图像的重构结果分别如图2～图5所示。

(a) Bicubic (b) VDSR (c) 文中算法图2 遥感图像airplane55超分辨率重构结果比较

(a) Bicubic (b) VDSR (c) 文中算法图3 遥感图像building53超分辨率重构结果比较

(a) Bicubic (b) VDSR (c) 文中算法图4 遥感图像harbor55超分辨率重构结果比较

(a) Bicubic (b) VDSR (c) 文中算法图5 遥感图像mobilehomepark51超分辨率重构结果比较

从目视结果可以看出，与Bicubic和VDSR算法相比，文中改进算法的重建纹理细节更丰富，边缘细节信息更清楚。尤其在方框标注的区域体现的更加明显。例如，图2所示方框内的飞机边缘轮廓，明显文中算法更清晰。图3至图5也可以得出相同的结论。

在客观评价指标上，将改进算法与Bicubic、VDSR 算法作对比，给出测试数据集中八幅遥感图像(其中包括图2～图5四幅图像，另又选取四幅图像)的SSIM 与PSNR值,SSIM值见表 1 。

表1 八组遥感图像SR的SSIM值对比

八组遥感图像 SR 的 PSNR值对比见表2。

表2 八组遥感图像 SR 的 PSNR值对比 dB

表1与表2对应的折线图如图6所示。

(a) SSIM 折线图 (b) PSNR 折线图图6 三种算法下 SSIM与 PSNR折线图

由图6能够更加直观清晰地显示出文中在客观评价指标方面的优势。

3 结 语

采用改进激活函数为LeakyReLU，优化网络误差规则，使用MAE损失函数等方面对VDSR算法进行了优化，并使用UCMerced_LandUse遥感数据集进行训练与测试。结果表明，改进算法使图像纹理细节信息更丰富，主观视觉效果更好，客观参数 PSNR 与SSIM 均有所提高。