基于生成对抗网络遥感图像重建技术研究

陕西省土地工程建设集团  陕西西安  710075

摘要：目前我国遥感影像技术不断发展，航空摄影的清晰度不断提高，但是可供民用的卫星影像有时不能够满足现阶段业务的发展，所以通过软件方法去提升影像的分辨率是本文研究的目的。本文通过改进生成对抗网络，删除BN层完成了将低分辨率图像到高分辨率图像的有效重建，经过对比与之前的重建算法在评价指标上都有提升，能够服务以后的工作任务。

关键词：遥感影像;生成对抗网络;图像高分辨率重建

引言

近年来随着我国卫星技术的发展，我国遥感影像清晰度也在不断提高，这使得遥感影像的应用方向不断提高，但是目前在商用的卫星影像中，还存在清晰度差，图像边缘模糊的问题，在一些土地测绘，土地确权项目中不能够很好地为项目提供影像依据与数据支撑。依托目前机器学习的兴起，神经网络的不断发展，利用神经网络将清晰度不高的影像转变为清晰度高的影像，为生产任务提供帮助，这种方法是一种可行的技术研究方案。

生成对抗网络在学习复杂的分布，例如自然图像方面具有非常成功的案例，因为它能够获得高度细致与逼真的输出结果。目前来说要获取高分辨率更高的影像可以通过两个方面进行获取，一个是硬件提升一个是软件提升，硬件方面例如增大相机孔径，加大镜头进光量等，但是这样会增加当前项目成本的支出。软件方面目前主流的方法有：基于插值的超分辨率重建[1]、基于重构的超分辨率重建[2]、基于学习的超分辨率重建[3]。利用插值的方法主要是通过目前图像中已经有的像素点通过模拟的方法来拟合周围空白的像素点，这种方式简单，但是也存在弊端，例如会丢失图像的高频信息，重建后的图像会过于平滑失真。经典的神经網络的方法是使用一个简单地卷积层数较少的全卷机神经网络，进行图像卷积，通过特征提取、映射、重建一系列过程，但是受限于该网络结构简单，所以在重建的图像效果上有些图像并没有很理想。

SRGAN（super resolution reconstruction generative adversarial network，SRGAN）[4]是一种利用生成对抗网络进行超分辨率重建的技术，并且在高分辨率领域也取得了不错的效果，该网络的图像重建性能在实验中得到验证是明显优于传统的神经网络，但是生成对抗网络存在不稳定的问题，图像特征的传播会产生特征丢失，怎样去改进网络使其针对自己的任务去优化改进，使得最终的算法更加适用于自己的任务，本文通过改进生成器的信息传输过程来优化网络，增强网络性能，从而生成高质量的清晰度高的图像。

网络结构

生成对抗网络主要由两个部分组成，分别是生成器（G）与判别器（D），生成器的作用是用来生成数据，判别器用来判别输入的图像是来自生成器伪造的还是人工标注也就是人工恢复的高分辨率图像，通过评分来判定输入数据的来源。

SRGAN是一种基于GAN模型来对图像进行超分辨重建的算法模型，由生成器和判别器两个部分组成，用PSR来表示SRGAN网络重建的超分辨率图像，PHR是一个高分辨率卫星图像，PLR是PHR所对应的低分辨率卫星图像，由PHR通过降采样得到，生成器网络用G来表示，判别器网络用D来表示。SRGAN模型原理图如图1所示，生成器通过输入PLR生成PSR，并根据判别器的输出进行梯度调整，通过最小化损失函数不断优化生成器的生成性能，以提升PSR分辨率。判别器本质上是一个二分类器，正相关为PHR，负相关为PSR ，采用交叉熵作为判别损函数，使用PHR和PSR的均方根误差（MSE）作为损失函数，输出对应的分类概率，输出范围为[0，1]，生成器的优化目标是使得判别器无法区分PHR和PSR，判别器的优化目标是能够准确区分真数据和假数据，二者处于一种博弈状态，在博弈过程中，生成器和判别器的性能都会随着训练提升，最终达到纳什平衡状态。

改进方式

BN（Batch Normalization）层经常用于图像分割领域，目标检测等领域，对目前大部分传统的神经网络都能起到加速收敛，防止网络过拟合的效果，对于一些不需要精细图像信息的任务，能找出关键特征，BN就能发挥积极的作用。而本文的高分辨率重建任务基本都是将小图像通过像素插值，变成大图像，如果在超分辨率重建任务中使用这中像素级别的方法，图像的色彩分布都会被归一化，一些卫星图中特有的细节例如影像中的单体小的住宅往往会被BN层给忽略，不利于高分辨率图像生成。BN层的存在还会增加网络的复杂度，去除BN层的同时再将Relu激活函数替换成能在深层特征更具区分度的PRelu激活函数，通过这样的调整可以保留更多的浅层特征信息，提升任务的完成度。

实验过程

数据集BSD100和SET14是常用于单图像超分辨率的数据集。对每个数据集，各取40%的图像作为训练集，其余60%的图像作为测试集。训练集的图像包含两两对应的高分辨率图像和低分辨率图像.低分辨率图像在初始的数据集中是不存在的，所以需要对数据集的高分辨率数据进行手工的降采样处理，以得到相应的低分辨率图像。本研究的目的是能够在地区的高清影像中提高目前数据的利用率，于是本文在公共数据集试验后，使用公司拥有的阎良区高清航拍影像作为检验数据。

根据实验所用硬件性能，训练batch-size设置为4，num-work设置为4，epochs设置为200，验证batch-size设置为1，num-work设置为4。生成网络和判别网络的优化器都是Adam优化器，中央处理器使用英特尔酷睿i5-1140f，显卡为英伟达3060显卡，配置的虚拟环境为Anaconda3，cuda_10.1，Pycharm（Python3.6），cudnn-10.1，深度学习框架为Pytorch，使用的操作系统为windows10，主机内存为16G。

五、质量评价

图像的重构，本文选用的评价指标为本文使用图像超分辨率领域常用的峰值信噪比（peak signal to noise ratio，PSNR）和结构相似性（structural similarity index measure，SSIM）作为评价指标。PSNR是基于误差敏感的图像质量评价，值越大说明图像的失真越小，SSIM是一种符合人类视觉的图像质量评价标准，他基于局部圖案的亮度、对比度进行数值计算，值越接近于1，说明网络模型生成的高分辨率图像的质量越好，更加有实用价值，具体的计算公式如公式（1），（2）：

其中 表示的是x，y的均值， ，  表示图像xy的方差，C1与C2 为常数。本文方法通过原始的SRGAN，传统的神经网络[5]，以及Bicubic算法进行对比实验，实验的最终结果如表5.1所示。

我们从量化评价表中可以看出，传统的算法对于高分辨率重建具有一定的效果，但是相较于神经网络不断学习的成像效果来比较的话还是具有不足，大量数据的不断训练能够将神经网络中每个节点参数学习到更加适合这个任务。相较于传统的神经网络，生成对抗网络在高分辨率图像重建方面有更好的效果，因为传统的神经网络其结构简单对图像信息提取不足，容易造成采样信息不足导致重建效果不理想的情况，而本文改进的生成对抗网络，通过删除BN层，更快传递图像的语义信息，选择更优的激活函数让生成对抗网络的生成器能够更加逼真的学生成图像的高分辨率影像。

结论

本文研究了一种基于生成对抗网络的高分辨率图像重建的模型算法，能够将目前已有的卫星影像通过网络模型的运算，达到重建成高分辨率影像的效果，能够为以后的国土空间规划提供更加高清影像，方便工作。

参考文献

[1]苏衡，周杰，张志浩.超分辨率图像重建方法综述[J].自动化学报，2013，39（08）：1202-1213.

[2]时文俊，郭从洲，童晓冲，田园，曹闻.辐射保真的红外遥感图像超分辨率重建[J].西安电子科技大学学报，2019，46（02）：107-113.

[3]曾凯，丁世飞.图像超分辨率重建的研究进展[J].计算机工程与应用，2017，53（16）：29-35.

[4]Shi W ，  Ledig C ，  Wang Z ， et al. SUPER RESOLUTION USING A GENERATIVE ADVERSARIAL NETWORK：， US20180075581[P].

[5] [1] Dong C ，  Loy C C ，  He K ， et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Trans Pattern Anal Mach Intell， 2016， 38（2）：295-307.

【作者简介】：

李致博（1987-）男，高级工程师，长期从事土地测绘，建设用地勘界报批、不动产登记工作、软件开发工作。