基于纹理转移的露天矿区遥感图像超分辨率重建

杨宏业，赵银娣，董霁红

(中国矿业大学 环境与测绘学院，江苏 徐州 221116)

矿产资源是人类社会前进的动力，是不可或缺的物质基础。矿产资源的开发一直以来都是国家和社会关注的重点问题。早在2004年，国务院新闻办就发布了《中国的矿产资源政策》白皮书[1]，高度重视矿产资源的合理利用，推进矿业绿色发展，倡导保护生态环境，高效利用资源。露天开采是一种矿物开采方法，由于感兴趣的矿石所处的深度较浅，因此在地表进行开采[2]。露天矿区开采简单，生产效率高，开采成本低[3]。但是过度开采和不正确的开采方式会对生态环境造成极大的损害，导致土壤、植被和水资源等的破坏。

随着传感器的发展，遥感技术已广泛应用于土地利用[4-5]、灾害监测和工程建设等领域。遥感图像因其宏观性、综合性、周期性、详细性、客观性、时空多边性等特点，成为矿区生产的基本信息源之一[6]。目前，通过多时相的遥感图像对正在开采中的露天矿区和在复垦中的矿区土地进行动态监测[7-9]，科学高效，省时省力。

随着高性能新型传感器研制开发水平以及环境资源遥感对高精度遥感数据要求的提高，高空间分辨率已经成为卫星遥感图像获取技术的发展趋势。高空间分辨率遥感图像的发展提高了信息提取、信息检测的精度，开拓了遥感数据的应用领域。空间分辨率的性能决定了图像的画面清晰程度，是一幅图像的核心。受限于图像采集设备如遥感卫星、无人机等的成本，无法每一次都能获得边缘锐化，无块状模糊的大尺寸高清图像。对于露天矿区，矿坑是开采的主体，变化活动较为频繁和剧烈;排土场距离矿坑很近，地表变化也易随矿坑的开采而变化;矿区排土场相对较稳定;矿区建筑是人类在矿区活动的重点区域，位于离矿坑较远且位置相对安全的地方，应密切关注其周边地物变化，当其周围地表异常时需及时撤离，以免造成安全事故;运输道路位于矿区各区域之间，当其位于变化情况异常的区域时，会对矿区安全生产造成威胁[10]。如果该矿区的遥感图像空间分辨率达不到一定的要求，会导致矿区各场景边界难以区分、细小的地物无法判读、控制点精度得不到保证，满足不了生产和监测管理的需求，对矿区的生产活动产生不利影响。图像超分辨率重建技术可以对低分辨率的图像进行分辨率重建，提高原始图像的分辨率，一定程度上解决图像分辨率较低的问题。对低分辨率的露天矿区遥感图像进行超分辨率重建不仅可以大幅节约成本，还能提高对矿区地物的识别能力和识别精度，实现从遥感图像中获取超出其分辨率的图像以及更丰富的信息。

1964年，HARRI[11]和GOODMAN[12]以单幅图像插值的方法提出超分辨率重建的概念，为后来的发展奠定了基础。按照研究方法分类，传统的超分辨率重建方法主要分为3类，分别是基于插值的方法[13-17]、基于重建的方法[18-21]和基于学习的方法[22-25]。基于插值的算法运算复杂程度低，运行速度较快，但易导致插值后的图像边缘较为模糊、出现明显的锯齿等现象;基于重建的算法的高分辨率图像边缘和细节较好，但其收敛速度慢且稳定性不好，依赖于初始估计，计算量大;基于学习的方法是从大量的训练样本中获取先验知识来进行训练，效果较好，但训练样本的选择非常重要[26]。深度学习超分辨率重建技术近年来不断发展，成为大热并广受欢迎。深度学习相较于传统方法，可以通过学习，自动提取特征，避免了人工提取特征的主观性和不完备性。自从SRCNN[27-28]方法首次将深度学习利用于图像超分辨率重建之后，专家学者们陆续提出了很多深度学习图像超分辨率重建的方法。随着方法模型越来越复杂，神经网络层数不断加深，会出现梯度消失、参数过多、训练困难等问题，这些问题使得专家学者们不断提出更好的方法，如DRCN[29]方法引入了递归结构和跳跃连接，缓解了训练模型的困难;SRDenseNet[30]通过稠密块结构，减轻了梯度消失问题，加强了特征传播，减少了参数数量。基于深度学习的图像超分辨率重建方法发展迅速，很多超分辨率重建方法的峰值信噪比(Peak Signal to Noise Ratio，PSNR)较高，但是视觉效果并不好，特别是对于细微纹理，人眼看上去会过于平滑，有模糊区域甚至伪影。

遥感图像有着丰富的纹理信息，纹理特征是遥感图像的基本特征之一。纹理特征在计算机视觉、模式识别以及数字图像处理中起着重要的作用[31]。露天矿区中每种场景的纹理特征各有不同，如排土场呈环形分布，边缘区域具有浅黄色或亮灰白的放射性纹理，有明显的扇形或阶梯特征;矿区复垦土地在矿区周围，纹理排列规则，与自然地物有区别;废渣堆由采煤过程中产生的各种碎石渣、煤矸石堆放形成，呈集群团状分布，纹理较为均匀，颜色为灰色。笔者利用SRNTT[32]方法，在特征空间中进行局部纹理匹配，并通过深度模型将匹配的纹理传递到最终输出。SRNTT将相关纹理从参考图像传输到输出重建的图像，可以补充低分辨率图像中缺失的细节，避免细微之处产生模糊区。专家学者们会使用感知相关的约束如感知损失[33]、对抗损失等[34]来提高图像质量，SRNTT结合了感知相关约束，利用感知相关函数提高人眼视觉效果，能够重建出更合理的图像。

1 网络结构

采用一个端到端的深度学习模型SRNTT。SRNTT由ZHANG等[32]提出，是一种基于参考图像的超分辨重建方法[35]，旨在根据低分辨率图像ILR和给定的参考图像IRef生成高分辨率的重建图像ISR。

SRNTT方法是在特征提取的空间中搜索来自IRef的匹配纹理，然后以多尺度方式将匹配的纹理传输到ISR。纹理转移的过程中会对ILR和IRef之间语义的相似性进行判断，从而抑制不相关纹理。SRNTT方法主要包括特征交换和纹理转移两个部分，结构如图1所示。

图1 方法结构Fig.1 Structure graphing

1.1 特征交换

特征交换是在特征提取空间内对整个IRef进行搜索，找到类似的可替换ILR的纹理特征。首先对ILR进行双3次上采样得到ILR↑，使它拥有和高分辨率图像IHR同样的尺寸;同时考虑到分辨率的不同，对相应的IRef进行双3次下采样和上采样得到IRef↓↑，使其尺寸与模糊程度同经过上采样的ILR↑对应。

1.1.1特征提取

为了加快进程，SRNTT中只利用VGG19[36]的前3层特征提取网络，VGG19使用3×3卷积核的卷积层堆叠并交替最大池化层，有2个 4 096 维的全连接层，网络深度达到19层。本文用ResNet34[37]替代VGG19提取图像特征，以提取更加丰富的特征。

ResNet于2015年首次提出后，广泛应用于目标检测、语义分割和目标识别等领域。ResNet为在VGG的基础上，加入跳跃连接形成残差网络，相比于VGG，ResNet网络深度更深，运算量更小。ResNet的主要思想是在网络中增加了直连通道，允许保留之前网络层的一定比例的输出。ResNet网络输出分为两部分，分别为恒等映射(x)、残差映射(F(x))，即y=F(x)+x，如图2所示。

图2 ResNet残差块[37]Fig.2 ResNet residual block[37]

1.1.2相似性判断

在进行混合料摊铺施工时，首先应将施工作业面清理干净，扫除路面上的灰尘杂物等。由于SBS改性沥青施工温度较高，因此在进行摊铺时应控制混合料摊铺温度160～180℃，温度低于140℃的沥青混合料禁止使用[2]。另外，在进行摊铺作业时宜采用两台不同型号摊铺机阶梯式摊铺，其中两台摊铺机的前后间距不应超过20cm。

把输入图像和参考图像分成若干个大小相同的图像块，考虑到ILR↑和IRef↓↑的图像块在颜色和光照上会有区别，所以就在高层次的特征图上计算，即φ(I)为已提取到的高层特征图的结构和纹理信息。

在特征提取的过程中，匹配ILR↑和IRef↓↑中的图像块，利用内积来衡量特征图像块之间的相似性。可以用一组卷积计算遍历ILR↑和IRef↓↑的图像块，得到相似性:

其中，Pj为ILR↑的特征图中的第j个补丁;Sj为第j个IRef↓↑图像块和第j个图像块之间的相似性。使用IRef↓↑中相关性高的、质量好的特征块替换ILR↑特征块粗糙的纹理特征，用外部信息填补低分辨图像的信息空缺。通过比较相似性的大小可以建立一个转移的特征图M来代表纹理增强后的低分辨率图像。

1.2 纹理转移

纹理转移是在各种尺度的特征层中把多个交换的纹理特征图融合到一个基础的深度生成网络中。在每个卷积层l中，利用纹理特征编码器φl把特征交换得到的交换特征图Ml与当前的尺度匹配，其中，φl为第l层的纹理特征编码器，用于提取第l层特征图的结构纹理信息。

利用残差块和跳跃连接来建立基本的生成式网络，第l层网络的输出ψl定义为

ψl=[Res(ψl-1‖Ml-1)+ψl-1]

其中，ψl是第l层的输出;Res为残差块;‖为通道连接。最终在L层卷积层后生成超分辨率重建后的结果图，并且分辨率达到IHR的分辨率。假设有L层，最终的ISR定义为

ISR=Res(ψl-1‖Ml-1)+ψl-1

1.3 损失函数

重构损失定义为lrec=‖IHR-ISR‖1。使用1范数是为了产生更锐利的细节。

2 实验与分析

2.1 数据集

本实验数据来源于RSI-CB256[38]数据集和剪裁的谷歌影像，首先对数据进行预处理，将原始高分辨率图像作为输出对照，对其进行4倍下采样得到低分辨率图像作为模型的输入，训练得到扩尺寸至4倍与原始图像大小一致的结果。本实验的数据每一组数据有两张，分别是输入图像和参考图像。训练数据集共4 176组，每张图像的尺寸为256×256像素，测试数据集共100组。数据集内容涉及矿区各场景，包括露天矿坑、排土场、煤炭运输道路、废渣堆、矿区复垦土地、煤炭中转场地、矿区建筑以及矿区周围的场景如山地、耕地、森林、居民地、裸地，如图3所示。

2.2 训练环境

本实验采用TensorFlow深度学习框架，运行内存为16.0 GB，处理器为Intel Core i7-8700，显卡为NVIDIA GeForce GTX1080 Ti，GPU加速库采用CUDA9.0和CUDNN7，在Ubuntu16.04系统上训练改进的SRNTT超分辨率重建模型。模型参数中，学习率设置为0.000 1，迭代次数设置为50，每个批次训练9张图，优化器设置为Adam。

图3 数据集涉及场景Fig.3 Scene contained in dataset

2.3 评价指标

本文采用PSNR[39]、结构相似性[40](Structural Similarity Index，SSIM)作为衡量图像超分辨率重建效果的指标，用来评价一幅图像重建后和原图像相比质量的好坏。

PSNR为最常用的图像质量评价指标，其值越大，重建后失真越小，图像重建效果越好。一张大小为m×n的图像I，噪声图像为K，均方误差(Mean Square Error，MSE)定义为

PSNR(dB)定义为

亮度相似性l(x,y)为

式中,μx为x的均值;μy为y的均值;c1为常数。

对比度相似性c(x,y)为

结构相似性s(x,y)为

式中，σxy为x和y的协方差;c3为常数。

SSIM(x,y)=[l(x,y)αc(x,y)βs(x,y)γ]

设α,β,γ均为1，则

2.4 结果分析

本实验使用红、绿、蓝3个波段组成的真彩色图像对模型进行验证，利用改进的SRNTT方法与SRNTT,SRGAN[41],EDSR[42]进行了对比实验。SRGAN方法是利用生成对抗网络对图像进行超分辨率重建，并感知损失和对抗损失来提升恢复出的图片的真实感。该网络包括生成网络和判别网络。生成网络由B残差块、卷积层、Batch-Normalization层和ReLU激活函数层组成，并通过训练两个子像素卷积层来提高分辨率，以生成重建图像。判别网络由VGG网络、LeakyReLU激活函数层和最大池化层组成，用于判别是生成的高分辨率图像还是真正的高分辨率图像。

EDSR方法是只利用了生成对抗网络的生成网络，并去除了Batch-Normalization层，使每层提取更多的特征，以获得更好的效果。该网络的损失函数是均方损失函数和VGG 损失函数。SRGAN和EDSR都是较为先进，重建效果较好的方法。选择了测试集中的2幅图像可视化，如图4所示。

图4 实验测试结果Fig.4 Experiment testing results

同时，利用PSNR和SSIM对测试集中的100幅图像进行评价，结果见表1。

综合图4和表1可以看出，从视觉上看，改进的SRNTT和SRGAN较EDSR和SRNTT更清晰，纹理细节更丰富，模糊区域较少，取得了更优的效果;改进的SRNTT和SRGAN相比，视觉感知没有较大差异，效果都较好;从评价指标上看，改进的SRNTT在PSNR和SSIM上都略微高于其他方法，在PSNR方面与SRNTT相比高了0.869 3 dB，与SRGAN相比高了0.418 33 dB，比EDSR高了3.073 6 dB;SSIM比SRNTT,SRGAN,EDSR分别高了0.006 9,0.000 5,0.003 0。尽管PSNR,SSIM这两个指标仅能反映重建后的图像与原始图像之间的结构相似性，不涉及图像内容的对错，但改进的SRNTT在视觉效果和PSNR,SSIM上都有较好表现。

表1 结果对比
Table 1 Compare results

评价指标EDSRSRGANSRNTT改进的SRNTTPSNR/dB35.594 6038.249 8737.798 9038.668 20SSIM0.958 50.961 00.954 60.961 5

2.5 参考图像的影响

选取两组测试数据对不同参考图像对结果的影响进行测试和分析，测试结果如图5所示，并利用PSNR和SSIM对上述图像进行评价，结果见表2。

根据图5和表2看出，不同参考影像对应的重建图像也不同。REF4与需重建的图像基本不相似，得到的结果无论在视觉上还是评价指标上都较差，而REF1与需重建的图像相似度较高，重建后的效果也较好。可以很明显地发现，参考图像与待重建的图像相似度越高，重建后的图像效果越好，相似度越低，重建后的图像效果差。

表2 不同参考影像结果对比
Table 2 Different reference images testing compare results

评价指标第1组图像REF1REF2REF3REF4第2组图像REF1REF2REF3REF4PSNR/dB38.921 138.879 738.114 333.940 438.754 038.575 937.842 231.155 8SSIM0.966 80.935 30.974 90.935 30.975 40.966 00.937 40.861 4

3 结 论

(1)为提高现实中露天矿区遥感图像的空间分辨率，通过改进的SRNTT模型对露天矿区遥感图像进行超分辨率重建，在特征提取部分用ResNet34代替VGG19，网络深度更深，运算量更小，进一步提高了特征提取的效果。

(2)实验结果表明，本文方法在视觉效果和评价指标的值上都有较好的表现。在PSNR方面，比SRNTT，SRGAN，EDSR分别高0.869 30，0.418 33，3.073 60 dB；在SSIM方面，比SRNTT，SRGAN，EDSR分别高0.006 9，0.000 5，0.003 0；在视觉表现方面，比其他在细节方面更为真实，且本文方法的重建效果随参考图像与待重建图像的相似度的增加而提高。

(3)本文方法适用于露天矿区的遥感图像，能充分利用遥感图像的长时间序列和时空多边性，且高分辨率的遥感图像价格高，低分辨率的遥感图像价格较低且获取容易，可以大幅度节约成本，在露天矿区生产和修复领域应用能更好地服务于矿区的动态监测与管理。