改进U-Net网络的高分辨率遥感影像变化检测算法

张吉玲,王庆,王静,闫烁月,陈卓然

(1.江西省军民融合研究院,南昌 330200;2.长江大学 地球科学学院,武汉 430100;3.武汉区域气候中心,武汉 430074)

0 引言

遥感影像变化检测是结合地物特性、遥感成像机理和相关地理空间数据,将同一地表不同时期的多源遥感影像,采用数理模型及图像处理理论来提取和分析该地表区域的变化,包括地区位置、范围、性质的变化[1]。随着遥感平台和传感器的发展,积累了大量多源、多尺度、多类型的遥感图像,遥感影像变化检测得到广泛应用,例如城市变化监测[2]、土地利用及覆盖变化分析[3]、自然灾害灾后分析及评估[4]和环境监测[5]等,因此变化检测一直是遥感领域的研究热点之一。

在变化检测研究初期,大多使用人工目视解译方法,由于其工作繁杂、工作量大、解译效率极低,已无法满足实际生产及发展需求。随后提出的分类后比较法、变化向量法和主成分分析法等传统的变化检测方法,虽然能快速识别变化区域,但由于这类方法或对图像预处理要求较高或需要进行阈值分割和聚类分析等,使变化检测过程仍过多依赖人工干预,产生较大的误差,不能充分利用高分辨率遥感影像包含的丰富地物信息,从而造成变化检测效果差、精度低。因此研究如何实现机器自动确定变化区域是推进变化检测发展的主要动力[6]。

近年来,深度学习技术得到快速发展,并成功应用到变化检测领域。与传统的检测方法不同,结合深度学习的变化检测可以作为语义分割任务来处理,检测过程无需人工干预,能实现端到端的检测,且可以快速处理大量数据,提升了效率和精度。当前基于深度学习的变化检测可根据网络结构分为单分支结构和多分支结构。单分支结构即只有一个子网络,如常振良等[7]提出的使用异感受野和多尺度特征张量优化的DeeplabV3+网络,其为单分支结构。Zhang等[8]提出基于特征金字塔和梯形U-Net网络的变化检测模型,该模型可以很好地学习多尺度的特征,但由于精确定位和上下文信息间的权衡,U-Net只能获得较少的上下文信息。张翠军等[9]采用非对称卷积块和注意力机制改进U-Net网络,将变化检测转化为像素级二分类问题,实现了端到端的检测。Peng等[10]提出一种多侧输出策略的改进U-Net++检测模型,充分利用全局信息和细粒度信息从而缓解变化检测中误差传播的问题。这种单分支结构的检测模型,通常通过差异比较或叠加的方式将影像输入至网络,容易导致原始影像的高维特征流失,造成检测误差。多分支结构可分为孪生网络和伪孪生网络,主要区别在于孪生网络在两个分支提取图像特征时共享权值,而伪孪生网络则不共享。如Raza等[11]通过使用注意力机制进行特征融合,并设计高效卷积模块改进U-Net++,以此增强模型对影像细粒度特征的提取,提升检测性能。Wang等[12]提出孪生结构的基于注意力机制的深度监督网络进行变化检测,能够充分利用影像的地物信息。Jiang等[13]提出基于特征金字塔的孪生网络,解决遥感正射影像建筑物变化检测中建筑物与位移的复杂变化关系。Xu等[14]和Touati等[15]都提出了伪孪生网络来完成变化检测任务,其结构都由两个并行的权值不共享的卷积神经网络组成。多分支结构的检测模型有效保留了影像的高维特征,但由于高分辨率影像信息的复杂性,检测结果仍旧存在检测边界模糊、小目标漏检、伪变化较多等问题。

基于上述研究,本文提出了一种基于孪生结构的Siam-FAUnet高分辨率影像变化检测模型。该模型采用编码-解码结构,编码部分使用改进的VGG16提取影像特征,利用空洞空间金字塔池化模块[16]提取多尺度上下文特征,并在解码部分使用流对齐模块[17]融合编码器中提取的特征信息。通过使用公开数据集的实验结果表明,该模型能够提高变化检测中小目标变化检测的精度,避免图像边界不清晰以及变化区域致密性不高的问题,增强变化检测的泛化性,推动高分辨率遥感变化检测向自动化和高效化发展。

1 研究方法

1.1 基于Siam-FAUnet的变化检测网络的结构

Siam-FAUnet模型如图1所示,该模型由两部分组成,分别是预测模块和残差修正模块。由编码器和解码器组成的预测模块接收T1和T2两时相的遥感图像。在这个模块中,网络利用图像信息进行多次重复的卷积和反卷积来提取深层次、多尺度的特征信息,实现对变化区域的预测。残差修正模块可以减少预测图与地面真值的残差,以提高变化检测的精度得到较为准确的变化二值图。

图1 Siam-FAUnet结构图

1.2 预测模块

为了解决模型感受域不足以覆盖多尺度目标地物,导致变化检测结果不够细化、变化边界不清晰的问题,在预测模块中设计多分支的编码-解码结构网络。编码器采用孪生结构的VGG16前4块进行特征提取,其中每个块有两个卷积层和一个窗口大小为2×2、步长为2的最大池化层。卷积运算之后是批量归一化层和ReLU激活函数。在这些卷积块中,使用的卷积核大小为3×3,每块卷积核的数目分别为32、64、128、256。由于遥感图像中包括不同尺度的物体,且同物体的纹理、色彩也不一致,若仅使用池化层提取语义信息会导致感知域无法覆盖整个物体,最终在结果中造成变化边界不清晰等问题,因此在编码器最后一层添加空洞空间金字塔模块进行特征融合,以此来获取影像中不同尺度的上下文信息,提高检测精度。与编码器相对应的解码器也有5个块组成,该部分的前4个块都对应编码器相对的上一个块,并通过流对齐模块进行特征映射,以恢复部分在编码阶段丢失的语义信息。通过使用流对齐模块来替代传统的直接拼接的方式进行上采样,可以减少特征传递时造成的语义信息流失。

1)空洞空间金字塔模块(atrous spatial pyramid pooling,ASPP)。遥感影像中的地物尺度差异较大,且变化出现的位置是随机的,而传统的池化操作是在固定尺度下的采样,这会导致网络无法充分利用到图像的全局信息,对不同尺度物体的分割差异较大。ASPP模块的提出可以有效缓解这类问题,其结构如图2所示。ASSP通过对输入特征进行不同膨胀率的空洞卷积采样,并且将得到的结果拼接,利用1×1卷积层将特征图的通道数降低到预期值。在网络中引入ASSP模块可以增大网络的感受野,也可以在保证原始图像细节的同时提取更大区域内的特征,这样可以实现网络对遥感图像更加细致的分类,从而使变化检测达到更好的效果。

图2 空洞空间金字塔池化结构示意图

图3 流对齐模块(FAM)整体结构示意图

(1)

式中:ωp是通过距离估计的双线性插值核权重;Fn(p)是低分辨率特征图在位置p处的值;N(pn)是位置pn的4个邻域。因此,FAM可以学习不同分辨率特征间的语义流,生成的偏移场即语义流场,可以更有效地将语义信息从粗糙特征传递到高分辨率的细化特征中,以此解决特征融合时直接拼接方式造成的语义不对齐问题。

1.3 残差修正模块

若预测模块的检测结果未进行修正处理,容易存在图斑空洞、检测边界不平滑等问题,以至于最后预测所得结果与实际变化之间存在较大差异。为了减少这种差异,在模型中设计了一种膨胀卷积残差修正模块。此模块以预测模块输出的语义信息为输入,在训练过程中自动学习输入特征与真实结果之间的残差,进一步细化输入的图像,产生更加准确的语义分割结果。

在高分辨率遥感图像中存在一个很重要的问题,即由于不同地物的纹理、光谱、形状等都不尽相同,在进行图像特征提取时,无法兼顾不同尺度的地物以及地物周围的背景,这就造成无法提取图像的全域特征,最终使得变化检测结果中地物边界不清晰、检测不完全等问题。因此,本文所提出的膨胀卷积残差修正模块具有不用尺度的感受野,可以提取更深层次图像特征。

膨胀卷积残差修正模块的结构如图4所示。它使用4个不同膨胀率的卷积层来提取特征,膨胀率分别为2、4、8、16,膨胀卷积核的个数为32。然后采用叠加的方式将不同感受域的特征图融合。每个卷积层之后都使用批量归一化和ReLU激活函数。由于此模块的输入包含图像预测的初始信息,因此本文再将输入图像与此过程所获得的特征图进行相加融合,以获取更加细化的变化信息,最后使用softmax函数获得的变化像素与非变化像素的分类概率得到最终修正后的变化检测图像。

图4 残差修正模型结构图

1.4 损失函数

交叉熵损失函数(cross entropy,CE)[18]是一种基于经验误差最小化的损失函数。尽管交叉熵损失函数能对模型分类的总体精度进行优化,但是数据集中不同类别样本数量分布不均衡时,采用这种损失函数训练的网络其预测结果会更偏向于样本量较多的一方,而样本量较少的会被忽略,从而造成虽然损失函数值很小但是对样本量所占比例小的类别预测结果较差。

Dice损失函数在训练过程中对同一类别的所有像元进行整体分析,从而计算出其交集在总体中的比例,因此对样本量较少类别的分类结果不会受到样本量大类别的影响,能够使网络实现更好的提取效果。

遥感变化检测任务实质上是从图像中提取出变化像素和未变化像素,其损失函数一般采用交叉熵损失函数。然而大多数时在遥感影像中变化像素与未变化像素的分布是不均衡的,尤其是当变化像素或未变化像素集中出现时,会导致较严重的误差。因此,本文提出将交叉熵损失与Dice损失结合,并赋权重λ到CE-Dice损失函数。其定义如式(2)所示。

LCE-Dice=LCE+λLDice

(2)

式中:LCE-Dice代表研究使用的损失函数CE-Dice损失;LDice是指Dice损失;LCE是交叉熵损失;λ用于调节两个组合项在表达式中所占的权重。针对λ取值的问题,本文设计了实验进行验证。

2 实验设置

2.1 数据集

CDD数据集(change detection dataset)是2018年Lebedev[19]在发表的论文中创建并使用的。该数据集总共有10 000对训练集,3 000对验证集,还有3 000对影像作为测试集。其卫星图像大小为256像素×256像素的3通道RGB图像,其地面分辨率从0.3～1 m不等。每个图像对的两个实例通常是在不同季节获取的,变化的数量偶尔会因手动添加对象而增加。变化真值仅考虑两个实例之间的对象出现或消失相应的变化,而不忽略所有季节变化。

SZTAKI数据集是由匈牙利大地测量与制图学会提供的光学航空影像对[20],一共包括SZADA、TISZADOB和ARCHIVE 3个子数据集,但是由于ARCHIVE数据集中的遥感影像质量较差,大多数研究仅使用前两个子数据集。SZADA数据集包含7对遥感影像,影像的采集年份来自2000—2005年,影像的大小均为952像素×640像素,分辨率为1.5 m。TISZADOB数据集包含5对采集自2000—2007年的遥感影像,其影像大小和分辨率与SZADA中的影像一致。因此,本次实验使用了SZTAKI数据集共计12对大小为952像素×640像素,像素分辨率为1.5 m的遥感影像对。

2.2 实验环境及评价指标

为了保证实验的科学性,本文所进行的实验均在同一台计算机上进行。实验的硬件环境为Intel(R)Core(TM)i7-3770CPU@3.40 GHZ,显卡为NVIDIA GeForce GTX 3070 8 GB。软件环境为Windows10 64位,Pycharm,Anaconda3,Python3.6,TensorFlow2.0。

Adam算法被用于网络的优化器,对网络参数进行更新,以加快网络的收敛速度。如果学习率设置过小则会使网络参数更新较慢,容易陷入局部最小值,而学习率过大则可能使损失值爆炸导致模型无法收敛,因此本文将学习率设置为0.000 1。训练轮数在CDD数据集上是50次,在SZTAKI数据集上为200次,图像的批处理大小均为4。

为了定量评估神经网络模型在遥感变化检测任务中的表现,需要选取一系列标准且公认的评价指标。本文选用以下指标进行精度评价,分别是准确率(accuracy,OA)、召回率(recall)、精确率(precision)和F1综合评价指标(F1-score)。在变化检测中,准确率越高,检测越准确;召回率越高,漏检越少;F1-score是准确率和召回率的调和平均值,分数越高,模型的性能越好。

3 实验结果分析

3.1 损失函数实验

前文中提出的复合型的损失函数CE-Dice Loss,其中λ的值是暂未确定的。为了获得使模型训练效果最优的CE-Dice Loss,本文分别取λ=0、λ=0.25、λ=0.5、λ=0.75以及λ=1时的CE-Dice Loss作为网络的损失函数,并在SZTAKI数据集上进行训练,记录评价指标的得分,实验结果如图5所示。

图5 λ取值对评价指标的影响

在图5中,横坐标代表λ的取值,纵坐标表示随着λ的变化网络4个评价指标的变化情况。可以看出,当λ=0.5时,准确率和F1-score都取得最大值,同时精确率和召回率也取得了不错的分值。因此,经过综合分析当λ=0.5时CE-Dice Loss使Siam-FAUnet模型取得最好的变化检测效果,本文接下来的实验中CE-Dice Loss的λ取值均为0.5。

3.2 消融实验

本文使用ASSP和FAM对Siam-FAUnet网络进行改进,为了验证所提出的两个改进点对模型所起到的作用,将编码器前4块VGG16网络作为基准方法进行消融实验。本次实验使用前文所提到的CDD数据集和SZTAKI数据集进行验证,实验结果如表1和表2所示。为了达到控制变量的目的,除了所要对比的改进点不同之外,每组对比实验参数设置完全相同。

表1 本文所提出的改进点的消融实验在CDD数据集中的实验数据

表2 本文所提出的改进点的消融实验在SZTAKI数据集中的实验数据

从表1、表2中可以看出,在基准网络中单独加入FAM或ASSP都可以提升网络的变化检测性能。当网络中仅加入FAM时,在两个数据集上的F1-score分别提升了1.63%和0.51%,这是由于FAM减少了特征融合时语义不对齐的问题,使网络更加准确地学习到变化特征。当基准网络仅使用ASSP时,可以从评价指标上看出该模块对网络的召回率指标有较大的提升,分别增加了6.05%和2.7%,这是因为ASSP可以实现对统一特征多尺度的采样,一定程度上提升了网络对地物边界信息的利用。当同时加入FAM和ASSP时,加深网络特征提取维度,造成分类难度的提高,使得精确率没有得到明显提升,但从总体的评价指标来说,网络的性能得到了很大的提高,相比于不使用ASPP与FAM模块,准确率分别提升1.28%和0.65%,召回率分别提升7.64%和9.28%,F1-score分别提升了4.10%和5.93%,这表明FAM和ASSP同时对网络变化检测性能的提升起到了积极作用。从分析消融实验的结果可以得出结论,本文所提出的Siam-FAUnet模型在遥感影像变化检测任务中的效果要优于改进的基准网络,同时也验证了本文所提出的ASSP和FAM的有效性。

3.3 综合实验

本文提出了结合ASSP和FAM的Siam-FAUnet变化检测方法,为了验证该方法的优越性,本次实验仍然使用CDD数据集和SZTAKI数据集进行训练和测试,并与以下5个方法进行比较。

1)CDNet[21]是一种基于堆叠、收缩和扩展思想的全卷积神经网络。

2)FC-Siam-conc[22]是基于FCN模型提出的,使用孪生网络实现两时相遥感影像的双输入特征提取,最后将特征进行拼接获取变化信息。

3)FC-Siam-diff同样是以FCN为基准网络,与上一种不同之处在于,语义恢复阶段使用差值的方式将特征图进行连接,最后得到所需要的变化图像。

4)IFN[23]是一种编码器-解码器结构,与U-Net不同的是,该模型采用密集的跳跃连接,并在解码器结构中实现了隐式的深度监督。

不同模型在数据集上的测试结果如表3和表4所示。

表3 本文算法与其他方法在CDD数据集上实验结果对比 %

表4 本文算法与其他方法在SZTAKI数据集实验结果对比 %

在表3和表4中,从整体来看,在CDD数据集上FC-Siam-conc取得到效果最差,而在SZTAKI数据集上FC-Siam-diff取得了最差的F1-score,FC-Siam-conc和 FC-Siam-diff都是以FCN为基准网络,两种模型的4种指标较为接近。CDNet取得的F1-score均高于FC-Siam-conc和FC-Siam-diff。IFN表现较优于CDNet,这是由于CDNet仅由收缩块和扩张块组成,编码器和解码器之间没有跳跃连接将不同层次的特征融合,因此在解码器中没有利用到底层的特征信息,导致分割精度不高。IFN具有多侧输出策略,可以将编码器中浅层高分辨率的语义特征结合起来,这提升了模型的性能,与CDNet相比F1-score分别提升了3.83%和1.48%。本文所提出的Siam-FAUnet方法在CDD数据集和SZTAKI数据集上都取得了不错的检测效果,F1-score分别达到了94.58%和80.05%,与IFN相比分别提升了4.28%和5.01%。原因在于该方法在编码器采用孪生结构,分别提取两时相影像的特征信息,减少了通道叠加带来的伪变化;FAM模块可以将编码器和解码器得到的特征进行分析,带来了更加细化的图像特征信息;ASSP模块可以提取并融合不同尺度的信息,增加模型的感受野,充分利用到上下文信息。

本文还选取了测试集中的汽车、道路、建筑物以及田地的变化图像来可视化实验结果,如图6所示。

图6 不同模型在变化检测可视化结果示例

从图6可以看出,FC-Siam-conc和FC-Siam-diff这两种方法在检测变化区域边缘存在严重的锯齿情况,对大部分的变化区域没有检测到并且检测到的变化区域不够完整,同时还存在着大量的噪点,变化检测的可视化结果较差。CDNet与FC-Siam-conc和FC-Siam-diff相比,检测的变化区域边界相对较光滑,噪点也有减少,但是对汽车、小建筑物与道路的变化区域存在小目标漏检和伪变化的情况,内部和细节部分的处理也还不够细化。IFN效果则较为清晰准确,但仍有变化区域内部存在空洞、变化边界不连续等问题。本文所提出的方法具有最佳的可视化效果,变化边界光滑清晰没有锯齿状,噪声较少,同时变化区域连续完整,其目视结果与地面真值更为接近。与此同时,该方法在细小物体变化的检测方面具有一定优越性,如能够检测出汽车、小建筑物等变化,且道路变化更加连续完整,伪变化较少。因此,综合实验结果的定量和可视化分析,可以得出本文所提出的方法针对高分辨率遥感图像的变化检测,尤其在小目标变化和检测变化边界方面具有优越性。

4 结束语

本文针对使用经典语义分割方法的高分辨率遥感影像变化检测任务中存在的问题,提出了相应的改进思路,实现了一种基于Siam-FAUnet网络的遥感影像变化检测方法。其中ASSP模块利用不同扩张率的空洞卷积并列地对图像特征进行采样,以达到增加网络感受野,融合多尺度特征的目的。FAM模块通过生成的语义流场,解决特征图以直接拼接的方式造成的语义不对齐问题,使网络更加准确地学习到变化特征。为了减少模型的输出与地面真值之间的残差,加入了一种残差修正网络增强模型的变化检测效果,并结合交叉熵损失函数和Dice损失函数提出了CE-Dice Loss,通过实验确定了λ的取值。实验方面,将本文所提出的方法与其他深度学习变化检测模型在两个公开高分辨率变化检测数据集上进行测试。实验结果的定性和定量分析得出,本文所提出的方法取得了很好的变化检测效果。然而本文研究仍存在由于实验设备的限制,实验所使用的数据集不够多元化、变化检测二值图仍存在少量的噪声等问题,因此在未来的研究中将致力于优化模型以适用于更复杂的场景,并进一步探索模型的可迁移性。