基于双模态高效特征学习的高分辨率遥感图像分割

张银胜，吉茹，童俊毅，杨宇龙，胡宇翔，单慧琳

1.无锡学院 电子信息工程学院,无锡 214105;

2.南京信息工程大学 电子与信息工程学院,南京 210044

1 引言

遥感图像和图像处理技术广泛应用于城市规划（Zhou 等，2011），变化检测（Gerard 等，2010），植被检测（Ahmed 等，2017），军事侦察（王树连，2005）等领域。随着卷积神经网络CNN（Convolutional Neural Networks）的发展，遥感图像分割研究（Farabet等，2013；Mnih和Hinton，2010；Paisitkriangkrai 等，2015）进展迅速。但是获取的遥感图像分辨率逐渐提高，导致了不同类别之间差异变小，相同类别之间差异变大的问题，即异物同谱和同物异谱现象严重。

目前高分辨率遥感图像分割存在普通遥感图像分割和双模态遥感图像分割等方法。在普通遥感图像分割研究领域，Xu等（2018）将U-Net（Ronneberger 等，2015）中特征提取的主干网络替换为ResNet（Residual Networks）（He 等，2016），并使用导向性滤波器来加强分割效果。Wu等（2018）使用了多尺度约束的损失函数，加强了网络上采样阶段对遥感图像空间结构的恢复。张小娟和汪西莉（2020）设计了一个采用完全残差连接和多尺度特征融合的端到端遥感图像分割模型，能够提取丰富的上下文信息，同时使用叠加的ASPP（Atrous Spatial Pyramid Pooling）（Chen 等，2018）结构应对目标尺度变化，提升分割性能。Sun和Li（2021）提出多尺度特征融合网络MFFNet，使用三分支结构提取图像特征，并通过注意力机制进行优化，取得了较高的分割精度。Chen等（2021）提出多层次特征聚合网络MFANet，在深度特征提取和上采样特征融合两方面进行改进，对高分辨率特征图进行细化和恢复。

在双模态高分辨率遥感图像分割研究领域，遥感图像的双模态包括近红外、红绿IRRG（Infrared、Red、Green）图像和数字表面模型DSM（Digital Surface Model）图像，其中IRRG 图像具有纹理、颜色、形状等语义信息，语义信息一般指的是目标区域像素和周围区域像素之间的关联性。DSM图像具有高度等空间信息，空间信息是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系。Marcos等（2018）将IRRG图像和DSM图像简单结合作为输入，产生冗余信息。Marmanis等（2016）设计双分支网络提取不同模态图像的特征，并在中间层进行特征融合，造成参数冗余。Audebert等（2018）采用两个CNN 网络对IRRG 图像和DSM 图像进行处理，并通过元素相加的方式进行模态特征融合。为了进一步加强两种模态之间的融合和上采样恢复，Yang等（2021）提出注意力融合网络AFNet，利用FCN（Fully Convolutional Networks）（Shelhamer等，2017）提取多路径特征，并利用通道注意力结构和空间注意力结构相互约束和引导，融合多径特征和多层次特征以逐步实现上采样。Chen等（2021）提出一种高度感知多路径并行网络HA-MPPNet，在DSM图像的监督下学习高度特征来改进上下文语义信息。孙汉淇等（2022）提出编码器—解码器结构的网络MMFNet融合双模态特征，并使用密集连接的方式加强特征的传播和复用。张文凯等（2022）提出MSFAFNet，利用高程信息强化光谱特征，结合非局部块（Wang等，2018）和压缩激励块（Hu 等，2020）的优点实现遥感图像分割。

由于单模态高分辨率遥感图像仅利用可见光图像进行分割，无法充分获取高分辨率遥感图像特征。因此，为了高效学习高分辨率遥感图像特征，本文采用双模态结构。但是现有双模态分割方法没有针对不同模态的图像设计适合的特征提取网络，且存在融合特征不充分，上采样恢复细节信息不足等问题，本文提出了一个基于双模态高效特征学习DEFL（Dual-modal Efficient Feature Learning）的高分辨遥感图像分割算法。主要包括：

（1）双模态高效特征提取。在编码模块CM（Code Module）中提出了双路径结构的IRRG 编码器对IRRG 图像的语义信息和细节信息进行特征提取；提出了DSM 编码器对DSM 图像的空间信息进行特征提取；并利用交互加强模块IEM（Interactive Enhancement Module）融合多路径特征，减少双模态特征之间的差距。

（2）双模态高效特征融合。在融合模块中，提出了一个双模态特征聚合模块DFAB（Dual-modal Feature Aggregation Block），利用DSM 特征动态的加强IRRG 特征，实现两种模态的信息融合，有效避免噪声对分割的影响；还提出了一个深层特征提取模块DFEM（Deep Feature Extraction Module），对聚合后的遥感图像特征进行深层全局特征提取，获得更多语义信息，提高图像分割准确率。

（3）双模态高效上采样特征恢复。在解码模块中提出了一个多层特征上采样模块MFUM（Multilayer Feature Upsampling Module），用高层特征对低级特征进行校准，实现逐步上采样特征融合，恢复更多的细节信息，实现遥感图像的精准分割。

2 DEFLNet网络结构

本文提出的DEFLNet 的整体框架如图1 所示，主要由编码模块、融合模块和解码模块3 部分组成。其中编码模块包括IRRG 编码器、DSM 编码器和交互加强模块，融合模块包括双模态特征聚合模块和深层特征提取模块，解码模块为多层特征上采样模块。

图1 DEFLNet的整体框架Fig.1 The overall framework of DEFLNet

网络将遥感图像的IRRG图像和DSM 图像作为双输入，编码模块包括IRRG 编码器和DSM 编码器。其中IRRG 编码器是双分支结构，分别提取IRRG 图像的语义信息和细节信息。同时该模块采用多尺度融合策略，将IRRG 编码器中提取的语义信息和细节信息、IRRG 编码器提取的IRRG 特征和DSM 编码器提取的DSM 特征在特征提取的不同阶段进行多次交互融合。融合模块包括双模态特征聚合模块和深层特征提取模块。其中双模态特征聚合模块利用DSM 特征动态的加强IRRG 特征，有效的融合两种模态信息。接着深层特征提取模块从全局上提取融合后的遥感特征图的深层信息，获取更多语义信息。最后解码模块中的多层特征上采样模块利用高层信息对低层信息进行加权操作，促进高分辨率图像的细节信息恢复，通过高效特征学习获得最终精准的分割图。

2.1 编码模块

已有双模态分割网络采用相同的主干网络对IRRG 图像和DSM 图像进行特征提取，无法准确高效的提取双模态特征。编码模块如图2所示，其内部各模块的详细结构如图3 所示。编码模块由IRRG 编码器和DSM 编码器组成，分别对IRRG 图像丰富的内容信息和DSM 图像丰富的空间信息进行特征提取。其中IRRG 图像的低层特征便于提取位置、边缘等细节信息，但是语义信息较少；高层特征便于提取丰富的语义信息，但是细节信息比较粗略。因此，本文采用双分支结构，分别提取IRRG 图像的语义信息和细节信息，并在内部通过IEM 将两种信息进行融合。分别获取IRRG 图像的语义信息、细节信息和DSM 图像的空间信息的策略，可以加强网络学习图像不同特征的能力，进而不断建立不同特征之间的联系，减少双模态特征差异，达到高效融合。

图2 编码模块结构图Fig.2 Code module structure diagram

图3 各模块详细结构Fig.3 Detailed structure of each module

IRRG 编码器的目的是提取IRRG 图像丰富的内容信息，如外观、颜色、纹理等。采用双分支结构同时获取语义信息和细节信息，可以有效增强信息提取能力。左侧的细节分支由卷积块和多层残差块M-Res（Multi-Residual Block）组成。其中M-Res 将输入特征图Xin经过最大池化层Pm、带有BN和Sigmoid激活函数的1×1卷积C1σ获取权重。然后对经过带有BN 和ReLU 激活函数的3×3 卷积C3δ之后的特征图进行加权。再经过带有BN 和ReLU 激活函数的1×1 卷积C1δ建立通道联系。最后与3×3 卷积C3δ构成残差结构，在后续层中补充丢失的信息。

M-Res的过程可表示为

右侧语义分支通过快速下采样增大感受野，获得IRRG 图像丰富的语义信息。语义提取块SEEB（Semantic Extraction Block）采用Pm和平均池化层Pa同时对特征图进行降维，然后经过级联Concat和C1δ建立跨通道信息联系，最后经过C3δ再次降维。该结构达到了一个快速下采样的效果，不断扩大感受野，同时通过卷积不断对语义信息进行提取。SEEB的过程可表示为

式中，Xse表示SEEB 模块的输入特征。在IRRG 编码器的双分支特征提取过程中加入IEM，它是一个双输入双输出的结构，利用注意力机制的思想实现两种信息的特征交互学习。第一个特征图Xie1通过全局平均池化层Pga保留显著特征，然后经过两个1×1 卷积C1δ、C1σ实现跨通道信息整合、获取各通道权重，对第二个特征图Xie2进行加权、求和，得到第一个输出Xout2，同时第二个特征图也对第一个特征图进行相同的操作得到第二个输出Xout1。IEM的过程可表示为

DSM 编码器的目的是提取DSM 图像的空间信息，由卷积C1δ、C3δ和空间提取块SPEB（Spatial Extraction Block）构成的残差结构组成。SPEB 中的Pm和Pa并列提取特征并Concat，以关注重点特征学习。然后经过两个1×1卷积C1δ建立通道联系，并利用残差结构逐步获取更多空间信息。SPEB 的过程可表示为

式中，Xsp表示SPEB 模块的输入特征。在DSM 编码器进行空间信息提取的同时加入IEM 与IRRG 编码器提取的内容信息进行交互，减小两种模态特征之间的差异，避免双模态特征聚合时产生噪声对图像分割造成影响。

2.2 融合模块

2.2.1 双模态特征聚合模块

随着遥感图像的分辨率逐渐提高，IRRG 图像所包含的内容信息愈加丰富，DSM 图像也包含丰富的空间信息，但是两种模态特征之间存在差异。对此，提出一个新的双模态特征聚合模块DFAB如图4 所示，进一步融合编码模块输出的DSM 特征和IRRG 特征，提高遥感图像分割准确率。DFAB利用两种模态特征之间的映射关系，即利用DSM特征动态的对IRRG 特征从全局上进行特征重校准。DFAB 有效的将DSM 特征融入到IRRG 通道中，同时避免冗余特征和过多噪声对图像分割产生影响，提高遥感图像分割效率。

图4 双模态特征聚合模块结构图Fig.4 Dual-modal feature aggregation Block structure diagram

编码模块输出的DSM 特征Xa和IRRG 特征Xb经过Concat级联，然后分别经过1×1 卷积C1δ、空间全局平均池化层Psga和空间全局最大池化层Psgm得到一维特征图T1=C1δ(Concat(Xa，Xb))、T2=C1δ(Psga(Xa，Xb)) 和T3=C1δ(Psgm(Xa，Xb))。接 着将T1经过空洞率r为1、2、3 的并行空洞卷积i=1，2，3，得到具有不同感受野的一维特征图T4=T5=和T6=然后对所有的一维特征图进行Concat级联，经过C1σ建立通道之间的联系并得到范围固定在0—1 之间的特征权重s=C1σ(Concat(T1，T2，T3，T4，T5，最后利用权重对Xb进行加权，得到最后的双模态聚合的特征图Xc=s⊗Xb。

2.2.2 深层特征提取模块

由于遥感图像尺度差异较大，因此提取多尺度信息有利于遥感图像的精准分割。SENet经过全局平均池化层对特征图进行压缩。对像素级别的分割而言，SENet仅考虑通道信息，导致像素点之间的远程依赖较低，无法获得全局之间的关系。因此本文引入了注意力机制的思想，提出一个新的深层特征提取模块DFEM 如图5 所示。该模块从全局角度进一步提取深层语义信息，同时过滤双模态融合产生的冗余信息，进一步提高遥感图像分割准确率。

图5 深层特征提取模块结构图Fig.5 Deep feature extraction module structure diagram

DFEM去除了SENet中的全局平均池化层，直接通过两个3×3 卷积C3δ、C3σ获取全局上下文之间的依赖性，对每个元素进行加权操作，重新获得具有全局信息的深层特征图Xd=C3σ(C3δ(Xc))⊗Xc。

2.3 解码模块

随着对遥感图像多层次的特征提取，图像分辨率逐渐降低，丢失很多细节信息。图像分割效果取决于上采样对高分辨率图像的信息恢复程度，因此为加强上采样细节信息的恢复，提出多层特征上采样模块MFUM 如图6 所示。通过卷积、池化、反池化等操作对特征图进行两次加权组合，使低层特征在上采样过程中不断获得高层特征丰富的指导信息，充分恢复上采样的细节信息，提高遥感图像分割的准确率。

图6 多层特征上采样模块结构图Fig.6 Multilayer feature upsampling module structure diagram

该上采样模块有3个输入，其中两个输入为编码模块中IRRG 编码器的语义分支经过第一个3×3卷积或IEM 加强之后输出的相邻特征；第3个输入为DFEM 或上一个MFUM 输出的特征，分别称为低层特征、高层特征和最新特征。在MFUM 中，首先用最新特征对高层特征进行加权，得到新的特征，其次用新的特征对低层特征进行加权，实现上采样。执行4 次MFUM 后，经过3×3 卷积输出遥感分割结果图。

虚线框表示对高层特征和低层特征均执行3次具有BN 层和ReLU 激活函数的3×3 卷积操作，且保持通道数和尺寸大小不变，即前一个MFUM 的低层特征也可作为后一个MFUM 的高层特征。因此除了第一个上采样模块中对低层特征和高层特征进行卷积操作，其余3个模块均只对低层特征进行卷积操作。高层特征卷积后的特征图直接使用前一个模块的低层特征卷积后的特征图，在不影响上采样效果的同时大幅度降低了参数量。

DEFLNet 的解码部分重复使用了4 次MFUM，其运算过程可表示为

式中，M(·)表 示MFUM的运算过程，New0为DFEM 的输出特征图，Newi(i=1，2，3)为第i个MFUM 的输出特征图，均为最新特征；Bi为IRRG编码器中语义分支输出的第i个尺寸的特征图，New4为精准的分割结果图。

3 数据结果处理与分析

本文使用随机梯度下降法SGD（Stochastic Gradient Descent）对模型进行训练，初始学习率设为0.01，动量为0.9，权重衰减为0.0005，批量大小为16。实验环境见表1。

表1 实验环境Table 1 Experimental environment

3.1 数据集介绍

为了验证提出的DEFLNet 对高分辨率遥感图像的分割性能，本文在ISPRS Potsdam 和Vaihingen数据集上进行了实验。Potsdam 数据集包含38幅高分辨率遥感图像，Vaihingen 数据集包含33 幅高分辨率遥感图像。每个数据集都分类为5个常见的土地覆盖类型：不透明表面、建筑物、低矮植被、树木和汽车。ISPRS Potsdam 和Vaihingen 数据集的样例如图7、8 所示，分别为正射影像、DSM 图像和标签图。

图7 ISPRS Potsdam 数据集的样例Fig.7 Examples of ISPRS Potsdam dataset

图8 ISPRS Vaihingen数据集的样例Fig.8 Examples of ISPRS Vaihingen dataset

Potsdam 数据集的尺寸达到6000×6000，本文选取24 幅用于训练，14 幅用于测试。Vaihingen 数据集的尺寸约为2500×2500，本文选取20 幅用于训练，13 幅用于测试。在训练网络之前，将数据集对应的IRRG 图像、DSM 图像和标签图进行数据增强并随机裁剪为224×224大小。

3.2 实验结果

为了验证DEFLNet 对遥感图像分割的有效性，本文在Potsdam 数据集上进行实验。首先，为了验证提出的各个模块的性能，分别对主干网络特征提取、双模态融合方式、上采样方式和深层特征提取方式进行对比实验。其次，为了评估提出的各个模块的重要性，还对其进行消融实验。最后，将提出的DEFLNet 与其他已有的模型进行对比实验。本文采用准确率、精准率、召回率、F1 指数和交并比IoU（Intersection over Union）作为模型的评价指标来衡量遥感图像分割效果。

3.2.1 主干网络特征提取对比实验分析

为了验证DEFLNet 的编码模块对IRRG 图像和DSM 图像的特征提取效果，将其与MFFNet 的3 分支特征提取结构和AFNet的多路径特征结构进行对比，实验结果如表2所示。

表2 主干网络对比（Potsdam）Table 2 Comparison of backbone network（Potsdam）/%

由表2 可知，本文提出编码模块的准确率为89.42%，比MFFNet 的特征提取模块高2.8%，比AFNet 的特征提取模块高0.98%。实验结果表明，本文提出的编码模块具有高效的特征提取能力和很好的分割性能。

3.2.2 双模态融合方式对比实验分析

为了验证提出的DFAB的融合效果，本文将其与其他融合方式进行实验对比。以本文提出的编码模块为基础，融合方式分别采用Fusenet（Hazirbas等，2016）中将编码过程的两种模态进行元素相加融合的Add操作；V-Fusenet在Fusenet的基础上添加了虚拟路径VP（Virtual Path）的操作；将两种模态特征进行级联融合的Concat 操作；本文提出的DFAB 操作。4 种不同融合方式的实验结果如表3所示。

表3 双模态融合方式对比（Potsdam）Table 3 Comparison of dual-modal fusion methods（Potsdam）/%

由表3 可知，本文提出的DFAB 的准确率、精确率、召回率、F1 指数和IoU 等评价指标都优于其他融合网络。这表明DFAB具有高效的特征融合能力，可以有效提升分割准确性。

3.2.3 上采样方式对比实验分析

已有的分割网络主要通过下采样操作对多尺度、多层次的图像进行特征提取，但该方法容易丢失较多高分辨率图像的细节信息，因此后续信息恢复效果将直接影响遥感图像的分割效果。本文利用MFUM 对图像特征进行上采样操作，与已有的上采样方式反池化（unpool）、Unet 中的双线性插值操作和全局注意力上采样GAU（Global Attention Upsample）（Li等，2018）进行实验对比，4种不同上采样方式的实验结果如表4所示。

表4 上采样方式对比（Potsdam）Table 4 Comparison of Upsampling Methods （Potsdam）/%

由表4可知，本文提出的MFUM 的各项指标均优于其他上采样模块。在相同的双模态融合方式下，与unpool 上采样、Unet 上采样和GAU 上采样相比，MFUM 的准确率分别提升了1.79%，1.07%和0.1%；精确率分别提升了1.04%，0.15% 和0.68%；召回率分别提升了2.78%，1.2%和0.23%；F1 指数分别提升了2.28%，1.14%和0.17%；IoU分别提升了3.6%，3.15%和1.63%。实验结果表明MFUM 具有高效的上采样细节信息恢复能力，可以实现精准分割。

3.2.4 深层特征提取方式对比实验分析

随着遥感图像分辨率逐渐降低，感受野逐渐变大，特征图从细节信息逐渐往语义信息转变。语义信息可以强化网络对各分割类别的理解，因此有效提取图像的深层特征有利于进一步改善遥感图像分割效果。本文在融合模块中增加DFEM，同时构建了DEFLNet，与添加SE 通道注意力进行对比，实验结果如表5所示。

表5 深层特征提取方式对比（Potsdam）Table 5 Comparison of deep feature extraction methods（Potsdam）/%

由表5 可知，与SE 相比，本文提出的DFEM分割效果更好，准确率提升了0.76%，精确率提升了0.46%，召回率提升了0.76%，F1 指数提升了0.76%，IoU提升了0.32%。

3.2.5 模块消融实验

为了评估提出的各个模型的重要性，本节将逐步分解DEFLNet 以揭示每个模块的效果。消融实验中基准网络（Baseline）的主干网络采用本文提出的CM 去除IEM 后的结构，融合多路径特征和聚合双模态特征均采用元素相加的方式，上采样采用unpool的操作。

由表6可知，融合多路径特征时，使用IEM 替换基准网络中元素相加的方式，使得遥感图像分割的各项指标均最高。与基准网络相比，准确率提升了1.28%，精确率提升了1.19%，召回率提升了1.19%，F1 指数提升了0.87%，交并比提升了0.88%。因此，IEM 是DEFLNet 中提升性能最重要的模块，MFUM次之。

表6 各个模块的消融实验（Potsdam）Table 6 Ablation Experiments of Each Module（Potsdam）/%

3.2.6 DEFLNet与其他模型对比实验分析

为了证明本文提出的DEFLNet的分割性能，将其与已有先进遥感图像分割网络MFFNet、MFANet，已有先进的双模态遥感图像分割网络HA-MPPNet、AFNet、MMFNet 和MSFAFNet 进行对比。各类别的F1指数和总体精确率的实验结果如表7所示。

表7 DEFLNet与其他模型对比（Potsdam）Table 7 Comparison of DEFLNet with other models（Potsdam）/%

由表7可知，本文的DEFLNet比已有的遥感图像分割网络拥有更好的分割性能。DEFLNet 在不透明表面、建筑物、低矮植被、树木和汽车等类别达到了最好的分割性能，各类别的F1 指数均最高，分割精度高达94.52%。与AFNet 相比，各类别的F1 指数分别提升了0.02%，0.26%，1.22%，0.48%和0.06%，总体精确率提升了2.07%。

同时，本文在Vaihingen 数据集上进行了相同的对比实验，结果如表8所示。

表8 DEFLNet与其他模型对比（Vaihingen）Table 8 Comparison of DEFLNet with other models（Vaihingen）/%

为了进一步验证所提出的DEFLNet 分割的优越性，将该模型与MMFNet、MSFAFNet、HAMPPNet 和AFNet 在Potsdam 和Vaihingen 数据集进行了泛化对比实验。图9、图10 和图11 对Potsdam数据集中不同类别的特征分别进行分析，主要分为光谱特征非常相似的低矮植被和树木、光谱特征非常相似的道路和建筑物、较小且易被遮挡的汽车。图12是Vaihingen数据集分割结果对比。

图9 Potsdam中低矮植被和树木分割图Fig.9 Segmentation of low vegetation and trees in Potsdam

图10 Potsdam中建筑物和道路分割图Fig.10 Segmentation of buildings and roads in Potsdam

图11 Potsdam中汽车分割图Fig.11 Segmentation of cars in Potsdam

图12 Vaihingen分割图Fig.12 Segmentation in Vaihingen

图9表示分割网络对低矮植被和树木的分割结果，低矮植被和树木具有非常相似的光谱特征，分割难度较大。以第一组图片为例，图中树木较少且分布较分散。MMFNet 的右上方区域存在大量将树木分割为低矮植被的情况，且右下方区域存在严重的粗略分割的情况；MSFAFNet 右上方区域错误分割较少，但是在左中的交界区域仍存在大量粗略分割，错将低矮植被分割为树木；HA-MPPNet和AFNet在错误分割方面有所改善，但是右下方区域边缘分割仍然不够清晰；DEFLNet 的分割效果最佳，分割错误的区域最少，左中区域的小树木与标签图最符合，且右下方区域的边缘分割最清晰。

图10 表示分割网络对建筑物和背景（道路）的分割结果，建筑物和道路具有非常相似的光谱特征，分割难度较大。以第一组图片为例，图中建筑物和道路斜对角分布，道路区域较多。MMFNet右边区域和左中区域存在多处将道路分割为建筑物的情况；MSFAFNet 右中区域存在较多将建筑物分割为道路的情况，且分割边缘模糊；HA-MPPNet右中区域分割错误区域较少，但是右下区域存在小部分将建筑物分割为道路的情况；AFNet分割错误区域有所改善，但是边缘分割较粗糙；DEFLNet中建筑物和道路分割最精准，且两者的边缘分割最清晰。

图11 表示分割网络对汽车的分割结果，汽车尺寸较小且容易被遮挡，实现精准分割难度较大。第一组图片中汽车被大量遮挡，MMFNet 和HAMPPNet 的右上方区域均存在将汽车检测为树木的情况；MSFAFNet和AFNet对汽车的分割效果较好，但是MSFAFNet中下方区域边缘分割模糊，AFNet中下区域分割错误较多；DEFLNet 对汽车的分割效果最佳，中下方区域汽车的错误分割的部分最少。

图12 表示分割网络对Vaihingen 数据集的分割结果，第一组以树木和低矮植被为主，对左边区域较少的树木进行分割时，其余4个网络均没有检测出树木，DEFLNet 识别出部分树木，分割最精准。第二组以汽车为主，对特征不明显的汽车进行分割时，MMFNet 和MSFAFNet 将其错误分割为道路，HA-MPPNet 和AFNet 能识别汽车，但是边缘分割模糊，DEFLNet 能够完整分割出汽车，准确度最高且边缘清晰度有所改善。第三组以建筑物为主，本文模型分割建筑物边缘最清晰，与标签图最符合。第四组以不透明表面为主，其余4个网络均存在将不透明表面分割为低矮植被的情况，而DEFLNet的分割效果最好。

4 结论

针对已有双模态网络在遥感图像分割上存在特征提取不充分、特征融合不合理、上采样特征恢复不足等问题，本文提出了一个基于双模态网络的遥感图像分割算法DEFLNet。首先，提出针对IRRG图像和DSM 图像特点的编码模块。该模块分别提取IRRG 图像的细节信息、语义信息和DSM图像的空间信息，并在提取的过程中不断交互融合。其次，提出双模态特征聚合模块动态调整两个模态特征之间的映射关系，有效融合两种模态的信息。此外，提出深层特征提取模块从全局角度通过注意力获取深层语义信息，进一步提高特征提取的充分性。最后，提出多层特征上采样模块对低分辨率图像进行多层特征融合。在上采样过程中，高层特征为低层特征不断提供指导信息，实现特征的有效恢复。本文在ISPRS Potsdam 和Vaihingen 数据集上进行实验，结果表明与其他分割模型相比，DEFLNet 更适用于分割光谱特征非常相似的低矮植被和树木、建筑物和道路。不仅如此，对汽车等小目标也能实现精准分割。

本文提出的DEFLNet达到显著提升分割准确度的效果，但是需要进一步降低模型的复杂度，且准确度仍有一定的提升空间。后续可以考虑融合两种以上的模态特征，获取更多特征信息，设计出更好的分割网络以实现更加精准的遥感图像分割。