基于改进Swin-Unet的遥感图像分割方法

摘 要：针对遥感图像数据本身存在分辨率高、背景复杂和光照不均等特性导致边界分割不连续、目标错分漏分以及存在孔洞等问题，提出了一种基于改进Ｓｗｉｎ-Ｕｎｅｔ 的遥感图像分割方法。在编码器末端引入空洞空间金字塔池化（ＡｔｒｏｕｓＳｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ） 模块，用于捕获多尺度特征，增强网络获取不同尺度的能力，充分提取上下文信息；将解码器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替换为残差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不仅保留了原始信息，又能够缓解模型出现梯度弥散现象；在跳跃连接中引入残差注意力机制，可以让模型更加关注特征图中的重要特征信息，抑制无效信息，从而提高模型分割的准确率。在自建数据集上进行实验，结果表明，改进后的网络平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ） 达到了８０． ５５％ ，提高了４． １３ 个百分点，证明改进后的网络可以有效提高遥感图像分割的精度。

关键词：遥感图像；语义分割；ＳｗｉｎＵｎｅｔ；空洞空间金字塔池化；残差注意力机制

中图分类号：ＴＰ７５１ 文献标志码：Ａ 开放科学（资源服务）标识码（ＯＳＩＤ）：

文章编号：１００３－３１０６（２０２４）０５－１２１７－０９

０ 引言

遥感图像包含丰富的地物特征信息［１］，通过遥感图像分割技术，可以帮助人们自动提取出关键信息，为合理分析和利用土地资源提供应用指导，已广泛应用于军事、农业、城市规划、自然灾害监测、道路分析和森林植被等各个领域。然而，由于遥感图像的分辨率高、纹理信息丰富、同物异谱和异物同谱现象明显［２］，给遥感图像分割带来了很大挑战。

近年来，越来越多的学者针对如何提高遥感图像分割精度的问题展开了研究［３］。阈值分割算法通过选取合适的阈值来实现目标和背景的分离，算法难度小、实现简单，能够实现图像的快速分割［４］，但对噪声比较敏感［５］，不适用于复杂场景下的遥感图像分割。聚类分割算法具有分割速度快、拓展性强、无监督、高效等特性［６］，但初始聚类中心和聚类数量难以确定，对噪声也较为敏感［７］。支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）方法可以排除大量冗余样本，具有较好的鲁棒性［８］，但耗时较长，并且只能用于小型数据集，对空间的信息利用率不高［９］。阈值、聚类和ＳＶＭ 分割方法属于传统图像分割方法，对于复杂的遥感图像来说，传统分割方法时间效率低、分割的精度并不能满足实际需要。Ｕｎｅｔ是由Ｒｏｎｎｅｂｅｒｇｅｒ 等［１０］提出的一种对称的编码－解码结构，它可以融合浅层和深层次的语义信息［１１］，并且简单灵活，可以在较小的数据集上获得良好的分割效果［１２］，但仍会由于空间和细节信息的丢失而导致边缘分割模糊［１３］。深度学习方法可以更深层次地提取遥感图像的特征，但不能充分利用遥感图像丰富的上下文信息，仍然会存在细节丢失、边界模糊等问题。

将Ｕ 型网络与Ｔｒａｎｓｆｏｒｍｅｒ 结合已经成为近２ 年来的研究热点之一［１４］。Ｓｗｉｎ-Ｕｎｅｔ［１５］是一种以Ｔｒａｎｓｆｏｒｍｅｒ 为骨干网络的Ｕ 型网络，它可以利用Ｔｒａｎｓｆｏｒｍｅｒ 来弥补Ｕｎｅｔ 本身在捕获长距离依赖上的缺陷。Ｇａｏ 等［１６］改进了Ｓｗｉｎ-Ｕｎｅｔ 以解决糖尿病视网膜病变黄斑水肿区域分割不准确的问题，结果表明，改进后的网络不仅提高了视网膜黄斑水肿的整体语义分割精度，还进一步提高了多尺度、多区域水肿区域的语义分割效果。张文康［１７］针对云区域识别精度低的问题，采用了Ｓｗｉｎ-Ｕｎｅｔ 模型对云图进行识别，结果表明，该模型可以从遥感图像中提取更多的语义信息，获得更好的识别效果，虽然云的边缘和细节仍存在一定的误差，但整体上提高了对云图的识别精度。Ｙａｏ 等［１８］针对遥感图像同物异谱和同谱异物问题，提出将改进后的Ｓｗｉｎ-Ｕｎｅｔ 模型作为一个纯Ｔｒａｎｓｆｏｒｍｅｒ 模型和新的预处理方式。实验结果证明，该模型能够更有效地提升遥感图像分割的精度，相比于传统模型更有优势。然而，Ｓｗｉｎ-Ｕｎｅｔ 提取的遥感图像仍然存在边缘模糊、目标漏分等问题。

针对遥感图像背景复杂、分辨率高导致遥感图像的分割结果不理想的问题，本文设计了一种基于改进Ｓｗｉｎ-Ｕｎｅｔ 图像分割算法。本文的主要贡献如下：① 标注新的遥感数据集，并进行数据增强等一系列预处理操作；② 在编码器末端引入空洞空间金字塔池化，充分提取多尺度遥感图像特征，增大感受野；③ 将残差思想引入解码器端的Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ，防止模型出现过拟合现象；④ 在跳跃连接中引入残差注意力机制，增强重要特征，抑制不重要特征。

１ 基于改进Ｓｗｉｎ-Ｕｎｅｔ 的遥感图像分割网络

１． １ 网络结构

本文在Ｓｗｉｎ-Ｕｎｅｔ 的基础上加以改进来实现遥感图像分割，改进Ｓｗｉｎ-Ｕｎｅｔ 网络结构如图１ 所示。改进后的Ｓｗｉｎ-Ｕｎｅｔ 网络包括编码器、解码器和跳跃连接３ 个部分。在编码器部分，输入图像先通过图像分块处理（Ｐａｔｃｈ Ｐａｒｔｉｔｉｏｎ）操作，将输入图像划分为一个个大小相等的分块，再通过线性嵌入（Ｌｉｎｅａｒ Ｅｍｂｅｄｄｉｎｇ）改变每个分块的通道数目。将这些分块输入多个Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 和图像块合并层（Ｐａｔｃｈ Ｍｅｒｇｉｎｇ）中，在编码器的末端引入空洞空间金字塔池化（Ａｔｒｏｕｓ Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＡＳＰＰ）模块，用于提取不同尺度信息，增大感受野，提取更多细节信息。其中，Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ可以提取图像特征，Ｐａｔｃｈ Ｍｅｒｇｉｎｇ 操作的主要作用是下采样，可以将特征图的长宽变为原来的一半，同时通道数增加为原来的２ 倍。解码器部分包括了多个残差Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ 模块（Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ）和图像块扩展层（Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ）。Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 中引入了残差思想，可以有效防止模型出现过拟合现象，提升模型的泛化能力。Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 的主要作用是上采样，可以将特征图的长宽变为原来的２ 倍，通道数减半。最后一个Ｐａｔｃｈ Ｅｘｐａｎｄｉｎｇ 将特征图的长宽变为原来的４ 倍，通道数不变，最后经过一个线性映射得到最终的遥感图像分割结果。在跳跃连接部分，将编码器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 与解码器端的Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓ-ｆｏｒｍｅｒ Ｂｌｏｃｋ 进行跨层连接，弥补了信息的丢失，同时在跳跃连接中加入了残差通道注意力模块（Ｒｅｓ-ＳＥ Ｂｌｏｃｋ），可以关注特征图中重要的信息，抑制不重要的信息，以提升图像的分割精度。

１． ２ ＡＳＰＰ

图像分割网络大多是基于编码器－解码器的结构，在通过下采样扩大感受野、上采样恢复至原图的过程中，很容易丢失一些重要的语义特征信息，并且未能充分考虑上下文信息，往往会造成很大的精度损失。ＡＳＰＰ 模块是由Ｃｈｅｎ 等［１９］在ＤｅｅｐＬａｂ Ｖ２ 中首次提出的，它可以利用不同膨胀率的空洞卷积并行捕获图像的不同尺度特征，获得不同的感受野特征，并将其进行融合，充分考虑了上下文信息，同时提高了网络对细节特征的提取能力。

ＡＳＰＰ 模块主要包括５ 条分支，第１ 条分支为１ 个１×１ 的卷积，第２、３、４ 条分支为空洞率分别为３、６、１２ 的３×３ 空洞卷积，第５ 条分支为全局平均池化（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＧＡＰ）。其中，空洞卷积可以在不增加模型参数量的同时，增大特征图的感受野［２０］。最后通过双线性差值将图像还原至原始图像大小。ＡＳＰＰ 模块如图２ 所示。本文在ＳｗｉｎＵｎｅｔ 编码器的末端加入ＡＳＰＰ 模块，可以充分提取多尺度信息，增大感受野，同时也有助于解码器恢复细节信息。

１． ３ Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ

随着深度学习网络模型层数的不断增加，网络模型很容易出现过拟合和网络退化的问题，进一步限制了网络模型精度的提升。为了解决这一问题，Ｈｅ 等［２１］提出了ＲｅｓＮｅｔ 模型，它通过一条有向快捷连接，将输入直接越层连接到输出，在不增加参数量的前提下，有效缓解了网络出现梯度弥散的现象，同时捕获了更加丰富的语义特征，提高了图像识别的精度。

受到ＲｅｓＮｅｔ 的启发，本文将残差思想引入ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，用一条快捷连接，连接ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 的头尾，通过恒等映射来防止网络模型出现梯度消失的现象。本文将成对带有Ｗｉｎｄｏｗ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ （Ｗ-ＭＳＡ）和ＳｈｉｆｔＷｉｎｄｏｗｓ Ｍｕｌｔｉ-Ｈｅａｄ Ｓｅｌｆ-Ａｔｔｅｎｔｉｏｎ（ＳＷ-ＭＳＡ）的模块作为一个Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 结构如图３ 所示。实验中发现，将解码器端的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 替换为Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，可以有效提高模型对遥感图像分割的准确率。

１． ４ 残差注意力机制

跳跃连接能够通过将编码器端的低层次特征与解码器端的高层次特征进行拼接，进一步弥补信息的丢失。然而，低层次特征中包含大量冗余的信息，同时缺少特定的语义信息，可能会影响遥感图像分割的精度。为此，本文将残差注意力机制引入跳跃连接中，可以强化重要的特征区域，减弱冗余的特征区域，从而提高遥感图像分割的准确率。

注意力机制［２２］是在２０１７ 年提出的，它的基本思路是从特征通道角度入手，增强重要的特征通道信息，弱化不重要的特征通道信息。压缩与激励（Ｓｑｕｅｅｚｅ ＆ Ｅｘｃｉｔａｔｉｏｎ，ＳＥ）模块主要包括压缩和激励两部分。压缩（Ｓｑｕｅｅｚｅ）部分将特征图进行ＧＡＰ操作，生成１×１×Ｃ 的向量；激励（Ｅｘｃｉｔａｔｉｏｎ）部分使用２ 个全连接层来得到每个特征通道的通道权重，最后进行Ｓｃａｌｅ 操作，将得到的权重与原有的特征图进行相乘，得到最后的输出结果。

残差注意力机制首先对Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ输出特征图进行Ｒｅｓｈａｐｅ 操作，将其从Ｌ×Ｃ 形状改变为Ｈ×Ｗ×Ｃ 形状。接着，对特征图进行ＧＡＰ、全连接等一系列操作，并将得到的特征图通过Ｓｃａｌｅ 操作与原特征图相乘；然后，通过一条快捷连接将改变形状后的Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ 直接与Ｓｃａｌｅ 操作后得到的特征图相加，得到新的特征图；最后，再通过Ｒｅｓｈａｐｅ 操作，将其从Ｈ×Ｗ ×Ｃ 形状重新恢复为Ｌ×Ｃ 形状大小。残差注意力机制既没有增加模型的参数量，又保留了原始信息，同时也防止模型出现过拟合问题。残差注意力机制结构如图４ 所示。

２ 实验

２． １ 数据集制作及预处理

ＷＨＵ-ＲＳ１９ 数据集［２３］是从Ｇｏｏｇｌｅ Ｅａｒｔｈ 中提取的遥感影像图像，包含机场、沙滩、桥梁、沙漠、农田和足球场等１９ 个场景类别，每一类大约有５０ 张图像，共计１ ００５ 张图像，每张图像尺寸为６００ ｐｉｘｅｌ×６００ ｐｉｘｅｌ。由于受尺度、方向和照明等因素影响，该数据集更为复杂。

ＲＳＣ１１ 数据集［２４］是中科院于２０１６ 年发布的开源高分辨率遥感影像，涵盖了美国多个城市的影像图片，包含了港口、居民区、铁路、立交桥、储罐、密林和疏林等１１ 个类别，图像尺寸为５１２ ｐｉｘｅｌ ×５１２ ｐｉｘｅｌ，每一类大约有１００ 张图像，整个数据集总共有１ ２３２ 张图像。

本文从ＷＨＵ-ＲＳ１９ 和ＲＳＣ１１ 数据集内筛选出了一些具有明显特征的类别，去除了相似、重复和单一背景的类别，形成遥感图像分类数据集。通过使用Ｐｙｔｈｏｎ 脚本，将数据集内所有图像的后缀名修改为ｐｎｇ 并调整图像大小为５１２ ｐｉｘｅｌ × ５１２ ｐｉｘｅｌ。然而，由于遥感图像分类数据集属于图像分类数据集，缺乏语义分割标签，因此需要Ｌａｂｅｌｍｅ 手动标注图像，生成遥感图像分割数据集。标注完成后，通过“ｌａｂｅｌｍｅ２ｖｏｃ”脚本将标注完成后所生成的ｊｓｏｎ 文件批量转换为语义分割数据集，并将语义分割数据集内的ＲＧＢ 彩色标签转换为对应的单通道数字标签。最后采用水平翻转、垂直翻转、对比度增强、旋转和添加噪声等一系列数据增强方法，最终得到的遥感图像分割数据集总共有３ ５２８ 张图像，其中选取３ ０００ 张作为训练集，５２８ 张作为测试集。原图片与标注图片（部分数据集）展示如图５ 所示。

２． ２ 实验环境

本文的实验环境基于Ｕｂｕｎｔｕ １８． ０４ 系统，采用的深度学习框架为Ｐｙｔｏｒｃｈ。实验所用的ＧＰＵ 为单卡的ＮＶＩＤＩＡ ＲＴＸ＿３０９０，ＣＵＤＡ 的版本为１１． ７。预训练权重使用在ＩｍａｇｅＮｅｔ 数据集上预先训练好的ｓｗｉｎ＿ｔｉｎｙ＿ｐａｔｃｈ４＿ｗｉｎｄｏｗ７＿２２４． ｐｔｈ 权重，初始学习率为０． ０１，动量为０． ９，优化算法为随机梯度下降（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）方法。训练模型的ｅｐｏｃｈ 设置为３００ 个，ｂａｔｃｈ ｓｉｚｅ 大小为１２，窗口大小为８。

２． ３ 损失函数

本文使用的损失函数为经典的交叉熵损失（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｌｏｓｓ，ＣＥ Ｌｏｓｓ）和骰子损失（ＤｉｃｅＬｏｓｓ）相结合的损失函数。二者结合的损失函数公式为：

Ｌｏｓｓ（ｙ，ｙｐｒｅｄ ） ＝ ０． ４Ｌｏｓｓｃｅ（ｙ，ｙｐｒｅｄ ）＋ ０． ６ＬｏｓｓＤｉｃｅ（ｙ，ｙｐｒｅｄ ），（１）

ＣＥ Ｌｏｓｓ 是经典的语义分割中常用的损失函数，可以很好地优化类间距离，同时还可以缓解ＤｉｃｅＬｏｓｓ 训练造成的震荡问题，其公式为：

由于遥感图像的前景与背景之间存在不平衡的问题，Ｄｉｃｅ Ｌｏｓｓ 可以减轻复杂背景对分割结果的影响，衡量前景与背景之间的重叠部分，很好地解决部分图像中前景所占比例较小的问题，用来计算真实值和预测值之间的相似度，其公式为：

式中：ｎ 为遥感图像分割的类别数。

２． ４ 评价指标

为了验证改进网络的有效性，本文采用平均交并比（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ，ｍＩｏＵ）、总体准确率（Ｏｖｅｒａｌｌ Ａｃｃｕｒａｃｙ，ＯＡ）和平均像素精度（ｍｅａｎＰｉｘｅｌ Ａｃｃｕｒａｃｙ，ｍＰＡ）作为评价指标来评估模型对遥感图像的分割效果，具体计算公式如下：

式中：ｋ 表示遥感图像分割的类别数（不包含背景），ｐｉｉ 表示真正例，即实际为类别ｉ 且被正确地预测为类别ｉ 的像素数量；ｐｉｊ 表示假正例，即实际为类别ｉ却被错误地预测为类别ｊ 的像素数量；ｐｊｉ 表示假负例，即实际为类别ｊ 却被错误地预测为ｉ 的像素数量。

３ 实验结果与分析

３． １ 消融实验结果与分析

为了验证所引入模块的有效性，本文依次将Ｒｅｓ-Ｓｗｉｎ Ｔｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ、残差注意力机制以及ＡＳＰＰ 叠加到基线模型中进行消融实验，并通过评价指标结果评估每个模块对模型性能的影响效果。消融实验评估结果对比如表１ 所示。其中，Ｒｅｓ＿ＳＥ表示残差注意力机制，Ｒｅｓ ＿ Ｓｗｉｎ 表示Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，ＡＳＰＰ 表示空洞空间金字塔池化。

从表１ 可以看出，引入Ｒｅｓ-Ｓｗｉｎ ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋ 后，相较于基线模型，模型的ｍＩｏＵ 提升了１． １２ 个百分点。在此基础上，进一步添加残差注意力机制，ｍＩｏＵ 提高了１． ９３ 个百分点，最后引入ＡＳＰＰ 模块，模型的ｍＩｏＵ、ＯＡ 和ｍＰＡ 分别提高了４． １３、１． ７６、５． ５ 个百分点，进一步验证了本文所提的３ 个模块均可以有效提升遥感图像分割的精度。

为了更直观地比较各个模块对分割结果的影响，本文对消融实验结果进行了可视化，消融实验分割结果对比如图６ 所示。从图６ 可以看出，原始的Ｓｗｉｎ-Ｕｎｅｔ 模型存在着明显的漏分和错分问题，但随着Ｒｅｓ＿Ｓｗｉｎ、Ｒｅｓ＿ＳＥ 和ＡＳＰＰ 等模块的逐步引入，目标轮廓变得更加准确和清晰，模型的分割效果与真实标签更加接近，目标误分、漏分的现象也有所减少，这充分证明了本文所提模型能够有效地改善遥感图像分割的结果。

３． ２ 模型对比实验结果与分析

为了验证本文所提模型的优越性，本文分别将测试图片输入到训练好的Ｕｎｅｔ、ＳｅｇＮｅｔ、ＤｅｅｐｌａｂＶ３ ＋、Ｓｗｉｎ-Ｕｎｅｔ 以及本文所提模型中进行对比实验，并随机选择了几张预测图像进行了可视化，模型对比实验分割结果如图７ 所示。模型对比实验除了改变网络模型外，其余实验条件均保持一致，包括数据集、数据增强方式等。

从图７ 可以看出，Ｕｎｅｔ 能够基本还原物体轮廓，但存在较多噪声和多分类识别错误现象；相比之下，ＳｅｇＮｅｔ 表现有所提升，噪声和误分类现象得到一定改善；ＤｅｅｐｌａｂＶ３ ＋能够识别更大的区域，噪声也有所减少，但在边缘轮廓识别方面仍有待提高；Ｓｗｉｎ-Ｕｎｅｔ 能够准确识别目标物体，但仍存在未被识别和错误识别的像素；而本文所提模型更接近真实标签，能够准确分割出更为精细的遥感目标，显著改善了目标错分和漏分现象，分割效果最佳。

为了客观评估不同方法对遥感图像分割效果的影响，本文通过３ 个评价指标来对不同方法进行定量评估。各个方法的模型对比实验结果如表２ 所示。

由表２ 可知，本文所提的模型在各项评价指标中均取得了较大的提升。本文模型的ｍＩｏＵ 为８０． ５５％ ，相比于其他模型分别提高了１０． ５４％ 、６． ２３％ 、６． ７３％和４． １３％ ；ＯＡ 为９１． ８９％ ，比其他模型分别提升了６． ６％ 、４． ９１％ 、４． ４２％ 和１． ７６％ ；ｍＰＡ 为９０． ３６％ ，分别提升了１０． ９６％ 、８． ６２％ 、７． ９２％ 和５． ５％ ，提升效果显著。由此可以证明，本文提出的模型分割效果最好，验证了融合多尺度提取更细节的特征、引入残差减少过拟合、引入残差注意力机制关注重要特征的有效性，优化了遥感图像分割的效果。

４ 结束语

本文提出了一种基于改进Ｓｗｉｎ-Ｕｎｅｔ 的遥感图像分割方法，并用于自建的遥感图像分割数据集，以解决遥感图像分割边界模糊、目标漏分等问题。在原有Ｓｗｉｎ-Ｕｎｅｔ 的基础上，引入ＡＳＰＰ 模块，融合不同尺度遥感图像特征，增大感受野；使用Ｒｅｓ-ＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ Ｂｌｏｃｋ，不仅保留了原始特征信息，还有效防止了模型出现过拟合问题；在跳跃连接中引入残差注意力机制，增强重要特征信息，弱化冗余背景特征信息。实验结果表明，改进后的Ｓｗｉｎ-Ｕｎｅｔ 网络分割结果与真实标签更为接近，相比于其他模型，分割效果均有所提升，证明了本文所提模型的优越性和有效性。虽然本文所提方法取得了较好的提升效果，但Ｓｗｉｎ-Ｕｎｅｔ 模型复杂度较高。未来将进一步优化Ｓｗｉｎ-Ｕｎｅｔ 网络，降低其复杂度，并设计更加轻量化的网络模型。

参考文献

［１］ ＷＵ Ｚ Ｈ，ＧＡＯ Ｙ Ｍ，ＬＩ Ｌ，ｅｔ ａｌ． Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＨｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ａｄａｐｔｉｖｅ Ｔｈｒｅｓｈｏｌｄ［Ｊ］． ＣｏｎｎｅｃｔｉｏｎＳｃｉｅｎｃｅ，２０１８，３１（２）：１６９－１８４．

［２］ ＷＡＮＧ Ｃ，ＸＵ Ｗ，ＰＥＩ Ｘ Ｆ，ｅｔ ａｌ． Ａｎ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｍｕｌｔｉｓｃａｌｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍｅｔｈｏｄ Ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｅｄ Ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ ［Ｊ］． Ａｒａｂｉａｎ Ｊｏｕｒｎａｌ ｏｆ Ｇｅｏｓｃｉｅｎｃｅｓ，２０１６，９（１５）：１－１０．

［３］ ＪＩＡＮＧ Ｂ Ｄ，ＡＮ Ｘ Ｙ，ＸＵ Ｓ Ｆ，ｅｔ ａｌ． Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｍａｇｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ａ Ｒｅｖｉｅｗ Ｔｈｒｏｕｇｈ Ｄｅｅｐ ＬｅａｒｎｉｎｇＴｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ［Ｊ ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｉｎｄｉａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２３，５１：１８６５－１８７８．

［４］ 黄旭，张世义，李军． 图像分割技术研究综述［Ｊ］． 装备机械，２０２１（２）：６－９．

［５］ 闵蕾，高昆，李维，等． 光学遥感图像分割技术综述［Ｊ］． 航天返回与遥感，２０２０，４１（６）：１－１３．

［６］ 何瀚志，朱红，王竞． 基于聚类分析的医学图像分割综述［Ｊ］． 中国科技信息，２０１７（１５）：４３．

［７］ 王怡，涂宇，罗斐，等． 彩色图像分割方法综述［Ｊ］． 电脑知识与技术，２０２０，１６（２３）：１８３－１８４．

［８］ ＬＵ Ｗ Ｚ，ＬＩＡＮＧ Ｌ Ｘ，ＷＵ Ｘ Ｓ，ｅｔ ａｌ． Ａｎ Ａｄａｐｔｉｖｅ Ｍｕｌｔｉｓｃａｌｅ Ｆｕｓｉｏｎ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ ｏｎ Ｒｅｇｉｏｎａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ ［Ｊ ］． ＩＥＥＥ Ａｃｃｅｓｓ，２０２０，８：１０７８０２－１０７８１３．

［９］ ＺＨＡＮＧ Ｌ Ｂ，ＬＩ Ａ Ｘ，ＬＩ Ｘ Ｗ，ｅｔ ａｌ． Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｂａｓｅｄ ｏｎ ａｎ Ｉｍｐｒｏｖｅｄ ２Ｄ ＧｒａｄｉｅｎｔＨｉｓｔｏｇｒａｍ ａｎｄ ＭＭＡＤ Ｍｏｄｅｌ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１５，１２（１）：５８－６２．

［１０］ ＲＯＮＮＥＢＥＲＧＥＲ Ｏ，ＦＩＳＣＨＥＲ Ｐ，ＢＲＯＸ Ｔ． ＵＮｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒａｓｓｉｓｔｅｄ ＩｎｔｅｒｖｅｎｔｉｏｎＭＩＧＧＩ ２０１５． Ｍｕｎｉｃｈ：Ｓｐｒｉｎｇｅｒ，２０１５：２３４－２４１．

［１１］ ＺＨＡＮＧ Ｚ Ｘ，ＬＩＵ Ｑ Ｊ，ＷＡＮＧ Ｙ Ｈ． Ｒｏａｄ Ｅｘｔｒａｃｔｉｏｎ ｂｙＤｅｅｐ Ｒｅｓｉｄｕａｌ ＵＮｅｔ［Ｊ］． ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ Ｌｅｔｔｅｒｓ，２０１８，１５（５）：７４９－７５３．

［１２］ ＳＵ Ｚ Ｂ，ＬＩ Ｗ，ＭＡ Ｚ，ｅｔ ａｌ． Ａｎ Ｉｍｐｒｏｖｅｄ ＵＮｅｔ Ｍｅｔｈｏｄｆｏｒ ｔｈｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｉｍａｇｅｓ［Ｊ］． Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２２，５２（３）：３２７６－３２８８．

［１３］ 黄杰，蒋丰． 遥感影像中建筑物的Ｕｎｅｔ 分割改进［Ｊ］．计算机系统应用，２０２１，３０（１０）：３１９－３２４．

［１４］ 傅励瑶，尹梦晓，杨锋． 基于Ｔｒａｎｓｆｏｒｍｅｒ 的Ｕ 型医学图像分割网络综述［Ｊ］． 计算机应用，２０２３，４３ （５ ）：１５８４－１５９５．

［１５］ ＣＡＯ Ｈ，ＷＡＮＧ Ｙ Ｙ，ＣＨＥＮ Ｊ，ｅｔ ａｌ． ＳｗｉｎＵｎｅｔ：ＵｎｅｔｌｉｋｅＰｕｒｅ Ｔｒａｎｓｆｏｒｍｅｒ ｆｏｒ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］∥Ｃｏｍｐｕｔｅｒ ＶｉｓｉｏｎＥＣＣＶ ２０２２ Ｗｏｒｋｓｈｏｐｓ． Ｔｅｌ Ａｖｉｖ：Ｓｐｒｉｎｇｅｒ，２０２２：２０５－２１８．

［１６］ ＧＡＯ Ｚ Ｊ，ＣＨＥＮ Ｌ． Ｒｅｓｅａｒｃｈ ｏｎ Ｓｅｍａｎｔｉｃ ＳｅｇｍｅｎｔａｔｉｏｎＭｅｔｈｏｄ ｏｆ Ｍａｃｕｌａｒ Ｅｄｅｍａ ｉｎ Ｒｅｔｉｎａｌ ＯＣＴ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎＩｍｐｒｏｖｅｄ ＳｗｉｎＵｎｅｔ［Ｊ］． Ｅｌｅｃｔｒｏｎｉｃｓ，２０２２，１１（１５）：２２９４．

［１７］ 张文康． 基于ＳｗｉｎＵｎｅｔ 的云分割算法的研究［Ｊ］． 仪器仪表用户，２０２２，２９（４）：５－９．

［１８］ ＹＡＯ Ｊ Ｙ，ＪＩＮ Ｓ Ｇ． Ｍｕｌｔｉｃａｔｅｇｏｒｙ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆＳｅｎｔｉｎｅｌ２ Ｉｍａｇｅｓ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｓｗｉｎ ＵＮｅｔ Ｍｅｔｈｏｄ［Ｊ］．Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０２２，１４（１４）：３３８２．

［１９］ ＣＨＥＮ Ｌ Ｃ，ＰＡＰＡＮＤＲＥＯＵ Ｇ，ＳＣＨＲＯＦＦ Ｆ，ｅｔ ａｌ． Ｒｅｔｈｉｎｋｉｎｇ Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ［ＥＢ／ ＯＬ］． （２０１７ －１２ －０５）［２０２３ －０６ －０６］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ １７０６． ０５５８７．

［２０］ 姚庆安，张鑫，刘力鸣，等． 融合注意力机制和多尺度特征的图像语义分割［Ｊ］． 吉林大学学报（理学版），２０２２，６０（６）：１３８３－１３９０．

［２１］ ＨＥ Ｋ Ｍ，ＺＨＡＮＧ Ｘ Ｙ，ＲＥＮ Ｓ Ｑ，ｅｔ ａｌ． Ｄｅｅｐ ＲｅｓｉｄｕａｌＬｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１６ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＲＲ）． Ｌａｓ Ｖｅｇａｓ：ＩＥＥＥ，２０１６：７７０－７７８．

［２２］ ＨＵ Ｊ，ＳＨＥＮ Ｌ，ＳＵＮ Ｇ． ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１８ ＩＥＥＥ ／ ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：７１３２－７１４１．

［２３］ ＳＨＥＮＧ Ｇ Ｆ，ＹＡＮＧ Ｗ，ＸＵ Ｔ，ｅｔ ａｌ． Ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ ａ Ｓｐａｒｓｅ Ｃｏｄｉｎｇ ＢａｓｅｄＭｕｌｔｉｐｌｅ Ｆｅａｔｕｒｅ Ｃｏｍｂｉｎａｔｉｏｎ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆＲｅｍｏｔｅ Ｓｅｎｓｉｎｇ，２０１２，３３（８）：２３９５－２４１２．

［２４］ ＺＨＡＯ Ｌ Ｊ，ＴＡＮＧ Ｐ，ＨＵＯ Ｌ Ｚ． Ｆｅａｔｕｒｅ Ｓｉｇｎｉｆｉｃａｎｃｅｂａｓｅｄ Ｍｕｌｔｉｂａｇｏｆｖｉｓｕａｌｗｏｒｄｓ Ｍｏｄｅｌ ｆｏｒ Ｒｅｍｏｔｅ ＳｅｎｓｉｎｇＩｍａｇｅ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ ＲｅｍｏｔｅＳｅｎｓｉｎｇ，２０１６，１０（３）：０３５００４．

作者简介

张 越 女，（１９９８—），硕士研究生。主要研究方向：图像处理、计算机视觉。

王 逊 女，（１９７３—），硕士，副教授。主要研究方向：数据挖掘、软件工程、机器学习。