多源遥感图像融合语义分割发展现状与展望

何 友,刘 瑜*,谭大宁,张一鸣,张财生,孙 顺,丁自然,姜乔文

(1. 海军航空大学, 山东 烟台 264001; 2. 清华大学 电子工程系, 北京 100084)

0 引 言

近年来,随着空间感知技术的发展,机载和星载平台的任务载荷不断丰富,超高分辨率光学相机、合成孔径雷达(SAR)和激光雷达(LiDAR)等多种传感器被用于对地、对海探测任务,数据获取来源正从过去的单一型向多样化方向发展[1-3]。由于技术局限性,利用单一传感器数据的探测识别技术往往不能够全面地反映目标物的整体和局部特征。无论是民用领域的地质灾害监测、浒苔赤潮监测、土地利用监测,还是军用领域的机场港口监测、边境态势监测和海上舰船目标检测,单一传感器获取的信息已经很难满足实际需求,探索多源遥感图像语义信息提取成为当下研究的一大热点[4-5]。

多源遥感图像语义信息提取就是将不同种类传感器获取的同一地区的影像数据进行预处理,然后通过特定算法将多遥感平台、多遥感器、多电磁谱段影像的优势有机结合起来,执行目标检测和地物分类等任务[6-7]。以SAR与光学图像为例,SAR图像具有全天时、全天候、宽视场以及极化信息丰富等显著优势,而光学影像则更加适合人眼的视觉解译,因此将SAR与光学图像进行融合,可以充分发挥多类型传感器数据融合的优势[8]。发展多源遥感图像融合语义信息提取技术已成为国内外遥感发展的重要趋势。美国、德国等利用多源卫星开展在轨信息融合处理技术研究。自2012年起,美国着手发展空间计算技术,组织开展了一系列包括在轨信息处理、空天地一体化观测和协同组网等在内的关键技术研究。德国的BIRD小卫星综合可见光、中波红外和热红外3个波段的遥感图像实现地物分类和亚像元火点探测等在轨融合处理任务。澳大利亚开展了在轨处理验证试验,其在FedSat卫星搭载了可重构的在轨处理原型系统,满足在轨处理需求下利用光学传感器融合数据实现灾害监测。然而,利用多源遥感图像进行语义信息提取涉及较多技术难题。在数据的获取上,各种平台的传感器精度和时钟难以完全相同,且数据在观测角度、时相、尺度和谱段上有差异,如何将多源乃至多模态遥感图像进行时空对准仍是实现多源遥感图像语义分割的首要问题;在融合层级上,遥感图像融合分为数据层融合、特征层融合和决策层融合,前者面临计算开销大、难以满足时效性要求的问题,后者则容易遗漏部分特征细节信息造成误判,如何快速智能提取有用信息仍需要设计一体化处理流程,克服单一层面融合的局限性;在模型训练方式上,一般的遥感图像语义分割采用从头训练的方式,语义信息提取网络的迁移性和可解释性不高,先验信息和数字地图信息没有利用到辅助分割中来。

随着人工智能的快速发展,利用深度学习方法解决上述问题逐渐成为可能。在医学和自动驾驶领域的配准与分割技术已经可以实现多模态信息的融合互补,证明了利用不同成像模式的互补信息进行单类图像分割方面的有效性与可行性[9]。对于遥感图像解译而言,单源遥感图像语义分割可将图像中的每个像素链接到类标签,这些标签包括建筑物、车、舰船、植被等。随着卫星观测数据的爆炸式增长,多光谱、高光谱、全色、红外、SAR等遥感图像的高效、快速融合是未来新的研究热点。相比单源遥感图像,多源遥感图像的融合分割可以将同一地物的不同类型进行综合,以获得满足目标检测、灾害评估和关注区域提取等任务的高质量信息,产生比单一传感器图像更加精准、可靠的估计和判决。以全卷积神经网络 (FCN)为主要结构的基于深度学习的快速语义分割网络发展迅速,有监督语义分割和无监督语义分割均可满足一般图像处理应用时效性和准确性要求[10-11]。近年来,人工智能、大数据分析和多模态等技术飞速发展,基于数据驱动的多源数据融合框架得到了广泛关注,其将来自不同类型卫星的多源、多维和多特征的数据进行融合,快速对互补冗余信息进行预处理、特征提取、分类等综合处理,最后进行特征级和决策级的智能化融合,从而提高融合检测结果的可信水平和量测精度,提升全地域、全天候、全天时的快速响应和空间信息处理能力。大量研究表明,多源遥感图像语义分割已经进入快速发展阶段,但是该技术涉及遥感图像从获取、预处理、配准、融合到分割的复杂过程,目前的研究缺乏系统性梳理和总结。本文立足国内外遥感图像语义分割发展现状,系统性梳理了多源遥感图像语义分割的关键技术及前沿进展,通过仿真的方式对各关键技术的理论原理与适用条件进行了分析,归纳出现有关键技术的薄弱环节,并提出一体化智能处理思路,为多源遥感图像融合处理提供参考借鉴。

1 遥感图像语义分割研究进展

语义分割的根本是从图像中提取感兴趣的目标区域,它将图像中的每个像素都标注上对应的类别,可以用来识别构成可区分类别的像素集合。在语义分割完的图像上,不同像素区域被划分为不同的语义可解释性类别。目前,针对单一来源的语义分割发展迅速,研究覆盖遥感地物分类、灾害评估和目标提取等。多源信息融合语义分割仍以两个信息源的数据融合为主,二维空间如红外与光学图像、SAR与光学图像融合语义分割,三维空间如LiDAR与光学图像、高程/深度信息与光学图像融合语义分割。当某一来源的信息出现时序变化时,又衍生出时相数据变化检测,如灾害变化检测、苔浒赤潮变化检测、溢油变化检测等,其原理与语义分割方法相近,都是综合利用多源数据提取感兴趣的目标区域。本节主要内容是对从“单源”到“多源”遥感图像融合语义分割的理论原理与研究方法进行详细总结。

1.1 单源图像语义分割现状

目前,图像的语义分割方法可以分为传统方法和基于深度学习的方法。传统语义分割算法基于机器学习分类器,如Texton Forest和Random Forest等。随着以卷积神经网络(CNN)为代表的深度学习的发展,使用“数据+模型”驱动的深度学习方法进行图像分割任务逐渐成为主流[12-14]。

基于深度学习的语义分割方法主要包括两类：第一类是基于滑窗/候选区域的语义分割模型。基于滑窗的语义分割模型[15]从图像分类领域衍生而来,它以滑窗的形式对以像素点为中心的图像窗口进行处理,通过卷积分类网络对滑动窗口进行分类,以此预测窗口像素中心点的语义类别。而基于候选区域的语义分割方法[16]则从目标检测领域扩展而来。它首先提取图像中的候选框,然后对各个候选框进行特征提取和分类预测,在确定候选框中对象的语义类别后对整幅图像的语义分割,区分出不同语义类别和背景。第二类是基于编码器-解码器(上采样/反卷积)结构的端到端语义分割模型。文献[17]在2015年的CVPR上提出FCN,与CNN不同的是FCN移除了全连接层,在解码器中使用转置卷积进行特征图上采样。FCN具有开创性意义,但也存在对细节不敏感、精度不高等问题。为了弥补缺陷,文献[18]提出了U-Net模型,它是FCN的延续和改进,使用典型的编码器-解码器结构,编码器采用卷积层下采样,解码器采用反卷积上采样。U-Net的优势在于通过对低层次特征映射的组合,构建起高层次的语义特征,从而精确定位语义类别,提高了图像分割的精度。文献[19]随后提出SegNet模型,它由一个编码器网络(与VGG16的13个卷积层相同)、一个对应的解码器网络以及一个像素级分类层Softmax组成,具有模型参数数量少的特点。随后文献[20]提出的Deeplab系列模型进行了进一步优化了编码器-解码器结构模型。Deeplab v1结合深度卷积神经网络和概率图模型DenseCRFs,将DenseCRFs作为网络的后处理方法,使得语义分割不仅针对像素点本身,还要考虑以该像素点为中心的周围像素点的值,最终分割结果的边界更加准确清晰。Deeplab v2和v3[21]分别设计和改进了ASPP模块,先由空洞卷积产生的不同感受野的特征图,然后通过对不同特征图进行组合,从而获得更加丰富的局部/全局上下文信息。Deeplab v3+[22]在v3的基础上改进了解码器模块,使得分割结果变得更加精细。语义分割的难点在于感受野的设置上,相近类别的语义信息容易出现混淆,PSPNet[23]被提出用于解决网络感受野的问题,它延续了FCN的设计思路,引入了更多的上下文信息进行分割,提出的金字塔池化模块包含了不同区域不同尺度的特征,因而具有更好的分割精度。

1.2 多源遥感图像融合语义分割现状

近年来,红外图像、多光谱图像、SAR图像及LiDAR点云数据的融合语义分割成为研究热点和数据大赛的热门赛题。一方面,以光学和SAR为基础的遥感数据处理更偏向于多源化,融合分割处理可以进一步提升地物分类精度[24];另一方面,以自动驾驶为代表的人工智能技术对环境的感知从2D平面扩展到3D立体空间,多源数据融合分割正成为控制与决策的重要数据来源[25]。自2006年以来,国际电气与电子工程师协会地球科学和遥感学会为了推动多源遥感数据融合处理的研究,逐年举办涉及光电融合和空-时-谱融合等领域的多源遥感数据融合的比赛。

目前,大多数的多源融合技术针对的是两种数据的融合处理。文献[26]首次提出基于彩色(RGB)图像和深度(Depth)图像的深度多模态融合,并提出早期融合的概念,在特征图进入分割网络之前,将RGB和深度通道拼接,实现对室内场景的精准分割。由于不同数据源的图像具有异质性,简单的图像拼接对多源特征提取的效果提升有限。随后FuseNet[27]在2016年被提出以合并互补的RGB图像信息和深度信息到语义融合分割框架。FuseNet采用编码器-解码器分割框架,双分支的网络同时从RGB和Depth提取特征,并将Depth特征融入RGB的特征图中作为下一层的输入,随着网络的深入,从深度编码器获得的抽象特征融入RGB分支。在遥感图像处理方面,文献[28]提出一种用于建筑物目标分割任务的LiDAR和光学遥感图像融合分割方法。该算法首先基于迭代形态滤波方法从激光雷达点云中提取初始建筑区域,然后通过融合LiDAR数据和相应的RGB遥感图像来生成一个组合梯度表面,最后应用LiDAR分割初始化的流域算法在表面上找到建筑物边缘。文献[29]提出了一种用于多模态遥感数据分割的多阶段融合多源注意力网络。该网络采用编码器-解码器结构,其多级融合模块通过过滤多源遥感数据噪声校正偏差信息,然后融合多源互补信息,通过提出的多源注意力机制聚合相似特征,增强异质特征的可辨别性,融合分割效果优于Mp-ResNet、ACNet、ESANet等方法。随着多视点、多分辨率对地观测系统的发展,跨传感器平台(卫星、飞机、无人机和车辆)的数据融合成为可能。文献[30]提出一种针对激光雷达数据和相机光学图像融合的语义分割网络,可部署于自动驾驶汽车用于车道线分割。它使用Deeplab v3+网络对汽车前方的相机图像进行分割,然后与激光雷达采集的点云融合。除此之外,在建筑物和道路提取、自然灾害受损区域提取和海面溢油监测等方面,多源遥感图像融合分割也显示出优势[31-32]。

1.3 多时相遥感图像变化检测研究现状

作为多源遥感图像融合中的重要分支,多时相遥感图像变化检测是借助多源遥感图像进行变化信息提取的有效手段。它通过处理同一区域前后时刻两幅遥感图像,获取地面或海面前后不同时刻的变化信息[33]。早期的遥感影响变化检测一直都是以像素为图像分析的基本单元,即假设遥感图像中各个像素是空间独立的,不存在像素相关,通过分析像素点的特征来检测地面发生变化的区域。主要的变化检测方法有图像差分[34]、图像比值[35]和回归分析[36]等。由于基于像素的变化检测方法无法区分出发生变化的具体目标,因此出现了基于对象的变化检测方法。这类方法对于光谱差异、畸变等表现出良好的稳定性,同时对于判读发生变化的具体信息更有帮助。文献[37]提出一种基于对象的变化检测方法,它以目标作为变化检测的基本分析单元,从而可以从目标的不同维度特征获取更加准确的地面目标变化信息。文献[38]提出一种多尺度的变化检测方法,其中小尺度针对建筑物,大尺度针对成片区域的植被,相比基于像素的变化检测方法,该方法的检测准确率提升18%。之后又有研究者提出一种基于图像目标相关性分析的变化检测方法,它以目标的多维特征向量为基础,度量多时相图像中不同目标的相关性,并通过机器学习分类算法得到变化检测结果。

随着深度学习技术的发展,研究者提出基于孪生网络[39-40]的变化检测方法。文献[41]在FCN的基础上设计了三种经典的变化检测网络,这些网络利用配准的多时相遥感图像进行变化检测,不同之处在于网络的分支设计和融合方式上。值得注意的是,它提出的孪生全卷积网络结构,对于解决变化检测问题具有启发意义。文献[42]针对异质性遥感图像提出了一种无监督的变化检测方法,它使用对称的网络结构,通过两边的卷积层和深度卷积耦合层,将连接在网络两侧的两个输入图像分别转换到同一特征空间,从而计算出同一特征空间不同的特征图,然后应用阈值算法得到最终的检测结果。文献[43]提出了一种基于CGAN图像变化检测方法,其原型结构为pix2pix[44],它不考虑特定季节的物体变化以及亮度变化等因素造成的差异,能够有效地对不同季节的多时相遥感图像进行变化检测。然而,该方法对于高分辨率遥感图像的变化检测效果不佳,原因是上述方法是通过利用深度特征生成差异图像或学习像素块之间的变化关系来实现变化检测的,这导致了误差积累问题,因为获得最终的变化图需要较多的中间处理步骤。为了解决这一问题,文献[45]提出了一种新的端到端的变化检测方法,该方法基于有效的语义分割编解码器体系结构UNet++[46],利用全局信息和细粒度信息生成具有较高空间精度的特征图,然后采用多侧输出的融合策略,将不同语义层的变化图进行组合,生成精度较高的最终变化图。在极高分辨率卫星影像数据集上的实验结果验证了该方法的有效性和可靠性。除了光学和SAR图像的变化检测,文献[47]提出了一种LiDAR与光学图像之间的变化检测方法。该方法将多模态输入一个轻量化孪生卷积神经网络进行变化检测,为多模态变化检测网络的设计提供了借鉴意义。为了对时空信息进行全局特征建模,文献[48]在注意力机制的基础上提出了基于孪生网络的时空注意力变化检测网络,它在特征提取过程中增加了一个时空注意力模块以及金字塔时空注意力模块,对于双时相图像的配准误差,以及遥感图像的颜色和尺度的变化具有较强的鲁棒性。为了提升高分辨率遥感图像的变化检测精度及准确率,文献[49]和文献[50]分别使用Attention和Transformer注意力模块提出了基于DenseNet的孪生变化检测网络和基于Transformer的变化检测网络,模型在参数数量和结构上更精简。

2 多源遥感图像语义分割关键技术

随着遥感、人工智能等领域的快速发展,多源遥感图像融合语义分割逐渐成为提升单源分割效果的主流方法。在实际的处理过程中,涉及快速语义分割、联合语义辅助的多源图像配准与时序合成、多源遥感图像语义信息提取等关键技术。多源遥感图像语义分割的处理思路如图1所示,输入数据为多源遥感卫星图像、辅助地理信息数据(如控制点、参考图像等),处理过程分为快速语义分割、语义辅助精确配准与时序合成、语义信息智能提取3个有机融合的环节,输出地物覆盖类型图、语义信息掩膜和变化图等。

图1 多源遥感图像语义分割关键技术路线

2.1 单源遥感图像快速语义分割

首先通过深度学习方法提取高分辨率遥感图像语义信息,实现建筑物、水体和目标(如舰船、飞机)等少量类别的快速语义分割,实际中常从卫星遥感图像中快速分割道路、水体、建筑物、植被等目标地物,从而为后续遥感图像配准和合成提供有效辅助。由于单景遥感图像分辨率高,直接进行处理速度较慢,因此通常先进行裁剪,通过滑窗方式裁剪指定尺寸的图像块作为快速语义分割的输入。文献[51]提出一种针对高分辨率遥感图像的图像处理方法,即通过滑窗方式将4 000×4 000像素的图像裁剪指定尺寸(416×416像素)的图像作为模型的输入,且相邻裁剪图像重叠15%的区域以保证原图各区域均能被正确分割。经过逐个分割后将分割结果合并得到最终检测结果。在快速语义分割方面,开创性的FCN是大多数语义分割网络结构的基础,U-Net使用密集的跳跃连接进一步利用了空间细节,使得分割结果具有更准确的边缘。此后,为了改进整体特征提取能力,采用金字塔池化模块的PSPNet和采用空洞卷积金字塔池化模块的DeepLab对全局上下文进行编码,提取全局语义信息。由于图像分割速度与模型的计算开销紧密联系,为了提高语义分割速度,基于FCN的SegNet[19]和ENet[52]相继被提出,通过引入联合编码器-解码器模型和减少层数的编码器-解码器模型,减少了计算成本。在ICNet[53]、BiSeNet[54]和GUN[55]等双分支轻量化语义分割方法启发,Fast-SCNN结合共享权值的浅层网络来学习细节特征,同时在低分辨率下高效地学习全局上下文特征,将语义分割速度提升至实时处理水平。通过快速语义分割,得到云区、水体、建筑物、树木等对目标地物,便于后续配准和时序合成。随着大型语言模型的成功,通用视觉分割模型GPT、采用 Transformer 编码器-解码器结构的SEEM、集多种分割任务于一身的OMG-Seg等被用于语义分割任务。例如SEEM模型[56],尽管监督学习使用数据标签来统一多源图像并将它们与标签对齐,但它们的嵌入空间本质上仍然不同,为了解决这个问题,SEEM模型将不同类型的标签与不同的输出进行匹配,使其支持各种组合方式,多源提取标签也可以简单地连接并馈送到 SEEM 解码器中。

2.2 语义辅助精确配准与融合

通过语义信息辅助实现多源遥感图像配准,相比传统几何处理手段可以大幅度提升配准的速度、鲁棒性和自动化程度。具体来说就是充分利用前述环节识别出的语义分割信息剔除云层、植被等非固定目标特征点,同时利用提取的固定目标特征信息用于多源异构遥感数据高精度配准与融合。文献[57]提出一种用于多时相高分辨率航空图像配准的语义特征提取方法,通过语义分割网络提取随时间变化不大的对象(如道路)的特征信息,帮助处理图像配准中的树叶变化等问题,解决了经典手工特征无法解决的时变问题,经检验在跨年份和季节的航拍图像配准实验中展示出良好的鲁棒性和准确性。为了在融合任务中考虑语义信息,文献[58]提出一种基于语义分割的生成对抗网络,该网络可根据热辐射信息和纹理细节的差异,通过掩模将每个源图像分为前景和背景,对前景和背景使用不同的特征提取方法,以更好地保留源图像的信息实现异源融合。上述两种应用代表了语义分割提取出的语义信息辅助多源遥感图像精确配准和融合的方向,越来越多的研究者通过语义分割剔除影响配准精度的特征点或者区域,并提高了配准和融合的速度,以便压缩多源遥感图像语义信息智能提取的时间。

2.3 基于多源遥感图像的语义信息智能提取

经过前两步处理后,多源异构遥感图像完成配准与融合,因此可以通过人工智能等先进技术手段,利用不同数据来源的差异性和互补性,从多源/多时相遥感图像中提取目标的几何物理信息、语义信息及其时序变化信息,从而得到目标掩膜、有地物覆盖分类的语义地图、变化信息图,如道路及建筑物轮廓、水体情况以及地物目标的多时相变化图等。文献[59]提出一种基于U-Net的语义分割方法,从高分辨率多光谱遥感图像中提取建筑,利用GIS地图数据集来改进建筑物提取结果。文献[60]提出一种双流高分辨率网络HRNet来合并两种异构数据(SAR和光学图像),并利用多模态压缩激励模块来融合特征图。实验表明,该方法对GF2和GF3卫星获取的遥感数据具有良好的处理效果。文献[61]提出了一种端到端的多源遥感图像语义分割网络MCENet,它通过协同增强融合模块来挖掘多源遥感图像的互补特征,其中协同融合模块用于解决类内差异问题,增强聚合模块用于解决类间相似问题。MCENet还采用了一种多尺度解码器,通过学习尺度不变性特征来提高模型对小目标和大尺度变化的鲁棒性。实验证明MCENet在参数数量和推理速度方面更具优势。随着遥感数据的爆炸式增长,如何高效地利用多源遥感数据的互补性提取有用信息成为研究的重点。

3 多源遥感图像语义分割面临的技术挑战

对于遥感图像解译而言,对地面覆盖物进行分类是一项重要的任务,而语义分割则可以解决这一问题。随着卫星观测数据的爆炸式增长,多光谱、高光谱、全色、红外、SAR等遥感图像的高效、快速融合分割是未来新的研究热点。相比单源遥感数据,多源遥感图像的融合分割可以将同一地物的不同类型进行综合,以获得满足状态判读和变化区域检测等任务的高质量信息,产生比单一传感器图像更加精准、可靠的估计和判决。对于多源遥感图像语义分割与变化检测任务而言,遥感数据呈现多波段、多极化、多尺度和异质性等特点,目前,仍然面临着许多挑战：

1)数据规模与标注问题。多源遥感图像语义分割任务需要处理的数据规模庞大且多样,每个数据源可能具有不同的特性、分辨率和覆盖范围。GPT等AI大模型在处理自然语言任务时,依赖于大规模的语料库进行训练。类似地,多源遥感图像语义分割也需要大量的标注数据来训练模型,以学习从图像到语义标签的映射。然而,遥感图像的标注工作既耗时又耗力,且标注质量直接影响模型的性能。因此,如何获取足够多且质量高的标注数据是一个重要挑战。

2)多源图像之间的相关性度量问题。在多源遥感图像语义分割任务中,如何准确度量不同来源图像之间的相关性是一个重要的技术挑战。由于不同遥感数据源可能采用不同的传感器、分辨率和拍摄角度,因此图像之间的信息含量、特征表示和噪声水平可能存在显著差异。这导致在融合这些图像时,需要解决不同数据源之间的信息对齐和互补问题。具体来说,度量多源图像之间的相关性需要考虑以下几个方面：

(1) 特征空间的一致性：不同遥感图像可能具有不同的特征空间,因此需要将它们转换到一个共同的表示空间,以便进行比较和融合。这通常需要复杂的特征转换和校准技术。

(2) 时空对齐：由于不同遥感数据源可能采用不同的拍摄时间和地点,因此需要进行精确的时空对齐,以确保图像之间的信息能够准确对应。这涉及到复杂的图像配准和校正技术。

(3) 信息互补性：不同遥感数据源可能包含不同的信息,例如光学图像可能提供地表纹理和颜色信息,而雷达图像可能提供地表形态和结构信息。因此,在度量相关性时,需要考虑如何充分利用这些互补信息,以提高分割的精度和可靠性。

3)在轨或终端处理的时效性保障。对于多源遥感图像语义分割任务来说,时效性是一个至关重要的考虑因素。由于遥感数据量大、处理复杂度高,因此在轨或终端处理的时效性保障成为了一个技术挑战。具体来说,保障时效性需要考虑以下几个方面：

(1) 高效算法设计：为了实现在轨或终端的快速处理,需要设计高效的算法来降低计算复杂度,包括采用轻量级的网络结构、优化算法参数、使用并行计算技术等。

(2) 硬件加速：利用高性能计算设备和专用硬件加速器(如GPU、FPGA等)可以显著提高处理速度。通过优化硬件和软件之间的协同工作,可以实现在轨或终端的实时处理。

(3) 数据流管理：对于大规模遥感数据流的管理和调度也是一个挑战。需要设计有效的数据流管理策略,确保数据能够高效地从数据源传输到处理终端,并及时进行处理和分析。

4结束语

本文从遥感图像解译角度简述了多源遥感图像融合语义分割的优势,具体对单源遥感图像语义分割、多源遥感图像融合语义分割和多时相遥感图像变化检测的发展现状进行了概述,梳理了多源遥感图像融合语义分割的理论脉络,并总结了多源遥感图像语义分割的关键技术,厘清了多源高分辨率遥感图像融合语义信息提取的基本思路和大体框架。

随着天基探测需求的不断增大,以及AI大模型的井喷式发展,多源遥感图像融合也面临着许多新的机遇。对于多源遥感图像融合语义分割有以下方面的研究展望：

(1)AI大模型的应用将极大提升多源遥感图像语义分割的精度和效率。这些模型经过大规模数据的训练,能够学习到丰富的特征和上下文信息,从而更准确地识别并分割出不同地物类别。同时,随着模型的不断优化和简化,其计算复杂度将逐渐降低,为在轨快速处理提供了可能。

(2)多源遥感图像的处理将更加注重信息的融合与协同。不同数据源之间的信息互补性使得多源数据的融合成为提高语义分割精度的关键。基于AI大模型的多源融合语义分割技术将更加注重如何有效地融合不同数据源的信息,以充分利用各自的优势,提高分割的准确性和可靠性。

(3)在轨快速处理方面,随着硬件技术的不断进步,高性能计算设备和专用硬件加速器将在卫星上得到更广泛的应用。这些设备能够提供强大的计算能力,支持AI大模型在轨实时处理多源遥感图像。同时,针对在轨环境的特殊需求,未来的技术还将更加注重能耗和重量的优化,以确保在轨处理的高效性和可持续性。此外,随着深度学习技术的不断发展,新的算法和模型将不断涌现,为多源遥感图像语义分割提供更强大的支持。例如,通过引入注意力机制、图神经网络等先进技术,可以进一步提高模型的分割精度和鲁棒性;通过设计更加轻量级的模型结构,可以实现在轨快速处理的同时保持较高的性能。

随着相关技术的不断进步和优化,有理由相信未来多源遥感图像语义分割将更加准确、高效和可靠,为城市规划、环境监测、灾害预警等领域提供更强大的支持。