基于深度特征融合的SAR图像与AIS信息关联方法

李浩然, 熊 伟, 崔亚奇

(海军航空大学信息融合研究所, 山东 烟台 264001)

0 引 言

当今海洋权益越来越受到重视,海洋监视技术对维护海洋权益有着重要意义[1]。在海洋监视领域,合成孔径雷达(synthetic aperture radar, SAR)与船舶自动识别系统(automatic identification system, AIS)数据之间的关联关系的建立有着广泛的应用场景[2],如侦察监视[3-5]、污染监控[6-8]、目标识别[9-11]、非法打捞等[12-14]。星载SAR和AIS都具有全天时全天候的工作能力,但又各具特点,在舰船目标监视方面有着优势互补的特性。AIS信息更新频率快且精度高,可以直接获得舰船的位置、航向、尺寸等特征信息[15]。星载SAR探测范围广,获取图像的分辨率较高,但访问周期长。AIS信息中舰船的具体特征信息可作为对应SAR图像中目标信息的补充,而SAR图像又是AIS信息中对应目标更直观的表示。通过SAR图像与AIS信息关联关系的建立,由AIS信息关联检索到对应SAR图像,可以快速锁定目标所在的大致区域,有助于周围环境态势的判定;而SAR图像关联检索到对应AIS数据,能够进一步获得目标的具体信息,有利于了解目标的基本情况。SAR图像与AIS信息之间相互补充可以使我们对目标情况掌握更全面,提升海洋目标的态势感知能力。

数据关联用于判别来自不同传感器的信息是否源于同一目标[16],是实现上述两种信息有效互补的基础和前提。SAR和AIS的关联属于典型的跨模态数据关联问题。文献[17]提出了用一种对SAR和AIS数据融合的新方法,在决策层采用算数平均函数对数据融合,并在模拟数据集上进行了检验。文献[18]通过一种改进的自适应支持向量机对AIS信息中的知识进行迁移来提高SAR舰船分类性能,实验证明传统方法的效果可以得到明显改进。文献[19]提出了一种利用SAR图像中目标的航速估计来提高SAR与AIS匹配精度的方法,具有较广泛的适应性。文献[20]提出了一种在密集场景下辅助分类的SAR与AIS数据关联技术,利用基于AIS信息迁移学习的SAR分类模型提高了数据关联的置信度。然而,以上针对SAR图像与AIS数据关联的方法,通常提取两种数据中目标的位置及属性特征信息,转换为同模态的数据后再通过融合决策实现关联匹配。然而上述方法很大程度上依赖于SAR图像中的位置信息,辅助以目标的尺寸等信息实现关联,未能充分利用遥感图像丰富的语义信息,若缺失准确位置信息则难以实现两者的关联。此外,这些方法多依赖于人工设计特征且关联步骤繁琐,关联效率低。

近年来,深度学习技术已经越来越广泛应用于图文检索[21]、音频翻译[22]和文本视频匹配[23]等领域中的跨模态数据关联问题。但AIS信息并不同于一般的文本或是音频等信息,AIS信息中包含时空信息以及目标属性等信息,其不同于一般的句子结构,文本信息中不是仅仅是单词的有序组合,而是名称词语和对应数值的组合,相对来说结构更加复杂,而且数据本身上下文间没有明显的逻辑性,特征信息挖掘难度大。通常的用于解决跨模态问题的模型对文本这一模态特征的获取是立足于语言模型,获得文本数据的语法结构以及深层语义信息,但这种结构不能完全适用于AIS信息,故难以达到满意关联的效果,这使得遥感图像与AIS信息间关联模型的建立更具挑战性。

为了更好地解决遥感图像与AIS信息的关联问题,克服多源数据类型之间存在的异构鸿沟,实现高效准确的关联检索,本文提出了一种基于深度特征融合的SAR图像与AIS信息关联学习的方法。根据SAR图像和AIS数据所含信息丰富且难获取的特点分别设计了相应的特征提取网络模型,将网络学习到的两种模态数据的特征表示映射到同一特征空间并进行融合,然后在这一空间中通过关联学习目标函数实现跨模态数据之间关联关系的学习,同时构建了一个包含SAR图像和AIS信息的数据集,并在数据集上验证了所提模型的有效性。

1 模型设计

SAR图像与AIS信息的数据之间存在异构鸿沟,难以直接进行数据间的关联。首先需要将两种不同传感器获取的数据信息映射到同一个特征空间,使得不同类型的信息有统一的特征表示形式。进一步,通过对关联学习目标函数的设计发掘两种数据间潜在的关联关系,实现SAR图像与AIS信息之间的关联检索。本文设计的用于SAR图像与AIS信息关联的模型结构如图1所示,分别通过两个子网络模型对SAR和AIS数据特征进行充分的学习,再将学得的两种模态特征表示分别映射到同一特征空间中,然后在共同的特征空间进行关联关系的建模。这个过程可以表示为

图1 本文方法构架

i=WII

(1)

t=WTT

(2)

S=cos(i,t)

(3)

式中:WI和WT分别为SAR图像和AIS文本信息的权重矩阵;i和t分别为SAR图像和AIS信息的特征表示;cos(x,y)表示x,y两个向量之间的余弦相似度。下面将具体介绍本文的方法。

1.1 SAR图像特征表示

SAR图像特征学习的基本过程如图2所示,为了更好地学习到图像中的目标信息,输入的SAR图像首先会通过一个目标检测模型,保存获得的图像中目标的边界框并将其标注在图像上。进一步,将带有边界框的SAR图像输入到卷积神经网络,使用的图像特征提取模型为在ImageNet数据集上预训练的Resnet18[24],每幅输入的SAR图像大小都调整为256×256后输入到网络模型中以获取对应的特征表示。

图2 SAR图像特征提取网络

遥感图像不同于自然图像,其具有更丰富的语义信息,仅使用全局特征虽然可以表示图像所包含的大部分信息,但仍有一定缺陷。文献[25]设计的残差精化模块有助于提取到图片的精细化特征,深层特征图尺度大,能够捕获突出对象的高级语义信息;而浅层特征图尺度小,能够提取目标精细语义信息。在这种方法的启发下我们设计的网络结构在获得遥感图像特征表示时,不但提取图像的全局特征同时也得到各层的特征图,获得一组多尺度特征图。然后对不同层输出的特征图进行了上采样,进而对特征图进行拼接分别获得底层特征和高层特征,然后使用卷积层对底层特征采样使其大小与高层特征相匹配,高层特征则通过卷积进行等尺度变化。最后得到的SAR图像特征表示是将提取的不同层次特征图融合后的结果,以此得到遥感图像的更细粒度表示,更能体现目标特征。SAR图像特征融合示意图如图3所示。

图3 SAR图像特征融合

上述过程可以表示为

L=conv3×3(Cat(F2,Upsample(F3)))

(4)

H=conv1×1(Cat(F4,Upsample(F5)))

(5)

i=(σ(Linear(Cat(L,H))))⊙G

(6)

式中:Fi代表第i层网络的输出特征,网络的基本结构参数如表1中所示;conv()表示卷积操作,右下角标为卷积核大小;Cat()表示维数一致的特征向量,在通道数维度上进行拼接;Upsample()代表上采样操作;Linear()代表线性变换;σ()代表Sigmoid激活函数;G为网络获取的全局特征;i为各层级图像特征融合后得到的SAR图像特征表示;⊙表示按元素相乘。

表1 SAR图像特征提取网络基本结构参数

1.2 AIS信息特征表示

AIS信息的输入形式为文本格式,其中包含海上移动通信业务标识(maritime mobile service identity, MMSI)、经纬度、船的尺寸、航向等具有代表性的目标基本信息。AIS信息输入后,首先对AIS文本信息进行分词并编码,由于AIS的文本信息不同于一般的句子,所以我们对分词器进行了特定的设计,分词得到的目标信息的名称和真值保持结合在一起,例如“MMSI:107521122”的形式,这样的设计更利于体现AIS数据中所包含的目标特征信息,保证了信息的整体一致性,利于后续的特征提取。然后将分词后的每个单词编码嵌入到300维向量后再输入到网络模型中进一步挖掘数据中的特征信息,由于AIS信息与一般文本语句有较大差异,以及分词后词间并无明显的逻辑性,为了提高对AIS信息的表示能力,充分挖掘数据中的表征信息。AIS信息特征提取过程如图4所示,构建了以门控循环单元(gated recurrent unit,GRU)作为循环神经网络的基本节点以及以一维卷积为基本过滤器的卷积神经网络模型处理AIS的文本信息,以获取数据整体以及细节的语义信息,最终由两个网络分支获取的特征融合构成AIS信息的特征表示。

图4 AIS信息特征提取网络

假设输入的AIS信息中分词后得到n个字符串,在对分词得到的结果编码后,AIS信息的输入可以表示为{s1,s2,…,sn},si∈R300,si为对字符串编码后的向量。然后分别输入到GRU以及一维卷积神经网络中提取特征,得到AIS信息的细粒度表示。

GRU主要包含更新门zt和重置门,通过这两个门来控制输入和遗忘信息的平衡,其网络结构计算过程可表示为

rt=σ(Wr·[ht-1,xt])

(7)

zt=σ(Wz·[ht-1,xt])

(8)

(9)

(10)

yt=σ(Wo·ht)

(11)

表2 网络结构参数

AIS文本信息的最终特征表示是由GRU和一维卷积神经网络获取的两部分特征相结合:

s=GRU(T)+CNN1D(T)

(12)

1.3 特征融合设计

在SAR图像与AIS信息特征提取的网络模型中,通过特征融合能够得到网络模型对单模态信息更准确的特征表示,但两模态特征信息之间并没有交互,容易造成模型过于依赖图单一模态的表征,不利于提高跨模态信息之间的关联性。单一模态的AIS信息虽然在一定程度上能够反映遥感图像中目标的部分特征,但通常不能包含图像中更全面的目标信息。受到文献[26]启发,在模型中可以利用图像特征信息来指导AIS信息的特征表示输出,实现两模态特征的交互。通过利用已经获取的遥感图像特征对AIS信息的特征表示进行引导,特征融合后得到含有引导信息的特征输出,使模型不仅仅局限于关注单模态特征表示,还引入了不同模态间的交互信息,使获得的目标的特征表示信息更全面且能够增强模态间信息的语义相关性,有助于提高SAR图像与AIS信息的关联效果。图像特征向量经过线性层及激活函数后,与文本特征结合来指导其特征输出。可以表示为

t=σ(Linear(i))⊙s

(13)

式中:σ()为激活函数;i和s分别为获取的SAR图像特征表示和AIS信息特征表示;Linear(x)表示对x进行线性变换;t代表带有视觉信息指导下的AIS信息表示。

1.4 关联学习目标函数

为了构建SAR图像与AIS信息之间准确的关联关系,通过目标函数在共同空间的约束,使得两种模态相匹配数据的特征表示在高层语义保持一致。网络模型关联学习的目标函数由两部分组合而成,目标函数的设计可以加快模型的收敛同时学习到更具辨别性的特征,其表达式为

L=Lsim+Ltriple

(14)

式中:Lsim表示相似性约束损失;Ltriple表示三元损失。

1.4.1 相似性约束

针对不同模态数据之间的异构性,该约束使匹配的SAR图像与AIS信息的特征表示在统一的特征空间中相互靠近,克服由于数据异构性造成数据间的语义鸿沟,增强不同模态特征表示间的语义关联性,拉近了匹配的SAR与AIS信息的特征表示在共同空间中的距离。

(15)

式中:N为一个批次中所含的成对样本数;i和t分别为SAR图像和AIS文本信息的特征表示。

1.4.2 三元损失

随着多模态特征匹配的发展,三元损失已经是多模态特征匹配领域常用的损失函数之一。文献[27]对三元损失进行了改进,提高了其在图文检索应用的效果。在共同空间中,三元损失通过增大样本与其对应的负样本之间的距离,同时使该样本与其对应的正样本之间的距离尽可能近,这样可以使模型学习到更细微的特征,增强提取到特征的判别性,进一步提高关联的准确性。

(16)

2 实验结果与分析

2.1 数据集构建

由于获取相匹配的遥感图像与AIS信息难度大,目前并没有遥感图像与AIS信息相互匹配的公开数据集。为了验证本文所提方法的有效性,解决SAR图像与AIS信息之间的关联问题,本文构建了一个包含SAR图像和对应AIS文本信息的数据集,图5展示了数据集中的部分样例。对应文本信息选取了AIS中具有代表性的目标特征信息,包含MMSI、经纬度、船的长宽、航向等基本信息。数据集的构建以SAR图像舰船目标检测数据集(SAR ship detection dataset,SSDD)[28]为基础,从中选取了650张只包含一个目标的SAR图像,每张SAR图像对应的AIS信息根据目标特点进行标注。

图5 数据集样例

2.2 实验设置

在本实验中,随机挑选数据集中80%的数据作为训练集,10%作为验证集,剩余的10%作为测试集。以Resnet18为基本网络构架提取SAR图像的特征表示,训练过程随机读取匹配的SAR图像与AIS信息,同时输入到网络模型中。我们使用Adam优化器来训练整个网络,三元损失门限值设置为0.3,批次大小设置为16,训练迭代20个循环,学习率设置为0.000 2。

此外,实验检索任务分为SAR图像到AIS信息(S2A)和AIS信息到SAR图像(A2S)两种类型。本实验中采用基于实值表示学习跨模态检索任务[29]常用的性能评价指标召回率(Recall)作为模型的评价指标,召回率是指给定查询样本时模型返回的相关样本与数据集中所有与其相匹配的样本数之比。在跨模态领域,R@K(K=1,5,10)表示针对一种模态信息的查询,返回另一种模态数据的前K个结果中包含正确匹配样本的百分比。R_m是R@K所有数据的平均值,用于评估模型的整体性能更为合理。两个评价指标的值越高,模型表现越好。

2.3 实验结果与分析

为了验证本文模型算法的有效性,我们在构建的SAR图像与AIS信息相匹配的数据集上进行了实验验证,分别进行了SAR图像检索以及AIS信息的检索。为确保模型的有效性和可靠性,实验结果我们采用五折交叉验证后的平均值,在两种任务上的实验结果如表3所示。

表3 本文方法实验结果

表3中分别展示了本文方法在SAR图像检索AIS信息(SAR->AIS)以及AIS检索SAR图像(AIS->SAR)的实验结果以及与SCAN[30]以及AMFMN[31]方法的对比。从数据上可以看出,本文方法在所构建的数据集上可以达到较好的效果,尤其是在返回的前几个结果检索到匹配信息的准确率较高,表明模型能够较好地学习到两种异构数据潜在的关联关系,能够较准确地实现这两种模态数据的相互检索。SCAN使用堆叠交叉注意力模型实现图文匹配,是在自然领域的图文跨模态检索任务中的经典算法,后续的很多相关研究都将其作为基准对比效果;而AMFMN是在遥感领域最近提出的用于图文跨模态的关联学习方法,其能适应多尺度输入并能够过滤冗余特征,并在更细粒度的数据集上表现出较好的性能。从上述方法对比的实验结果可以进一步看出,本文的方法较SCAN、AMFMN表现更好,尤其是在R@1和R@5这两个指标上有较大提升,说明本文方法关联匹配的精准度更高,证明了本文方法用于SAR图像与AIS信息关联检索任务的有效性。

为了更直观地分析模型效果,从测试数据集中挑选出具有代表性的例子,以及模型检索到的最相似的前3个对象。如图6和图7所示,其中红框标出的图像或文本为对应查询样本的真值。

图6 AIS->SAR检索结果

图7 SAR->AIS检索结果

图6和图7分别展示了SAR图像检索AIS信息以及AIS信息检索SAR图像的几个结果,可以看出查询对象所对应的真值大多都能包含在排序靠前的检索结果中,这说明本文对SAR图像和AIS信息之间进行关联学习的方法是有效的。此外,对于查询对象返回的相似度较高但不是真值的那些样本,其特征信息是与真值非常类似的,只是在细节上有所差异。通过这种将结果可视化的方式,可以看出本文设计的网络模型在提取SAR图像与AIS 信息细粒度特征以及发掘两者之间潜在关联关系的突出能力,进一步说明了本文方法的有效性。

为了验证所提模型中各部分的作用,进一步检验本文方法的有效性,我们设计了不同模块组合的模型,并进行了对比实验进行分析。为简化表示,分别用“M”“M1”“M2”“M3”“M4”“M5”“M6”“M7”“M8”代表本文完整模型、SAR图像细节特征模块与AIS信息的GRU特征模块组合、SAR图像细节特征模块与AIS信息的一维卷积特征模块组合、SAR图像全局特征模块与AIS信息的GRU特征模块组合、SAR图像全局特征模块与AIS信息的一维卷积特征模块组合、SAR图像细节特征模块与AIS信息的完整特征模块组合、SAR图像完整特征模块与AIS信息的GRU特征模块组合、SAR图像完整特征模块与AIS信息的一维卷积特征模块组合、SAR图像全局特征模块与AIS信息的完整特征模块组合,这些组合的模型在两类任务上的实验结果如表4所示。

表4 对比实验结果

从对比实验结果可以看出,如果从本文模型的SAR图像特征提取模块以及AIS信息特征提取模块中各移除一个模块,则剩余部分的组合模型整体关联效果会有明显下降;如果只是从整个模型中任意移除某一模块,也会导致模型的整体效果下降,只有当模型完整时达到最佳效果,对比实验结果充分说明了本文方法所设计各模块的有效性。

3 结 论

针对SAR图像与AIS信息关联难度大,其数据间相似性难以度量的问题,提出了一种基于深度特征融合的SAR图像与AIS信息关联的方法。与现有的方法相比,无需过多的人工干预,能够直接对两种模态信息的关联关系进行建模,将不同模态特征表示映射到同一特征空间并通过特征融合以增强关联性,使得模型实现更加高效准确的关联检索。为了验证方法的有效性,构建了一个包含SAR图像及匹配AIS信息的数据集。然而,受限于匹配的SAR图像与AIS信息难获得性,数据集中的AIS信息多参照实际的数据内容形式进行标注获得,而且构造数据集的规模较小,下一步工作需要构建实测的且包含更多复杂场景大规模数据集来进行实验验证并深入探索以进一步提高关联的准确性。