周 正 崔宗勇 曹宗杰 杨建宇
(电子科技大学信息与通信工程学院 成都 611731)
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式的微波遥感系统,它能够在全天候及复杂环境条件下获取高分辨率的SAR图像。GF-3,RadarSat-2,TerraSAR-X及Sentinel-1等星载高分辨率SAR的迅速发展,使得SAR在军事和民用领域发挥着重要作用。SAR图像往往存在着多尺度目标,也存在着尺度比例相差巨大的目标,比如机场目标、飞机目标、舰船目标和车辆目标等。然而,目前存在的SAR图像多尺度目标检测方法并不多,大致分为3种类型[1]:(1)基于恒虚警率(Constant False Alarm Rate,CFAR)的检测算法;(2)基于显著性的检测算法;(3)基于深度学习的检测算法。但是检测效果并不好,存在一定的漏检和虚警。因此,针对SAR图像中多尺度目标检测,提出一种高效率、高准确率的多尺度目标检测方法对陆地侦察、军事情报获取和海洋管理等方面具有重要意义。
传统的SAR图像目标检测主要以CFAR算法为例,绝大多数CFAR算法基于局部滑窗对SAR图像进行逐像素检测,SAR图像中的每一个像素多次参与了滑窗运算,致使算法的计算速度普遍不高。但是随着高分辨率SAR图像的出现,多尺度目标周围往往伴随着复杂的地物干扰和纹理场景,也造成了大场景SAR图像中大量背景杂波像素处的计算费时过多。为了解决SAR图像中多尺度目标检测问题,一些学者提出了很多改进的CFAR目标检测算法,比如迭代式的CFAR目标检测算法[2]、基于改进的超像素CFAR目标检测算法[3]、基于变尺度滑窗目标检测算法[4]。为了获取到更多的目标信息,消除相干斑噪声的影响,Li等人[3]提出了一种用于目标超像素检测的两阶段CFAR检测算法,对简单场景下舰船检测效果较好,对尺度相差较大的不同目标检测结果较差。为了检测到尺度较大的目标,Zhai等人[5]提出显著性和上下文信息处理的舰船检测算法,能更加关注特征比较突出的大型舰船和背景目标,但是该方法忽略了小型舰船。以上方法仅仅针对SAR图像中背景较为简单的场景,虽然检测效果不错,但是对于复杂的大场景SAR图像来说,检测性能将会下降。
近年来,许多学者提出了基于深度学习的目标检测算法,并且取得了较好的检测性能。基于CNN的目标检测器可以分为两种方法。一种是单阶段检测方法,如YOLO[6]和SSD[7],检测速度快,但是精度不高。另一种为两阶段检测方法,如R-CNN[8]和Fast-RCNN[9],检测速度较慢,但是精度高。为了在实时SAR应用领域具有一定的现实意义,张晓玲等人[10]提出一种高速高精度的SAR图像舰船检测方法。Hong等人[11]提出了一种基于YOLOv3的增加骨干网络的多层金字塔结构的算法,用于解决复杂环境下多尺度目标检测问题,但是该方法主要提升了小目标的检测效果,当不同目标尺度差距较大时,不能较好地实现大小目标同时被检测。陈慧元等人[12]提出一种基于深度网络的大场景遥感舰船快速检测方法,同时实现了任意朝向舰船的定位,检测速度较快。同时Fang等人[13]提出一种解决遥感图像中尺度多样性和小目标检测问题的方案,能够精细空间细节,能够较好地检测到遥感图像中的小目标,但是有些遥感图像中存在尺度较大的目标,该方法也不能较好地同时检测到尺度差距较大的不同目标。由于SAR图像背景复杂,目标和背景杂物难以被区分,容易产生很多漏检和虚警。单阶段检测方法容易忽略底层目标的特征,使得小目标难以被检测。为了提取到更多的目标特征,需要充分利用多层次特征,采用两阶段检测方法可以将目标检测率大大提高。为了更好地解决多尺度目标检测问题,Lin等人[14]提出了一种基于特征金字塔网络(Feature Pyramid Networks,FPN)的多尺度特征表示方法,该方法可以较好地检测出多尺度目标,而且检测率较好,但是对尺度比例相差巨大的目标检测效果较差。为了解决多尺度、多场景的SAR图像目标检测问题,文献[15,16]提出基于Faster-RCNN的稠密链接多尺度网络,能够较好地提取目标特征,但是该网络耗时较长,也存在一定的虚警和漏检。此外,顾佼佼等人[17]提出改进Faster RCNN的舰船检测方法,初步解决了特征提取不充分和重复检测问题。Nie等人[18]提出基于MASKRCNN模型的舰船检测算法,解决了小型舰船和大型舰船同时被检测问题,但是出现小型舰船检测性能上升和大型舰船检测性能下降等结果。陈华杰等人[19]根据舰船目标具有较大长宽比的特点,提出了基于密集子区域切割的舰船快速检测方法,降低了虚警率,提高了检测速度。
通过以上分析知道,传统的CFAR目标检测算法对简单场景进行目标检测效果还不错,并且也可以较好地进行多尺度目标检测,但是对于多类别复杂的大场景SAR图像而言,多尺度目标检测性能有所下降。针对尺寸很大和尺寸很小的目标,也存在小目标漏检或者大目标漏检以及虚警的问题。现今流行的基于深度学习的目标检测算法对多尺度目标检测效果也很好,依然存在多类别复杂的大场景SAR图像检测性能下降,特别是尺寸很大和尺寸很小的目标检测性能较差的问题。因此现阶段的目标检测算法还不能较好地同时检测到不同类别的尺寸相差很大的目标,比如大尺度机场目标和小尺度舰船目标。在同一幅SAR图像中,目标尺寸大小或者是目标所占像素大小相差较大的不同目标,称为跨尺度目标,其中,跨尺度是指不同目标的尺度比例相差较大而呈现出大尺度和小尺度。如图1(a)表示跨尺度机场目标和舰船目标,图1(b)表示跨尺度舰船目标。在FPN[14]中,提出了一种基于特征金字塔网络的多尺度特征表示方法,并且受到文献[16]的启发,本文提出了一种基于特征转移金字塔网络(Feature-Transferrable Pyramid Network,FTPN)的SAR图像跨尺度目标检测算法。首先,利用残差网络对SAR图像进行特征提取,经过多个池化层输出不同尺度的特征图,并且将每一层的特征图都转移到后面每一层的特征层上,避免了随着网络深度的加深而目标特征减少的问题,在下采样的最后阶段网络层中加入空洞卷积,让大尺度目标的特征被提取,然后将特征转移后的不同层的特征图送入特征金字塔网络进行特征融合,能够尽可能地保留密集排列以及尺度相差巨大的目标特征,最后将融合后的特征送入区域候选网络(Region Proposal Network,RPN)[15]进行预测候选框输出。试验结果表明,所提出的方法可以将复杂SAR图像中密集排列的目标和跨尺度目标检测出来,并且具有优异的检测性能。
图1 跨尺度目标Fig.1 Cross-scale objects
本章节将详细介绍FTPN的关键组件特征转移层和空洞卷积群,然后再详细介绍FTPN的结构。
在SAR图像多尺度目标检测中,充分利用不同层次之间的特征对最终检测到不同尺度的目标具有很重要的作用。因此,Zhang等人[20]针对遥感图像中地面小目标和大目标展开分析,提出了一种基于密集连接和多尺度融合的检测网络,主要是把图像中目标的多尺度特征进行融合,提高了多尺度目标检测的性能,但是试验中的多尺度目标尺度比例相差不大,并且大小尺度目标检测效果不好,也没有涉及关于跨尺度目标检测的概念。与文献[20]中采用的密集连接和特征融合相比,本文方法是在自底向上过程中进行特征转移形成FTPN,在特征转移层进行转移操作,将每一层的特征图都转移到后面每一层的特征层上,并且在下采样最后阶段网络层中加入空洞卷积,更大程度地保留了小尺度和大尺度目标的特征,这样对尺度比例相差巨大的目标才更有针对性。
2.2.1 特征转移层
为了将SAR图像中各种不同类型、不同尺度的目标特征尽可能地提取出来,在文献[21]和文献[22]的启发下,本文提出了特征转移层。
原始模型特征金字塔网络特征提取阶段采用的是网络的前向过程,而整个前向过程中,特征图的大小会随着网络层的增加而发生部分改变,将特征图没有发生改变的层作为一个阶段,并把这个阶段的输出作为后阶段将要提取的特征。在整个过程中,随着网络层数的增加,SAR图像中部分目标特征消失,保证低层网络在提取特征时不丢失小目标特征的同时,也能够让高层网络更准确地提取大目标特征,我们将每一个阶段的所有特征转移到后面每一个阶段的特征图上,充分把SAR图像上的小目标特征保留,使得每一个阶段的特征图都存在小目标特征。在特征转移层中,整个特征转移后会进行特征的有效连接,是将每一个阶段输出的特征进行跨阶段的转移,在整个过程中通过池化操作让每一层中的特征图的大小保持一致,比如,第2个阶段Conv2上的特征转移到第4个阶段Conv4时,池化窗口大小为2,步长为4,保证了Conv4阶段输入进来的不同阶段特征图的大小都是一致的。其中,对于每一个阶段中输入的多个特征,我们都进行有效连接合并,但是连接合并之后的特征维数增加,为了使维数跟原本阶段的特征输入维数一样,我们需要对转移之后进行连接的特征通过一个1×1的卷积来降维,保证卷积核的通道数和输入特征通道数相同。
除此之外,每一个阶段互相连接,不仅提高了低层网络和高层网络之间最大程度信息传递的能力,还减少了梯度消失的问题,尽可能地保留了SAR图像中各种大小尺度不一的目标特征信息,能够将小尺度目标和大尺度目标的特征提取,特别是能够很好地将较小目标或者极小目标的特征提取,促使后续特征融合效果更好,也为了能够检测到更多的不同类型、不同尺度的目标,特征转移网络结构如图2所示。
图2 特征转移网络结构Fig.2 Feature-transferrable network structure
2.2.2 空洞卷积群
由于SAR图像中存在着跨尺度目标,大尺度目标的尺寸巨大,在卷积网络中进行特征提取时,出现了特征提取消失的问题。特征转移层能保留SAR图像中不同尺度的目标特征,特别是在保留了更多小目标特征的条件下,为了提取到SAR图像中较大尺度和更大尺度的目标特征,我们在标准的卷积中注入空洞,来增加感受野,在特征转移层中引入空洞卷积,通过调节扩张率来控制数据间距,在不降低特征分辨率的情况下,增大特征提取感受野,获得更高层的语义信息,设置的扩张率越大,其对应的卷积核大小越大,特征提取感受野越大。带扩张率的卷积核大小如式(1)所示,空洞卷积感受野的计算方式如式(2)、式(3)所示。
其中,K为初始卷积核大小(Kernel size),取值为3,D为扩张率(Dilation rate),Ri为第i层的感受野(Receptive field),相邻权重之间的间隔为D–1,普通卷积的D默认为1。
由上可知感受野的大小随着扩张率的增大而增大。例如,对于一个3×3的卷积层,当D=1时,对应的卷积核大小为3;当D=24时,对应的卷积核大小为49。扩张率分别为{1,6,12,18,24}形成有梯度的并联结构的空洞卷积群,如图3所示。设置不同的扩张率,使得感受野的大小在原有的基础上扩大了几十倍,并且对应连接阶段的特征图将会分别并行通过此空洞卷积群中的空洞卷积,来获取到SAR图像中尺寸巨大的目标。
由图3可以知道,初始卷积核大小为3×3,其中rate为扩张率,以设置不同的扩张率如{1,6,12,18,24}来实现不同的并列的空洞卷积群。当扩张率为1时,感受野大小不变,重点就是为了保留小目标的特征;当扩张率为24时,能够将较大或者巨大尺度目标的特征进行提取。由图3可知随着扩张率的逐渐增大,感受野大小也在逐渐增大。空洞卷积群的提出,更好地解决了大尺度目标难以被检测的问题。
图3 空洞卷积群Fig.3 Dilated convolution group
2.2.3 网络结构
受到文献[16]的启发,我们设计了如图4所示的FTPN,FTPN由自下而上的密集特征转移网络、横向连接和自上而下的上采样过程组成,其中Res-Net101是整个网络的骨干网络。首先,将Conv1,Conv2,Conv3,Conv4,Conv5阶段进行特征转移,将后面4个阶段的最后一个残差块的输出作为{C2,C3,C4,C5},在每两个阶段之间形成特征转移层,并在最后两个阶段之间加入空洞卷积群,形成特征转移网络,利于网络能够提取到SAR图像跨尺度目标特征。然后,在自上而下的网络中,对高层语义信息更强的特征图进行上采样,生成分辨率更高的特征图。最后,通过横向连接将自下而上和自上而下过程中相同空间大小的特征图进行融合,主要是采用1×1的卷积核进行连接,可以更加充分地利用底层定位细节信息。将低分辨率的特征图做2倍上采样,将上采样映射与相应的自底向上映射进行合并,为了减少混叠效应,再在合并的图上附加一个3×3的卷积生成最终的特征图并作为{P2,P3,P4,P5},分别与{C2,C3,C4,C5}相对应,并且具有相同的空间尺寸。综上所述,FTPN流程如式(4)、式(5)所示。
图4 FTPN的框架Fig.4 Framework of FTPN
其中,FCm表示自底向上过程中Convm阶段生产的特征图,FTCn表示自顶向下过程中Convn阶段之前每一个阶段生成的特征图的总和,FTL表示特征转移层。其中Subsampled表示下采样操作,P表示生成的特征图,Upsampling表示上采样操作。
本文使用的FTPN代替了没有特征转移的单尺度特征图来适应RPN。由于本文方法在特征提取阶段能将SAR图像中不同尺度的目标特征提取到,比如尺寸差异较大的目标特征被提取。在保证所有各种不同尺度的目标特征被提取的前提下,我们设置5种不同的anchor scales{322,642,1282,2562,5122}并分别分配到{P2,P3,P4,P5,P6}上,其中,P6是在P5的基础上经过一个步长为2的最大池化层所得。{P2,P3,P4,P5,P6}对应的通道数为{32,128,512,1024,2048},并对anchor设置了不同的比例{1:1,1:2,1:3,3:1,2:1,2:3,3:2}。最后,把Faster-RCNN的分类器和边界框回归器附加到RPN得到的所有不同级别感兴趣的区域上,最终作为SAR图像跨尺度目标检测结果[16]。
本节首先介绍试验所需要的所有数据集,然后再介绍本文检测结果的评估标准,对提出的创新点分别做消融试验验证,再与现阶段先进的目标检测网络进行对比试验以及尺度比对目标检测结果的影响,最后验证了FTPN对SAR图像跨尺度目标检测的有效性。所有的试验都在Intel(R) Core(TM) i7-8700 CPU和NVIDIA GeForce GTX 1070 GPU上进行,操作系统是Linux。
本文所使用的数据集为:SSDD数据集[23]、AIR-SARShip-1.0[24]、高分辨率SAR舰船检测数据集-2.0和SAR-Ship-Dataset[25]、高分三号机场数据集。这些数据集包含了不同极化方式、不同分辨率以及不同传感器等多种SAR图像,而机场数据集也因为不同分辨率的SAR图像存在着不同尺度的机场目标。SAR图像中近海岸的机场目标相对近岸的舰船来讲尺度巨大,并且近岸也存在超大尺度舰船和超小尺度舰船。
考虑数据均衡问题,本文选取SSDD数据集一共1160幅SAR图像、AIR-SARShip-1.0数据集一共31幅SAR图像、高分辨率SAR舰船检测数据集-2.0一共300幅SAR图像、SAR-Ship-Dataset一共2000幅SAR图像和高分三号机场数据集一共60幅SAR图像,数据集中SAR图像一共3551幅,并且按照7:2:1的比例将数据集随机划分为训练集、验证集、测试集。考虑机场数据集属于小样本,数量极少,因此通过翻转、旋转、随机裁剪和增亮等数据增强方式将42幅机场训练集增加到1680幅。由统计可知,用于试验的数据集一共5189张,其中用于试验的训练集一共4124张,验证集一共710张,测试集一共355张。采用的骨干网是ResNet101,并且已经在ImageNet上进行了预训练。设置的初始学习率为0.001,衰减比为0.1,动量为0.9,权重衰减为0.00004。
为了定量评估网络的性能,我们采用了一些评估指标,对检测结果进行定义,主要有4种方式:正确的正样本(True Positives,TP)、正确的负样本(True Negatives,TN)、假的正样本(False Positives,FP)、假的负样本(False Negatives,FN)。而本文主要采用了目标检测中常用的召回率(Recall)、精确率(Precision)、平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)来评价网络模型的性能。式(6)表示召回率的计算,式(7)表示精确率的计算,式(8)表示平均精度的计算,式(9)表示平均精度均值的计算。
AP是根据每一张图像的召回率及精确率来确定的,以召回率为横轴,精确率为纵轴,绘制出坐标曲线,而AP就是该曲线与坐标轴围成的面积。其中P表示单点的精确率,R表示单点的召回率。
其中在计算mAP时,AP(i)和n分别为某一类的检测平均精度和类别数。
基于本文所提出的FTPN,本节首先将特征转移前后的网络进行自身对比试验,然后再与现今最新的目标检测网络进行测试对比。
3.3.1 特征转移对检测结果的影响
本文提出的FTPN能够获取到密集目标和跨尺度目标特征。为了验证特征转移层对最终检测结果的影响,我们将模型中{C2,C3,C4,C5}之间进行特征转移,每两个模块之间形成特征转移层。尽可能地提取到更多的不同类型不同型号的目标特征,特别是能提取到小目标的特征。本文在已有的数据集中挑选出比较典型的复杂场景SAR图像,不仅包含了小目标舰船,还包含了大型舰船,并且各目标之间处于密集紧挨的状态,分别为远岸的密集舰船和近岸的密集排列舰船。基于SSDD数据集,在相同的试验设置且只有特征转移的条件下,我们对试验数据测试集进行测试,测试结果如图5所示。
由图5可以看出,没有采用特征转移层的方法检测效果一般,并且存在一定的虚警和漏检;而采用了特征转移层的方法能够将大小尺度不一的舰船检测出来。相比没有特征转移层的算法而言,本文方法的检测率更高,虚警率更低,能够提取到更多的目标特征,并且检测效果更好。
图5 特征转移层对检测结果的影响Fig.5 Influence of feature-transfer layer on detection results
为了体现本文方法的真实性能,基于SSDD数据集、AIR-SARShip-1.0、高分辨率SAR舰船检测数据集-2.0和SAR-Ship-Dataset的测试数据集的总和,本文采用标准的评估指标mAP来进行评价。mAP值越低表示算法的检测性能越差,mAP值越高表示算法的检测性能越好。如表1所示,可见特征转移层对最终的检测性能有明显的改善,mAP值较高,说明FTPN具有更好的性能。
由表1可知,没有加入特征转移层的网络mAP值为88.4%,而本文方法的mAP值为92.8%,相比之下,提出的创新方法可以让模型的mAP提高4.4个百分点。本文方法通过特征转移使得SAR图像中不同类型不同尺度的目标特征能够尽可能地被提取,使得更多的目标特征被融合且效果更好,最终检测网络进行目标检测时性能越好。
表1 特征转移层对检测结果的影响Tab.1 The influence of feature-transfer layer on detection results
3.3.2 空洞卷积群对检测结果的影响
在本文中,由于SAR图像中存在不同类别的不同尺度的目标,特别是在一些大场景SAR图像中,同时存在尺寸相差很大的SAR目标,比如大尺度机场和小尺度舰船。而这类目标往往不能够被同时检测,最主要的原因是特征提取网络很难将这类目标的特征进行提取。为了验证本文提出的空洞卷积群对最终检测结果的影响,在模型中{C4,C5}之间插入空洞卷积群,在保证SAR图像中小目标特征不丢失的同时,将SAR图像中大尺度目标的特征保留下来。基于SSDD数据集和高分三号机场数据集,在相同的试验设置且只有空洞卷积群的条件下,对试验数据测试集进行测试,检测结果如图6所示。
由图6可知,没有采用空洞卷积群的方法同时检测到尺度差异较大的目标性能比较差,存在目标漏检;而采用了空洞卷积群的方法能够将如图所示的大机场和小舰船同时检测出来。相比没有空洞卷积群的算法而言,本文方法的检测效果更好,能够更好地提取到尺度差异较大目标的特征,并且能够实现跨尺度目标检测。
图6 空洞卷积群对检测结果的影响Fig.6 Influence of dilated convolution group on detection results
为了体现本文方法的真实性能,基于SSDD数据集、AIR-SARShip-1.0、高分辨率SAR舰船检测数据集-2.0和SAR-Ship-Dataset的测试数据集的总和,采用标准的评估指标mAP来进行评价。mAP值越低表示算法的检测性能越差,mAP值越高表示算法的检测性能越好。如表2所示,可见空洞卷积群对最终检测性能有明显的改善,mAP值较高,说明提出网络具有更好的性能。
由表2可以看出,没有加入空洞卷积群的网络mAP值为88.4%,而本文方法的mAP值为92.1%,相比之下,提出的创新方法可以让模型的mAP提高3.7个百分点。本文方法通过空洞卷积群使得小尺度目标特征和大尺度目标特征更容易被提取,并且在特征融合阶段让更多的目标特征能够被融合,最终检测网络进行目标检测时性能更好。
表2 空洞卷积群对检测结果的影响Tab.2 Influence of dilated convolution group on detection results
此外,为了验证本文提出的空洞卷积群有更好的检测效果,将本文与主干网络不同感受野下的检测效果进行了对比。通过改变主干网络的层数来改变网络的感受野,网络层数越低,感受野则越小,网络层数越高,则感受野越大。因此,本文分别与resnet50,resnet101和resnet152进行试验对比,并且最终将3种小、中、大感受野下的检测效果与本文提出的空洞卷积群下的检测效果进行对比。不同感受野下的检测结果如图7所示。
由图7可知:当使用resnet50为主干网络时,感受野相对较小,从检测结果图可以看出大目标的检测效果不佳,更大目标存在漏检,也存在部分小目标漏检;当使用resnet101为主干网络时,感受野相对较大,从检测结果图上可以看出部分大目标检测效果较差,且小目标部分漏检;当使用resnet152为主干网络时,感受野相对更大,从检测结果图可以看出部分大目标被检测,但效果不好且存在很多虚警,部分小目标漏检;而本文提出的空洞卷积群却相对更好地将跨尺度目标同时检测出来,并且虚警和漏检都很少。除此之外,resnet50,resnet101和resnet152的检测时间分别逐渐增加,而加入空洞卷积群之后的网络检测时间几乎不变。最终试验结果证明本文提出的空洞卷积群的检测性能更好。
图7 不同感受野的检测结果Fig.7 Detection results of different receptive fields
3.3.3 与其他算法的比较
现将本文提出的方法和现阶段先进的目标检测算法在基于SSDD数据集和高分三号机场数据集进行试验对比,在网络检测结果对比试验中添加了基于深度学习目标检测网络,比如基于单阶段的目标检测网YOLOv4[26],YOLOv5,基于双阶段的目标检测网络改进的Faster R-CNN[15],PANet[27],DAPN[28],以及基于anchor free的目标检测网络SGE-centernet[29]。为了验证本文方法是否具有同时检测出尺寸差异较大的目标的检测性能,本研究团队在数据集中挑选了具有尺度差距较大的SAR图像,由于YOLOv4中包含PANet网络结构且与YOLOv5检测性能几乎一样,所以挑选出YOLOv4,DAPN,SGE-centernet与本文方法进行试验验证对比。试验验证对比结果如图8所示。
由图8可知,YOLOv4的检测结果中大目标和小目标漏检,小目标漏检情况较为严重;DAPN的检测结果中出现了部分虚警,大目标和小目标漏检;SGE-centernet的检测结果较为良好,大目标未被检测,部分小目标漏检。相比其他几个先进的目标检测算法而言,本文方法在跨尺度目标检测上面也表现出不错的性能,不仅能够将尺度小的舰船目标检测出来,还能将尺度较大的舰船目标和机场目标检测出来,虽然存在个别虚警和漏检,但是已经初步解决尺度比例相差巨大的目标难以同时被检测出来的问题,实现了SAR图像跨尺度目标检测。为了验证本文方法的真实检测性能,基于SSDD数据集、AIR-SARShip-1.0、高分辨率SAR舰船检测数据集-2.0和SAR-Ship-Dataset测试数据集的总和,与其他先进的目标检测网络相比较,在相同数据集下进行算法验证,由于机场数据集属于小样本,测试数据很少,目标检测率为100%,但是数据样本较少,用mAP值进行评估时,不能作为判断模型好坏的标准,因此文章中计算的mAP达到96.5%并没有包含机场数据集,文章中对模型进行评估时,所采用的mAP值评估的是所有数据集下SAR图像舰船目标,由于舰船目标数量较多,并且该数据集中也存在跨尺度目标,因此能作为判断模型好坏的标准。各算法目标检测性能比较如表3所示。
图8 与其他方法的比较Fig.8 Comparison with other methods
由表3可知,Faster R-CNN和Improved Faster R-CNN是端到端two-stage检测算法,SSD和YOLOv4是端到端one-stage检测算法,两种类型的算法都是目前先进的目标检测算法。从目标检测性能mAP值可以看出,本文方法的mAP值为96.5%,相比端到端two-stage检测算法,比流行的Faster R-CNN算法的mAP值高出26.4个百分点,比改进后的Faster R-CNN高出7.7个百分点,比DAPN高出6.7个百分点,比PANet高5.7个百分点;相比端到端one-stage检测算法,比SSD检测算法mAP值高出18 个百分点,比先进的目标检测算法YOLOv4高出8.3个百分点,比YOLOv5高出8个百分点;比基于anchor free的SGE-CenterNet高出2.6个百分点。在同一数据集试验下,本文方法检测性能更佳,能够有效地提取到更多的目标特征,目标检测精度更高,验证了本文方法的优越性。
表3 与先进的目标检测网络相比Tab.3 Compared with advanced object detection networks
除此之外,本文方法还对大场景SAR图像进行目标检测,基于SSDD数据集、高分辨率SAR舰船检测数据集-2.0和高分三号机场数据集,在相同的试验设置条件下进行测试,测试结果如图9所示。所使用的测试图不存在官方的真值数据标签,其中大场景SAR图像中的机场目标属于小样本数据,因此对机场和舰船两类目标进行检测精度的分开统计。
图9 大场景SAR图像跨尺度目标检测结果Fig.9 Cross-scale object detection results in large scene SAR images
本团队对大场景SAR图像检测结果图中两类目标的个数以及目标检测个数进行了人工统计,并且统计到机场真值目标个数一共3个,舰船真值目标个数为80个,并且设置N为SAR图像中某一类目标的真值总数,n为正确检测到某一类目标的总数,m表示漏检个数,f表示虚警个数。用DP表示检测概率,MP表示漏检概率,FP表示虚警概率,如式10–式12所示。机场目标和舰船目标的结果统计如表4所示。
由表4可以知道,机场的检测概率为100%,漏检概率为0%,虚警概率为0%;舰船的检测概率为95%,漏检概率为5%,虚警概率为6.25%。分析可知,检测结果图为复杂背景的大场景SAR图像,舰船目标在图像中所占比例极小,不容易被检测到,并且容易出现虚警。
表4 机场目标和舰船目标的结果统计Tab.4 Result statistics for airport and ship objects
3.3.4 不同尺度比的检测结果
在本文中,定义尺度比即大目标尺度与小目标尺度的比值大小。由于SAR图像中存在不同类型及不同尺度大小的目标,由此可见SAR图像中不同目标之间存在不同的尺度比。为了验证尺度比对目标检测识别结果的影响,现挑选了几幅有几种不同尺度比的大场景SAR图像进行试验验证,分别为以下4种类型的目标:从图10(a)到图10(d)目标尺度比值逐渐增大,试验验证结果如图10所示。
试验结果表明本文提出的方法可以提取到更多不同尺度的目标特征,本文方法不仅可以兼顾不同尺度比的目标,还可以将目标尺度比例较小、目标尺度比值适中、目标尺度比值较大、目标尺度比值极大的目标检测出来,最终实现SAR图像跨尺度目标检测。从图10(a)可以看出SAR图像中目标尺度比值较小,各个目标很容易被检测出来;从图10(b)可以看出尺度比值稍微偏大,SAR图像出现了不同大小的目标,但是检测结果较好;从图10(c)可以看出尺度比值较大,大尺度舰船目标较大较长,小尺度舰船目标较小较短,且整体检测效果较好;而对于图10(d),SAR图像中存在着尺度比值极大的目标,比如同时存在大尺度舰船目标和大尺度机场目标以及小尺度舰船目标,整体检测结果较好,存在一个漏检,实现了SAR图像跨尺度目标检测。从分析尺度比对目标检测识别的结果来看,随着尺度比的逐渐增大,检测效果会呈现下降趋势,检测难度增加,尺度比越小,越表现出良好的检测性能。
图10 不同尺度比的检测结果Fig.10 Detection results of different scale ratios
除此之外,针对一幅图像中只有大尺度或者小尺度目标等单一尺度下的目标检测问题,本文提出的方法仍然可以解决。本团队为此增加不同的单一尺度目标检测试验,挑选出典型的SAR图像进行检测:图11(a)小尺度舰船、图11(b)大尺度舰船和大尺度机场,检测结果如图11所示。
图11试验结果表明,本文提出的方法可以较好地将不同单一尺度的目标检测出来。事实上,本文提出的SAR跨尺度目标检测网络在进行尺度相差较大目标检测时,所提出的空洞卷积群是并行处理送入的特征图,不同尺度目标的检测过程其实是互不影响且不冲突的。并且通过特征转移操作和空间卷积群操作,相当于增加了检测网络对目标尺度的容忍上下限,并不会造成顾此失彼的情况。
图11 不同单一尺度的检测结果Fig.11 Different single scale detection results
在本文测试试验的355张数据中,统计出101张数据只包括小尺度舰船,35张数据只包括大尺度舰船,18张数据只包括大尺度机场,除此之外,还有201张数据只包括多尺度的目标。为了验证本文方法在不同单一尺度下的检测性能,本团队对小尺度舰船、大尺度舰船和大尺度机场数据进行了测试。根据统计结果,针对单一尺度目标的检测性能如表5所示。
由表5可知,本文提出的方法针对不同单一尺度的目标进行检测时,不同单一尺度的mAP值跟原有试验的mAP值差距很小。因此,不同单一尺度试验和原有试验结果表明,本文的方法无论是针对单一尺度目标检测还是针对跨尺度目标检测,均有较好的性能。
表5 单一尺度目标的检测性能Tab.5 Single scale object detection performance
合成孔径雷达图像目标检测任务具有重要的研究意义和实际价值,在SAR图像中不仅仅存在尺度比例相近的目标,还存在着尺度比例相差巨大的跨尺度目标。针对SAR图像中跨尺度目标很难被检测的问题,本文提出了一种基于特征转移金字塔网络的SAR图像跨尺度目标检测方法,该方法将整个网络的特征提取阶段进行特征转移,实现高层的特征图输出都存在大小尺度的目标特征,同时在高层网络中加入空洞卷积群,不仅保证了小目标特征不会消失,还能提取到大目标的特征。试验结果表明,该方法能够将SAR图像中跨尺度目标检测出来。除此之外,在同一数据集下,分别做了特征转移和空洞卷积群对检测结果影响的验证,并与其他先进的目标检测算法进行跨尺度目标检测试验验证,试验结果表明本文方法的检测性能更优且能检测到跨尺度目标。