基于知识蒸馏的SAR图像舰船目标检测*

李洋，梁潇，贾海萨

☞目标特性与探测跟踪技术☜

基于知识蒸馏的SAR图像舰船目标检测*

李洋，梁潇，贾海萨

（中国人民解放军92941部队，辽宁 葫芦岛 125000）

随着深度学习的快速发展，目标检测网络模型在SAR图像舰船检测取得了很大的成功。为了取得更好的效果，往往采取规模很大的检测网络，这需要更多的计算资源并且推理更慢。知识蒸馏能够有效地压缩网络，但当前的知识蒸馏大都是对于图像分类问题。在分析SAR图像中舰船与背景差异的基础上，提出局部与全局蒸馏的舰船目标检测方法。考虑到舰船在SAR图像中的散射特性，对舰船样本数据进行幅值方向的切片预处理，作为具有更显著散射特性的单独数据通道，提升了网络输入数据的质量。利用SSDD(SAR ship detection dataset)舰船数据集开展目标检测实验和评估。实验结果表明，所提出的方法能够在轻量化网络下，提升舰船检测性能，mAP能达到90.7%。

合成孔径雷达；目标检测；舰船；深度学习；知识蒸馏

0　引言

合成孔径雷达（synthetic aperture radar，SAR）具有全天候、全时的成像特性。因此，它受到世界各国的广泛重视，已成为人们观察地球的重要工具之一。因此，SAR图像广泛应用于地球观测任务，尤其是海洋目标监测、海上救援和港口安全。由于SAR图像的特殊性，利用SAR图像进行舰船目标检测具有明显的优势，使大范围全天候舰船监视任务成为可能。

在过去的几十年里，人们在SAR图像中提出了许多舰船目标检测方法。在所有传统的检测方法中，基于恒虚警率（constant false alarm rate，CFAR）的方法应用最为广泛。WANG Chonglei等［1］提出了一种强度空间域恒虚警检测器，它利用数据相关性来检测目标像素和尾迹像素。LENG Xiangguang等［2］提出了一种具有双边结构的恒虚警检测器，该检测器通过同时考虑强度信息和位置信息来减少斑点噪声和海杂波的干扰。PAPPAS O等［3］提出了一种超像素级恒虚警检测器，它通过利用超像素技术获得感兴趣的区域，在减少虚警方面提供了优越的性能。这些方法在场景相对简单的情况下，通过分析SAR图像的特征，取得了具有良好的效果。然而，当目标区域被几个像素占据时，基于CFAR的方法很难提取有效的目标信息，导致性能有限，漏报率高。

近年来，随着深度学习理论的蓬勃发展，基于深度网络的目标检测取得了巨大进展。基于卷积神经网络（convolutional neural networks，CNN）的高性能检测网络分为两阶段网络如Faster R-CNN［4］，Cascade R-CNN［5］等，基于锚框的单阶段如RetinaNet［6］，Single-Shot-multibox-Detector（SSD）［7］等和无锚框的单阶段检测器如CenterNet［8］，FCOS［9］。一级检测器直接在特征图上获取目标的分类和回归框。相比之下，两级探测器利用RPN和R-CNN获得更好的结果，但花费更多的时间。之前的锚框提供了一个阶段模型，提出了检测目标的建议。然而，锚框的数量远远超过目标，这会带来额外的计算量。而无锚检测器则提供了一种直接预测目标关键点和位置的方法。

为了提高检测精度以及效率，许多研究提出了不同的基于深度网络的SAR图像舰船目标检测方法，在各方面取得良好的效果。JIAO Jiao等［10］设计了一个具有密集连接结构的网络，其目的是通过将上层的高分辨率特征地图与下层提取的特征地图合并来解决多尺度问题。FU Jiamei等［11］提出了一种特征平衡和细化网络，该网络通过细化目标特征和加强语义信息，极大地提高了检测性能。CUI Zongyong等［12］提出了一种通过CenterNet在大尺寸SAR图像中进行舰船检测的方法，该方法应用了一个带有组卷积的注意模块，以增强所学习的特征，并排除海岸对舰船目标检测的干扰。

为了获得更好的性能，通常使用更大的主干网，这意味着需要更多的计算资源和更慢的推理。为了克服这个问题，有人提出了知识蒸馏［13］。知识蒸馏是一种将大型教师网络中的信息继承到一个紧凑的学生网络中，并在推理过程中不增加额外成本而获得强大性能的方法。Hinton等首先提出了该方法，该方法使用输出作为软标签，将从大型教师网络转移到小型学生网络，用于分类任务。最近，一些工作已经成功地将知识蒸馏应用于目标检测。CHEN Guobin等［14］首先通过提取颈部特征、分类头和回归头的知识，将知识提取应用于检测。然而，由于前景和背景之间的不平衡，提取整个特征可能会引入很多噪声。LI Quanquan等［15］选择从区域生成网络（region proposal network，RPN）中采样的特征来计算蒸馏损失。基于特征的知识蒸馏（feature-based knowledge distillation，FBKD）［16］分别使用注意力掩膜和非局部模块来引导学生并提取教师与学生之间的关系，它同时提取前景和背景。焦点和全局知识蒸馏（focal and global knowledge distillation，FGKD）［17］使用局部分离目标与背景，使用全局蒸馏弥补局部蒸馏损失的全局信息。

然而，对SAR图像舰船检测，因为舰船与背景存在不同的散射信息，因此蒸馏的关键问题是选择有价值的蒸馏区域，即舰船区域。之前的提取方法对所有像素和通道进行同等处理，或同时提取所有区域。大多数方法缺乏对全局上下文信息的提炼。在本文中，使用真实标注来分离图像，然后使用教师的注意掩膜来选择关键部分进行蒸馏。此外，捕获不同像素之间的全局关系，并将其提取给学生。

因为SAR图像舰船检测的一个主要难点是背景杂波的影响，为了抑制SAR图像的杂波散射信息，引入二维切片来抑制杂波干扰，从而增强SAR图像舰船散射强度信息。

1　方法介绍

考虑当前SAR图像舰船检测面临的复杂背景杂波的干扰问题，以及模型部署对于压缩网络模型的需求，本文提出通过输入数据预处理来增强目标散射信息以及抑制杂波背景，并通过知识蒸馏方法来压缩网络模型。

1.1　切片预处理

由于SAR特殊的电磁散射成像机理，导致SAR图像特性不同于常见的光学图像，这也是SAR图像解译的一个难点。SAR图像舰船检测中，背景通常是海面或者是近岸港口。影响SAR舰船检测性能的一个重要因素就是近岸复杂背景杂波的干扰，这些干扰常常造成虚警。相比于散射特性起伏较大且变化杂乱的背景杂波，SAR图像中的舰船目标往往具有显著的散射点或区域，并且呈现出较规则的特性。但，由于舰船为大型金属目标，并具有复杂的人造结构，因此往往其强散射点带来的旁瓣也较强，这会影响深度神经网络的高层语义特征提取。

针对上述问题，本文考虑一种简要的预处理方法，即在幅值方向上进行量化得到二维切片图像，以不同切片后的图像表示不同的散射信息。

具体来说：将SAR图像中（）处像素值与设定的阈值进行比较，如果（）处像素值大于或等于设定的阈值，就保留该处的像素，否则置零。最后得到的二维切片图像只保留想要的散射信息，这样强散射中心导致的旁瓣得到有效抑制。阈值设定得越大，保留的散射信息对应原始图像中散射越强的部分。通过设定多个阈值，可以得到不同的切片图像。

显然，低阈值对应底层的切片，其保留了原始图中绝大部分的信息。而高阈值对应的切片只保留较强的散射中心。由于舰船的散射往往呈现为强散射特征，因此，高阈值层切片也能保留大部分舰船目标的信息。

图1是对归一化幅值按照等间隔取8个阈值并切片得到的图像，其中a）～h）分别表示阈值从小到大的第1层到第8层切片。从图中清晰可见，低层切片图像保留了绝大部分的信息，而随着阈值越大，滤除的强散射中心旁瓣和低值杂波越多。根据图1h）可以看出，其中的背景杂波被明显抑制，而对于舰船目标信息却能几乎全部保留，而且目标整体结构更加清晰。

根据上述分析，又因为SAR图像是单通道图像，将选取中间和最高层的2片切片作为2个通道，和原SAR图像一起作为三通道图像送进检测网络模型进行学习。

选取Faster R-CNN作为基准检测网络验证本文提出的通过切片抑制杂波散射信息， Faster R-CNN在Fast R-CNN的基础上进一步优化，用CNN网络代替Fast R-CNN中使用传统Selective Search方法的Region Proposal模块，从而实现了全神经网络的目标检测，在召回率和速度上都超过了传统的Selective Search。

1.2　局部和全局知识蒸馏

1.2.1局部知识蒸馏

对于前景和背景的不平衡，提出了局部蒸馏来分离图像，并引导学生聚焦关键像素和通道。首先，设置一个二值掩码来分离背景和前景。

式中：为真实标注；，分别为特征图的水平和垂直坐标。如果（，）在真实标签内，那么（i，j）=1，否则为0。

尺度较大的目标由于像素较多，损失较大，影响了小目标的提取。在不同的图像中，前景与背景的比例有很大的差异。因此，为了平等地对待不同的目标，平衡前景和背景的损失，所以应用缩放掩模：

式中：H和W表示真实标签的高度和宽度。如果一个像素属于不同的目标，选择最小的框来计算。在本文中，应用文献［17］的方法来选择焦点像素和通道，然后得到相应的注意掩膜。

局部蒸馏损失函数如下：

1.2.2全局知识蒸馏

不同像素之间的关系具有宝贵的知识，可用于提高检测任务的性能。因此提出了全局蒸馏，其目的是从特征图中获取不同像素之间的全局关系，并将其从教师网络蒸馏到学生网络。

利用GcBlock［18］在单个图像中捕获全局关系信息，并强制学生网络从教师网络那里学习全局关系。全局蒸馏损失函数如下：

式中：W，W1和W2表示卷积层；表示层标准化；N表示特征中的像素数；表示平衡损失的超参数。

综上所述，对学生网络的总损失为

式中：original表示检测器原始的损失。在本文中使用Faster R-CNN的损失函数。教师网络和学生网络分别使用不同的骨干网络，具体细节将在实验部分介绍。

2　SAR图像舰船检测实验

2.1　实验数据集

为了评价所提出方法的性能，采用公开发布的SAR图像舰船检测数据集SSDD作为实验数据。SSDD数据集中的SAR图像是通过RadarSat-2， TerraSAR-X， and Sentinel-1获取的，共有1 160幅SAR图像和2 456艘舰船。每张图片的平均船只数量为2.12艘。SSDD中的SAR图像包括HH，HV，VV和VH极化模式。场景包含近岸以及远海。图像分辨率1～15 m。选取后缀索引为1和9的作为测试集（共232张图像），其余作为训练集（共928张图像）。图2给出了该数据集中的部分样本。

本文采用选择准确率（precision，P），召回率（recall，R），F1值（F1-score，F1）以及平均精度（mean average precision，mAP）作为指标来评估本文方法性能。

2.2　实验结果以及分析

2.2.1消融实验

本文选取Faster R-CNN作为基线网络，为了说明本文提出的通过切片抑制杂波散射信息，以及学生网络通过对教师网络的局部和全局的蒸馏能够提升网络性能，以Faster R-CNN为基线模型，其中骨干网络为ResNet50，并在SSDD数据集上进行消融实验。

从表1可以看出，切片预处理和局部与全局的蒸馏，这2种技术对检测网络的性能均有影响。可以看出预处理与蒸馏都能提升检测精度，mAP分别提升0.6%，1.0%。同时使用2种技术的平均精度达到最高。可以看出，利用切片抑制杂波散射信息，以及局部蒸馏和全局蒸馏能够有效地在压缩模型规模的同时，一定程度地提升舰船检测性能。

图2 　SSDD数据集中部分SAR图像

表1 　消融实验结果

2.2.2蒸馏的影响

为了验证蒸馏对网络模型能够进行有效压缩，以及分析不同蒸馏方式对实验结果的影响，选择教师网络的骨干网络为ResNet101，学生网络的骨干网络为ResNet50，从表2可以看出经过蒸馏后得到的学生网络比未经过蒸馏的学生网络模型，mAP达到了90.1%，并且与教师网络的性能接近。说明通过局部和全局蒸馏，有效地将教师网络模型的参数传递到了学生网络模型中。

表2 　教师网络与学生网络对比

表3给出了局部蒸馏以及全局蒸馏对学生网络性能的影响。可以看出，局部蒸馏以及全局蒸馏对于检测性能mAP都有一定的提升。而两者结合时，效果最好。

表3 　不同蒸馏的实验结果

2.2.3不同预处理方法的比较

为了说明本文方法的有效性，同时采用了其他的预处理方法进行比较实验。考虑通过提取SAR图像的传统图像特征作为预处理方法，来增强图像的特征信息。本文选择2种传统图像特征，方向梯度直方图（histogram of oriented gridients，HOG），以及局部二值模式（local binary pattern，LBP）纹理，进行实验并比较。表4给出了不同预处理方法的结果。

由表4可知，HOG特征或LBP特征，作为预处理在一定程度上提升了船舶检测的性能。相对来说，HOG比LBP的效果更好，这是因为船舶轮廓信息更加明显。但两者均不如切片预处理方法对SAR图像舰船检测精度有更好的性能提升。

表4 　不同预处理方法实验结果

2.2.4与其他CNN检测网络比较

为了进一步说明本文方法的性能，实验中还与现有的单阶段检测网络RetinaNet和无锚框检测网络FCOS进行了性能比较。这些检测网络在SSDD数据集上的实验结果如表5所示。从结果可以看出，本文所提出的方法获得了最佳的检测性能，优于其他算法。

图3给出了不同检测方法的PR曲线。可以看出本文方法的平均精度整体优于单阶段检测网络RetinaNet和无锚框检测网络FCOS。

图3 　不同方法的检测结果

为了验证本文算法的实验性能，选取了SSDD测试集中的4副测试图像，这些图像分别包含了港口，岛礁等复杂情况。如图4所示。

图4 　不同方法的检测结果比较

其中，第1行表示真实标注框，第2行至第5行分别表示，基线（Faster R-CNN），RetinaNet，FCOS以及本文方法。对于第1个场景和第2场景，由于近岸杂波以及海上杂波的干扰，Faster R-CNN，RetinaNet产生了虚警，而FCOS产生了漏检，本文的方法能够较好地检测出正确结果。对于第3个场景以及第4个场景，由于周围岛礁，小杂波的干扰，Faster R-CNN，RetinaNet以及FCOS都产生了虚警，而本文的方法能够很大程度降低虚警的产生。总的来说，通过对比真实标注框与检测结果，舰船检测因为杂波以及小目标的干扰，造成的虚警，通过本文实现的切片预处理以及局部与全局蒸馏能够较好地识别出目标，具有较好的性能。

3　结束语

针对SAR图像舰船检测存在的困难，以及对于深度学习模型部署资源有限的需求，本文提出了一种结合切片预处理的知识蒸馏检测算法。首先，通过对SAR图像在幅值方向进行二维切片处理，选取中高层切片来抑制杂波，并与原图相组合送入目标检测网络模型。然后，通过教师网络模型进行全局信息蒸馏，与局部的空间、通道蒸馏结合引导学生检测网络模型，从而达到压缩网络模型的目的。通过在SSDD数据集上的实验表明，本文提出的算法相比传统的Faster R-CNN模型，既能降低模型网络规模和参数规模，又提升了检测性能。

［1］ WANG Chonglei， BI Fukun， ZHANG Weiping， et al. An Intensity-Space Domain CFAR Method for Ship Detection in HR SAR Images ［J］. IEEE Geoscience and Remote Sensing Letters， 2017， 14（4）： 529-533.

［2］ LENG Xiangguang， JI Kefeng， YANG Kai， et al. A Bilateral CFAR Algorithm for Ship Detection in SAR Images［J］. IEEE Geoscience and Remote Sensing Letters， 2015， 12（7）： 1536-1540.

［3］ PAPPAS O， ACHIM A， BULL D. Superpixel-Level CFAR Detectors for Ship Detection in SAR Imagery［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 15（9）： 1397-1401.

［4］ REN Shaoqing， HE Kaiming， GIRSHICK R， et al. Faster R-Cnn： Towards Real-Time Object Detection with Region Proposal Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017， 39（6）：1137-1149.

［5］ CAI Zhaowei， VASCONCELOS N. Cascade R-Cnn： Delving into High Quality Object Detection［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018： 6154-6162.

［6］ LIN Sungyi， GOYAL P， GIRSHICK R， et al. Focal Loss for Dense Object Detection［C］∥Proceedings of the IEEE International Conference on Computer Vision. 2017： 2980-2988

［7］ LIU Wei， ANGUELOV D， ERHAN D， et al. Ssd： Single Shot Multibox Detector［C］∥European Conference on Computer Vision. Springer， Cham， 2016： 21-37.

［8］ ZHOU Xingyi， WANG Dequan， Krähenbühl P. Objects as Points［J］. arXiv preprint arXiv：1904.07850， 2019：2103-2112.

［9］ TIAN Zhi， SHEN Chunhua， CHEN Hao， et al. Fcos： Fully Convolutional One-Stage Object Detection［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 9627-9636.

［10］ JIAO Jiao， ZHANG Yue， SUN Hao， et al. A Densely Connected End-to-End Neural Network for Multiscale and Multiscene SAR Ship Detection［J］. IEEE Access， 2018， 6： 20881-20892.

［11］ FU Jiamei， SUN Xian， WANG Zhirui， et al. An Anchor-Free Method Based on Feature Balancing and Refinement Network for Multiscale Ship Detection in SAR Images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 59（2）： 1331-1344.

［12］ CUI Zongyong， WANG Xiaoya， LIU Nengyuan， et al. Ship Detection in Large-Scale SAR Images Via Spatial Shuffle-Group Enhance Attention［J］. IEEE Transactions on Geoscience and Remote Sensing， 2020， 59（1）： 379-391.

［13］ HINTON G， VINYALS O， DEAN J. Distilling the Knowledge in a Neural Network［J］. arXiv Preprint arXiv：1503.02531， 2015， 2（7）：21-29.

［14］ CHEN Guobin， CHOI Wongun， YU Xiang， et al. Learning Efficient Object Detection Models with Knowledge Distillation［J］. Advances in Neural Information Processing Systems， 2017， 30（2）：742-751.

［15］ LI Quanquan， JIN Shengying， YAN Junjie. Mimicking Very Efficient Network for Object Detection［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017： 6356-6364.

［16］ ZHANG Linfeng， MA Kaisheng. Improve Object Detection with Feature-Based Knowledge Distillation： Towards Accurate and Efficient Detectors［C］∥International Conference on Learning Representations， 2020：3327-3336.

［17］ YANG Zhendong， LI Zhe， JIANG Xiaohu， et al. Focal and Global Knowledge Distillation for Detectors［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022： 4643-4652.

［18］ CAO Yue， XU Jiarui， LIN Stephen， et al. Gcnet： Non-Local Networks Meet Squeeze-Excitation Networks and Beyond［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops， 2019：1971-1980.

Ship Detection in SAR Images Based on Knowledge Distillation

LIYang，LIANGXiao，JIAHaisa

（PLA 92941 Troops，Huludao 125000，China）

With the rapid development of deep learning， the object detection network model hsa achieved great success in ship detection from synthetic aperture radar （SAR） images. In order to achieve better results， a large detection network is usually adopted， which requires more computing resources and slower inference. Knowledge distillation can effectively compress the network， but most of them are for image classification. Considering the difference between ships and background in SAR images， this paper proposes a combining local and global distillation method for ship detection. Considering the scattering characteristics of ships in SAR images， slice preprocessing in the amplitude direction is performed on the ship sample data constructing a separate data channel with more significant scattering characteristics， which improves the quality of input data fed to the network. Experimental results based on SAR ship detection dataset （SSDD） show that the proposed approach can effectively reduce the price of the network model and improve the detection performance， achieving 90.7% mAP.

synthetic aperture radar（SAR）；object detection；ship；deep learning；knowledge distillation

10.3969/j.issn.1009-086x.2023.04.010

TN957.52；E925.6；TJ0

A

1009-086X（2023）-04-0078-08

李洋, 梁潇, 贾海萨.基于知识蒸馏的SAR图像舰船目标检测[J].现代防御技术,2023,51(4):78-85.

LI Yang,LIANG Xiao,JIA Haisa.Ship Detection in SAR Images Based on Knowledge Distillation[J].Modern Defence Technology,2023,51(4):78-85.

2022 -09 -26 ;

2022 -11 -10

李洋(1982-)，男，辽宁葫芦岛人。工程师，学士，研究方向为水面靶标、目标特性。

125001 辽宁省葫芦岛市龙港区怡心苑小区 E-mail：42208848@qq.com