基于特征空间结构对齐域自适应的机载SAR自动目标识别方法

摘 要：由于机载合成孔径雷达（SAR）系统的快速发展和深度学习的广泛应用，基于卷积神经网络的SAR图像自动目标识别技术已经取得了长足的发展。然而，由于真实测量获得的SAR数据较少，难以满足深度学习算法对大量训练样本的需求，目前已经有研究利用仿真SAR图像弥补真实SAR图像样本较少的缺陷。由于仿真SAR图像和真实SAR图像之间的差异，当前的主流研究方法是通过领域自适应（DA）的方法，将真实图像和仿真图像映射到相同的特征子空间中，从而提取域不变特征。然而，当前结合DA和仿真图像的SAR 自动目标识别算法只关注了不同域之间样本内特征分布的相似度，却忽视了样本间的特征分布也包含了一定程度的语义信息。为了解决上述问题，本文提出了一种基于特征空间结构对齐的DA算法，充分挖掘仿真SAR图像和真实SAR图像之间共享的语义信息，从而显著地提升了深度学习模型在少样本情境下的识别性能。经过充分的试验和分析，试验结果证明了本文所提出方法不仅有较高的识别准确率，而且具备较强的泛用性和鲁棒性。

关键词：SAR ATR； 域自适应； 特征空间结构对齐； 小样本学习； SAR仿真

中图分类号：TP391 文献标识码：A DOI：10.19452/j.issn1007-5453.2024.08.008

基金项目： 航空科学基金（20182077008，2018ZC07009）；中央高校基本科研业务费专项资金

近年来，随着合成孔径雷达（SAR）载荷的小型化和轻量化，以及信息处理和通信技术的发展，以无人机、小型航天飞机为载体的机载SAR取得了快速发展和广泛运用。在军用领域，美军先后研制装备了多型无人机载SAR侦察遥测系统，如“全球鹰”系统、“捕食者”系统和“火力侦察兵”系统等，能够短时、快速地获取大量高分辨率的SAR图像。在民用领域，无人机载SAR系统在地形测绘、灾害评估和环境监测等领域的应用日益广泛。近20年来，我国为适应现代战争与民用微波遥感信息获取的需要，也对无人机载SAR系统进行了技术研究与开发，并已经形成了系列化产品。在无人机载SAR图像的应用中，对机载SAR获得的目标图像进行自动目标识别（ATR）一直是无人机载SAR图像应用的关键技术。

基于SAR图像提取高质量目标特征始终是SAR ATR研究的核心。然而与光学图像不同，SAR图像因为其复杂的相干斑噪声和背景杂波、较低的分辨率等因素，往往具备解译的困难性。传统的SAR ATR技术常常通过利用多种滤波器算子，关注目标的纹理特征，但是由于SAR图像的固有性质，不能取得良好的结果。近年来，随着深度学习等数据驱动技术的进步，利用深度编码器从图像中获得高维特征已经成为SAR ATR技术的主流研究方向。大量的研究证明，基于深度学习技术获得的高维特征在目标识别性能上取得了优异的表现[1-3]。

值得注意的是，由于深度学习技术的数据驱动特性，大量可获得的标注样本一直是神经网络模型取得良好性能最为基础的底层假设。但是，由于获取经过良好标注的SAR图像的成本较高，现有环境往往难以满足深度学习算法对于样本数量的需求。与被动光学成像不同，SAR是一种主动成像系统，具备高度的可控性，为成像仿真提供了良好的环境。经过多年研究，SAR图像仿真已经发展成为一项成熟的技术，广泛应用于SAR系统开发、算法测试和数据验证[4]。由于SAR仿真过程中真实地反演和再现了目标和电磁波之间的电磁相互作用，因此获得的仿真图像与真实测量图像之间共享相同的目标语义信息。在上述前提下，SAR仿真数据可以作为一种辅助手段，提升深度学习模型在少样本情形时的分类性能。

然而，由于仿真和真实测量之间的差异，仿真图像和真实图像之间同样存在固有差异，导致直接将仿真图像作为样本与真实图像混合用于训练网络不能取得良好的识别性能。为此，已经有研究通过将仿真SAR图像和真实SAR图像之间的差异视作域差异，通过领域自适应（DA）的方法充分地发挥了仿真数据的作用[5-7]。DA的常规做法是使用结构相同、参数共享的编码器同时对仿真SAR图像和真实SAR图像进行特征提取，通过对齐两者特征的分布获得仿真域和真实域的公共特征空间。国内已经有许多针对异源遥感数据的DA研究，任海洋[8]提出了一种基于编码器-解码器结构的风格迁移的方法以快速生成仿真SAR图像，并基于孪生网络结构对特定已知目标进行训练以提取域不变鉴别特征，从而实现异源目标的跨域识别；宋玉成等[9]通过融合多尺度特征和局部上下文信息及背景抑制来改进兴趣区域变换网络的特征表达。但是现有的DA方法往往只关注特征空间在样本对内的分布相似性，并没有关注特征空间在样本对间的分布也同样具备语义信息。简单的特征对齐并不能充分挖掘仿真SAR图像和真实SAR图像之间共享的语义信息，因此限制了模型性能的进一步提升。

为了解决上述问题，本文提出一种新的基于特征空间结构对齐的DA方法，实现对仿真数据更好的利用。经过试验证明，所提出的方法显著地增强了利用仿真SAR图像辅助真实SAR图像完成小样本机载SAR ATR任务时的模型性能。

1 基于特征空间结构对齐的域自适应

1.1 传统域自适应算法

在介绍本文提出的算法之前，首先需要对传统的DA方法进行论述。

上述传统的DA算法虽然能够一定程度上对齐真实SAR图像和仿真SAR图像之间的特征分布，但是由于计算样本对特征之间的KL散度只关注了特征空间的局部结构，缺乏对特征空间整体分布情形的刻画，因此并不能充分发掘真实SAR图像和仿真SAR图像间共享的语义信息，造成一定程度的信息泄露。

为了深入提取域不变特征，实现更高性能的域对齐，本文提出了基于特征空间结构对齐的DA（DA-FSSA）。DA-FSSA分为两部分，分别是样本内的特征对齐和样本间的特征对齐，同时关注了特征空间的局部结构和整体结构。

1.2 DA-FSSA模型及损失函数

因此，在域对齐中将样本对间的分布相似性纳入考虑范畴，本文提出了样本间特征分布损失函数

与样本内特征对齐不同，样本间特征对齐关注的是不同样本的特征在某一维度上分布的差异，通过减小分布差异，能够使基于真实SAR图像和基于仿真SAR图像分别获得的特征空间中多个样本特征之间的相互关系维持一致，而不仅仅是单个样本对的特征相似。

然而，虽然分别利用KL散度能够很好地对特征空间的结构进行双重对齐，但是由于KL散度来源于信息论中的相对熵，其本质是原始分布与目标分布对数化后差值的均值，仅仅能够刻画分布之间的一阶信息，并不能对整个K′N的特征空间进行充分的刻画，因此，需要对特征空间的结构进行更高阶表示。

整体模型结构如图2所示。在训练阶段，首先，输入多对真实-仿真SAR图像对，并使用共享参数和结构的编码器分别对其进行编码，生成真实SAR图像和仿真SAR图像的特征空间。其次，对特征空间结构进行对齐，依据前述的方法，特征空间对齐分为三部分，分别是样本内特征对齐、样本间特征对齐以及基于二阶统计量的协方差对齐，分别生成相应的对齐损失函数。最后，特征空间通过全连接层和Softmax函数生成预测结果，并与对应的标签空间生成交叉熵损失。模型完成训练后，在测试阶段，只需要输入真实或仿真的SAR图像，直接将编码器获得的图像特征映射到标签空间即可得到预测结果[11]。

dc069a91d742eed85c61ebb1c6e5fc70

2 试验及分析

2.1 试验数据集

本文使用的试验数据集是参考文献[11]给出的合成与测量成对标记试验数据集（SAMPLE），包括来自机载SAR系统真实测SAR图像，以及与其匹配的仿真SAR图像，部分图像如图3所示。

由于真实测量的SAR图像和通过电磁计算仿真得到的SAR图像之间满足目标配置条件和传感器参数一致，因此可以认为两者具备相同的目标语义信息。SAMPLE数据集为研究真实测量和模拟仿真得到的不同SAR图像的利用提供了一个合适的途径。

2.2 试验设置

试验中采用的基线算法为将仿真SAR图像和真实SAR图像进行混合共同训练的经验风险最小化算法（ERM）。在试验中，20%的SAMPLE数据集被作为训练样本，余下的80%作为测试样本，所有测试样本都被调整为128×128的尺寸大小，SAMPLE数据集10类目标的具体试验数据分布见表1。在试验中，λ1、λ2 和λ3均被设置为0.1，模型训练100个迭代周期，大小为64。测试和训练采用了NVIDIA RTX A6000 GPU，并基于PyTorch 深度学习框架实现。

2.3 试验结果

（1） 与基线的对比

在试验中，分别选择VGG16和ResNet18作为骨干网络构建所提出的DA-FSSA模型，比较其与基线网络在SAMPLE数据集10类目标上的分类性能差异以及总体分类精度（OA），见表2。

从试验结果中可以得出，无论骨干网络是VGG16还是ResNet18，所提出的基于DA-FSSA的域对齐方法相对于基线方法，性能都得到了显著的提升。以VGG16作为骨干网络时，DA-FSSA方法的精度提升了3.45%。以ResNet18作为骨干网络时，DA-FSSA方法的精度提升了4.01%。通过不同骨干网络的对比可以看出，DA-FSSA是一种对模型鲁棒的高泛用性模块，能够轻易插入任何SAR ATR模型中，增强模型在域适应时的性能。

（2） 与DA算法的对比

用于和本文所提出的DA-FSSA进行比较的是已在迁移学习领域获得广泛应用的经典DA算法，在本文中，选择深度适应网络（DAN） [12]、对抗训练神经网络（DANN）[13]、联合适应网络（JAN）[14]、条件域对抗网络（CDAN）[15]和Deep Coral[10]算法作为对比方法。

为了验证本文所提出的DA-FSSA算法相较其他DA算法的优势，表3显示了利用ResNet18作为骨干网络时的DA-FSSA与包括DAN、JAN在内的多种经典主流DA算法的性能对比。图3展示了用于对比的DA方法和本文提出的DA-FSSA模型在分类时的混淆矩阵对比。

从试验结果中可以得出，本文提出的DA-FSSA方法相对于其他DA算法，拥有明显的性能优势。具体而言，对于DAN和JAN，分类整体精度OA分别提高了5.13%和4.57%。相较于域对抗类方法DANN和CDAN，DA-FSSA的精度提升分别为3.17%、3.35%，相较于常常用于域泛化问题的Deep Coral算法，DA-FSSA的精度提升了1.96%。上述经典DA方法在利用仿真SAR图像辅助真实SAR 图像进行少样本ATR的任务时精度不高的原因可能是因为样本量的缺乏，导致基于MMD距离的算法过多地关注了样本的逐点对齐，从而产生了过拟合，降低了模型的泛化性能。而DA-FSSA算法基于KL散度度量域差异，缓解了少样本情形时的过拟合问题。

3 结论

由于机载无人机SAR系统的快速发展，快速获得大量高分辨率的机载SAR图像成为可能，针对机载SAR图像的ATR技术日益得到重视。为了更好地利用仿真SAR图像辅助真实机载SAR图像进行少样本情形的ATR，本文提出了一种基于特征空间结构对齐的DA-FSSA方法。DAFSSA方法首先通过对样本内的特征对齐和样本间特征对齐同时捕获特征空间的结构，并且利用二维特征空间的协方差信息作为一种二阶统计量，进行更深层次的特征空间结构对齐。在SAMPLE数据集上进行的少样本试验验证表明，所提出的DA-FSSA显著提升了少样本SAR ATR的性能。

参考文献

[1]Wilmanski M， Kreucher C， Lauer J. Modern approaches in deep learning for SAR ATR[C]//Proceeding of PIE 9843， Algorithms for Synthetic Aperture Radar Imagery， 2016.

[2]董凤禹，魏振忠.面向空中小目标检测任务的YOLOv7改进模型[J].航空科学技术，2023，34（12）：111-117. Dong Fengyu， Wei Zhenzhong. An improve YOLOv7 model for small aerial object detection[J]. Aeronautical Science & Technology， 2023，34（12）：111-117. （in Chinese）

[3]周旷，姜名.基于迁移学习的小样本目标识别研究进展与展望[J].航空科学技术，2023，34（2）：1-9. Zhou Kuang， Jiang Ming. Research progress and prospect of small sample target recognition based on transfer learning[J]. Aeronautical Science & Technology， 2023， 34（2）： 1-9. （in Chinese）

[4]Stefan A， Stefan H， Richard B. Ray-tracing simulation techniques for understanding high-resolution SAR images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（3）：1445-1456.

[5]Wang Kai， Zhang Gong， Leung H. SAR target recognition based on cross-domain and cross-task transfer learning[J]. IEEE Access， 2019， 7： 153391-153399.

[6]Malmgren-Hansen D， Kusk A， Dall J， et al. Improving SAR automatic target recognition models with transfer learning from simulated data[J]. IEEE Geoscience and Remote Sensing Letters， 2017， 14（9）：1484-1488.

[7]Liu Lei， Pan Zongxu， Qiu Xiaolan， et al. SAR target classification with CycleGAN transferred simulated samples[C]// Proceeding of IGARSS， 2018.

[8]任海洋. 基于域自适应的异源SAR图像目标识别[D].西安：西安电子科技大学， 2023. Ren Haiyang. Target recognition in heterogeneous SAR images based on domain adaptation[D]. Xi’an： Xidian University， 2023.（in Chinese）

[9]宋玉成，李景润，田甜，等. 跨模态域自适应SAR图像舰船检测与识别[J].华中科技大学学报（自然科学版），2022，50（11）： 107-113. Song Yucheng， Li Jingrun， Tian Tian， et al. Ship detection and recognition in SAR images with cross-modality domain adaption [J]. Huazhong University of Science & Technology（Natural Science Edition）， 2022， 50（11）： 107-113.（in Chinese）

[10]Sun B， Saenko K. Deep coral： correlation alignment for deep domain adaptation[C]. Computer Vision ECCV 2016 Workshops， 2016： 443-450.

[11]Lewis B， Scarnati T， Sudkamp E， et al. A SAR dataset for ATR development： the synthetic and measured paired labeled experiment （SAMPLE） [C]// Proceeding of SPIE 10987， Algorithms for Synthetic Aperture Radar Imagery， 2019.

[12]Long Mingsheng， Cao Yue， Wang Jianmin， et al. Learning transferable features with deep adaptation networks[C]// Proceeding of ICML， 2015： 97-105.

[13]Ganin Y， Ustinova E， Ajakan H， et al. Domain-adversarial training of neural networks[J]. The Journal of Machine Learning Research， 2016， 17（1）： 2096-2030.

[14]Long Mingsheng， Zhu Han， Wang Jianmin， et al. Deep transfer learning with joint adaptation networks[C]// Proceeding of ICML， 2017： 2208-2217.

[15]Long Mingsheng， Cao Zhangjie， Wang Jianmin， et al. Conditional adversarial domain adaptation[J]. Advances in Neural Information Processing Systems， 2018， 31（1）： 1-11.

Airborne SAR Automatic Target Recognition Method Using Domain Adaptation Based on Feature Space Structure Alignment

Han Fangzhou1， Zhang Lamei1， Lu Da2

1. Harbin Institute of Technology，Harbin 150001，China

2. AVIC Leihua Electronic Technology Research Institute， Wuxi 214082，China

Abstract： Due to the rapid development of airborne Synthetic Aperture Radar （SAR） system and deep learning theory， the airborne SAR automatic target recognition technology based on convolutional neural network has made great progress. However， due to the small amount of SAR data obtained by real measurements， it is difficult to meet the requirement of deep learning algorithms for a large number of training samples. At present， there have been studies using simulated SAR images to make up for the defect of the small number of real SAR image samples. Due to the differences between simulated SAR images and real SAR images， the current mainstream research method is to map real images and simulated images into the same feature subspace through Domain Adaptation （DA）， so as to extract domain invariant features. However， the current SAR ATR algorithm combining DA and simulation images only pays attention to the similarity of feature distribution of the single sample pair in different domains， but ignores that the feature distribution between sample pairs also contains a certain degree of semantic information. In order to solve the above problems， this paper proposes a DA algorithm based on feature space structure alignment to fully mine the semantic information shared between simulated SAR images and measured SAR images， thus significantly improving the recognition performance of deep learning models in the context of small samples. After sufficient experiment and analysis， the experimental results prove that our proposed method not only has high recognition accuracy， but also has strong universality and robustness.

Key Words： SAR ATR； domain adaptation； feature space structure alignment； few-shot learning； SAR simulation