基于子孔径与全孔径特征学习的SAR多通道虚假目标鉴别

马 琳 潘宗序* 黄钟泠 韩 冰 胡玉新 周 晓 雷 斌

①(中国科学院空天信息创新研究院 北京 100190)

②(中国科学院空间信息处理与应用系统技术重点实验室 北京 100190)

③(中国科学院大学 北京 100049)

1 引言

合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动的微波传感器，具备全天时全天候的探测能力和高分辨率成像能力，是实现海洋监测的重要手段之一，在军事和民用领域具有重要的意义[1]。特别是星载SAR系统，同时满足了高分辨率和宽测绘带的需求，能够以较长工作时间运行，在船舶识别检测中被广泛应用。

高分三号(GF-3)卫星是我国发射的第1颗C波段高分辨率卫星，是目前世界上成像模式最多的SAR卫星，具有12种成像模式。GF-3超精细条带(UltraFine Strip-map,UFS)模式与常规的条带模式不同，采用一发双收，即在方位向上有两个接收天线分别接收雷达回波，在该模式下的图像中存在多通道引起的虚假目标。与传统单通道SAR系统方位向欠采样引起的方位模糊不同，该类虚假目标产生的原因主要有两个方面[2—4]：(1)方位向信号的非均匀采样。卫星姿态误差导致各子孔径相位中心相对位置发生变化，由此产生的多通道方位向非均匀采样信号不加处理直接进行脉冲压缩将会导致成对虚假目标的出现[2]。(2)通道间幅相不平衡[3,4]。在实际星载系统中，受工作环境辐射、通道间元器件性能不一致、通道开机时间存在误差等影响，通道间存在幅相不平衡，导致虚假目标的出现。

图1给出了GF-UFS图像中多通道虚假目标的示意图，如图1所示多通道引起的虚假目标在方位向上成对出现，并沿真实目标对称分布，且与对应真实目标相比在强度上有一定的衰减。2017年Pan等人[5]根据雷达系统参数计算真实目标与多通道虚假目标之间的相对位置[6]来去除虚假目标，但这种方法不能鉴别真实目标和其他目标附近的虚假目标位置的情况。

SAR多通道虚假目标的存在给SAR船舶检测带来了巨大的挑战。这些虚假目标相对于海面的亮度很高，在海面这样的低散射区域出现时会被误检，造成虚警。虽然多通道虚假目标与对应真实目标相比在亮度上存在一定的衰减，但与其他非对应的真实目标之间没有明确的亮暗关系，因此无法根据绝对的亮度去鉴别。更为严峻的是，在SAR成像过程中，船舶的运动造成了多普勒参数的改变，进而造成方位向上匹配滤波的失配，因此船舶目标在SAR图像中会产生不同程度的散焦现象[7,8]。在全孔径图像中很难将多通道引起的虚假目标与真实的散焦目标进行区分，这一问题目前尚未得到解决。

针对上述问题，本文提出一种基于子孔径与全孔径特征学习的SAR船舶目标鉴别算法，在利用深度卷积神经网络提取全孔径特征的同时，将复数SAR图像进行子孔径分解并利用栈式卷积自编码网络提取子孔径特征，通过子孔径特征所蕴含的鉴别信息实现真实目标和多通道虚假目标的区分，本文的创新点主要体现在：

(1) 通过子孔径分解分析真实目标和多通道虚假目标在子孔径图像之间的差异；

(2) 提出一种利用栈式卷积自编码网络学习子孔径特征的方法；

(3) 利用GF-3数据验证所提方法在区分多通道虚假目标和真实目标，特别是散焦船舶目标上的有效性。

本文余下章节安排如下，第2节介绍相关工作；第3节详细介绍本文提出的SAR目标鉴别方法；第4节结合GF-3超精细条带实验数据和部分仿真的散焦数据对本文方法的实验结果进行分析；第5节给出结论。

图1 GF-3 UFS图像中的多通道虚假目标示意图Fig.1 An example of multichannel false-target in a GF-3 UFS SAR image

2 相关工作

深度学习方法相较于传统方法具有自动提取特征的优势，已有不少学者将深度神经网络如Faster R-CNN[9],SSD[10]等应用于SAR船舶检测和识别中[11—13]，取得了很好的效果。针对训练样本不足的问题，文献[14]通过改进网络模型在小样本条件下仍能得到良好的识别效果。然而，上述方法只考虑了目标和背景的幅度差异，SAR图像本身是一种带有相位信息的复数数据，它蕴含了丰富的目标电磁散射信息。文献[15,16]通过复数SAR统计建模的方法进行SAR舰船检测和鉴别。同时，Zhang等人[17]提出的复数卷积网络模型、Huang等人[18]提出的Deep SAR-Net以及Tang等人[19]在改进的孪生网络模型中都使用了复数SAR数据，都是从SAR本身的散射特性出发，深入研究学习SAR成像的物理机制。

以上方法仅考虑了全孔径图像中的特征，并未考虑子孔径图像中的特征。全孔径SAR图像提供了高分辨率的细节表征，但在合成孔径过程中却损失了目标其他有用的信息。文献[20]表明子孔径图像分析方法相对于传统技术的主要优势在于，即使在船舶的强度与杂波水平相似的情况下仍能够检测到船舶。目前，利用子孔径图像实现SAR船舶检测的方法主要包括子视图相干法(Sub-Look Cross-correlation,SLC)、广义似然比检验(Generalized Likelihood Ratio Test,GLRT)等[21—24]，这些方法通过增强目标与杂波之间的对比度来检测船舶，但在复杂场景下这些方法不能将多通道虚假目标与真实目标很好地进行鉴别。

因此，为了解决上述问题，本文结合深度学习方法，提出一种基于子孔径与全孔径特征学习的SAR船舶目标鉴别算法(Sub-and Full-aperture Feature Learning,SFFL)，实现SAR船舶目标与多通道虚假目标的鉴别。

3 基于深度网络的子孔径特征学习

目前针对SAR船舶目标鉴别的研究大多基于全孔径幅度图像，并未充分利用复数SAR图像中的信息，使得方法难以区分具有相似视觉特征的真实船舶目标和多通道虚假目标。在SAR成像过程中，目标会随着方位角的变化在不同子孔径图像中呈现不同的散射特性，在子孔径图像中，目标特征将得到更加精细的表征。基于子孔径图像的上述优势，本文提出一种基于深度学习的子孔径特征学习方法，用于解决SAR目标鉴别问题。方法的网络架构如图2所示，网络分为子孔径特征提取和全孔径特征提取两部分，通过基于栈式卷积自编码网络的无监督学习方法提取子孔径特征，利用ResNet-18的预训练模型经迁移学习后提取全孔径特征，将子孔径特征和全孔径特征做归一化后进行拼接，之后连接全连接层和softmax层，判断输出目标类别。

图2 结合子孔径与全孔径特征学习的网络框架Fig.2 The detailed implementations of SFFL framework

本章后续安排如下：3.1节本文通过对多通道虚假目标和真实船舶目标作子孔径分解，分析两类目标在子孔径图像中所体现出的特性；3.2节详细阐述利用栈式卷积自编码网络提取子孔径特征的方法；3.3节给出利用迁移学习提取全孔径特征的方法；3.4节介绍特征拼接和分类方法；3.5节对所提方法进行总结。

3.1 子孔径分解与分析

子孔径图像可以通过对单视复数(Single Look Complex,SLC)SAR图像沿着方位向做子视处理得到，也称为子孔径分解。一般情况下，子孔径分解流程如图3所示[25]，首先对原始SAR图像沿着方位向做一维的傅里叶变换转换到距离-多普勒域，通过对距离向幅值取平均估计权重函数，计算权重函数的逆函数并归一化得到纠正函数，将纠正函数作用于多普勒域来消除天线权重的影响，根据所需子孔径数目再对得到的频谱数据进行无重叠的分割，得到多个子频谱，然后对这些子频谱进行加窗处理，以改善相关的点目标响应。由于一个舰船目标所在范围较小，天线权重影响可以忽略不计，本文对频谱直接进行分割，本文所用窗函数为汉明窗(hamming window)。最后，通过傅里叶逆变换，将加窗后的子频谱转换回时域，从而生成所需子孔径图像。经过子孔径分解获得的子孔径图像，它的分辨率会随着子孔径数目的增加而成比例降低。

图4比较了高分三号超精细条带模式下真实船舶目标、纯海面、多通道虚假目标切片的全孔径和子孔径图像，第1列为全孔径图像，第2～5列为4个子孔径图像，图4(a)—图4(d)对应4个真实船舶目标切片，其中图4(b)和图4(c)分别对应聚焦较好的船舶目标和散焦的船舶目标切片，图4(e)对应纯海面切片，图4(f)—图4(h)对应3个多通道虚假目标切片。通过比较图4中的真实和虚假目标可见在全孔径图像上3个真实目标与虚假目标较为接近，难以进行有效地区分。真实目标的子孔径图像，虽然因为子视处理分辨率降低，但在每个子孔径图像中均有目标。虚假目标的能量几乎全部集中在一到两幅子孔径图像中，其他几幅子孔径图像中，虚假目标则呈现出和海杂波相似的特征。以上子孔径图像分析结果表明，真实船舶目标的子孔径图像具有一致性，多通道虚假目标的子孔径图像具有明显的差异性，因此通过提取子孔径图像特征能够实现真实船舶目标和多通道虚假目标的有效区分。

图3 子孔径分解流程图Fig.3 Flowchart of sub-aperture decomposition

3.2 基于子孔径特征学习的卷积自编码网络

本文采用基于栈式卷积自编码网络的无监督学习方法提取子孔径图像特征，具体网络结构如图5所示，包含编码和解码两部分。输入子孔径图像，通过编码部分提取嵌入特征，再经过解码部分重建图像，并利用输入图像和重建图像的差异构建网络的损失函数。栈式卷积自编码网络由一组自编码单元堆叠而成，自编码单元由包含卷积层的编码器和包含反卷积层的解码器构成，每个自编码单元的训练方法相同，并采用逐层训练再堆叠的方式来训练整个网络。每层训练时都是一个较浅的自编码单元，在训练第l个自编码单元时，其输入xl−1是第l −1个自编码单元编码的输出，xl−1经过包含卷积层、批归一化层、非线性激活层、下采样层的编码器和包含上采样层、反卷积层、批归一化层、非线性激活层的解码器，得到输出yl−1。训练目标是要使解码器的输出yl−1能够重建xl−1，训练中通过计算输入图xl−1与重建图yl−1的均方根误差损失，更新网络参数，优化网络模型。

图4 真实船舶目标、纯海面、多通道虚假目标切片的全孔径图像及其对应子孔径图像Fig.4 Examples of sublook amplitude for ships (a)—(d),sea (e),multichannel false-targets (f)—(h) and the relevant amplitude SLC images

图5 基于子孔径特征学习的网络结构Fig.5 Network structure based on sub-aperture feature learning

批归一化层：批归一化层(Batch Normalization,BN)通过将输出信号归一化到相同的分布，消除训练过程中由于权重大小导致的梯度消失和爆炸，保证网络的稳定性，加快网络的收敛速度，计算公式如式(2)所示

非线性激活层：通过非线性激活函数能提升模型的非线性映射表征能力，加快收敛速度，可写成式(3)形式，其中f(·)代表非线性激活函数，本文采用ReLU非线性激活函数，计算如式(4)所示

下采样层和上采样层：在下采样的过程中，不仅需要保留采样之后的数据，还要保留采样的位置，便于在解码部分能够更好地恢复图像局部特征，下采样和上采样可写成如式(5)和式(6)的形式

其中，Q和c表示反卷积层的卷积核和偏置参数，R(·)表示将卷积核Q旋转180°。

损失函数计算：将输入图与重建图的均方根误差作为网络的损失，因此，训练第l个自编码单元时所用到的损失函数如式(8)所示

各个自编码单元的卷积层设计如表1所示，反卷积层的通道数和卷积核尺寸与卷积层一致。

表1 各个自编码单元的卷积层设计Tab.1 Design of convolutional layers in each auto-encoder unit

3.3 基于迁移学习的全孔径特征提取

由于SAR目标切片的样本过少，直接训练深层网络将会导致严重的过拟合问题，使得网络模型的泛化能力急剧下降，迁移学习方法可以解决小样本问题。借助NWPU-RESISC45数据集与TerraSAR-X标注数据集[26]传递的迁移学习方法，大大缩小了SAR图像与自然光学图像的差距，并且在MSTAR分类任务上具有良好的泛化能力[27]。

因此，本文选择采用传递式迁移学习方法提取全孔径特征，迁移学习的流程如图6所示。首先，选择在ImageNet上预先训练的ResNet-18作为初始预训练模型1，然后用NWPU-RESISC45遥感数据集对卷积层进行微调，得到遥感增强模型(预训练模型2)作为第1个迁移源；之后利用与遥感数据集有相似类别的高质量TerraSAR-X标注数据集[26]在遥感模型的基础上进行微调，得到预训练模型3作为本文迁移学习的将要应用的迁移源。然后，在预训练模型3上利用少量高分三号超精细条带模式下的影像切片对模型参数进行微调从而得到适用于SAR船舶鉴别任务的模型。

TerraSAR-X标注土地覆盖数据集[26]由X波段TerraSAR-X卫星[28]收集获得。该数据集选择高分辨率聚束模式、HH极化方式的多视地面距离探测(Multilook Ground range Detected,MGD)产品，分辨率为2.9 m，入射角在20°～50°之间，包含100000多个切片，具有150个类别的层次3级标注。在本文只使用其1级标签，包含移民区、工业设施、公共交通、农田、植被、裸露的地面、水体7类目标。

ResNet-18包含4种类型的残差块(ResBlock)，分别重复两次，并且分别具有64,128,256和512个输出特征图，共有17个卷积层和1个全连接层。残差块结构如图7所示，由两层卷积层、BN层和ReLU非线性激活层组成[29]。

虽然网络深度越大，学习特征的能力越强，但训练深层的网络会导致梯度弥散/爆炸，无法收敛，即网络层数的增加会导致更大的误差。残差网络(ResNet)通过在原有卷积网络的旁路上叠加恒等映射解决深层网络的退化问题。

设残差网络的输入为x，则输出通过式(9)计算

其中，f(·)表示卷积操作，在ResNet-18所有卷积层后紧跟一个平均池化层，使得全孔径特征的尺寸与子孔径特征相同。

3.4 特征拼接与分类

用C(x,y)表示输入的复数图像，I(x,y)表示全孔径幅度图像，用S(x,y)表示经过子孔径分解获得的子孔径图像。利用通过迁移学习方法训练的网络提取全孔径特征，如式(12)所示

图6 传递式迁移学习方法流程图Fig.6 Flowchart of transitive transfer learning method

其中，σ2(·)和µ(·)表示求方差和均值操作。将归一化后的全孔径特征ψ1(x,y)与子孔径特征ψ2(x,y)沿通道进行拼接，得到新联合特征ψ(x,y)，再将ψ(x,y)输入到softmax层得到SAR船舶目标的鉴别结果。

3.5 总结

基于子孔径与全孔径特征学习的SAR船舶目标鉴别方法算法如表2所示。

图7 残差块结构图Fig.7 The architecture of residual block (ResBlock)

表2 基于子孔径与全孔径特征学习的算法Tab.2 SFFL algorithm

4 实验

4.1 实验数据

(1) 高分三号数据。本文选取了8幅高分三号超精细条带L1A级图像，图像的相关参数如表3所示，DH极化方式表示信号在水平极化下发射一次，在水平极化和垂直极化下分别接收两次。SLC是单视复数据的简称，是GF-3卫星的一种产品类型。将AIS结合人工标注和确认标记的真实船舶目标和多通道虚假目标，根据标注框的位置和长宽信息裁剪复数数据，切片大小设置为128×128，每个切片包含一个样本。将4幅图像中的70个真实目标样本和70个虚假目标样本按照1:1的比例随机划分为训练集和验证集，训练过程保证样本数量类别均衡。测试集选择剩余4幅图像数据，包含72个真实目标样本，161个多通道虚假目标样本。

表3 GF-3超精细条带图像参数Tab.3 The detailed information of GF-3 UFS SAR images used in the experiment

(2) 仿真散焦数据集。由于多通道虚假目标与散焦的船舶目标在全孔径图像下更加相似，在视觉上更加难以区分，为了进一步验证本文算法的有效性，本文仿真了少量的散焦图像，具体仿真算法流程如图8所示。在目标切片的距离-多普勒域添加二次相位误差，二次相位误差如式(15)

其中，a控制相位误差曲线开口的大小，当0>a>−1.2634时，目标会发生轻微的散焦；a<−1.2634时，将会产生较为明显的散焦，且散焦程度随a的减小而加剧。

∆φ<π/4，运动目标会发生轻微的散焦，对成像结果的影响可忽略不计；∆φ>π/4，运动目标将会根据相位误差的大小产生不同程度的散焦[7,8]。据此，图9给出了5种不同程度散焦的图像及其对应的相位误差曲线，这里选择c=21。本文对比与多通道虚假目标在视觉上的相似程度，仿真了12个散焦船舶目标并且全部用于测试。

图8 散焦图像仿真算法流程图Fig.8 Flowchart of defocused image simulation algorithm

图9 不同程度散焦图像及其对应方位误差曲线图Fig.9 Different degrees of defocused images and their corresponding azimuth error curves

4.2 实现细节

实验硬件环境：处理器显卡为Tesla K40，两块显存，每块12 G，终端8 G内存，3.2 GHz，英特尔i5处理器，Windows64位环境。软件环境为Torch0.4.0,torchvisions0.1.9,tqdm4.19.1.post1,Python3.6.5,Pillow 4.2.1,tensorboardX 1.12。

栈式卷积自编码网络训练使用SGD优化器来进行网络参数迭代更新，并且训练400个epoch，初始学习率设置为0.1，权重衰减参数为0.0005。总网络的训练使用Adam优化器，初始学习率设置为0.01。使用Tensorboard监测训练过程，梯度下降更新参数。

4.3 评价指标

多通道虚假目标与真实目标的鉴别可看作一个二分类问题，混淆矩阵定义如表4。

准确率(accuracy)，定义为

4.4 实验结果与分析

表5为基于子孔径与全孔径特征学习方法(Su-b-and Full-aperture Feature Learning,SFFL)和基于子视图相关的方法(Sub-Look Cross-correlation Feature+Support Vector Machine,SLCF+SVM)、子孔径特征的学习方法(Sub-aperture Feature Learning,SFL)、全孔径特征学习方法(Full-aperture Feature Learning,FFL)的对比结果，实验对比结果显示，仅使用子孔径特征比仅使用全孔径特征可以取得更好的结果。与SFL方法和FFL方法相比，SFFL方法的运行时间略有增加，但其在多通道虚假目标鉴别任务中可以获得最高的准确率。它们的混淆矩阵如表6所示，对于测试集的161个虚假目标，FFL方法识别出其中的126个，SFFL方法识别出156个，可见结合子孔径特征和全孔径特征的方法能够更有效的识别虚假目标。FFL和SFFL方法的准确率分别为83.69%和96.57%，表明子孔径特征的利用能显著的提升准确率。FFL和SFFL方法在原图中的分类结果如图10所示，红色圆圈代表多通道虚假目标，黄色方框代表真实目标，FFL方法将其中4个多通道虚假目标错分为真实目标，SFFL方法中9个多通道虚假目标与4个真实目标均被正确分类。

表4 二分类问题混淆矩阵Tab.4 Confusion matrix of binary classification

表5 不同方法的鉴别性能对比Tab.5 Comparison of discrimination performance of different methods

同时，本文也利用t-SNE对两种鉴别方法的结果进行可视化，即将两种方法的输出特征映射到二维平面上，图中的紫色点和红色点分别表示真实船舶目标和多通道虚假目标。从分类效果可视化图11中可以看出，多数多通道虚假目标与真实的船舶目标在全孔径特征空间混在一起无法正确区分，如图11(a)所示，而同时利用子孔径特征与全孔径特征时多通道虚假目标和真实目标可以进行有效的区分，如图11(b)所示。对于两个多通道虚假目标，图12比较了FFL和SFFL方法预测两个样本为虚假目标的置信度。由结果所知，基于子孔径特征学习的方法预测概率均在0.9以上，远高于FFL方法的预测结果，证明了本文方法在区分真实目标和多通道虚假目标上的有效性。由于在真实情况下，动目标在SAR成像过程中会出现一定程度的散焦，因此，本文在测试集上添加了仿真散焦船舶目标，图13(a)展示了真实聚焦的船舶目标，在轮廓、纹理特征上非常相似的仿真的船舶目标图13(c)和多通道虚假目标图13(b)，其中图13(c)仿真目标是由真实聚焦的船舶目标图13(a)按照本文所提的仿真方法获得，仿真参数为a=—3.8,c=21。

表6 不同方法的混淆矩阵Tab.6 Confusion matrix of different methods

FFL和SFFL方法在新测试集上的准确率比较如表7所示，在加入仿真散焦数据后，FFL方法的准确率由83.69%下降到80.41%，SFFL方法的准确率由96.57%提高到96.73%，该实验结果进一步验证了子孔径特征在区分多通道虚假目标上的优势。

图10 原图分类结果比较Fig.10 Comparison of FFL and SFFL results in the original image

图11 t-SNE降维特征可视化结果比较Fig.11 Comparison of FFL and SFFL visualization results using t-SNE

图12 纹理特征与真实目标相似的多通道虚假目标切片鉴别结果详细说明Fig.12 The elaborate explanation of the discrimination results of multichannel false-targets similar to real targets in texture

图13 测试集仿真散焦目标示例Fig.13 An example of simulated defocus target in test set

表7 加入散焦数据结果对比(%)Tab.7 Comparison of two methods after adding defocus data (%)

本文还探究了子孔径数目对SFFL方法的影响，图14比较了不同子孔径数目下SFFL方法的准确率，从图中可以观察到，子孔径数目取4时方法取得了最优的准确率，当子孔径数目大于4时，准确率会有所下降，这是由于随着子孔径数目的增多，子孔径图像的分辨率会降低，可分辨的细节特征也会相应地减少，因而当子孔径的数目过多时，会影响方法的识别率；当子孔径数目小于4时，方法也未达到最佳的识别性能，这是因为子孔径数目过少，子孔径分解得不够精细，子孔径图像所能提供的额外有效信息被隐藏，可进行鉴别的差异性特征也会减少，方法的识别率无法达到最佳。由上述结果可知子孔径数目的确定需在子孔径分解的精细程度和子孔径图像的分辨率之间折中，根据实验结果，本文将子孔径数目设为4。

图14 不同子孔径数目下SFFL方法的准确率Fig.14 Overall accuracy of SFFL method with different numbers of sub-apertures

5 结论

针对多通道虚假目标与真实目标在全孔径图像下识别难的问题，本文首先通过子孔径分解分析了真实目标和多通道虚假目标的子孔径图像分别具备一致性和差异性，然后，基于上述分析结果本文提出了一种结合子孔径和全孔径特征学习的方法，利用栈式卷积自编码网络提取子孔径特征，通过迁移学习的方法提取全孔径特征，最后在高分三号数据上验证了该方法的有效性，与仅用全孔径特征相比，本文方法能更有效地区分多通道虚假目标和真实目标；加入仿真散焦数据后，与仅用全孔径特征相比，本文方法在区分多通道虚假目标上的优势更加明显。