基于自注意力的双波段预警雷达微动融合识别

赵庆媛, 赵志强, 叶春茂, 鲁耀兵

(北京无线电测量研究所, 北京 100854)

0 引 言

态势的准确评估决定着战争的结果,而气动目标识别是空中态势评估的重要一环。目标微动特征能够反映气动目标特有的物理结构信息以及表面电磁特性信息[1]。单个雷达很难提取出全面的目标特征,因此很多学者开始研究多雷达协同以实现稳健的目标识别[2-9]。低频雷达对于目标早期预警意义重大,且其对站址要求较高,对于远距离来袭目标观测角度的差异不大,双波段预警雷达融合能够为现役设备以较小代价提供目标识别性能增量,因此双波段微动融合识别具有巨大的研究价值。

时频图能够反映精细的微多普勒特征[10],但其特征提取依赖专家知识,有效信息损失较大[11-12]。而深度学习算法能够实现端到端的自动学习,可全面提取时频图的多层次特征。文献[13]将X波段雷达采集的回波生成时频图,并输入卷积神经网络(convolutional neural network, CNN),在人类活动分类方面取得了高准确率。文献[14]将时频图和韵律频率图(cadence frequency diagram, CFD)合成一幅图像,作为CNN网络的输入。文献[15-16]引入循环神经网络(recurrent neural network, RNN)提取人体微动时序特征,进一步提高了识别率。为了降低深度网络训练对海量数据的依赖性,文献[17-18]分别通过改进网络结构和初始化方式,实现了少量样本情形下人体活动模式的稳健分类。

在多雷达微动特征融合识别方面,文献[2-4]结合多站雷达系统,用传统机器学习算法对武装/非武装人员进行了分类;文献[6]研究了站址布站对人体运动过程中微动效应的影响;文献[7-9]用CNN实现多站融合目标识别,证明了特征级融合的分类精度高于决策级融合。这些研究利用不同观测角度的雷达回波进行融合识别,并没有针对不同波段的微动特征进行分析，且均未引入自注意力机制,更没有考虑不同雷达对目标分类的重要程度。

自注意力机制能够自动学习通道及空间维度的权重,摒弃无用信息,增强有用信息,已成为多个领域的研究热点[19-26]。通过在深度网络中嵌入自注意力模块,通道及空间的重要性和交互关系在训练过程中可通过自动学习得到,从而提高融合识别的性能。

针对双波段雷达时频图的特点,本文对卷积块注意力模块(convolutional block attention module,CBAM)残差网络[27]进行了针对性改进,提出了一种自适应权重双输入CBAM(weighted double input, WDI-CBAM)残差融合识别网络。将不同波段回波对目标识别的贡献差异性考虑在内,对两部雷达的输入通道自动进行权重训练。通过仿真和实测数据处理,验证了融合识别网络的有效性,并进一步研究了信噪比和驻留时间对其识别性能的影响。

1 微动模型与时频分析

1.1 微动回波建模

在远场理想条件下,气动目标微动部件回波由雷达波长和重频、旋翼结构、观测角度等决定。令λ为雷达波长，N表示桨叶个数,L1和L2分别表示桨叶根部和叶尖至旋翼中心的距离,φ为桨叶角,wr为旋翼转速,θ0为初始相位角,α为桨叶相对于雷达平台的方位角,βt为雷达视线与旋转平面的俯仰角。

对于窄带低分辨雷达而言,旋翼部件的理论回波模型[1]可表示为

(1)

式中:θn=θ0+2πn/N+2πwrt-α。相关变量可定义为

(2)

(3)

(4)

其中,若旋转平面平行于飞机飞行方向,β=βt;若旋转平面垂直于飞机飞行方向,β=π/2-βt。对于低分辨预警雷达而言,t=mTs为慢时间维脉冲采样,采样间隔为脉冲重复周期Ts,m为相参脉冲个数。R(t)=R0+vt,目标的移动速度v会影响微动回波相位,还会在某些情况下导致越距离单元徙动。令采样率为fs,距离单元为ΔR=c/2fs。当vmTs<ΔR时,目标在相参积累时间内没有越距离单元徙动,不需要进行平动补偿,否则需要进行平动补偿,平动补偿的具体方法参见文献[28]。

1.2 时频分析

时频分析的输入为目标在雷达慢时间维的回波。短时傅里叶变换(short-time Fourier transform, STFT)是应用最为广泛的时频变换[29],能够将时变非平稳信号转换为二维时频图。STFT用固定长度的窗函数对雷达回波采样信号进行滑窗截取处理,转换公式如下:

(5)

式中：τ和f分别表示时间分量和频率分量；g(t)为窗函数,选用汉明窗。窗长与频率分辨率成正比,与时间分辨率成反比。在本文中,对于不同雷达不同目标的回波采用同样的窗函数。

时频图的单边展宽fmax为

(6)

式中：vtip为桨叶叶尖的转速。根据空气动力学相关理论可知,叶尖的转速一般不会超过声速。不同波长情况下时频图的单边展宽不同。

一部分传统低频雷达气动目标识别是基于调制谱特征的[30]。调制谱的谱线强度和位置反映了微动特征信息。当驻留时间较短时,调制谱的分辨率较低,很难实现稳健的目标识别。同时，调制谱仅反映目标微动频域信息,没有反映出其时变特性,对某些本征特征(如桨叶奇偶性等)缺乏表达能力。因此，本文使用时频图作为融合识别网络的输入。

气动目标在飞行过程中,桨叶不停转动,观测角度具有时变性,其电磁反射特性具有时变性,使得时频图包涵了更丰富的微动特征。不同波长的回波具有不同的时变幅相特性,在时频图上表现为微动周期性、上下对称性、多普勒扩展、时变包络等诸多方面的差异性[10]。因此，不同波段的时频图融合识别能够更全面地提取目标微动本征特征,提高识别性能。

2 融合识别网络设计

2.1 目标识别流程

基于深度神经网络的双波段时频图目标融合识别流程图如图1所示。两部雷达分别在相参积累时间内进行目标检测,形成点航迹,再根据需要进行平动补偿,在慢时间维进行时频变换,最后将由两部雷达的时频图输入所设计的深度神经网络,进行自动特征提取及融合,输出气动目标识别结果。

图1 基于深度神经网络的双波段时频图目标融合识别流程图Fig.1 Target fusion recognition flowchart of double band time-frequency diagram based on deep neural network

2.2 所提深度神经网络

针对双波段雷达回波时频图融合识别需求,本文在CBAM残差网络的基础上设计了WDI-CBAM残差结构,如图2(a)所示。对比算法为DI-CBAM (double input-CBAM)残差结构,即将两部雷达的时频图进行无差别通道叠加，并进行输入,如图2(b)所示。

图2 模型框图Fig.2 Model diagram

自注意力机制能够从数据中自适应地筛选有用信息,忽略不重要的信息。SE(squeeze-and-excitation)模块[31]是经典的通道自注意力模块,CBAM在SE模块的基础上改进通道注意力机制,并增加空间注意力机制,进一步提高了深度网络性能。自注意力模块可以嵌入任何CNN,在不大幅增加训练和计算代价的前提下可提高分类准确率。残差网络[32]通过跳层连接结构,可有效缓解梯度消失问题,已经成为主流的深度学习模型。因此,以基于CIFAR10数据集的ResNet20网络为参照网络,加入CBAM模块,构成WDI-CBAM残差网络,整体结构如表1所示。

表1 整体网络结构

DI-CBAM残差结构在输入端直接进行通道叠加,并没有考虑两个波段时频图的差异性。根据前文对时频图的分析可知,不同波段雷达的时频图在频域扩展以及初始微动周期相位方面均存在差异,因此用同一个卷积核对两个时频图进行处理,会破坏时频图所含的微动特征。而WDI-CBAM残差结构利用主干浅层卷积网络分别对两个输入进行浅层特征提取,在此基础上再进行融合,一方面保留了两个时频图的差异性,增加了网络的自由度,另一方面在浅层特征层面进行融合,能够最大程度地利用浅层共性特征,耦合非共性特征。

2.2.1 CBAM残差结构

CBAM包括通道注意力模块和空间注意力模块,分别如图2(c)和图2(d)所示。CBAM的输入为F∈RC×H×W,CBAM依次进行一维通道自注意力映射Mc∈RC×1×1,以及二维空间注意力映射Ms∈R1×H×W。注意力过程可总结为

(7)

式中：⊙表示元素级别的乘法。在相乘的过程中,注意力值相应地得到传播,通道权重沿着空间维度传播,空间权重则沿着通道维度传播。F″是最终的注意力权重输出。

(8)

式中：σ表示激活函数,选用sigmoid函数,W0∈R(C/r)×C,W1∈RC×(C/r)。W0和W1分别表示两个全连接层的权重。

(9)

式中：σ表示激活函数,同为sigmoid函数；f(·)为卷积操作。

表1中的整体网络结构均包括1个主干网络和3个卷积块,每个卷积块包括3个网络块,1个网络块包括2层卷积。图2(a)中的主干网络为单层的卷积网络,[3×3@16];图2(b)的主干网络为[3×3@32]。[3×3@16]表示1个卷积核为3×3、通道数为16的卷积层,1个批归一化层(batch normalization, BN),以及1个ReLU激活层。

每个卷积块包括3个传统的CBAM残差模块。以[3×3@32,2]为例,网络块表示2个卷积的卷积层,第1个卷积层包括1个核为3×3、通道数为32的卷积操作,1个BN层和1个ReLU激活层;第2个卷积层包括1个卷积操作和1个BN层。在CBAM残差结构后再添加1个ReLU激活层。最后,进行平均池化,设计全连接层,再输出气动目标种类,分类器为Softmax函数。损失函数采用交叉熵。

残差单元恒等映射的核心是跳层连接,其能够缓解深度网络梯度消失的问题。残差单元用快捷连接实现恒等映射。映射关系为

Y=σ(F″+WlX)

(10)

式中：Wl表示恒等映射,是对X的线性变换矩阵,一般采用核尺寸为1的卷积操作使得WlX的尺寸与F″保持一致，σ表示激活函数,选用ReLU函数。

2.2.2 整体网络结构

以CIFAR-10数据库训练的ResNet20为参照网络,整体网络结构如表1所示。WDI-CBAM+ResNet20和DI-CBAM+ResNet20在主干网络和第一个卷积块的首个网络块部分有区别,后续的网络结构没有区别。

CBAM+ResNet20的输入为单个时频图,DI-CBAM+ResNet20的输入为两个时频图的通道拼接,WDI-CBAM+ResNet20的输入为两个时频图。

3 验证与分析

计算机配置:CPU为Intel Xeon Gold 5222@3.80GHz;GPU为NVIDIA TITAN RTX 24GB;内存为128GB;操作系统为Windows 10;深度学习框架为Keras2.3.1。

3.1 仿真验证与分析

为了验证本文所提算法对气动目标识别的有效性,根据第1.1节的微动模型进行仿真,并分析信噪比,以及驻留周期对算法性能的影响。

雷达1和雷达2的载频分别设置为170 MHz和80 MHz,脉冲重复周期为1 ms。两部雷达站址一致,时间不严格同步,即微动的初相θ0不一致。7类目标具体参数如表2所示,目标1～目标3为直升机,目标1的叶片数为偶数,目标2和目标3的叶片数为奇数。目标4～目标6为螺旋桨飞机。目标7为喷气式飞机。对7型气动目标进行仿真,既可以验证算法对3大类目标分类的性能,还可以进一步验证其对型号判别的能力。

表2 气动目标参数

采用Matlab对雷达回波信号进行仿真,并生成时频图。基于时频图,用Keras构建网络结构,进行训练、验证和测试。其中,时频图的窗长设置为17。

3.1.1 模型性能分析

脉冲个数设置为80个。目标仰角范围设置为1°～10°,步进为0.5°;目标速度范围设置为-100～100 m/s,步进为5 m/s。在回波信号中加入复正态白噪声,使得信噪比在-10～20 dB,步进为5 dB。每类目标的样本数为4 800个,其中60%用于训练,20%用于验证,20%用于测试。

多种算法的性能对比如表3所示。通道注意力机制中的全连接层压缩比均设置为4。

表3 多个算法性能对比

根据表3可进行如下分析。

首先,对比深度网络和传统算法性能。表3中,算法1～算法19均为神经网络模型,算法20～算法25为传统算法。调制谱特征和时频图特征提取方法可分别参考文献[30]和文献[10],分类器为支持向量机。算法22和算法25将两部雷达的特征进行拼接,输入支持向量机,得到融合识别结果。通过对比,可以看到基于调制谱特征的识别结果劣于时频图特征,且基于时频图特征提取的识别结果劣于深度网络。对于调制谱而言,在短驻留情况下很难进行稳健的特征提取,识别准确率受限。对于时频图而言,传统的特征提取不如深度网络全面。

接着分析自注意力机制的优劣性。在分类准确率方面,将SE注意力机制与ResNet20结合,与无注意力机制的ResNet20相比有较大幅度的提升,将CBAM注意力机制与ResNet20结合，相比SE注意力机制有进一步提升。在模型收敛速度方面,注意力机制能够加快模型收敛速度,使模型训练轮数大大减少。此外，SE和CBAM模块与ResNet20的结合使得训练收敛轮数变少,且并不会导致参数量大幅增加。因此，注意力机制能够在不大幅增加计算负担的前提下提高深度网络性能,且CBAM自注意力机制优于SE机制。

再分析融合算法的优劣性。表3涉及3种融合方法,包括双雷达决策级融合、DI-CBAM残差网络以及WDI-CBAM残差网络。决策级融合采用证据理论对两部雷达通过网络结构输出的识别概率进行融合[33]。由表3可以看出，进行决策级融合后,识别率比单部雷达高，而DI-CBAM+ResNet20比决策级融合性能更好,WDI-CBAM+ResNet20能够更进一步提高识别率。另外，WDI-CBAM+ResNet20与DI-CBAM+ResNet20相比,参数量略有下降,且训练收敛轮数更少。这说明WDI-CBAM在提取浅层次信息的基础上进行特征融合,能够更好地抑制无用信息,增强有用特征信息,而且训练代价更小。

最后分析网络深度对模型性能的影响。随着网络深度的增加,目标识别准确率有小幅增加,但参数量和训练代价急剧增加。因此，之后的分析均以ResNet20为基础网络结构。

WDI-CBAM+ResNet20的混淆矩阵如图3所示。通过混淆矩阵进一步分析所提网络模型的目标识别性能可知,直升机的型号识别准确率均大于90%,而螺旋桨飞机的型号识别率稍低,尤其是目标4和目标5之间较容易混淆。喷气式飞机较难与其他两大类气动目标混淆。值得注意的是,由于喷气式飞机的微动频率过高,很难通过低频雷达采集的微动特征进行型号识别。

图3 WDI-CBAM+ResNet20的混淆矩阵Fig.3 Confusion matrix of WDI-CBAM+ResNet20

3.1.2 噪声对算法的影响

根据不同的噪声水平进行仿真,进行回波叠加,生成测试数据,信噪比范围为-10～20 dB,步进为2 dB,选取每个雷达目标、每种噪声水平共200个样本。

用第3.1.1节中训练所得的典型网络对7类目标测试数据进行分类,统计得到的不同信噪比下的准确率如图4所示。图4中的算法25和网络7、网络8、网络12、网络13对应表3中相应的雷达输入及网络结构。可知在信噪比为-10 dB时,算法25和网络7、网络8、网络12、网络13的目标分类准确率分别对应26.5%、34%、27%、50.5%和55%。通过对比算法25和其他网络模型性能,验证了深度网络与传统的识别算法相比具有更好的噪声鲁棒性;通过对比4种网络结构,验证了两部雷达微动融合能够在较低信噪比情况下提高识别率。且在不同的信噪比情况下,网络13均比网络12的分类准确率高。网络13能够在信噪比为8 dB时实现接近100%的准确率。因此,网络13对应的WDI-CBAM+ResNet20在噪声鲁棒性和融合识别性能方面更具优势。

图4 不同信噪比下网络对7类目标的分类准确率Fig.4 Classification accuracy of networks for seven kinds of targets with different signal to noise ratios

3.1.3 驻留时间对算法的影响

目标仰角和信噪比以及目标速度设置同第3.1.1节。相参脉冲个数范围为20～100,步进为20。在不同相参脉冲个数情况下,仿真产生新的时频图样本,训练新的网络,并对其进行测试。不同驻留时间条件下,各种算法对目标分类的准确率如表4所示。由表4可以看到，随着驻留时间的增加,各个算法的分类性能均有提升。算法22和算法25对7类目标的识别准确率远不如深度学习网络,这进一步证明了深度学习网络对于气动目标微动特征提取的有效性。

表4 不同驻留时间下网络的分类准确率

在不同的驻留周期情况下,网络13均能取得最优的分类准确率。同时，网络13在20 ms的驻留条件下即可实现85%以上的3大类气动目标识别率。这说明WDI-CBAM+ResNet20在驻留时间较短的情况下也能实现较高的目标识别准确率。7类目标分类准确率低于3大类目标分类准确率的原因是直升机之间容易产生混淆,螺旋桨飞机之间更容易产生混淆。

3.1.4 可视化分析

为了研究WDI-CBAM结构中自注意力机制的影响,本节对通道权重和空间热力图进行可视化分析。模型采用第3.1.1节所训练的网络13。

从7类气动目标中分别选取典型样本,通过式(8)得到通道权重。第1个CBAM模块对应的通道权重如图5所示,前16个通道对应雷达1,后16个通道对应雷达2。

图5 WDI-CBAM的通道权重可视化结果Fig.5 Spatial weight visualization results of WDI-CBAM

由图5可以看出，前16个通道比后16个通道权重大。为了进一步观测通道权重,从每类气动目标中选取300个典型样本,计算其通道权重,求取平均值,结果如表5所示。由表5可以看到,7类目标样本对应的前16个通道权重比后16个通道大,这进一步证明了雷达1对目标识别的贡献度较大。雷达1的波长更短,多普勒扩展更大,微动细节更加丰富。因此,WDI-CBAM模块能够合理分配两部雷达的重要程度,更适用于双波段雷达目标识别场景。

表5 通道权重

根据文献[34]中的梯度类激活图计算方法对选取的典型样本，利用网络7、网络8和网络13进行空间权重可视化,热力图如图6所示。图6中，P表示各型网络根据输入预测为对应目标的概率，P值越大，表明预测结果越可信。网络7的输入为雷达1的时频图,网络8的输入为雷达2的时频图,其热力图均能够覆盖微动扩展区域。而WDI-CBAM的输入为两部雷达的时频图,其热力图是两个输入中对分类有贡献的区域的叠加。

3.2 实测数值验证

实测数据由两部不同波段的雷达在外场采集得到,雷达1工作在170 MHz左右,雷达2工作在80 MHz左右。两部雷达的脉冲重复周期均为1 ms,相参积累个数为64个。雷达之间不严格相参,时间上秒级同步。

图6 空间权重可视化结果Fig.6 Spatial weight visualization results

两部雷达同时观测3个目标,包括直升机AS350、螺旋桨飞机Y5和喷气式某民航飞机。目标速度范围为50～280 m/s,目标高度范围为2～9.6 km;三型目标与雷达的径向距离范围为10～100 km,方位角范围为210° ～230°。两部雷达对目标的观测角度基本一致。

雷达原始回波的预处理包括,飞机主体移动至零频率,主体抠除[35],以及时频转换。经过初步筛选,两部雷达对于每类目标的观测样本分别为3 200个左右。训练样本占比为60%,验证样本和测试样本占比分别为20%和20%。

基于实测数据的测试分类准确率如表6所示,深度学习网络相比传统算法22和算法25优势明显。这说明深度学习网络能够在复杂的实测电磁环境中提取有效识别信息,从而实现稳健的分类效果。基于双雷达融合的网络12和网络13相比基于单个雷达的网络7和网络8的性能有较大提升,从而验证了双波段融合识别网络相较于单一波段的识别网络能够提高气动目标识别准确率。

表6 实测数据目标识别结果

具有权重自适应功能的网络13性能最优,网络13的混淆矩阵如图7所示,三型飞机的识别率均大于92%。

图7 实测数据的混淆矩阵Fig.7 Confusion matrix of measured data

实测数据更进一步验证了所提网络结构(即网络13)能够有效提取有用信息,获得更优的识别性能。

4 结束语

本文提出了一种自适应WDI-CBAM残差融合识别网络,在输入端对CBAM残差结构进行改进,优化不同波段回波时频图的通道权重,从而降低了训练代价,并提高了融合识别准确率。VHF波段的仿真和实测数据处理结果证明了WDI-CBAM残差网络性能优于决策级融合和DI-CBAM网络。

本文方法可以进一步扩展至高波段雷达微动特征融合,在时频分析预处理之前可根据需要进行平动补偿,所提网络结构依然适用。对于两个以上波段雷达协同,本文网络结构可进行适应性扩展,综合多波段识别优势,提供更稳健的气动目标识别性能。