基于改进VGG16的超短波时频谱图分类方法

马博昂，张海瑛

(1.中国电子科技集团公司 第54研究所，石家庄 050081;2.河北省电磁频谱认知与管控重点实验室，石家庄 050011)

0 引言

现代战场电磁环境日益复杂，战术通信网台主要集中在超短波频段，常规信号、跳频、扩频信号普遍存在。我军需要针对目标区域进行例行性侦察监视，重点对当面机场和空军基地进行侦察监视，截获其电磁信号，对重控信号进行通信组网特征提取和分析，提升对作战目标的内涵情报获取以及信息作战支援能力。

超短波(ultra-short wave)是一种频率范围由30 MHz到300 MHz的无线电波，其波长在1至10米之间，也叫做甚高频(VHF,very high frequency)、米波。超短波宽带信号侦察包括信号搜索、跳频信号检测、超短波频段信号的采集、分选、检测以及信号分析等技术。传统的超短波信号分类已知信号的相关先验信息，多以告知侦察对象及任务范围为主。针对超短波频谱资源的利用问题，文献[1]将采集到的信号进行时、频域特征分析，通过对获取的宽带信号进行时频分析，并采用相关匹配的算法，实现了在复杂电磁环境下对截获的宽带信号的检测和自动分选。文献[2]提出了一种利用峰度和小波变换对超短波信号进行分类识别方法。该方法通过决策树的分类方法,完成了FM、MSK、QPSK等三类不同调制方式的信号的识别。文献[3]针对不同频段的超短波通信信号调制识别的问题,提出决策树分类的方法。利用瞬时幅度、瞬时相位以及构造的瞬时特征实现了十种调制信号有效的识别。

但此类方法都是对特定目标信号进行仿真，诸如信号类型、调制方式、符号速率等，已有较多的先验信息。现行的超短波通信侦察系统中战场测量较为宏观粗放，侦控细节都是由执行者依据对象、任务以及工作惯性，理解性地在工作过程中落实传承。如今，在基于元数据协同的侦察活动中，大量的元数据活跃在每一个信号感知的细节里，如何应对战场环境下各类目标信号测量特征的精确获取需求，设计与之匹配的元数据测量特征，精细化地描述战场测量特征情报，设计完备简约的侦察策略是现代技侦工作的必然要求。未来的技术侦察情报生产，对智能化、大数据信息处理的需求越来越强烈，依托智能化技术的发展，提升情报生产能力，已成为技侦发展的必由之路。

近几年里，深度学习在图像识别领域取得了巨大的成果。文献[4]利用最新的人工智能框架pytorch以及算力强大的GPU,对动物的图像进行分类识别。虽然在图像的预处理以及代码迁移问题上需进一步优化和改进。但也证明了VGG16网络模型识别准确率非常高,验证了VGG16在图像识别问题上的有效性。文献[5]提出了一种基于改进VGG16和迁移学习的图像分类方法。通过迁移学习传统VGG16模型并进行了改进，该方法能将已学习到的特征和性能用到待解决的任务中，极大地节省了训练时间。该方法针对选定的数据集，分别对激活函数、损失函数、优化器进行调整，最终完成了了对十种不同猴子图像的识别。但其在细粒度图像的识别上还需对模型进行完善，且当迁移学习到超短波盲信号的时频图时需要进一步优化。文献[6]在超短波通信中Link11、Link4A、DQPSK、SOQPSK信号的识别问题上，将超短波信号的时频谱图和卷积神经网络相结合。该方法需要先得到信号的时频谱图，然后使用得到的信号时频谱图对优化后的卷积神经网络模型进行训练，最后实现了超短波特定信号的识别。对于时频谱图的变换有时域分析法[7]。时域分析法是把信号按照时间序列划分为许多子序列，分别分析其时域特性。快速傅里叶变换[8](FFT,fast fourier transform)在复杂度上虽有所降低，但仅适用于平稳信号，对非平稳信号和跳变信号不再适用。此外还有短时傅里叶变换(STFT,short-time fourier transform)、小波变换[9](WT,wavelet transform)和S变换[10]。本文选定STFT进行超短波盲信号时频谱图的获取。是因为STFT常用于缓慢时变信号的频谱分析，符合超短波盲信号的信号特征。此外，经STFT处理后的信号具有时域和频域的局部化特性，可以借助其分析信号的时频特性。先验信息不足，信号特征缺失，难以满足对作战目标的内涵情报获取需要是当下电磁作战面临的最大问题。且当前对超短波盲信号的研究主要在盲信号的分离方法[11]及准则的优化上[12]，因此实现盲信号的智能化分类对于电磁环境日益复杂现代战场具有重要意义。

随着深度学习在图像分类识别领域的飞速进步,运用卷积神经网络对图像分类相较于传统的图像处理方法更加高效与方便。研究人员们针对图像分类等问题提出了很多特征维度提取更深的神经网络模型。模型复杂的神经网络虽然会有较高的准确率，但是会出现过拟合的问题，具有效率不高、训练时间长等不可忽视的短板。因此轻量化卷积神经网络的研究具有深远的意义和影响。文献[13]提出轻量化卷积神经网络，在保证准确率的同时能够提高图像分类的效率，降低参数量，并且可以用于小型终端设备中。文献[14]将优化后的空洞卷积与普通卷积相结合，提出一种将融合型空洞卷引入神经网络中的方法。该方法利用空洞卷积可以增大特征映射与扩大感受野的结构特性，可实现模型计算复杂度的降低，实现了对训练效率与准确率的权衡。但由于迁移学习到新的网络，将基本空洞卷积直接应用于超短波盲信号时频谱图的分类，虽准确率会有所降低，但是整体上来看仍具有轻量化效果好的特点，可以解决超短波音信号时频谱图像学习过程时间过长的问题。

基于以上，本文提出了一种将超短波盲信号的时频谱图与VGG16相结合的识别方法，并通过引入空洞卷积减少网络的训练时长。该方法首先用STFT将电磁战场中实际采集到的盲信号转换为时频谱图，然后将其与优化的VGG16卷积神经网络结合起来。通过仿真实现了在先验信息不足的条件下超短波信号的分类。将空洞卷积引入优化后的网络，在保证较高分类准确率的条件下，最大程度的减少了训练时长，验证了空洞卷积在盲信号分类上的实用性，增强电磁战场作战目标的内涵情报获取以及信息作战支援能力。

1 时频谱图提取

本文对超短波盲信号的时频谱图通过STFT[15]方法得到。STFT常用于缓慢时变信号的频谱分析，与超短波盲信号的特征相匹配，如图1所示，不同信号的时频谱图存在明显差异。且经STFT处理后的超短波盲信号的时频谱图具有时频域的双重特征，可以作为深度学习的输入。

图1 两种信号的短时傅立叶变换谱图对比

STFT本质上是对超短波盲信号时域上的局部处理，在信号进行傅里叶变换(FFT，fourier transform)之前,对信号乘以一个时间极短的窗函数，用窗函数截取信号，原本非平稳的信号就可以采用平稳信号的手段进行分析。最后将时间窗口滑动，各个窗函数信号的频谱组合就是整个超短波盲信号的时频谱图。

STFT的定义为：

(1)

其功率谱为：

SPEC(t,f)=|STFT(t,f)|2

(2)

对于STFT窗函数的选择，设窗函数g(t)的有效时宽为Δt，带宽为Δf，则它们二者的乘积服从Heisenberg不等式[16]：

(3)

从上式可以看出，需要根据需求权衡窗函数的有效时宽Δt和带宽Δf的数值。为了局部频谱清晰可辨，窗的长度应该足够宽。

STFT最重要的还是窗口函数长度的选取。窗口较长，频域刻度和平移步长足够密时，频率能够清晰的显示出来，但是时间上有些模糊。窗口较短，时间上的分界线能够清晰显示，但是频率的值会很模糊。

选择合适的窗函数及长度，是影响后续深度学习准确率的关键。针对本文选定的超短波盲信号，最终进行的STFT变换参数如表1所示。

表1 变换参数

2 空洞卷积

空洞卷积核[17]是由Yu等人进行系统研究的。从特征提取的原理上来看，空洞卷积与传统卷积核的结构相似。但是通过添加空洞元素，实现了输入层和输出层特征映射的扩张。空洞卷积的引入可以大大减少卷积网络的训练时长。部分学者已经将空洞卷积应用在目标检测与语义分割中的空洞卷积池化金字塔[18]、ESPNet[19]等多个领域中。

空洞卷积可以认为是基于卷积操作的一种变形，空洞卷积在卷积核中添加空洞元素，增大感受野，实现了获取更多的信息的目的。感受野是输入层到输出层的特征映射，决定着输出层中元素对应的输入层的区域大小。在图像分类和目标识别上，感受野的选择直接影响任务效果。

感受野的计算公式如下：

(4)

spn代表第n层的感受野，spn-1表示第n-1层的感受野，nk是第n层卷积核的尺寸，ri表示n层前第i层卷积的步长。

如图2所示，图像的像素为25，以5×5卷积核对一个5×5的图像进行一次卷积操作。输入层经过卷积操作后，得到1×1的输出，即输出层对应的整个特征映射为输入层。

图2 普通5×5卷积核一次卷积过程

如图3所示，步长为1的3×3的空洞卷积与普通5×5卷积核的感受野相同。只不过在卷积元素之间添加了一个空洞，可以理解为此位置的特征值与0相乘。该空洞卷积对一个输入图像进行一次卷积操作，同样得到了与普通卷积后相同大小的结果。

图3 步长为1的3×3卷积核一次卷积过程

由于增加了空洞元素，空洞卷积利用较小的参数量实现较大的感受野，在神经网络的训练过程中可以减少参数量，减少训练时长，提升模型的训练效率。

2.1 盲信号的选取

当前对超短波盲信号的研究主要在盲信号的分离方法及准则的优化上。本文选则超短波盲信号分类识别是为了减少信号的先验信息，在不知道信号调制方式、符号速率参数的情况下,仅根据输入信号的特性,通过时频谱图实现盲信号的分类，可以增加网络的鲁棒性和应用价值。

本文首先对已采集到的宽带信号进行离线分析得到瀑布图，然后对信号进行短时傅立叶变换得到对应的时频谱图，由于盲信号的频谱样本的选取需要满足一定的视觉差异，同时需要满足细粒度图像[20]的要求。基于此本文选择以下四种盲信号作为分类数据集。

由图4可以看出，信号(a)的谱图呈双带宽形式，信号(b)的谱图具有突发的特点，信号(c)和信号(d)的谱图呈现包络差异明显的锯齿状。

图4 特定信号的谱图

四种盲信号的中心频率及带宽如表2所示。

表2 四种盲信号的频率参数 Hz

2.2 数据集的预处理

数据增强[21](data augmentation)技术通常用于深度学习中。在图像识别领域，在不改变图像标签的情况下，通过对图像进行不同的变换操作，达到扩充原来的数据集的目的。而且卷积神经网络具有尺度、平移不变性，成为图像数据增强的理论支撑。常见的数据增强方法有旋转、翻转、缩放等[22]。即这些变换经过卷积操作也不会改变图像的分类特征。

本文针对盲信号的特点，对输入的时频谱图进行平移变换、缩减和中心裁剪处理。读取图像时，首先把图像的短边分辨率裁剪为256。然后对图像进行中心切割，得到大小为分辨率为224*224的图像。再将形状为[H,W,C]的数据转换为[C,H,W]的张量后，然后对图像进行归一化处理，每类盲信号有2 000个时频谱图用来作为后续网络的输入。

图5 处理后训练batch的图像

3 迁移学习卷积网络模型

3.1 VGG16模型

VGG16卷积神经网络通过组合与堆叠多个3*3卷积核，可以提取输入邻域内更多细小的特征。通过构建和组合多个3*3卷积核：2个3*3卷积核可代替5*5卷积核，3个3*3卷积核可代替7*7卷积核。多个小尺寸卷积核的组合比单个大的卷积核具有更好的非线性，增加了网络的鲁棒性和判决力。

VGG16卷积神经网络通过卷积核对输入的图像进行卷积操作，最大池化进行图像降维，提取主要特征，全连接层进一步降低参数量并与分类器softmax配合达到分类的目的。并且利用小尺寸卷积核代替大尺寸的卷积核，可以大幅减少由于深度增加所带来的参数量。

3.2 损失函数的改进

损失函数(loss)用来表征实际值与预期值之间的偏移，损失函数越小代表模型的置信度越强。分类识别中常用softmax函数将多个神经元的输出进行标准化，通过归一化指数函数，可以使每一个元素的范围映射到0～1之间，大大减少因为输出结果不均匀引起的误差。若卷积神经网络的输出为xi，经过softmax处理后变为：

(7)

采用softmax函数在于此函数特性的优势，可以高效完成类间的信号识别，但是应用在盲信号的时频谱图识别问题上时，由于类内的间距还是比较大，识别任务会出现准确率降低的情况。因此为了缩小类内间的残差，引入了中心损失函数(center loss)。中心损失函数的意义是在完成分类任务时，对于每一类特征都维持在一个中心点，即该类所有样本的特征平均值，当输入层的数据过于偏离平均值就要剔除或者取舍，从而更接近类内的特性表征。并且如果只替换为center loss函数，效果并不是很好，无法有效类间的特性有效区分。

Center loss的定义：

(8)

令Centerloss=Lc。

Softmax loss的定义：

(9)

其中:cyi代表每类样本特征的平均值。将式(8)～(9)结合得到损失函数为：

L=LS+λLC=

(10)

而采用将以上两种损失函数相结合的办法，优势相结合能够有效完成盲信号的分类任务。将softmax loss与center loss相结合的方法增加损失函数的价值，从而提升分类任务的识别准确率。

3.3 Swish激活函数

在深度学习中输入与输出的关系复杂，用普通的线性函数无法表征学习到的特征，在学习的过程中会出现梯度消失的问题，因此激活层用来引入非线性因素从而提高整个模型的表征能力。

ReLU函数的定义为：

f(x)=max(0,x)

(11)

尽管ReLU仅在取值为正数时传输，具有单调、分散性等优点。但仍存在不足：当取值大于0时，输出可能会无限大，出现梯度爆炸的问题。

Swish[23]函数则解决了这一缺陷，并且它非饱和、且不是单调函数。适用于神经网络学习，且在多个数据集上使用Swish激活函数时，识别率均较高。

Swish的定义为:

(12)

将VGG13、VGG16和AleNet模型分别在手写数据集上进行学习。学习结果如表3，证明了Swich函数具有更大优势。因此，在针对超短波盲信的识别问题上，将原网络的激活函数替换为Swich函数。

表3 Swish与ReLU在不同的模型结构学习结果 %

4 深度学习结果及分析

4.1 VGG16优化模型的盲信号分类

本文模型的训练是在pycharm平台下，调用pytorch深度学习库来完成的。对VGG16原模型进行了如下调整：激活函数改为Swish激活函数，损失函数改为softmax loss与center loss结合的复合函数。优化后的模型用VGG16_U表示。采用前向传播算法，学习率为0.03，每类盲信号的时频图有2 000个，四类盲信号共有8 000个样本，训练的batch为64。分别将四种盲信号的时频谱图送入网络进行分类学习。图像在VGG16原模型与VGG16_U模型上的训练结果如图6所示。

图6 训练结果

由结果可以看出，当训练轮数达到10轮时，网络模型和准确率已经基本稳定。VGG16_U的识别准确率比原模型有明显提高，且VGG16_U最高识别率为93.1%，说明迁移学习后的卷积神经网络对盲信号分类识别的有效性。

4.2 引入空洞卷积的网络模型

为验证空洞卷积核对VGG16_U模型性能的影响，训练集选取的盲信号的时谱图保持不变，网络学习率调整为0.001，训练的epoch为10，对VGG16_U模型中的卷积层调整为步幅为2的3*3空洞卷积层。VGG16_U网络的第4层，第7层，第10层均为卷积层，分别将不同层数的卷积层替换进行了测试，得到八组训练结果。

表4 训练的参数配置

训练结果如图7所示，由图中的折线可知，引入空洞卷积会大大减小模型的训练时长，训练时长与空洞卷积核的位置无关而与空洞卷积核的数量呈正相关：卷积核的数量越多，模型的训练时间越短。同时，识别准确率与空洞卷积的位置和数量均有关，且引入空洞卷积，整体的识别率皆有所降低。

图7 引入空洞卷积后的模型对比

VGG16_U未引入空洞卷积时训练时间为58分33秒，识别准确率为93.1%。经过分析，当将VGG16_U的第4层和第10层的卷积核同时替换成空洞卷积时，此时的识别准确率为92.2%，虽比无空洞卷积时有所降低，但仍维持在较高的水平，且训练时长为38分35秒，训练时长减少了34.1%，大大降低了训练时长，证明了空洞卷积在模型识别上的有效性，提升对作战目标的内涵情报获取以及信息作战支援能力。

5 结束语

在电磁战场目标识别问题上，以往的仿真都是针对特定的目标信号，诸如信号类型、调制方式等，已有较多的先验信息。当先验信息不足时，信号特征缺失，难以满足对作战目标的内涵情报获取需要，因此，对盲信号的分类识别具有突出意义。

在人工智能领域，对于不同的目标任务通常需要重新构造网络，并采用新的源数据重新学习调整权重参数，任务工作量高且耗时较长。而迁移学习可以将原任务中所学到的知识运用到新任务中，对网络进行调整从而构造出鲁棒性更好的模型。不但降低了训练时长，基于以前的参数信息也可以完成更优化的识别任务。空洞卷积核具有增大输入层和输出层的特征映射特性，可以大大减少网络参数的数量。在保证较高的识别准确率的条件下，最大程度减少任务时长，在电磁环境日益复杂的战场中的高效率完成任务有重要的意义。下一步的工作可以继续增加超短波盲信号的种类、增大数据量。优化空洞卷积核与网络模型，进一步提高识别率并降低训练时长。