基于生成对抗网络的舰船辐射噪声分类方法研究

李 理 李向欣 殷敬伟

(哈尔滨工程大学水声技术重点实验室 哈尔滨 150001)

(哈尔滨工程大学海洋信息获取与安全工信部重点实验室 哈尔滨 150001)

(哈尔滨工程大学水声工程学院 哈尔滨 150001)

1 引言

在水声信号处理领域中，舰船目标识别是一项重要的研究内容。过去几十年，舰船目标识别很大程度上依赖于受专业训练的声呐操作员来实现，这个过程与人心理和情绪等状态有关，对识别结果有很大影响。随着机器学习的发展，越来越多的算法被应用于目标识别领域，文献[1]指出使用机器学习算法进行目标识别往往需要大量数据作为支撑。由于水声领域的特殊性，目标数据的获取往往代价昂贵，导致实际获取的样本较为稀少，从而使得目标识别算法效果不佳，因此需要进行数据增强，以提高算法的泛化能力。

近年来，深度神经网络迅速发展，已经对许多领域产生了重要影响，如计算机视觉、机器翻译等领域。该方法通过对大量原始数据进行训练，能够实现对上百万参数的模型进行优化，最终得到高性能模型。但是，随着计算能力和相应的加速算法的快速发展，训练样本逐渐成为分类和识别的瓶颈。传统的数据增强方法包括对原始数据进行几何变换、频率域变换、添加噪声等，以及基于少量样本进行合成的SMOTE(Synthetic Minority Oversampling TEchnique)算法[2]。该算法通过对附近的几个样本进行合并来生成新的样本，从而缓解数据不平衡带来的影响，其本质是使用插值法来生成新样本，数据的多样性并未得到提升，难以提高算法的泛化性能。近年来使用较多的还有谷歌公司提出的AutoAugment算法[3]，用增强学习从数据本身寻找最佳的图像变换策略。

生成对抗网络(Generative Adversarial Network,GAN)自2014年Goodfellow等人[4]提出后迅猛发展，其基本思想是通过对抗学习的方法来学习真实数据的概率分布，在此基础上进行随机采样得到的生成数据与原始数据有着十分接近的分布，与此同时还能够保持生成数据的多样性，这一优良特性对于数据增强十分重要。GAN自提出后迅速发展，已经有上百种变体。近年来许多研究者将生成技术应用于信号的生成中，Gao等人[5]使用DCGAN和Dense-Net构建了数据增强和性能评估框架，以生成高质量特征图，Liu等人[6]提出一种联合色谱和条件生成对抗网络的水声测距方法，该方法对声源测距有一定的改进，Yang等人[7]使用CGAN来生成多尺度水下图像，使得生成结果更先进真实和自然，实验证明该方法优于目前最先进的水下图像增强方法。

本文提出了一种基于深度卷积生成对抗网络(Deep Convolutional Generative Adversarial Network, DCGAN)的舰船辐射噪声数据增强算法。首先对舰船辐射噪声数据进行特征提取，获得了能够反映舰船物理特性的DEMON调制谱，然后搭建基于条件生成的DCGAN来对舰船辐射噪声数据进行对抗生成，并分析了其在样本不平衡条件下以及小容量条件下对于偏置类别以及总体分类结果的影响。

2 舰船辐射噪声特征提取

研究表明，舰船辐射噪声由机械噪声、螺旋桨噪声和水动力噪声3部分组成，其中水动力噪声在时间上是平稳的，表现为连续谱。而空调机、通风机和泵等机械部件运行时产生的机械噪声都表现为线谱。周期性的机械运动和齿轮的运转是船舶辐射噪声的主要来源。

通常对舰船辐射噪声提取特征的方法包括文献[8]中对信号进行短时傅里叶变换(Short-Time Fourier Transform, STFT)得到的LOFAR谱、文献[9]中使用到的离散小波变换(Discrete Wavelet Transformation, DWT)以及文献[10]中对信号进行宽带解调得到其调制包络的DEMON谱分析法。由于DEMON谱具有明确的物理意义，可以获得舰船螺旋桨转速和桨叶数等舰船物理特性，对于目标识别有十分重要的意义，韩雪等人[11]提出了节拍响度变化量特征，分析了舰船辐射噪声在不同调制方式下的识别准确率，陈雪峰等人[12]利用DEMON谱处理技术提取了目标轴频特征和桨叶数特征并使用海上实测数据进行了实验验证。

由于舰船的离散线谱分量相比于海洋的环境噪声来说较小，被其盖过的可能性较大，而通过对较高频的信号进行包络解调，可以获取到舰船噪声的调制谱，从而可以得到关于桨叶转速等许多信息。DEMON谱提取方法流程如图1所示。

图1 DEMON谱解调方法

比较常用的两种检波方法分别为绝对值解调和平方解调。在绝对值解调方法中，首先是将信号通过带通滤波器滤除低频段的海洋环境噪声，然后对得到的输出信号计算其绝对值以提取包络，再将信号通过低通滤波器，最后得到包络时域信号再执行FFT运算，即可提取出DEMON谱。

3 模型设计

3.1 生成对抗网络

GAN能够不依赖先验假设来对学习数据的高维分布，这一强大能力具有比以往生成模型更加强大的表征能力，文献[13]中指出GAN及其变体已在图像、音频等领域取得了十分显著的成果，GAN一般包含生成器、判别器两个主要模块，如图2所示。

图2 GAN基本结构

GAN最初的想法来源于博弈论中两个人进行零和博弈，其中生成器(G)和判别器(D)被视为在博弈中的两个进行对抗的玩家。在GAN模型的训练过程中的生成器和判别器会分别对自己的参数进行更新以使得相应的损失函数达到最小，经过多次的迭代优化，最后模型达到纳什均衡的状态，此时得到的GAN模型即为最优模型。GAN目标函数定义为

其中，G表示生成器，D表示判别器，x表示真实样本，z表示随机噪声。

最初的GAN训练非常不稳定，存在许多问题，其中模式崩溃和梯度消失的问题严重限制了生成模型的训练稳定性。之后研究人员对原始GAN提出了许多改进，文献[14]提出了基于条件生成的CGAN(Conditional Generative Adversarial Network)，以及加入了卷积运算的DCGAN(Deep Conditional Generative Adversarial Network)等多种变体。

DCGAN对GAN的发展有着巨大的推动作用，其将卷积算法引入到GAN中，使生成数据的质量有了质的提高，自提出后得到许多领域的广泛应用。在文献中作者提出了一系列措施来提高训练的稳定性，在实际使用中通常能够有较为稳定和有效的表现，因此本文将构建基于条件生成的DCGAN对舰船辐射噪声进行数据增强。

3.2 基于条件DCGAN的舰船噪声分类模型设计

本文设计了基于条件DCGAN的数据增强及分类评估模型，模型整体分为3部分，分别为特征提取部分，用于条件生成数据的DCGAN训练网络以及将生成对抗网络中判别器的末级输出由原来的全连接层改为有利于小样本分类的集成分类器，下面将对数据增强和分类评估两部分结构进行详细说明。模型整体结构如图3所示。

图3 模型整体框架

生成网络部分输入为128维的随机向量和2个维度的标签编码的拼接，用以控制生成样本的类别，后面是两个连续的卷积层，卷积核数目均为16，宽度为3，输出特征图再经过两个全连接层将特征尺寸降维到150维作为输出的生成样本。判别器有两个输入，分别为生成样本以及来自真实样本提取的谱特征，两者尺寸相同，然后经过1个卷积层和2个全连接层实现样本特征的2次提取进而完成后面的域判别及类别输出，通常在DCGAN的训练过程中判别网络除了能够输出训练数据的判别域，还能够通过1个全连接层(Full Connection, FC)直接输出分类的结果，而由于水声领域的样本量较少，神经网络分类器在数据量较少时往往结果不佳，本文将传统生成对抗网络的用于分类的判别器末级改为有利于小样本分类的集成分类器，以提高分类器的泛化性能。

DCGAN的对抗训练实质上是一个交替进行的过程。当对生成网络进行训练时，固定判别器D的网络参数，更新生成网络G的参数。生成器的目标就是希望通过G生成的数据被判别器D识别为真实数据，故其目标函数为最大化 ，即

生成器G的能力往往会受到判别器D的影响，所以一般在训练过程中，每训练生成网络3次，训练判别网络1次。如此，可以使生成器训练足够多的次数，不断更新损失值，从而更快地将损失函数降低到合理值，生成器和判别器的交替训练结构如图4所示。

图4 DCGAN训练过程

判别器末级的分类器使用文献[15]提出的基于Stacking结构的集成分类器，近年来，集成算法在各种数据科学竞赛中大放异彩，将多种学习算法通过一定方式组合到一起来获得更好的模型表现，往往比单一模型能够取得更好的效果。Stacking是一种异构集成算法，文献[16]中提出可以将不同分类器进行Stacking集成，从而使分类结果融合多个分类器的优点。本文构建了使用K近邻(KNN)、随机森林(RF)、支持向量机(SVM)作为基分类器的集成分类器对数据进行综合评估，分类器结构如图5所示。

图5 分类器结构

在对数据进行分类评估时，分为Stage1和Stage2两个阶段，第1阶段将训练数据分别经过3个基分类器进行训练，然后将输出结果以及标签作为Stage2的输入，在Stage2中为了避免过拟合通常采用弱分类器，这里使用Logistic作为元模型，从而获得更具代表性的分类结果。

4 实验结果及分析

本文使用的舰船噪声数据来自西班牙维戈大学的Santos-Dominguez等人[17]于2016年发表在Applied Acoustics期刊采集的Shipsear数据集。该团队在大西洋的沿岸并且位于西北部的多个地区采集了过往的许多船只的噪声数据。该团队使用自容式水听器来对过往船只的噪声信号进行采集，采集频率为52734 Hz。水听器的布放如图6所示。

图6 水听器布放图

其中，H1, H2, H3为水听器布放深度，由于ShipsEar数据集中一些船只噪声样本的数量有限，因此将其剔除。本文选取了其中时常达到5 min以上的船只作为实验数据，并制作数据集。

实验选取了其中4种不同的客船作为目标。由于水听器在位于H2处位置时采集的信号较好，因此本实验均选取位置为H2处采集的音频数据，根据vesselfinder网站提供的数据，4种船只的长宽分别为16/6, 27/10, 19/6, 24/8 m，本文将对4种船只提取能够反映舰船物理特性的DEMON谱进行数据增强及分类实验。实验选取的船只如图7所示。

图7 舰船目标类型

舰船噪声信号采样频率为52734 Hz，为了尽可能保留其频率分辨率，这里选取每0.5 s时长为1个样本，对应频率分辨率为2 Hz，每段信号点数为15820。最终得到每类样本数240个，样本总数为960个。将数据集混合并随即打乱顺序，选取720个样本作为训练集，其余240个样本作为测试集。

4.1 信号预处理

声信号在水下传播过程中，相对于低频成分，高频成分会衰减得更快，一般对于目标来说低频分量要明显高于高频分量，使得采集得到的信号在高频处相比于低频处会有一定的缺失。为了使信号尽可能包含更多信息，一般要对信号进行预加重，避免信号中低频分量过大从而抑制了高频分量。一般使用FIR滤波器对采集的信号进行预加重。这里FIR滤波器使用的传输函数为

其中，a为 预加重系数，一般取0.9～1.0，在实验中取0.97。

由于不同信号所处的接收距离跨度较大，在模型进行反向传播计算时会影响梯度值，不利于模型的收敛，故对数据进行归一化操作将其范围控制在[0,1]。

4.2 DEMON谱特征提取及数据生成

对本文选取的4种舰船辐射噪声样本进行DEMON提取，其中带通滤波器的通频带为1～4 kHz，低通滤波器的通频带为0～200 Hz，得到4种舰船的DEMON谱图如图8所示。

图8可以看出4种船只均包含有低频的包络调制线谱，基本都分布在200 Hz以下，并且其调制谱的组成都不相同，便于后续的数据增强以及分类识别。

图8 DEMON谱提取结果

经过上文提取的DEMON谱为150维，在输入到网络之前先进行归一化操作，之后将数据按照小批次输入到网络中，每个批次的数据个数为10。生成网络输入设置为维度100的随机向量，经过卷积和上采样逐渐向原始数据的尺度进行变换；经过实验发现判别器网络结构不能过于复杂，否则由于判别器分类能力远远强于生成器会造成网络难以收敛，因此判别器网络相比生成网络在结构上要进行一定的轻量化，网络的优化器均使用学习率为0.001的Adam优化器。

经过生成器和判别器的20000次对抗训练后，将模型进行保存并进行样本生成， 4种舰船原始信号的DEMON谱、生成器生成样本的对比如图9所示。

图9 原始数据与生成数据对比

从图9得出由生成对抗网络训练生成的DEMON谱相比原始的DEMON谱，对噪声有明显的抑制作用，信号的峰值相比噪声更加突出。下面使用文献[18]中的t-SNE算法将4类生成数据压缩至3维空间，以了解4种船只DEMON谱特征在特征空间分布的差异性，得到结果如图10所示。

由图10可以看出在对数据压缩至3维空间后4种样本都具有自己的聚类中心，彼此的重合度较小。为了验证改进条件DCGAN生成样本与原始样本的分布相似度，使用同样方法将生成样本和原始样本的所有特征降至3维，并分别以50%的比例进行混合，然后执行t-SNE算法，得到可视化结果如图11所示。

图10 生成的4种样本特征空间分布对比

图11中原始数据与生成数据在压缩后的3维空间中聚类存在显著的重合区域，说明文本的条件DCGAN很好地学习了原始数据的特征，而由生成器生成的不同类别样本间也存在着明显的区分度，潜在说明在原始样本间掺入人工生成的样本有利于提升分类模型的表现。

图11 4类舰船数据真实样本与生成样本分布对比

4.3 生成数据在样本不均衡下的应用

为了验证在样本数量不均衡状态下生成数据的数据增强作用，本文设计了4组对照实验，第1组实验构建了样本不平衡的样本集，其中前3类样本数分别为120个，第4类样本仅设置40个来模拟样本不均衡的情况，分类结果如表1所示；第2组实验在第1组实验的基础上，对第4类样本使用生成对抗网络进行数据增强，使各个类别样本数一致，直接采用判别器加全连接层来进行分类，得到结果如表2所示；第3组实验使用经典的SMOTE算法对第4类样本进行扩充，使每类样本数一致，利用上面构建的Stacking集成分类器得到的分类结果如表3所示；第4组实验对于前3类样本依旧保持120个样本数不变，但第4类样本由40个真实样本和80个由改进后的条件DCGAN生成的样本组成，从而使第4类样本的数据与其他3类相同，此外训练样本与测试样本完全独立，用于测试的样本均为原始样本，不包含生成样本及训练样本。

表1 样本不均衡下分类结果(第4类样本不足)

表2 使用常规DCGAN网络分类结果

表3 使用SMOTE算法扩充样本+Stacking分类结果

本文使用查准率(precision, pr)、查全率(recall,re)以及F1分数作为分类评价指标，公式为其中，查准率被预测为正类的实例中有多少为真正的正例，而查全率表示样本中的正例有多少被预测为正例，其中TP表示预测为真，实际也为真；TN表示预测为假，实际也为假；FP表示预测为真，而实际为假；FN表示预测为假而实际为真。

在本次实验中设置KNN的近邻数量为5；对于随机森林使用基尼指数作为分类决策标准，随机森林中决策树的数量固定为10；对于支持向量机，经过实验证明使用高斯径向基(RBF)核函数的分类效果要好于其他核函数，故本实验的支持向量机使用的均为RBF核函数，gamma值设置为0.1。基于Stacking结构的集成分类器将上述3种分类器的输出进行组合，使用logistics回归作为最顶层输出，从而得到更加具有代表性的结果，分类器训练测试结果如下。

通过表1和表2-表4的对比，在样本不均衡时，即第4类的样本数量远小于其他几类时，总体的分类准确率有明显下降，并且对于数量较少的类别F1分数会大幅下降，说明在样本量较少时难以形成独立的聚类空间，导致分类的表现不佳。在使用生成对抗网络进行数据增强后(表2)，第4类的样本的F1分数提高了0.25，有效提高了不均衡样本的分类准确率。但同时也应该注意到，C2的查全出现了显著的下滑而查准并没有显著变化，说明C4数据量扩充导致归类为C2的样本大幅减少(同时包括FP样本和FN样本)，而C3的查准相比于表1略微降低，也说明由于C4数据量的增加干扰了分类器对于C3的判断，说明在当前数据量下，只使用全连层作为分类器的性能存在瓶颈。与表4的结果比较更说明了这一点，通过比较可以看出，在数据增强算法相同的情况下，相比于使用全连层输出分类结果，使用了条件DCGAN网络连接stacking分类器进行分类不仅使得C4的分类精度大幅提升，同时也促进了C2和C3的F1分数的提升，因此最终取得了整体分类性能最优的结果。表3中第3组实验使用经典的基于人工合成样本的SMOTE算法对不平衡样本进行扩充后有效提高了该类别的各项识别分数，由表3和表4的对比，第4组实验使用生成对抗网络对第4类样本进行扩充后与实验3中使用的SMOTE算法相比，4类样本的F1分数均有进一步提升，并且查全率和查准率更加均衡。表5将4组实验的平均分类精度进行了对比，说明了基于本文的改进条件DCGAN来对样本扩充在一定程度上可以改善样本不均衡情况下的分类效果，并且综合效果要优于传统的SMOTE算法进行数据增强以及使用常规DCGAN进行分类识别。

表4 使用改进的条件DCGAN分类结果

表5 分类结果总体对比

4.4 样本容量较小时的数据增强

为了衡量生成对抗网络在小样本容量下对于数据增强的效果，本节设置了3组实验，其中第1组4类样本数量均为75个，第2组在第1组的数据的基础上使用SMOTE算法对每个类别生成75个样本并加入到训练样本中，第3组使用生成对抗网络对每个类别数据进行扩充，训练样本总数为400个。分类器依旧使用Stacking模型来对KNN, RF, SVM的分类结果进行组合，经过对分类器进行网格搜索得到分类器的最优参数，第1组实验分类结果如表6所示。

表6 原始小样本数据集分类结果

从表中4种分类器结果的对比可知F1分数最高的分类器为SVM，其余两种基分类器的效果较为一般，查准率和查全率指标此消彼长，而集成后的Stacking分类器融合了多个模型的优点，查全率和查准率较为均衡，使用集成后的Stacking分类器对4类样本进行分类得到混淆矩阵并按行进行归一化得到结果如图12所示。

从图12可以看出在样本容量较小时，对应类别4种样本的分类结果有较大差异。原因可能是在小样本容量下，某些类别的聚类中心与其他类较为接近，从而造成分类效果不佳，使用SMOTE方法对训练样本进行扩充后得到4种分类器的分类结果如表7所示。

表7 使用SMOTE对数据扩充后分类结果

得到混淆矩阵如图13所示。

通过图12与图13对比，使用SMOTE方法对原始数据进行扩充后，有效提高了第1类、第3类以及第4类样本的分类准确率，但第2类样本的准确率反而下降了13%，说明基于原始样本进行数据合成无法有效丰富特征空间，导致分类器在训练数据上过拟合，而在测试集上有可能出现表现不佳的情况。表8是使用本文构建的条件卷积生成对抗网络生成的样本对数据集进行扩充后的分类结果。

图12 小样本下分类混淆矩阵

图13 使用SMOTE对数据扩充后混淆矩阵

从表8实验结果看出在使用改进DCGAN对小样本数据集进行扩充后，4种分类器的分类效果均有明显提高，并且查准和查全指标均为均衡，从而得到较高的F1分数。其中使用Stacking模型对4类样本进行分类得到的混淆矩阵如图14所示。

表8 使用改进条件DCGAN对数据扩充后分类结果

由图14可知，第3组实验在使用生成数据对第1组实验数据进行扩充后，对应每种类别的查准结果均有一定提升，对于第1、第3和第4类样本的提升尤为明显，并且相比于图13中SMOTE算法的分类结果，本文提出的条件DCGAN生成样本在分类中的效果更加稳定。以上实验说明生成对抗网络对于小样本容量的数据集能够有效对进行数据增强，从而提高水声目标识别精度。

图14 使用改进条件DCGAN扩充数据后混淆矩阵

5 结束语

针对水声领域数据量较少且难以获取的问题，本文提出了一种基于改进条件卷积生成对抗网络进行数据增强的方法，通过对抗训练来学习原始数据的分布，生成与真实数据在特征空间分布相近的数据。为综合评价生成数据的质量，本文评估了该方法在样本不均衡条件下以及对于小样本容量下的数据增强效果，实验证明了本文提出的改进的条件DCGAN在样本量较小时能够有效提高分类器的表现，并丰富了数据的多样性，综合效果要优于传统的SMOTE算法以及原始生成对抗网络，为生成对抗网络在水声领域的数据增强提供了一定的参考。