基于生成对抗网络的水下样本生成方法

冷继华, 李永胜, 吕林夏, 刘礼文

基于生成对抗网络的水下样本生成方法

冷继华, 李永胜, 吕林夏, 刘礼文

(中国船舶集团有限公司 第705研究所, 陕西 西安, 710077)

神经网络技术已成为水下高速航行器目标检测的应用趋势, 该技术需要大量的训练样本以保证训练结果的准确性。生成对抗网络(GAN)作为解决训练样本稀少问题的重要方法, 被广泛应用在各个领域。文中针对水下样本特点对经典GAN模型进行改进, 提出一种基于GAN的水下样本生成方法, 以达到扩增训练样本的目的。首先构建适用于水下样本的GAN模型, 然后以实航试验数据训练模型并优化参数, 最后用该模型进行样本生成仿真并验证生成结果的有效性。仿真结果表明, 生成样本与试验样本吻合较好, 可实现试验样本的数据增强。该方法将有助于解决水下数据样本稀少问题, 为进一步应用神经网络提高水下高速航行器目标检测的效率和准确率提供参考。

水下高速航行器; 生成对抗网络; 数据增强; 水下样本; 目标检测

0 引言

水下高速航行器作为海战中水面舰艇、潜艇进攻和防御的有效装备之一, 在军事领域具备极大的潜力。世界各国在提升水下高速航行器的作战性能以及加强海军防御能力等方面都投入了大量的精力[1]。其中, 水下目标检测能力是一项重要的性能指标。由于水声信道与海洋环境的复杂性, 水下高速航行器的探测设备接收到的回波会受到各种噪声污染[2]。目前, 在进行目标检测时, 一般先对回波进行信号处理, 然后与检测门限比较得出检测结果, 该方法受混响和噪声等干扰影响, 会存在一定误差。

神经网络由于具有良好的学习和预测性能, 已被广泛应用于对目标智能化检测与识别, 并有望提高其准确率和效率。文献[3]和[4]针对水下声呐探测回波, 利用卷积神经网络模型在水下目标识别领域进行了研究, 取得了较好的效果。文献[5]将深度学习引入声呐图像识别和检测, 试验结果精度达到了预期。然而, 神经网络训练模型阶段通常需要大量训练样本, 但水下高速航行器的试验样本稀少, 没有统一样本集, 这给神经网络的应用带来了困难。

对于小样本集, 由于训练样本过少, 神经网络模型无法得到充分训练, 容易过度拟合符合少量训练样本的特征, 将导致模型泛化能力差。而防止过拟合的方法之一就是扩增训练样本。2014年, Goodfellow等[6]首次提出生成对抗网络(generative adversarial nets, GAN), 其作为典型的生成模型[7-8], 为解决这一问题提供了新的框架。在缺少大量试验数据的领域, 如医学、航空和航天等, 研究人员做了相关研究[9-12], 达到了扩增样本数量的目的。

文中对经典GAN进行改进, 建立了适用于水下回波样本的生成模型, 仿真生成水下样本, 从而实现对试验样本数量的增强。

1 生成对抗网络

1.1 GAN原理

GAN通过对样本学习, 训练优化网络参数进而模拟样本分布的情况, 由此产生与样本相似的新样本。其网络结构如图1所示。

图1 GAN结构

1.2 经典GAN

经典GAN的生成模型和判别模型可通过全连接神经网络实现。生成模型是由输入层、隐藏层和输出层组成的3层神经网络, 输入是维随机噪声, 输出是维生成样本, 网络结构如图2所示。

图2 生成模型网络结构

判别模型是由输入层、隐藏层和输出层组成的3层神经网络, 输入是维训练样本或生成样本, 输出是判断当前样本为训练样本的概率, 网络结构如图3所示。

2 模型改进

2.1 改进的GAN模型

为了实现样本循序渐进的生成效果, 即先学习样本的大体脉络, 后面每一层在前面一层输出基础上对细节进行丰富, 逐层实现样本的生成。基于以上思想, 对生成模型进行构建, 改进的生成模型由5层全连接层构成, 其中输入层有100个神经元, 隐藏层有3层, 从第1层往后每一层神经元个数扩大为前一层4倍, 直到输出的维度为834, 与训练样本维度一致。结构如图4所示。

图3 判别模型网络结构

图4 改进的生成模型网络结构

改进的判别模型由5层全连接层构成, 其中输入层有834个神经元, 隐藏层有3层, 从第1层往后每一层神经元个数缩小为前一层1/4, 直到输出为一维的判别值, 结构如图5所示。

图5 改进的判别模型网络结构

2.2 激活函数选择

神经网络层数增加意味着学习能力更强, 但训练也越困难。这主要是因为在反向传播算法中残差会随着网络传播的深度递减, 使得底层网络因为残差过小而无法得到有效训练。残差的衰减与激活函数的选择密切相关[13]。

将Sigmoid、Tanh、ReLU及PReLU 4种激活函数分别应用到改进的GAN模型中。通过试验发现, PReLU激活函数对模型收敛最快且精度较高, 结果如表1所示。

表1 不同激活函数对比

因此, 生成模型和判别模型均选用PReLU激活函数, 以防止梯度消失, 并加快收敛速度, 提高训练精度, 计算公式为

为了提高训练精度并防止出现过拟合问题, 在网络中引入批标准化[14]。在生成网络和判别网络每一个全连接和激活函数之间均加入批标准化。

2.3 损失函数选择

选择经典GAN采用的交叉熵损失函数计算损失值。判别模型输入为训练样本、生成样本时损失函数分别为

因此, 判别模型的损失函数可简化为

生成模型损失函数为

2.4 训练过程

GAN的一般训练过程如下。

1) 固定生成模型, 将训练样本作为初始数据输入判别模型, 训练判别模型达到一定的判别准确度。

2) 固定判别模型, 将一组随机变量输入生成模型, 再将生成模型输出的生成样本输入判别模型进行判别。

上述过程是一个极小极大博弈[15], 可表示为

因此, 判别模型的训练目标为: 使输入的训练样本判别为训练样本、将输入的生成样本判别为生成样本的概率最大化, 即

生成模型的训练目标为: 使输入判别模型的生成样本判别为生成样本的概率最小化, 即

一般分为如下2个步骤:

固定判别模型, 将一组一维随机变量输入生成模型, 计算梯度公式为

3 试验与结果分析

3.1 仿真试验

以实航试验中水下高速航行器主动探测系统接收的点、线两类水下目标回波的波束输出信号为基础, 对其进行信号处理之后作为训练样本输入。

首先对采集的波束信号进行截取, 重点分析目标回波中能量聚集区的数据。整个流程主要包括信号解调、降采样以及截取3个部分。之后对其进行副本相关处理, 得到每个训练样本数据长度为834个点。点目标的相关输出只有一个峰值, 线目标的相关输出有数个连续的相关峰值。数据处理之后, 可以大幅提高信噪比, 有效降低模型训练难度, 提高模型训练效率和性能。

图6 训练与生成点目标样本对比

图7 训练与生成线目标样本对比

3.2 试验结果分析与对比

采用核密度估计(kernel density estimation)方法对训练样本与生成样本的概率分布进行统计比较, 结果如图9~图11所示。由图中对比可以得出, 生成样本与训练样本数据分布相似度较高, 生成模型通过学习生成的样本与训练样本概率分布吻合较好。

为进一步检验改进后的GAN模型生成样本的有效性, 将改进的算法与随机采样、Bootstrap和SMOTE 3种经典的数据生成算法对比。

图8 训练与生成无目标样本对比

图9 点目标概率分布

图10 线目标概率分布

误差函数为

式中:为第i个样本的实际标签; 为第i个样本的判别标签。

分别采用4种算法进行试验, 得出随机采样、Bootstrap、SMOTE和改进GAN算法的计算精度分别达到 73%、82%、84%和90%, 可以看出改进GAN算法精度明显高于其他3种, 说明其所生成的回波样本质量更高, 特征显示效果更好。

4 结束语

人工智能技术是当前研究的热点领域, 在很多研究中已经取得了相对于传统方法的突破性进展。针对水下样本特点对经典GAN模型进行改进, 提出一种基于GAN的水下样本生成方法, 生成了水下回波样本。仿真结果表明, 生成样本与训练样本吻合度较好, 该方法将有助于扩增试验样本, 解决试验样本数量稀少的问题。

下一步工作将以扩增后的试验样本作为训练样本, 训练水下高速航行器的神经网络检测模型, 验证数据扩增后是否可以更好地训练检测模型, 从而提高检测率同时验证生成样本的有效性。

[1] 李志舜. 鱼雷自导信号与信息处理[M]. 西安: 西北工业大学出版社, 2004.

[2] 周德善. 鱼雷自导技术[M]. 北京: 国防工业出版社, 2009.

[3] 宋达. 基于深度学习的水下目标识别方法研究[D]. 成都: 电子科技大学, 2018.

[4] 赵增科. 基于深度学习的水下目标识别[D]. 哈尔滨: 哈尔滨工程大学, 2017.

[5] 凡志邈, 李海林, 夏伟杰, 等. 基于深度学习的成像声呐水下目标的检测与分类[C]//中国声学学会水声学分会2019年学术会议论文集. 南京: 中国声学学会水声学分会, 2019.

[6] Goodfellow I J, Pougetabadie J, Mirza M, et al. Generative Adversarial Nets[J]. Neural Information Processing Systems, 2014, 3: 2672-2680．

[7] Schmidhuber J. Deep Learning in Neural Networks: An Overview[J]. Neural Networks, 2015, 61: 85-117．

[8] Bengio Y, Laufer E, Alain G, et al. Deep Generative Stochastic Networks Trainable by Backprop[J]. International Conference on Machine Learning, 2014, 32(2): 226-234．

[9] 张凯, 陈亚军, 张俊. 生成对抗网络在医学小样本数据中的应用[J]. 内江师范学院学报, 2020, 35(4): 57-60.Zhang Kai, Chen Ya-jun, Zhang Jun. Applications of Generative Adversarial Nets in Medical Small Sample Data[J]. Journal of Neijiang Normal University, 2020, 35(4): 57-60.

[10] 徐希岩. 基于深度学习的小样本图像分类研究[D]. 哈尔滨: 东北林业大学, 2018.

[11] 李秋玮. 基于条件生成对抗网络和超限学习机的小样本数据处理方法研究[D]. 镇江: 江苏大学, 2019.

[12] 高强, 姜忠昊. 基于GAN等效模型的小样本库扩增研究[J]. 电测与仪表, 2019, 56(6): 76-81.Gao Qiang, Jiang Zhong-hao. Amplification of Small Sample Library Based on GAN Equivalent Model[J]. Electrical Measurement & Instrumentation, 2019, 56(6): 76-81.

[13] 田娟, 李英祥, 李彤岩. 激活函数在卷积神经网络中的对比研究[J]. 计算机系统应用, 2018, 27(7): 45-51.Tian Juan, Li Ying-xiang, Li Tong-yan. Contrastive Study of Activation Function in Convolutional Neural Network[J]. Computer Systems & Applications, 2018, 27(7): 45-51.

[14] Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[EB/OL]. arXiv, (2015-03-02)[2020-05-17]. https:// arxiv.org/abs/1502.03167.

[15] 王坤峰, 苟超, 段艳杰, 等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报, 2017, 43(3): 321-332.Wang Kun-feng, Gou Chao, Duan Yan-jie, et al. Generative Adversarial Networks: The State of the Art and Beyond[J]. Acta Automatica Sinica, 2017, 43(3): 321-332.

[16] Kingma D P, Ba J. Adam: A Method for Stochastic Optimization[EB/OL]. arXiv, (2014-12-22)[2020-05-27].https://arxiv.org/abs/1412.6980.

Generation Method of Underwater Samples Based on a Generative Adversarial Network

LENG Ji-hua, LI Yong-sheng, LÜ Lin-xia, LIU Li-wen

(The 705 Research Institute, China State Shipbuilding Corporation Limited, Xi’an 710077, China)

Neural network technology has become an application trend in the area of target detection of undersea high-speed vehicles, but the technology requires numerous training samples to ensure the accuracy of training results.As an important method used to solve the problem of sparse training samples, generative adversarial networks (GANs) are widely used in various fields. This study improves the classic GAN model based on the characteristics of underwater samples and proposes a generation method for underwater samples based on GAN for the purpose of augmenting training samples. First, a GAN model suitable for underwater samples is constructed, and the actual sea trial data are used to train the model and optimize the parameters. Finally, the model is used to simulate the generation of samples and verify the effectiveness of the results. Simulation results show that the generated and test samples are in good agreement and that data augmentation of the test samples can be realized. This method helps solve the problem of sparse underwater data samples and provides a reference for further application of neural networks to improve the efficiency and accuracy of undersea high-speed vehicle target detection.

undersea high-speed vehicle; generative adversarial network(GAN); data augmentation; underwater samples; target detection

TJ630.1; TP183

A

2096-3920(2021)01-0074-06

10.11993/j.issn.2096-3920.2021.01.011

冷继华, 李永胜, 吕林夏, 等. 基于生成对抗网络的水下样本生成方法[J]. 水下无人系统学报, 2021, 29(1): 74-79.

2020-06-30;

2020-10-12.

冷继华(1993-), 男, 在读硕士, 主要研究方向为声自导系统总体技术.

(责任编辑: 许 妍)