基于深度残差网络的水下通信调制信号分类

王 岩，吕婷婷，杨 华，张 浩

（1. 中国海洋大学 电子工程系，山东 青岛 266100；2. 泰山学院 物理与电子工程学院，山东 泰安 271021）

0 引言

自动调制分类（Automatic modulation classification，AMC）是非合作通信系统的关键技术，在民用和军用领域都有许多应用场景。在民用领域，它用于软件无线电和智能无线电系统[1-2]。在军事领域，正确识别调制方案是截获和干扰敌方通信的前提。近年来，用于无线通信的自动识别系统受到了越来越多的关注，AMC在水声通信系统的应用研究还比较少。由于水下无线通信对高频电磁波的吸收特性，而陆地中使用的无线电磁波不能在水下长距离传输[2]。水下信道特性主要反映在窄频带、长延迟和多径效应中。这些水下通信环境特性与地面无线通信环境显著不同，使得水下通信的AMC过程变得极为困难[3]。

通常为了提高通信系统的通信效率，比较常用的方法是采用高阶调制方式，但是高阶调制方法通常导致难以正确识别接收端的调制模式。特别是在通信环境极差的水下无线通信过程中，这种情况将更严重。传统的机器学习方法主要包括决策树（DT），随机森林（RF），K-最近邻（KNN）和支持向量机（SVM）[4]。这些方法在进行调制识别时都需要进行适当的数据集的特征提取。在识别各种数据集方面更优势的深度学习方法在许多领域已经获得了超过其他机器学习方法的压倒性的优势[5]。在地面无线通信调制识别任务中使用的深度学习方法主要是采用通用卷积神经网络（CNN）方法[6]，这种方法也广泛用于 MNIST（Mixed National Institute of Standards and Technology database）手写数据集，但这种方法并没有广泛用于水下通信信号的识别过程中。

典型的AMC过程有2个步骤：信号预处理和结果信号分类。信号预处理主要包括信号参数估计和噪声去除。有2种主要的调制分类算法：基于似然准则的[7-10]和基于特征提取的基于特征的[11-13]。LB方法是最佳的，它降低了错误分类的概率。然而，在实际应用中存在着非常巨大的计算复杂性；同时，它们通常需要缓冲大量的数据来找到决策阈值，并且需要大量的计算时间。这些方法在存在未知信道条件和其他接收机干扰（如多普勒频移）时也不稳定。FB方法中人工选择专家特征是次优的，这可能会丢失信号的深层特征。这些方法需要合适的决策阈值，但很难确定，因此，很难对频移、多径变化、时间衰落和不同的信号长度具有鲁棒性。此外，这2种算法的计算成本都很高，不容易在实际通信系统中部署。作为一种机器学习方式，深度学习方法在众多机器学习方法中脱颖而出，并且在大数据的支持下显示出显著的分类效果。深度学习方法通常有2个步骤：训练阶段和验证阶段。在训练阶段，通过输入大量数据来训练深层网络，这需要大量时间，并且复杂且计算密集；在验证阶段，输入数据实例来验证训练好的网络的识别效果，该阶段只消耗有限的计算资源在几毫秒内完成。在实际的通信系统部署中，使用经过训练的网络，这相当于验证阶段。DLM 具有较低的计算复杂度和实时处理速度。随着各种深度学习方法在各个领域取得显著成果，出现了各种结构形式，如LeNet[14]，这种方法在手写识别方面取得了良好的效果，以及由LeNet演化出来的各种结构形式，在图像识别领域精度不断提高突破，这些结构包括AlexNet[15]，ZFNet[16]，VGGNet[17]，InceptionNet[18]等。当深度学习网络的层次越来越深时，由于数据集的分布概率特征过多被深度网络学习到，很容易导致训练出的模型发生过度拟合数据集的现象。也就是说，训练集上训练的模型难以对验证数据集具有良好的分类效果，这也称为模型泛化能力差。这时，无论是增加网络层数，还是调整每层神经元的数量，以及修改深度学习网络的各种超参数都无法改善这一过度拟合现象。

从目前已知的经验角度来看，网络的深度对于模型的性能至关重要。当网络层数增加时，网络可以提取更复杂的特征模式，因此当模型更深时，理论上可以获得更好的结果。深度学习网络性能下降的主要原因是在学习数据集分布概率时发生梯度消失和爆炸的问题[19]，这种情况导致了更深层次的深度学习网络，在没有性能改进的情况下变得更难训练。深度网络的退化现象至少表明当深度网络能够学习更多数据集特征分布的同时深度网络变得更加不容易训练。考虑到当网络较浅时，我们通常希望通过堆叠新层的方式来构建深层网络。在极端情况下，这些新添加的网络层并不会学习数据集任何新特征，而仅仅只是复制浅层网络的特征，即新层相当于是一种身份映射。在这种情况下考虑，深层网络应该至少与浅层网络的防止过拟合的能力一样好，而不应该发生退化现象。另一种观点是认为当前的训练方法存在问题，从而使得深度网络难以找到好的参数来拟合数据集的概率分布。在此假设分析的基础之上，提出了采用残差网络学习数据集分布概率的方法来解决模型训练过程中容易出现的退化问题[20]。

1 信号形式

海底水声信道受时间延迟、多径、多普勒和加性高斯白噪声的影响。信道模型如图1所示，接收信号可表示为

图1 海底信道模型Fig. 1 Model of underwater channel

式中：s（t）是发射信号；n（t）是加性白噪声；h（t，η）表示多径信道；dm（t）是第m个多径信号的衰减；⊗表示信号卷积；ηm（t）是第m个多径延迟；M是多径信号的数量，且所有路径都具有相似多普勒缩放因子σ；ηm(t) =ηm-σt发射信号可以是数字信号（例如正交振幅调制QAM (Quadrature Amplitude Modulation)）或模拟信号（例如频移键控FSK（Frequency-Shift keying））。

2 网络结构形式

通过对深度学习网络的实验[17-18]，可以发现随着深度学习网络层数的不断提高，模型的准确性不断提高。当网络级别增加到一定数量时，训练准确性和测试准确性迅速降低。这表明当网络变深时，深层网络变得更难训练。

神经网络的反向传播原理[21]，首先通过前向传播计算结果输出，然后将其与样本目标进行比较以获得误差值

根据误差结果，使用链规则来获得偏导数，并且反向传播结果误差以获得权重w调整的梯度。图2显示了输出到隐藏层的反向传播（从隐藏层到输入层的反向传播过程类似）。

根据链规则获得的隐藏层的反向传播过程为

式中：outputO1代表输出层的第一个单位；HiddenO1代表隐藏层的第一个单元。通过连续迭代，连续调整参数矩阵，使输出结果的误差值更小，输出结果更接近事实。从上述过程可以看出，神经网络在反向传播期间连续传播梯度。当网络层的数量加深时，梯度将在传播过程中逐渐消失，层越多，衰减越多，这使得无法有效地调整先前网络层的权重。此时，有必要在加深网络层数量后解决梯度消失的问题，并提高模型的准确性。

图2 隐藏层的反向传播过程Fig. 2 Back propagation process of hidden layer

2.1 深度残差网络的结构形式

为了改进深度神经网络学习过程中梯度消失的问题，人们引入了深度残差网络，通常是采用一种结构设计上简化的方法，但只是通过简单地深化网络的结构形式来提高分类精度。在图像域中使用的残差网络结构中，几乎所有卷积层都使用的3×3的卷积内核。并且没有在隐藏层中设计任何完全连接的层。在训练过程中也不考虑使用任何Dropout机制来防止过拟合。由上述设想的结构元素组成的典型残差网络结构单元如图3所示。

图3 残差网络结构单元Fig. 3 Structural unit of residual network

图3中使用短路连接层，引入了非常平滑的正向传输过程。αi+1与其前一层αi之间的关系是纯线性叠加关系，如等式所示αi+1=αi+G(αi)。如果进一步导出αi+1及其后续图层的输出，将找到扩展表达式，如下所示

αI向量的任何后续层的内容将具有一部分，其由前面的层αi线性贡献，如图4所示。

上述公式中的αI层输出的函数表达式表明反向残差转移也是一个非常平稳的过程。对应于上述公式中残差的定义，其中相应的残差表示为

这里αla表示在给定当前样本和标签的情况下对应于αI层的理想矢量值。然后使用反向传播过程，这里的链式规则可以直接找到相应的反向传播

由任何层上的输出αI产生的残差可以传递回其前面的任何层的αi上，这种转移的过程非常快速和直接。然后，当层数增加时，将没有明显的网络退化问题，如图5所示。

图4 残差恒等映射正向传播过程Fig. 4 Forward propagation process of residual identity map

图5 残差恒等映射反向传播过程Fig. 5 Back propagation process of residual identity map

2.2 网络结构及网络训练优化器设置

输入层采用时域的采样信号，使用残差网络50层的结构形式。输入信号调制数据后，使用conv 64、内核 2×2，stride 1，批量归一化层（Batch Normalization Layer），ReLU激活层及最大池化层（MaxPooling Layer）进行数据预处理。改造的残差网络50层主要由4部分组成，具体参数见表1。

表1 改造残差网络50层结构形式Table 1 50-layer structure of transformed residual network

在训练网络中选择梯度下降优化参数时，应注意所选参数与水下通信调制识别数据之间的匹配问题。在这个过程中最广泛使用的梯度下降法是Adam（Adaptive Moment Establishment）[22]。Adam引入了二阶动量，但是随着时间窗口的变化，遇到的数据会发生巨大变化，从而可能变得或大或小，而不是一个单调变化的过程。这可能导致后期训练中的学习率震荡，并导致模型无法收敛。当使用Adam训练深度学习模型用来识别水下通信调制方式的数据集时，就会遇到此问题。

为了解决这类问题并确保算法的收敛性，需要使用具有动量方法的随机梯度下降方法（SGD，Stochastic Gradient Descent）[23]来解决使用Adam训练模型的问题。SGD在学习数据集分布时波动的优势在于可以更好地学习类似流域区域的数据集的分布特征。

3 实验验证

仿真实验的水下通道模型使用深海模型参数[24]，如表2所示。深海信道的参数主要设置如下：水深5 000 m，信号发射换能器位于水下1 000 m，信号水听器位于水下900 m，信号发射换能器和信号水听之间的距离为56 km。符号速率为1 000 符号/s。在仿真实验中，使用了文献[25]的BPSK、QPSK、8PSK、16QAM，它们是水下通信中最常见的调制模式。

表2 深海信道参数Table 2 Deep sea channel parameters

图6中，纵轴表示数据的真实调制模式，横轴表示用于在水下通信之后接收识别模式的模型的判断。当SNR =-10 dB时，可以以较高地识别率从多种调制方式中区分出BPSK。此时，QPSK的辨别度相对较低，并且不容易与几种调制方法区分开。当 SNR上升到-2 dB时，可以很好地区分 4种调制方法，这从另一方面说明该模型在较低的信噪比下是有效的。

图6 信噪比= -10 dB（左）和信噪比= -2 dB（右）的分类效果Fig. 6 The classification effect of SNR = -10 dB（left）and SNR = -2 dB（right）

图 7显示了使用深度神经网络和其不同神经网络结构形式在分类精度上的差异。其中，ResMedol代表了本文中使用的深度残差网络架构形式。涉及到的4种常用神经网络是人工神经网络（ANN）[26]，多层感知器（MLP）[27]，4层深度神经网络（DNN）和8层DNN（非卷积神经元）[28]，3层 CNN卷积神经网络[29]。在较低的信噪比（-20～-13 dB）下，ResModel显示出更好的识别效果，与其他神经网络方法相比具有明显的优势，后者高出近 10%。这进一步表明，残差网络结构的加深网络层次结构不会导致模型的退化，更深的网络层次带来了性能的提高。

图7 不同神经网络的信号调制识别对比Fig. 7 Comparison of signal modulation recognitions of different neural networks

4 结束语

在深海信道模型下，利用本文设计的残差网络结构实现了水声通信信号的调制识别，取得了良好的效果。结果表明，对于传统神经网络方法，因为神经网络层数增长引起的模型退化问题可以通过残差结构来解决。该残差网络模型不仅提高了训练精度，而且显著减轻了模型退化问题。然而，应该注意的是，在低信噪比下，与其他神经网络方法相比，虽然残差网络结构具有一定的优势，但也有待进一步改进网络结构设置，以提高其低信噪比下识别精度。未来将考虑引入其他深度网络模型结构的形式，如在设计结构中加入递归神经网络，以在较低信噪比下进一步提高调制识别效果。