多注意力机制网络的调制识别算法

王安义，王煜仪

(西安科技大学 通信与信息工程学院，陕西 西安 710054)

0 引 言

传统调制识别方法根据识别策略分为两类[1]，即：基于最大似然理论的识别方法[2]和基于特征提取的识别方法[3]。前者由于计算复杂度高且需依赖大量先验知识而未广泛应用。后者通过人工提取专家特征进行分类，瞬时特征[4]、高阶累积量[5,6]、小波变换[7]等是常用特征，此类方法存在专家特征提取困难，且在小尺度衰落信道环境下识别率低等问题。

近年来深度学习凭借自动提取原始数据特征的能力，逐渐应用于调制识别领域[8]。文献[9]利用卷积神经网络(convolutional neural networks，CNN)对11种调制信号进行识别，结果表明深度学习方法优于传统的特征提取方法。文献[10,11]结合CNN和长短期记忆(long short-term memory，LSTM)网络搭建组合神经网络模型，同时获取信号时频特征提高识别率。文献[12]提出时空多通道MCLDNN网络，以同相/正交(in-phase/quadrature，I/Q)序列、同相分量序列和正交分量序列共同作为输入实现特征互补，融合一维、二维卷积和LSTM提取信号时频特征。

以上提到的基于深度学习的调制识算法均缺少对神经网络中关键特征的捕捉，导致识别性能难以提升。本文提出多注意力机制网络的调制识别算法，以I/Q序列和信号瞬时幅度/相位(amplitude/phase, A/P)特征构造双通道输入方式，增加特征多样性。在特征提取方面，加强了网络对特征向量通道、空间和时间维度上关键信息的获取能力，提高调制信号识别率。与其它算法对比，结果表明本文算法在小尺度衰落信道下具有更好的识别性能。

1 信号模型及预处理

假设信号经过带有加性高斯白噪声(AWGN)的多径衰落信道，且受到频率偏移、相位偏移等影响，接收信号经数字下变频后转换为基带信号X(n)表示为

(1)

基带信号X(n)的向量形式为：X=[X(1),X(2),…,X(N)]， 复数形式为：X=I+Q=Re(X)+j·Im(X)，I和Q分别为信号的同相分量和正交分量，Re(X)和Im(X)分别为实部和虚部，X的矩阵形式XI/Q表示为

(2)

调制信号在小尺度衰落信道中受多径衰落、频率偏移和相位偏移等因素影响，信号内部发生严重的包络衰减，导致接收端I/Q序列正交性不足。若仅将I/Q序列作为神经网络输入则很难提取出有效的特征。由于不同信号间瞬时幅度/相位特征差异较大，有助于区分信号，因此本文通过提取信号A/P特征并与I/Q序列共同作为网络输入，使网络实现多尺度感受野，获取更具区分度的特征。

幅度特征A(n)提取的具体过程为

(3)

其中，I(n) 和Q(n) 分别代表同相、正交分量的第n个数据。

相位特征P(n) 提取的具体过程为

P(n)=arctan[Q(n)/I(n)]

(4)

获取的A/P特征矩阵形式XA/P表示为

(5)

2 网络框架

多注意力机制网络整体框架如图1所示，主体上分为频域特征提取模块和时域特征提取模块。首先将经过预处理得到的双通道数据并行输入频域特征提取模块学习频域信息，再使融合特征输入时域特征提取模块获取时间特征，最后将特征向量输入全连接层，使其映射到更易分类的空间进行分类输出。

图1 多注意力机制网络整体框架

2.1 频域特征提取模块

为解决深度神经网络因层数增加导致的网络退化现象，残差网络(residual network，ResNet)[13]利用恒等映射a和残差映射R(a)相加实现特征向量的空间传递，将浅层与深层特征结合，输出向量表示为O(a)=R(a)+a。 残差连接不会给网络模型增加额外参数和计算复杂度，并且可防止网络梯度消失或梯度爆炸，提高网络训练性能。密集连接网络(densely connected convolutional networks，DenseNet)[14]利用特征重用的方法将每一层的输出特征都作为后续层的输入，提高了网络分类精度。

本文结合ResNet和DenseNet的优点，将ResNet中特征传递的思想融入DenseNet构建残差密集块(residual dense block，RDB)，并在其中引入改进的卷积注意力机制模块[15](improved convolutional block attention module，ICBAM)，提升网络对通道和空间信息的表达能力。将RDB提取的两路特征向量通过通道连接的方式实现特征融合，再将融合向量送入数量为80，尺寸为2×8的卷积核中学习空间相关性，最后通过Reshape层将特征向量调整二维形式输入BiGRU层。RDB的网络结构及具体参数设置如图2所示。

图2 残差密集块网络结构

每个RDB包含4个二维卷积层，通过两组密集连接和一组残差连接组成。Conv代表卷积层， 128(1,8) 的含义是卷积核数量为128，尺寸为1×8。在密集连接过程中，通道维数量会成倍增加，导致训练难度加大，因此在RDB的最后一层卷积采用尺寸为1×1的卷积核进行降维，此操作不会增加额外计算参数。每个卷积层的步长均设为1，激活函数选用ReLu函数解决非线性分类问题，采用批量归一化层(batch normalization，BN)加快训练收敛速度，提高模型鲁棒性。

在每个密集连接后引入改进卷积注意力机制模块，其网络结构如图3所示。ICBAM通过对输入特征向量的通道和空间区域分配注意力权重，捕捉信号的关键频域特征。

图3 ICBAM网络结构

图3中通道注意力模块将输入特征向量F∈C×T×W(其中C，T，W分别为特征的通道量、高度和宽度)按通道维进行全局最大池化和平均池化，再进行特征映射。传统CBAM常通过全连接层进行特征映射，产生大量计算参数，增加计算时间。为减少冗余计算，本文选择一维卷积操作代替全连接层进行特征映射，由于卷积神经网络具有参数共享的特性，可以减少通道注意力模块的计算参数，降低计算时间，提高运算效率。特征向量经过一维卷积运算后进行整形相加，再通过激活函数得到通道注意力矩阵MC(F)∈C×1×1。 将MC(F)与输入特征向量F点乘得到空间注意力模块的输入F’。计算通道注意力矩阵的过程为

(6)

(7)

式中：f2D是卷积尺寸为3×3的二维卷积运算。

最后将空间注意力矩阵MS(F) 与F’点乘得到通道-空间注意力输出特征向量F’’。

2.2 时域特征提取模块

通信信号不仅在空间上具有相关性，在时间上也具有关联，循环神经网络(recurrent neural network，RNN)在处理时间序列上具有强大学习能力。门控循环单元(gated recurrent unit，GRU)作为一种典型的循环神经网络，在保证学习性能的同时可减少张量运算，从而降低网络复杂度，提高网络收敛速度。GRU主要包括重置门rt和更新门zt(t表示当前时刻)。其中重置门决定前一时刻信息被遗忘的程度，更新门决定保留前一时刻信息的程度，GRU的前向传播公式如下

rt=σ(Wr[ht-1,xt])

(8)

zt=σ(Wz[ht-1,xt])

(9)

h′t=tanh(Wh[rt⊙ht-1,xt])

(10)

ht=zt⊙h′t+(1-zt)⊙ht-1

(11)

式中：xt表示当前输入，ht-1和ht分别表示前一时刻和当前时刻的隐藏单元状态，h′t表示经重置门处理后的候选状态值，Wr，Wz，Wh表示权重参数，⊙表示Hadamard乘积。

BiGRU在处理长序列数据时无法判断哪些是对信号识别有用的关键特征，导致分类精度难以提高。本文将软注意力机制(soft attention mechanism，SAM)[16]加入BiGRU层后，更加关注时域特征之间的联系，对BiGRU每一时间步的输出隐藏状态向量分配注意力权重系数，为区分度更强的关键特征分配更高权重以提高信号识别率。其具体工作原理如下：假设经BiGRU层的输出序列为H={h1,h2,h3,…,hK-1,hK} (K为输出的隐藏状态向量长度)，q为查询向量，注意力分布αt的计算过程为

(12)

式中：s(ht,q) 为注意力打分函数，用来计算ht和q的相关性。

考虑到算法复杂度及计算效率，选择点积模型作为打分函数，其公式如下

(13)

注意力分布αt反映了查询向量q所对应的第t个输入向量的受关注程度。最后将αt和BiGRU的输出ht通过加权平均得到输出向量

(14)

将经时域特征提取模块的输出向量送入全连接层实现特征映射，最后一层采用Softmax作为激活函数，使输出向量转换为信号对应每种调制方式的概率，更易进行分类。

3 实验仿真与分析

实验硬件平台配置：i9-9900k中央处理器；RTX2080Ti显卡；32 GB内存。软件平台配置：Matlab2020；Python3.7；Tensorflow1.15.0框架；Keras2.3.1函数库。

3.1 实验数据与仿真条件

网络训练使用分类交叉熵损失函数计算损失值作为评估标准，其表达式如下

(15)

式中：l为调制方式种类数，y为实际值，y′为预测输出值。

通过Adam优化函数反向更新权值参数。训练时设置早停机制，以验证集损失函数为标准，10轮内未下降时则中止训练。当训练提前中止或达到最高迭代次数时，保存最优网络模型。

3.2 仿真实验一

为验证本文算法中信号预处理操作的有效性，对比本文双通道I/Q+A/P路输入与单通道I/Q路输入方式对网络识别性能的影响，结果如图4所示。从图中可以看出，当信噪比大于-4 dB时，由I/Q+A/P路构建的双通道输入方式对9种信号的平均识别率均高于单通道I/Q路输入方式。原因是小尺度衰落信道下的信号受多径效应等复杂条件影响，导致I/Q数据的正交性不足，而A/P特征通过反映信号的幅度相位关系，可以辅助神经网络提取多尺度信号特征。由此验证本文算法在预处理阶段提取A/P特征，构建双通道输入的方法对提高小尺度衰落信道下的调制信号识别率是可行的。

图4 不同通道输入下的识别率对比

3.3 仿真实验二

对比引入传统CBAM+SAM、只引入ICBAM、只引入SAM、不引入注意力机制4种算法，验证本文提出的多注意力机制网络对识别性能的影响，图5为各算法在不同信噪比下对9种信号的平均识别率。

图5 注意力机制对识别性能的影响

由图5得出，在低信噪比时各算法识别性能区分度较小，当信噪比大于0 dB时，识别率差距逐渐增大。其中不引入注意力机制算法的识别率最低，单独引入ICBAM或SAM后，识别率会有所提升，其原因为ICBAM通过在特征向量的通道与空间区域之间捕捉重要信息，学习表现力强的频域特征，同时给低频噪声分配小权重，降低其对信号识别的干扰；BiGRU在运算时容易遗忘关键信息，而SAM可以对BiGRU不同时刻输出状态进行打分，为关键的时间信息分配更高的注意力系数。引入传统CBAM+SAM算法与本文算法均结合多种注意力机制，在各信噪比下的识别率均表现突出，验证了多注意力机制的引入有利于网络识别性能提升。

表1介绍了以上5种算法对9种信号在各信噪比下的平均识别率、最高识别率、测试时间3种性能指标。在平均识别率表现上，只引入ICBAM和只引入SAM算法相比不引入注意力机制算法分别提高了1.08%和1.74%，而传统CBAM+SAM算法和本文算法分别提高了3.76%和4.22%，且本文算法在最高识别率上达到95.81%，均高于其它算法；测试时间上传统CBAM+SAM时间最长，原因是传统CBAM通过全连接层进行特征映射得到通道注意力矩阵，造成计算参数过多，导致算法复杂；而本文算法采用ICBAM，其利用一维卷积替代全连接层，在提高识别性能的同时优化了网络训练效率。

表1 注意力机制对识别性能指标的影响

3.4 仿真实验三

为对比不同频域特征提取模块网络架构对识别性能的影响，将双通道数据输入至卷积核数量、尺寸、步长相同的CNN、ResNet、DenseNet以及RDB中进行性能测试。

表2和表3分别介绍了4种架构在部分信噪比下的识别率以及总体性能指标。可以得到本文设计的RDB网络架构单批次训练时间为0.107 s，与其它3种架构相比，所需训练时间最长，但在信号的平均识别率和最高识别率上均表现最佳，以识别性能的提升弥补了训练时间稍长的缺点。

表2 部分信噪比下的识别率

表3 不同网络架构下识别性能指标

3.5 仿真实验四

为验证本文算法对9种调制信号的识别能力，分析了不同信噪比下的调制方式识别率和混淆矩阵，结果如图6和图7所示。

图6 9种信号在不同信噪比下的识别率

图7 不同信噪比下的混淆矩阵

从图6可得，9种小尺度衰落信道下的信号识别率均随信噪比上升而提高，当信噪比大于8 dB时，大多数信号识别率超过90%；8PSK和16PSK两种信号在信噪比较低时难以准确识别，但随着信噪比增加，识别率也很快升高；值得注意的是，当信噪比较高时，除16PSK、64QAM两种信号外，其它信号基本可以准确识别，原因是高阶PSK和QAM信号易受噪声攻击，尤其在小尺度衰落信道下，信号极易受到干扰导致被淹没在噪声中。未来可进一步对此类高阶调制信号进行研究，减少噪声以及小尺度衰落对识别率的影响。

图7给出了信噪比分别为0 dB、8 dB、18 dB时的混淆矩阵。当处于低信噪比0 dB时，信号受强噪声影响，如图7(a)所示，大部分信号无法准确识别，尤其是QPSK、8PSK、16PSK之间的混淆最为严重，原因是三者同属PSK类内调制方式，其本身信号结构及特征较为相近，当经过小尺度衰落信道，信号的正交性以及幅相特征造破坏，导致难以区分。随着信噪比上升，信号之间的混淆逐渐减轻，图7(b)中当信噪比在8 dB时混淆趋于稳定，大部分信号识别率均高于90%；图7(c)信噪比在18 dB时的混淆最小，其误差主要来自16PSK与8PSK、64QAM与16QAM之间，16PSK约10%的数据被识别为8PSK，64QAM约12%的数据被识别为16QAM，这是由于信号结构相似所导致的。其次可以发现，低阶PSK、QAM以及PAM4、GMSK、CPFSK在小尺度衰落信道下抗干扰性能较好，当信噪比较高时基本可以准确识别。

3.6 仿真实验五

将本文算法与CNN[9]、CLDNN[10]、双流CNN-LSTM[11]、MCLDNN[12]的识别性能进行对比，结果如图8所示。

图8 本文算法与其它文献算法识别性能对比

其中CNN和CLDNN算法均为单通道I/Q路输入方式，二者最高识别率分别为71.42%和82.70%。相较于将单一I/Q序列输入网络，多通道输入的方式取得了更好的识别结果，其中MCLDNN和双流CNN-LSTM算法的最高识别率分别达到了93.87%和92.83%，且各信噪比下的识别率均高于单路输入的算法，进一步验证了多通道输入的方式能有效提高识别率。本文算法以I/Q序列和信号A/P特征作为输入，获取信号的多样性特征，利用多注意力机制提升网络学习关键特征的能力，所提取的特征具有较强的抗干扰性，在小尺度衰落信道下的识别率取得了明显优势。当信噪比大于-4 dB时，识别率高于其它文献算法。当信噪比为0 dB和18 dB时，识别率较其它文献算法分别提升了约1.8%和2%以上。

4 结束语

本文提出多注意力机制网络实现对小尺度衰落信道下9种调制信号的识别。通过引入改进卷积注意力机制模块和软注意力机制提升网络对信号关键特征的捕捉能力。仿真结果表明，在瑞利衰落为三径信道的小尺度衰落条件下，信噪比为18 dB时，平均识别率达95.81%。验证算法所提取的特征能更好地应对小尺度衰落信道干扰，识别性能相比其它深度学习算法更优。未来实现调制识别的小样本无监督学习仍有待研究，使算法在少量标签数据下仍保持较高识别率。