摘 要:针对低信噪比下神经网络难以提取数字信号空间特征的问题,提出一种基于坐标注意力机制的数字信号识别方案。将8 种数字信号进行正交调制,根据其幅度、相位信息序列进行预编码处理,在不同的训练步长下,提取分析数字信号幅度和相位的关键特征,选取合适的神经网络超参数,使网络达到拟合面。坐标注意力机制将数字信号特征进行2 个一维特征编码,分别沿纵向和横向捕获幅度和相位的远程依赖关系;将生成的数字信号特征编码为一对方向感知和位置敏感的权重系数,进行数字信号特征的重标定。仿真结果表明,8 种数字信号下,调制方式识别率高于95% 时,卷积神经网络(Convolutional Neural Network,CNN) 中坐标注意力机制信噪比增益约为4 dB,残差神经网络中坐标注意力机制信噪比增益约为8 dB。坐标注意力机制取得了较高的识别率以及更好的信噪比增益,与通道注意力机制、空间注意力机制相比更适用于数字信号解调的应用。
关键词:数字信号;调制识别;坐标注意力机制;权重系数
中图分类号:TN911. 3 文献标志码:A 开放科学(资源服务)标识码(OSID):
文章编号:1003-3106(2024)06-1398-09
0 引言
自动调制识别(Automatic Modulation Recognition,AMR)是在非坐标通信中从接收信号识别出调制类型的一种关键技术[1]。AMR 可以在电子战、监视系统和威胁分析中截获并识别对方的调制信号,并以该调制信号确定干扰信号的调制类型;同时在民用领域用于频谱管理[2]。但在复杂的通信环境中,AMR的识别准确率因传输过程中的噪声、多径衰落等因素的影响,难以提升。传统方法需要人工进行特征提取,存在着设计复杂度高、识别精度低等问题;在不同的通信系统中,分类的算法缺乏鲁棒性[3]。
为了解决这方面问题,研究学者将神经网络应用于AMR 中,并取得了更好的识别效果。文献[4]研究了卷积神经网络(Convolutional Neural Network,CNN)对无线电复值时域信号的适应性,证明在低信噪比情况下,深度CNN 对大型密集编码时间序列进行盲学习的可行性。文献[5]建立了新的数据集,拓展了通信信号的调制类型同时混杂了更多样的信道损伤配置,以此设计了相应的CNN 和残差网络(Residual Network,ResNet)[6]结构,并可以有效地转移到(Over The Air,OTA)数据集,识别精度损失大约为7% 。文献[7]设计了一个8 层CNN 对信号的星座图开展识别,获取QAM 的调制阶数,训练好的网络可以检测到足够的差异来区分16QAM 和64QAM。联合参数调制识别方面,文献[8]利用与树结构相似的分层神经网络在根节点分析接收信号是否连续,将不同性质的信号输送到对应的网络结构中,不同节点的网络识别出调制方式和调制阶数,最终将这些信息组合得出调制类型,但QAM 和8PSK 下的识别器并未完全收敛到最终的决策面。文献[9]利用信号的异步延迟抽头图来训练具有2 个隐藏层的深度神经网络,实现了对调制速率和调制方式的联合估计。文献[10 ]通过平滑伪Wigner-Ville 分布和Born-jordan 分布变换将信号转变为2 种时频图,并将其图像特征和手工特征进行结合构成联合特征。文献[11]提出为每个神经网配置权重系数,通过压缩感知增加权重系数的稀疏性,实现轻量化的AMR,但性能有所下降。因此,上述调制识别方案在复杂的网络结构下能展现出良好的识别准确率,但计算复杂度也随之提升。轻量化的神经网络结构下,调制识别准确率还有一定的提升空间。
面对神经网络无法有效提取不同调制类型信号的空间变换特征的问题,可将坐标注意力机制[12]与神经网络相结合。本文将坐标注意力机制推广到数字信号调制识别场景中,提出了基于坐标注意力机制的数字信号调制识别方案。首先,在不同的正交调制方式下,设置神经网络的超参数、坐标注意力结构,计算不同坐标注意力机制下神经网络基本单元的误差项,利用适应性矩估计(Adaptive moment esti-mation,Adam)[13]优化算法,根据神经网络基本单元的误差项动态调整模型的权重和超参数,完成模型的自适应更新,从而选取较优的参数集使识别结果的精度最高并减小过拟合现象。其次,利用坐标注意力机制在空间维度上聚合幅度和相位特征,生成幅相通道描述符,根据识别误差动态坐标注意力机制参数,进行幅度和相位特征的权重赋值并产生坐标注意力机制调制权值的集合,将其应用在特征映射上。最后,在不同网络结构、步长以及不同调制数字信号下进行仿真分析。通过对数据集的训练,取得了较高的识别率以及更好的信噪比增益,与通道注意力机制、空间注意力机制相比更适用于数字信号解调的应用。
1 数字信号调制识别系统模型
对宽带接收信号完成信号检测和初步的调制识别后,需要进一步对各信号的调制参数进行精确识别,以引导后续的解调译码和辐射源个体识别等处理过程。数字信号调制识别系统模型如图1 所示。
在发射端,输入信息i(t)经过信道编码器,得到编码后的信号c(t),随后将其输入调制器得到调制信号s(t)= S(c(t);θ),其中θ 为调制参数集合。s(t)经过多径传输,路径损耗和噪声干扰后,到达接收端,接收信号为x(t):
式中:G 表示信道增益,fo 和θo 表示载波的频率和相位偏移,s (τ)表示时间τ 处的发射信号样本,p(·)表示脉冲整形,h(·)表示信道响应,εT 表示符号的定时误差,dadd(t)表示额加性噪声。
在接收端,调制识别的主要任务是针对接收信号x(t),设计识别算法以估计最佳的调制参数θ^。识别的调制参数θ^ 一方面可以用于对x(t)进行解调得到编码信号c(t)的估计值c^(t),另一方面可以用于为辐射源个体识别模块的信号预处理环节提供先验信息。
2 注意力机制原理
2. 1 通道注意力机制原理
传统的CNN 已经被证明可以出色地处理各种视觉任务[14-15]。卷积接收数据预处理后的二维数据的输入,负责提取图像的特征,池化层负责将卷积层提取的特征进行挑选,随后全连接层将池化层的所有特征矩阵转化成一维的特征向量,输出模型学习到的结果。然而卷积只能构建局部关系,不能构建长期关系[16-17]。通道注意力机制是一种新的卷积处理方式[18],该方式通过引入自动学习,获取特征图每个通道的程度信息,然后将这个程度信息赋予每个特征图一个权重值,从而师生神经网络重点关注某些特征通道,增加对任务有用的特征通道。通道注意力机制原理如图2所示。
图2 中,W 和W′表示输入特征宽度,H 和H′表示输入特征高度,C 和C′表示输入的通道数,Fsq 表示压缩模块,Fex 表示激励模块,Fscale 表示权重转化。
通道注意力机制计算过程如下:
① Ftr:X→U,X∈CH′×W′×C′,U∈CH×W×C ,Ftr 视为卷积算子,V = [v1 ,v2 ,…,vc ]代表卷积核,Vc 代表卷积核参数,U = [u1 ,u2 ,…,uc]代表局部描述子集合,uc 表示为:
② Squeeze 负责全局信息嵌入,采用global average pooling 将一个通道上全局空间信息编码为一个全局特征,其数学模型为:
式中:H 表示二维特征的高,W 表示二维特征的宽,Fsq 表示全局平均化。
③ Excitation 负责自适应调整来抓取通道之间的依赖关系,选用sigmoid 激活函数作为简单的门控制单元:
s = Fex(z,W) = σ(g(z,W)) = σ(W2 δ(W1 z)), (4)
式中:δ 表示ReLU 激活函数[19],W1∈RC/r×C,W2 ∈RC×C/r。
最终的输出X~ 由U 与激活权重转换得到:
X~c = Fscale(uc ,sc ) = sc ·uc 。(5)
2. 2 基于坐标注意力机制的识别原理
通道注意力机制接收全局特征并编码通道间的关系,为了利用这种表现特征的能力,根据数字调制信号幅度和相位特点,提出一种二次变换—坐标注意力机制,使用池化核的2 个空间范围(h,1)和(1,w)沿水平方向和垂直方向对每个通道分别进行空间编码,随后将2 个方向的空间编码链接起来,其数学模型表示为:
式中:F1 表示1 ×1 卷积采样,[·,·]表示空间维度的拼接运算,δ 表示非线性激活函数,f∈CC / r×(H+W)表示对水平和垂直方向的空间信息编码后的中继特征,然后将f 沿着空间维度分为2 个独立的张量f h ∈CC / r×H 、f w ∈CC / r×W ,随后按式(7)和式(8)进行坐标通道注意力匹配:
gh = σ(Fh(f h )), (7)
gw = σ(Fw(f w ))。(8)
将上述得到的gh,gw 扩展并形成注意力权重,最终输出yc:
yc(i,j) = xc(i,j)× ghc(i)× gwc(j)。(9)
当经过数字调制的IQ 信号输入到网络时,坐标注意力机制使用池化层的一种空间池化(h,1)沿着相位,另一种空间(1,w)沿着幅度对每个输入信号进行精确编码,沿着2 个方向聚合信号特征,产生一对方向感知的特征映射,随后将此特征映射进行链接并激活,将信号的相位注意力和幅度注意力同时施加到信号张量上,更准确地提取到信号特征,提高识别精度。基于坐标注意力机制的残差中坐标注意力机制原理如图3 所示,其主要由输入层、坐标注意力机制、残差层和输出层组成。在预测模型中,损失函数采用交叉熵损失(Cross Entropy Loss)函数,优化算法采用Adam 算法,并在PyTorch 框架下完成对模型的搭建测试,其模型的具体结构如下。
(1)数据预编码。本文预编码主要用于标识信号类型和增强信号。在译码过程中,模型根据所观察到的状态选择类型。因此,应对设定参数所产生的数字调制信号进行编码[20]。
① 标识信号编码:标识正确是标识一位有效码并区分不同调制信号的状态,需要在一个向量中添加一个位来区分“信号调制类型”。本研究采用onehot 编码,编码中只有一位为1,其他位为0。对于长度为L+1 的二进制向量,前L 位与长度为X,宽度Y 的信号二维特征向量对应,L+1 位用于标识与之对应的调制信号。
② 增强信号编码:A 表示AM 编码器输出的信号序列,采用批量反正切编码;A~ 表示一个信号,由神经网络的输出来决定。
(2)输入层。输入层变量为经过onehot 编码预处理后的8 种数字调制方式的IQ 数据。
(3)坐标注意力残差层。基于坐标注意力的ResNet 预测模型中,每个坐标注意力残差层包括多个残差块和多个坐标注意力块。残差块的增加,可以解决梯度消失和梯度爆炸等问题,极大地提升有效训练的网络的深度;坐标注意力块的增加,可以解决通道之间关键特征和空间关键特征提取等问题。同时,在坐标注意力残差层中存在一个超参数学习率,用于决定识别最优调制信号类型的序列。本文通过数字信号数据集在预训练下进行比较分析,筛选出信号识别效果较好的网络预测模型。
(4)输出层。输出层变量为每一种数字调制信号的识别正确概率。
(5)损失计算。坐标注意力残差模型一般采用交叉熵损失反映预测结果的准确度,其计算公式为:
Loss = - ylgy^ - (1 - y)lg(1 -y^ ), (10)
式中:y 表示真实值,y^ 表示预测值,Loss 表示损失值。
(6)优化算法。本文采用Adam 优化算法,根据学习率的大小与训练轮次动态调整权重衰减系数。算法的参数设定如下。学习率因子a = 0. 01,a/λ为权重衰减系数,λ 为训练轮次。
3 实验部分及分析
为验证所提出的坐标注意力方案在数字信号识别领域的性能,本文采用GNU Radio 软件平台仿真生成的IQ 信号数据集RML2016. 10A 进行相应的实验,数据集在-20 ~ 18 dB 的信噪比环境下生成。并根据本文实验选取其中8 种数字信号调制方式,每符号8 个I / Q 采样点。每个样本的数据格式为2×128,2 表示I、Q 两路采样信号,128 表示采样点长度,经过数据预处理之后形成实验所需要的数据集。本文实验数字信号模拟参数数如表1 所示。部分数据集展示如图4 所示,在不同的网络结构和坐标注意力机制下进行了调制识别的系统仿真实验。
针对不同的数字信号调制方式下,特征提取困难对信号调制识别系统造成不同程度的误识别影响,需要增加网络结构的泛化性,以应对各种复杂调制方式,从而建立识别性能更好的神经网络模型。因此本文将数字信号预处理为(2,128)的IQ 数据,采集1. 6×105条数字信号序列样本,将60% 的信号序列样本划分为训练集,20% 划分为验证集,20% 划分为测试集。
在该数据集上,本文重点测试了CLDNN、CLDNN_CA、ResNet、CA_ResNet 和ResNet_CA 五种神经网络结构。实验中,先进行数据预处理和数字信号特征选择,学习率初始设置为0. 01(根据训练误差动态匹配),训练的轮次(Epoch)设置为100,批量大小(batch size)设置为64。在不同的调制方式下,对于模型的性能进行讨论与分析。
为了分析验证坐标注意力机制对于网络收敛速度的影响,得到如图5 所示的4 种网络的训练损失。ResNet 在第5 轮的训练后,训练损失得益于残差块的作用,迅速下降,模型得到快速收敛。因为长短期记忆(Long Short-Term Memory,LSTM)的存在,其CLDNN 与CLDNN_CA 的训练损失收敛得慢且整体训练损失大于ResNet。在相同的网络结构下,当加入坐标注意力机制时,随着训练轮次的增加,其训练损失相比于传统的网络结构下降得更快,当训练100 轮时,CLDNN_CA 的训练损失相较于CLDNN 下降了2% ,ResNet_CA 的训练损失则下降了18% ,且根据验证集所得到的数据表明4 种网络结构在100 轮的训练下均能到达收敛。
为了验证坐标注意力机制8 种调制信号的识别效果,本文将坐标注意力机制引入到ResNet 中。ResNet 和坐标注意力ResNet 的混淆矩阵分别如图6 和图7 所示,受限于残差块的作用,坐标注意力机制在GFSK 和QAM64 调制方式上提升了3% 和4%的识别准确率,但同时QAM16 和QAM64 调制方式的识别准确率较低。这是因为2 种调制信号具有较高的调制阶数,64QAM 相当于16QAM 的对称扩展,相似度较高。实验表明,坐标注意力机制的引入仍然难以提升神经网络识别不同阶数的调制方式的精度,该调制中对幅度和相位分别提取特征,但对于幅度和相位联合的特征提取较为困难。
为了充分说明坐标注意力机制能够更好地提取数字信号幅度和相位的多层维度信息,将坐标注意力机制下的神经网络模型分别对比文献[5]设计的CLDNN 模型、文献[20]采用的ResNet 模型,4 种网络识别效果如图8 所示。由图8 可知,与CLDNN 相比,引入了坐标注意力机制的CLDNN_CA 在0 ~ 20 dB下的数字信号识别精度提升约为10% ,但在-10 ~-4 dB 下提升并不明显。这是由于信号在低信噪比下,噪声的相对强度更高,使得数字信号丢失了关键的信号特征。这一方面使得坐标注意力机制更多地提取到噪声的特征;另一方面对于数字信号特征提取变得更加困难,造成数字调制信号识别准确率下降。由于没有引入残差块,CLDNN 与CLDNN _CA的识别准确率都大幅低于ResNet,与文献[21]中ResNet 相对比,在0 ~ 20 dB 下ResNet 和ResNet_CA识别准确率都在90% 以上。在高信噪比情况下,坐标注意力机制并没有给ResNet 带来额外的增益,但在-8 dB 下,ResNet _ CA 识别精度比ResNet 高17% ,表明在-8 dB 情况下,坐标注意力机制能够更好地提高残差结构的性能。
本文对坐标注意力机制是否影响数字信号的识别精度采取消融实验,采取3 种网络结构模型:ResNet 模型、CA_ResNet 模型、ResNet_CA 模型。部分网络结构如图9 和图10 所示。
坐标注意力机制识别效果如图11 所示。由图11 可以看出,识别精度高于95% 时,卷积中坐标注意力机制识别性能相较于无坐标注意力机制增益为4 dB,残差中坐标注意力机制信噪比增益大约为8 dB。在0 ~ 8 dB 情况下,ResNet 对于信号的识别准确率大于ResNet_CA,表明此时残差块中的坐标注意力机制对网络的信号识别性能产生了抑制作用。信噪比为4 dB 时,坐标注意力机制对于ResNet识别正确率降低了1% 。当坐标注意力机制插入到ResNet 中的卷积部分时,坐标注意力机制能够对ResNet 信号识别产生系统增益。信噪比为- 4 ~18 dB 时,CA_ResNet 对于信号的识别准确率均大于95% 。信噪比为10 dB 时,坐标注意力机制对于ResNet 的信号识别提高约2% 。以上结果表明,坐标注意力机制在卷积块中相较于残差块能够更好地提取信号的特征,且随着信噪比的提高,信噪比增益效果更佳。
为分析与比较坐标注意力机制对于不同网络结构算法的影响,列出不同已训练完成的网络结构中部分参数,如表2 所示。因CLDNN 结构简单,CLDNN_CA 的信号识别时长明显低于ResNet_CA,且参数大小同样低于ResNet_CA。CLDNN 的平均绝对误差(Mean Absolute Error,MAE)为1. 408 7,识别误差效果最差。得益于坐标注意力机制的加入,CLDNN_CA 的误差则降低到1. 181 6。同时,残差中的添加坐标注意力机制同样降低了平均绝对误差。相较于未添加坐标注意力机制的神经网络,坐标注意力机制的引入在降低平均绝对误差的同时,参数量大小没有明显增加。但随着网络结构更复杂的同时,坐标注意力机制的引入会加长信号识别的时间。号数据集较小的情况下,ResNet_CA 和CA_ResNet 识别时间增加了大约1 s。
4 结束语
为了提高数字信号识别精度,本文设计了一种新的数字信号调制识别方案———基于坐标注意力机制的数字信号调制识别。通过仿真分析得到,在低信噪比情况下,坐标注意力机制对于数字信号调制识别能够提升3% 左右的识别精度,识别性能也更加稳定。在此基础上,本文进行了残差块和卷积块中坐标注意力机制的对比实验,结果表明卷积中的坐标注意力机制相较于残差块中平均增益为4 dB,卷积中的坐标注意力机制的识别准确率能够达到95% 以上。当识别精度为95% 时,在CNN 中添加坐标注意力机制相较于无坐标注意力机制能够得到4 dB 左右的信噪比增益,在残差神经网络中添加坐标注意力机制相较于无坐标注意力机制能够得到8 dB 左右的信噪比增益。
实验表明,相较于通道注意力机制、空间注意力机制,坐标注意力机制可根据数字信号的特点建立时频域间的关系,同时精确地捕获空间方向长期的依赖关系,提升数字信号调制识别精度。本文在QAM16 和QAM64 的调制方式识别上仍存在精度不足的问题,后续将继续考虑提高对这2 类数字信号的识别精度。
参考文献
[1] MENG F,CHEN P,WU L N,et al. Automatic ModulationClassification:A Deep Learning Enabled Approach [J].IEEE Transactions on Vehicular Technology,2018,67(11):10760-10772.
[2] KULIN M,KAZAZ T,MOERMAN I,et al. EndtoEndLearning from Spectrum Data:A Deep Learning Approachfor Wireless Signal Identification in Spectrum MonitoringApplications[J]. IEEE Access,2018,6:18484-18501.
[3] 李峰. 基于卷积神经网络的调制信号识别算法研究[D]. 南京:南京信息工程大学,2021.
[4] O’SHEA T J,CORGAN J,CLANCY T C. ConvolutionalRadio Modulation Recognition Networks[C]∥EngineeringApplications of Neural Networks. Aberdeen:Springer,2016:213-226.
[5] O’SHEA T J,ROY T,CLANCY T C. Overtheair DeepLearning Based Radio Signal Classification [J ]. IEEEJournal of Selected Topics in Signal Processing,2018,12(1):168-179.
[6] LIU X Y,YANG D Y,GAMAL A E. Deep Neural NetworkArchitectures for Modulation Classification[C]∥2017 51stAsilomar Conference on Signals,Systems,and Computers.Pacific Grove:IEEE,2017:915-919.
[7] WANG Y,LIU M,YANG J,et al. Datadriven DeepLearning for Automatic Modulation Recognition inCognitive Radios [J]. IEEE Transactions on VehicularTechnology,2019,68(4):4074-4077.
[8] KARRA K,KUZDEBA S,PETERSEN J. Modulation Recognition Using Hierarchical Deep Neural Networks [C]∥2017 IEEE International Symposium on Dynamic SpectrumAccess Networks (Dyspan). Baltimore:IEEE,2017:1-3.
[9] KHAN F N,LU C,LAU A P T. Joint Modulation Format /Bitrate Classification and SignaltoNoise Ratio Estimationin Multipath Fading Channels Using Deep MachineLearning [J ]. Electronics Letters,2016,52 (14 ):1272-1274.
[10] ZHANG Z F,WANG C,GAN C Q,et al. Automatic Modulation Classification Using Convolutional Neural Networkwith Features Fusion of SPWVD and BJD [J ]. IEEETransactions on Signal and Information Processing overNetworks,2019,5(3):469-478.
[11] HOU Q B,ZHOU D Q,FENG J S. Coordinate Attentionfor Efficient Mobile Network Design [C]∥ 2021 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Nashville:IEEE,2021:13708-13717.
[12] MANDT S,HOFFMAN M D,BLEI D M. Stochastic Gradient Descent as Approximate Bayesian Inference [EB /OL]. (2017 - 04 - 13)[2023 - 07 - 01]. https:∥ arxiv.org / pdf / 1704. 04289v1. pdf.
[13] SHELHAMER E,LONG J,DARRELL T. Fully Comvolutional Network for Semantic Segmentation [J ]. IEEETransactions on Pattern Analysis and MachineIntelligence,2017,39(4):640-651.
[14] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Imagenet Classification with Deep Convolutional NeuralNetworks[J]. Communications of the ACM,2017,60(6):84-90.
[15] ZHAO H S,SHI J P,QI X J,et al. Pyramid Scene ParsingNetwork[C]∥ Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Honolulu:IEEE,2017:6230-6239.
[16] HOU Q B,ZHANG L,CHENG M M,et al. Strip Pooling:Rethinking Spatial Pooling for Scene Parsing[C]∥ Proceedings of the IEEE / CVF Conference on ComputerVision and Pattern Recognition. Seattle:IEEE,2020:4003-4012.
[17] HU J,SHEN L,SUN G. SqueezeandExcitation Networks[C]∥2018 IEEE / CVF Conference on Computer Visionand Pattern Recognition. Salt Lake City:IEEE,2018:7132-7141.
[18] NAIR V,HINTON G E. Rectified Linear Units ImproveRestricted Boltzmann Machines[C]∥ Proceedings of the27th International Conference on Machine Learning.Haifa:ACM,2010:807-814.
[19] 陶志勇,闫明豪,刘影,等. 基于AGCNN 的轻量级调制识别方法[J]. 电子测量与仪器学报,2022,36(4):241-249.
[20] 董聪,张传武,高勇. 基于残差神经网络的通信混合信号识别[J]. 无线电工程,2020,50(9):727-731.
作者简介
张 兢 女,(1965—),硕士,教授。主要研究方向:信号与信息处理、信号检测与处理。
(*通信作者)兰思源 男,(1996—),硕士研究生。主要研究方向:深度学习、信号调制识别。
曹 阳 男,(1977—),博士,教授。主要研究方向:现代数字信号处理、通信信道编码理论。
彭小峰 男,(1980—),硕士,副教授。主要研究方向:无线激光通信技术、嵌入式与智能系统、物联网与无线传感器网络。
基金项目:重庆市教委科学技术项目(KJQN201901125);重庆市基础与前沿研究计划项目(cstc2019jcymsxmX0233)