基于BiLSTM和卷积神经网络模型的辐射源个体识别研究

2025-01-10 00:00:00缪程远张博轩张赞王圣举
物联网技术 2025年1期
关键词:注意力机制无线通信卷积神经网络

摘 要:通信辐射源个体识别是指通过对无线设备产生的信号数据进行特征提取与信号处理,从而实现对无线设备的个体识别。现有应用于辐射源个体识别的时间序列分类方法,存在无法有效提取IQ时间序列数据特征和识别准确率低的问题。针对以上问题,提出了一种BiLSTM网络和卷积神经网络两个支路并行的网络架构(BiLSTM-CNN),它显著提高了分类模型的性能,能够关注和融合时间序列中重要的特征,从而实现更准确的分类。在该架构中还添加了注意力模块,根据注意力权重的分配来融合通道信息获取特征,从而使网络能够关注到更加关键的特征。实验结果表明,相较于其他网络结构,所提出的网络模型在Oracle公开数据集上的识别准确率更高,尤其在存在多径效应和路径损耗的样本中有明显提高,说明文中所提出的模型具有更高的鲁棒性。

关键词:辐射源个体识别;卷积神经网络;BiLSTM;注意力机制;无线通信;特征提取

中图分类号:TP391;TN911.7 文献标识码:A 文章编号:2095-1302(2025)01-000-06

0 引 言

近些年来,由于无线通信设备的普及和互联网通信技术的不断发展,手机、笔记本电脑等无线通信设备已然成为人们工作生活的必需品。然而,无线通信技术的迅速发展也是一把双刃剑,由于无线信号调制方式不断增加,通信环境的干扰也不断增多,电磁环境也变得更加复杂多变。在军事方面,在两军作战的区域中,敌我双方的各类无线通信设备数不胜数,这对于无线电通信设备个体识别的干扰极大,排除噪声干扰也极其困难[1]。以往用于无线电设备识别的信号调制参数、码元速率、电平、载频等基本特征[2],在无线电设备数量较多且存在多方面因素干扰的情况下很难满足现代战场上对无线电设备个体准确识别的要求。

在过去的几十年中,无线通信设备的射频指纹提取和识别方法受到了广大学者的研究和关注。文献[3]提出了一种基于小波变换的特征提取与人工神经网络相结合的信号自动快速分类和识别方法,并用此方法分析了无线通信设备的瞬态信号,进而完成对未知无线电发射机的分类和识别。文献[4]提出了在无线发射机中提取瞬态信号,并首次提取出瞬态信号中的“指纹”。文献[5]提出了用于识别无线设备的技术——“射频指纹识别”,同时提出了一种利用相位特性进行检测的新算法,用于提取蓝牙通信信号中的瞬态特征,进而识别不同的通信设备。每个无线设备都有其独一无二的特征,类似于每个人都有不同的指纹,每个无线设备的硬件差异也是一种“射频指纹”,这种差异可以通过分析接收到的射频信号来提取,因此从射频信号中提取射频指纹的方法被称为“射频指纹提取”。

1 通信辐射源个体识别方法

无线通信辐射源个体的射频指纹提取和识别是一种基于射频信号特征的识别方法,其流程如图1所示。首先需要在特定环境下采集无线通信辐射源发出的射频信号数据,可以使用专业的射频信号采集设备,如频谱分析仪、信号分析仪等,对辐射源发出的信号进行采集。在采集射频信号的过程中,不可避免地会经历反射、折射、衍射等过程,通过不同的传播路径最后到达信号接收端,因此在采集射频信号之后需要对射频信号进行能量归一化、去除噪声等信号预处理。在预处理阶段需要尽量避免噪声影响,因此在信号的采集预处理过程中对仪器的精度要求较高,一般应使用高精度仪器。近几年,人们开始研究使用通用软件无线电外设等中低端设备进行信号的采集与预处理。然后从预处理后的射频信号数据中提取出有用的特征,通常使用信号处理和机器学习的方法进行特征提取。常用的特征包括信号的频谱、时域波形、功率谱密度、自相关函数等。提取特征以后,建立射频指纹识别模型,将从新采集到的信号中提取出的特征输入到模型中,模型输出结果表示信号来自哪个辐射源。

无线通信设备在生产和制造过程中会存在不同程度的缺陷,在生产过程中由于各种因素影响,即使是同一批器件也会存在差异,这种器件的差异性最终会导致器件的容差效应。电子元器件的差异通常分为制造容差和漂移容差两种。制造容差是指电子元器件在生产过程中,由于生产原材料、生产环境以及设备制造工艺等因素所造成的电子元器件参数与标称值之间的误差,降低误差则需要更高的生产成本。而漂移容差指的是由于电子器件的存放和使用时间过长而导致的器件退化老化所造成的参数偏差。除此之外,无线通信设备的使用环境变化也会导致器件参数出现变化。由于存在容差效应,即使是同一个厂家的同一型号甚至是同一批次生产出来的电子器件都会存在一定的参数差异,这些硬件差异就是射频指纹的基础,因此射频指纹能够作为无线通信设备的独有特征。

2 时间序列分类

时间序列数据是按照时间顺序排列的数据点集合。时间序列分类是根据时间序列的模式和属性分为不同的类别或标签。时间序列分类的困难之处在于不同时间序列或不同变量在时间尺度上的差异较大,很难高效地提取到有用特征。通常来说,单一分类模型仅仅针对某些类型的时间序列有较好的分类效果,但在泛化能力上仍然存在不足。

因此,传统的分类算法往往不能直接应用于时间序列数据。为了解决这个问题,研究者们开发了许多基于机器学习和深度学习的时间序列分类方法,尤其是深度学习在时间序列分类中的应用有效地解决了数据预处理这一繁杂的问题,并且分类准确度得到显著提高。例如,多层感知机通过全连接神经元为时间序列数组的每个元素逐层赋予权重,并输出最终各类别的概率分布。但是,多层感知机学习所有元素之间的相关性,无法有效地提取特征。文献[6]提出了一种全新的端到端神经网络模型——多尺度卷积神经网络(Multi-scale Convolutional Neural Network, MCNN)。MCNN将特征提取和分类集成在一个框架中,利用新的多分支层和可学习的卷积层自动提取不同尺度和频率的特征,从而获得更好的特征表示。然而,网络模型的超参数选择和信号数据的预处理质量好坏在很大程度上决定了MCNN模型的分类精度,因此该模型仍有改进的空间。文献[7]提出了一种结合了多尺度特征提取和注意力机制的深度学习模型——MACNN(Multi-scale Attention Convolutional Neural Network)。MACNN利用多尺度卷积生成不同尺度的特征图,以捕获时间轴上不同尺度的信息;然后提出一种注意力机制,通过自动学习每个特征图的重要性来增强有用的特征图。MACNN破除了单尺度卷积和等权重特征图存在的局限性。

上述网络模型仍然存在一些不足,例如仅仅使用卷积神经网络提取时间序列特征经常会导致无法高效提取序列的特征。此外,还存在未考虑序列特征的重要性差异的问题。针对这些问题,可以引入注意力机制或者加权损失函数等方法,使网络能够更加关注对分类有较大贡献的特征。上述2个问题如果得到有效解决,则能够增强网络的分类能力,并避免资源的浪费。

针对上述不足,本文提出了一种基于BiLSTM和卷积神经网络的模型用于进行辐射源个体分类识别。该网络为BiLSTM和CNN两个支路并行的网络架构,其结合了BiLSTM和卷积神经网络的优点,并且在网络中添加了注意力机制,使得网络模型能够自动学习对更加重要的特征赋予较多的关注。结果表明,本文所提出的模型在Oracle公开数据集上具有良好的效果,证明了所提出的网络模型的有效性,尤其在传输距离较远的样本中也具有较好的效果。由于传输距离较远时会引起多径效应和路径损耗,增加了辐射源个体识别的难度,而本文所提出的模型仍能成功识别,表明了模型具有更高的鲁棒性。

3 相关工作

3.1 LSTM网络

LSTM网络是以循环神经网络(RNN)为基础,增加了记忆细胞状态的RNN改进模型,使用门机制和记忆细胞来实现序列信息的有效传递。LSTM共有3个门:遗忘门、输入门(更新门)和输出门。LSTM在处理较长的时间序列信息时,可以有效解决普通的循环神经网络存在的记忆丢失和梯度消失问题[8]。LSTM包含一个隐藏向量h和一个记忆向量m,它们协同作用,通过复杂的门控机制控制每个时间步长中的状态更新。计算公式如下:

式中:gu、gf、go、gc分别代表输入向量、记忆单元、输出向量和细胞状态;ht是LSTM单元的隐藏向量;σ代表Softmax函数;W u、W f、W o、W c表示回归权重矩阵。

LSTM模型是可以支持双向输入的,BiLSTM由前向LSTM和后向LSTM组成。BiLSTM的工作原理是一个LSTM单元处理正向输入,另一个单元处理反向输入,这样能够兼顾处理过去和未来的信息,使网络能够更好地理解某个时刻前后的信息。

3.2 卷积神经网络模型

卷积神经网络(Convolutional Neural Network, CNN)是一种深度学习模型,特别适用于处理具有网格结构的数据,如图像和视频。卷积神经网络模型通过使用卷积层、池化层和全连接层来学习图像特征,并在图像分类、目标检测和图像生成等任务上取得了巨大成功。近些年来也被广泛应用于辐射源个体识别领域,最常见的有LeNet模型、AlexNet模型、VGG模型、ResNet模型等。卷积神经网络模型的核心是卷积层,每层卷积层都采用若干个卷积核进行卷积运算,通过滑动卷积核在输入图像上提取特征。这些特征在不同的卷积层中被逐渐提取,最终被送入全连接层进行分类或完成其他任务。池化层则用于降低特征图的尺寸,减少计算量,同时保留重要的特征信息。卷积神经网络有3个最重要的性质:局部连接、权值共享和平移不变性。这些性质决定了卷积神经网络的参数数量相比于其他的深度神经网络显著较少,并且学习到的特征具有平移不变性等优点。

3.3 注意力机制

注意力机制是一种模仿人类注意力机制的深度学习技术,它可以使神经网络在处理序列数据时更加关注重要的部分,从而提高模型的性能和效率。文献[9]提出的注意力机制在近年来已被广泛应用于语音识别、自然语言处理等领域。在深度学习中,注意力机制最常用在自然语言处理领域,特别是在机器翻译任务中。传统的神经机器翻译模型(如编码器-解码器模型)在翻译长句子时可能会出现信息丢失或模糊的问题,而引入注意力机制可以使模型在翻译每个词时更加关注输入句子中与当前词相关的部分,从而提高翻译质量。除了机器翻译,注意力机制还被广泛应用于语音识别、图像标注、图像生成、时间序列分类等领域,并且取得了良好的效果。

4 BiLSTM-CNN模型

本文提出用于时间序列分类的BiLSTM-CNN模型如图2所示,该模型由BiLSTM网络和卷积神经网络并联而成。卷积神经网络和LSTM网络在互不干扰的情况下对输入的IQ时间序列进行特征提取,最后经过特征融合,将2个网络模型支路提取到的时间序列特征和有关信息融合到一起,再输入Softmax层计算分类概率向量,输出分类结果,并且在网络输出后对其进行监督,根据交叉熵损失函数进行网络参数的学习和更新。

卷积神经网络模型支路由卷积层、批归一化层和ReLU层组成,通道数分别为32、64、128。第一层采用2×3的卷积核提取IQ数据的相关性特征,并且进行数据降维;然后再使用1×5和1×7的一维时域滤波器提取时域上的特征。在每一层卷积层后都使用了批归一化层和ReLU激活函数。批归一化操作能够提高模型的鲁棒性,还能加快模型的训练速度,防止过拟合。网络中使用ReLU作为激活函数,用于增强网络模型的非线性关系,使得学习参数更加稀疏化,从而降低网络的计算复杂度。此外,为了进一步提高模型性能,在前2个卷积层中还添加了一个挤压-激励模块,图3为该模块在本结构中的计算过程。挤压-激励模块能够自适应地重新校准输入特征图,即能够使有效的特征图权重更大,无效或效果较小的特征图权重小。对于整个挤压-激励模块,设置减速比r为16,最后时序卷积块后连接了一个全连接层。

对于另一个支路,本文采用了一种BiLSTM和注意力机制结合的网络模型,包含维度转置层(Dimension Shuffle)、BiLSTM层和丢弃层(Dropout)。BiLSTM是对LSTM模型的改进,在许多应用领域均取得了比LSTM更好的效果。本文在BiLSTM中加入了注意力机制,在输入序列和输出序列之间建立了一种对齐的方式,使得模型能够更加关注输入序列中与输出序列对齐的部分,从而提高模型的分类效率。首先时间序列数据被输入到维度转置层,维度转置层能够调换输入时间序列的维度,使输入的2×128的时间序列样本被视为长度为2、具有128个变量的时间序列,维度转置层能够显著提高训练效率。维度转置层之后的时间序列数据被输入到添加了注意力机制的BiLSTM层,以提取时间序列相关性信息;随后被传入到丢弃层,在训练过程中根据所设定的概率p随机移除一些神经元,目的是为了防止模型过拟合,增加模型的鲁棒性,本文将丢弃层概率p设为0.8。

最后将两个支路的网络模型所提取的时间序列注意力特征和相关性信息输入到特征融合层,随后该融合后的特征被送入Softmax层以计算其分类概率,最后输出分类结果。另外,为了避免过拟合,还添加了L2正则化项,其正则化参数设置为λ=0.000 1,网络优化器选择Adam,学习率设定为0.000 1。

5 实验结果与分析

5.1 实验数据集

近些年来,通信辐射源个体识别的研究越来越受到广大学者的关注,因此对于通信辐射源实采数据集的需求也越来越大。本文使用2019年美国东北大学公开的通信辐射源实采数据集Oracle[10],用于验证所提出的辐射源个体识别方法。该数据集使用16台高端X310 USRP SDRs作为发射器,这些SDRs具有相同的B210无线电接收器。通过MATLAB WLAN系统工具箱生成符合IEEE 802.11a标准的帧。数据帧包含随机生成的数据并具有相同的地址字段,用以进行空中无线传输。接收机SDR以5 MHz的采样率、2.45 GHz的中心频率对输入信号进行采样。该数据集为每个电台收集了超过2 000万个样本数据,并且是在开阔的区域进行试验,收发距离从2 ft增加到62 ft,每次间隔6 ft。

5.2 数据预处理

本文从Oracle数据集中采集到的每种辐射源设备的信号序列随机选取10 000个采样点用于实验,将这10 000个采样点的前8 000个点用于产生训练样本,后2 000个点用于产生测试样本。本文采用滑动时间窗法对辐射源的时间序列数据进行分割。图4展示了采样过程。滑动窗口时间长度的选取对于模型训练以及预测效果是至关重要的。参照文献[11],本文最终选取长度为128、步长为1的滑动窗口,在IQ信号数据序列中的I路和Q路分别提取2×128的样本。

完成训练样本的采集和筛选之后,需要在建模之前对数据进行预处理,目的是消除量纲的影响。数据标准化对于模型训练是十分重要的,如果数据未进行标准化直接建模,可能导致模型对于数值相对较大的样本过多关注,对数值相对较小的样本缺乏学习,训练不充分,最终导致模型效果不好。通常来说,数据预处理标准化的方法有Z-Score标准化、Min-Max归一化、均值方差标准化、小数定标法等方法,本文使用的是Min-Max归一化法。Min-Max归一化法就是利用数据列当中的极值(即最大值、最小值)进行标准化处理,将数据线性地缩放到一个指定的范围,通常是[0, 1]或者[-1, 1],计算方式为将数据与该数据列的最小值作差,再除以最大值与最小值的差。具体计算如下:

(2)

式中:x_表示标准化后的数据;min表示数据列中的最小值;max表示数据列中的最大值。

5.3 实验环境

实验环境配置如下:操作系统基于Windows,编程语言采用Python 3.9,硬件配置为12代Intel® Core™ i7-12700F CPU处理器,以及NVIDIA GeForce RTX 3060 GPU显卡。

5.4 对比实验

为了验证本文提出模型的有效性,在公开数据集Oracle中选取了收发距离为2~50 ft的4种辐射源信号序列,随机选取其中10 000个采样点进行实验测试,使用滑动窗口法生成训练集和测试集,窗口长度为128、步长为1。

本文使用Oracle-CNN模型对Oracle数据集的2~50 ft数据进行了分类实验。Oracle-CNN模型如图5所示。该模型使用了2层卷积层来提取时间序列中的特征,每层卷积层之后使用一个最大池化层来减少神经网络训练的参数和计算的数量。随后将2层卷积层的输出作为全连接层的输入,全连接层对前面卷积层提取的特征进行分类,最后在输出层使用Softmax激活函数。

由图6可知,Oracle-CNN在短距离样本中能够达到极好的效果,但是在收发距离较长的数据样本时精度显著下降。这是因为在信噪比较低的多径无线信道中,传输距离过长或反射所引起的多径效应和路径损耗对分类产生了影响。

鉴于此,本文设计了BiLSTM-CNN模型,该网络模型在远距离样本上也具有较好的分类精度,在38 ft样本上比Oracle-CNN提高8个百分点,在更远距离的样本上也能够取得较好的分类效果,如图7所示。

为了证明本文所提出的BiLSTM-CNN模型的有效性,分别单独采用LSTM、BiLSTM、CNN模型做了实验,并与本文所提出的BiLSTM-CNN分类模型进行对比,实验结果如图8、图9、图10所示。

结果证明了BiLSTM相较于LSTM有着更好的效果,主要是因为BiLSTM模型在处理时间序列数据时,会同时考虑前序信息和后序信息,因此在处理时间序列分类问题时更有优势。

通过对比3种网络模型在远距离样本上的精度可以显而易见地看出,LSTM相比于BiLSTM在时间序列分类上效果要较差一些;单独使用传统的CNN模型或BiLSTM模型时,其识别精度相比于本文的BiLSTM-CNN模型也较低。

此外,本文还对比了注意力机制对模型性能的影响,注意力机制能够帮助模型学习时间序列的底部特征[11],赋予关键特征更高的权重,从而能够获得更加准确合理的有效特征。分别测试了加入和不加入注意力机制对模型性能的影响,结果如图11所示。

添加了注意力机制以后,模型的分类性能得到了提升,在远距离样本上提升效果更加明显,表明注意力机制在时间序列分类方面具有有效性和鲁棒性,说明将BiLSTM和CNN与注意力机制结合提取局部信息和全局信息能够有效提高神经网络模型的性能。

实验结果对比表明,本文提出的分类模型在Oracle数据集上表现出更好的射频辐射源分类识别精度,在解决IQ时间序列分类任务方面更有优势。

6 结 语

目前,无线通信设备的射频指纹提取和识别仍然存在许多困难和挑战。为了提高在辐射源个体识别任务中的分类效果,本文设计了一种BiLSTM网络和卷积神经网络2个支路并行的网络架构(BiLSTM-CNN)对辐射源的射频信号进行分类识别。该模型结合了BiLSTM、卷积神经网络模块和注意力机制的优势。BiLSTM能够捕捉时间序列数据中的长期依赖关系和时间动态特征,控制序列信息的传递,从而更有效地对时间序列进行分类;卷积神经网络模块可以有效地捕捉时间序列数据中的局部模式和特征,并通过卷积操作和池化操作实现参数共享,使得模型在学习过程中更好地利用数据的局部相关性;注意力模块用于融合通道特征信息,使网络对于重要的特征给予更高的关注度。

在Oracle公开数据集中进行的实验证明了相较于其他网络结构,本文所提网络模型的识别准确率更高,尤其在存在多径效应和路径损耗的样本中其准确率也有明显提高,说明本文所提出的模型具有更高的鲁棒性。

注:本文通讯作者为张赞。

参考文献

[1]李伟,魏光辉,潘晓东,等. 复杂电磁环境下通信装备干扰预测方法[J]. 电子与信息学报,2017,39(11):2782-2789.

[2]郑娜娥,王盛,张靖志,等.基于射频指纹的辐射源个体识别技术综述[J].信息工程大学学报, 2020, 21(3):285-289.

[3] CHOE H C, POOLE C E, ANDREA M Y, et al. Novel identification of intercepted signals from unknown radio transmitters [C]//SPIE’s 1995 Symposium on OE/Aerospace Sensing and Dual Use Photonics. International Society for Optics and Photonics. [S.l.]: [s.n.], 1995: 504-517.

[4] NEUMANN C, HEEN O, ONNO S. An empirical study of passive 802.11 device fingerprinting [C]//32nd International Conference on Distributed Computing Systems Workshops (ICDCSW). [S.l.]: IEEE, 2012: 593-602.

[5] HALL J, BARBEAU M, KRANAKIS E. Detection of transient in radio frequency fingerprinting using signal phase [J]. Wireless and optical communications, 2003: 13-18.

[6] CUI Z C, CHEN W L, CHEN Y X. Multi-scale convolutional neural networks for time series classification [EB/OL]. (2016-05-11)[2021-06-20]. https: //arxiv. org/pdf/1603. 06995. pdf.

[7] CHEN W, SHI K. Multi-scale attention convolutional neural network for time series classification [J]. Neural networks, 2021, 136: 126-140.

[8] HOCHREITER S, SCHMIDHUBER J. Long short-term memory [J]. Neural computation, 1997, 9(8): 1735-1780.

[9] FRANCESCHI J Y, DIEULEVEUT A, JAGGI M. Unsupervised scalable representation learning for multivariate time series [C]// Proceedings of the 33rd Conference on Neural Information Processing Systems. [S.l.]: [s.n.], 2020.

[10] SANKHEK, BELGIOVINEM, ZHOU F, et al. Oracle: optimized radio classification through convolutional neural networks [C]//IEEE Conference on Computer Communications. [S.l.]: [s.n.], 2019: 370-378.

[11] RIYAZ S. Deep learning convolutional neural networks for radio identification [J]. IEEE communications magazine, 2018, 56(9): 146-152.

猜你喜欢
注意力机制无线通信卷积神经网络
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法
基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究
软件工程(2017年11期)2018-01-05 08:06:09
InsunKBQA:一个基于知识库的问答系统
基于深度卷积神经网络的物体识别算法
无线通信技术在测绘工程中的应用分析
基于ZigBee的舱内人员巡检系统的应用研究
斗轮堆取料机控制系统性能优化
深度学习算法应用于岩石图像处理的可行性研究
软件导刊(2016年9期)2016-11-07 22:20:49
基于深度卷积网络的人脸年龄分析算法与实现
软件工程(2016年8期)2016-10-25 15:47:34