基于改进深度残差网络算法的智能干扰识别

2022-11-07 07:52马键张广晋张磊戴经纬
电信科学 2022年10期
关键词:样本特征图像

马键,张广晋,张磊,戴经纬

研究与开发

基于改进深度残差网络算法的智能干扰识别

马键,张广晋,张磊,戴经纬

(中国移动通信有限公司研究院,北京 100053)

现网运维人力成本高、效率低,如何快速精准识别网络干扰类型、提高运维人员工作效率,成为亟待解决的问题。提出一种基于改进深度残差网络(ResNet)的智能干扰识别方法,通过对接运营商北向网管的通信干扰数据接口,对干扰数据进行采集和预处理,并结合现网专家经验对历史干扰数据类型进行标注和校正,形成离线干扰数据集。再将干扰频域信息进行图像化生成干扰频谱波形图,并针对不同干扰类型进行图像处理和数据处理。之后根据业务特点对传统ResNet算法进行改进,通过提取单一干扰类型特征,确定各特征在复合干扰类型中的权重,达到对任意干扰类型识别的目的。最后通过导入已训练好的模型对干扰数据进行在线识别,有效提高干扰识别的准确率和效率。

5G;干扰识别;深度残差网络

0 引言

随着5G网络的大规模建设,100 MHz带宽出现了大量新的干扰[1];并且随着当前5G用户的显著增多,系统内负荷也显著增加,出现了多种复合干扰。复合干扰可能破坏原有干扰的时频域特征,显著增加干扰的识别难度[2-4]。此外,传统的干扰识别依然采用人工识别的方法,存在如下问题。

●技术能力不足:5G新技术的出现,导致一线技术人员干扰识别的经验不足,缺乏对于5G干扰时域和频域干扰特征的常识。

●人员差异较大:网优人员流动高,造成人员的干扰识别经验缺乏有效积累,分析能力因人而异,优化效果无法保证。尤其对于复合干扰,每个人识别准则存在差异,容易导致漏判或者误判。

本文提出了一种基于改进深度残差网络(deep residual network,ResNet)的智能干扰识别方法,该方法首先通过服务器对接运营商北向网管的通信干扰数据接口,对干扰数据进行采集和预处理后,将结果保存到干扰数据库中,并结合现网专家经验进行标注和校正,保证了通用性和权威性。之后通过智能干扰识别系统,对干扰样本的频域信息进行图像处理,并通过构建针对复合干扰类型的改进深度残差网络算法,对样本进行离线的模型训练和在线的实时干扰识别。最后经过现网验证,该方法可以有效提高识别的准确率和效率。

1 干扰特征

1.1 单一干扰

单一干扰是指由单独一类原因引起的干扰,一般只包含一种干扰特征。以下为几种常见的单一干扰。

●LTE D[5-6]频段干扰:由于频谱划分的问题,原有LTE D频段为2 575~2 615 MHz, 40 MHz LTE小区需要移频到2 615~ 2 655 MHz。但是LTE D频段当前话务量较高,部分LTE D频段小区并未完全退频,产生对5G系统的干扰。

●NR系统内干扰[7]:由于5G用户大量增加,业务信道负荷显著抬升,在高话务区域,本身话务负荷或者小区PUSCH功能参数设置不合理等原因,导致PUSCH信道干扰显著抬升。

●视频监控[8]干扰:一般是指无线回传部分非法占用2.6 GHz频段,造成对2.6 GHz 5G信号干扰。从干扰特征来看,在整个2.6 GHz 100 MHz范围内都可能存在,呈现大约50 RB的干扰抬升,可能单个也可能多个。

●干扰器干扰:指在监狱/学校周边,经常会开启干扰器干扰整个无线信号,从频域特征来看,一般呈现整体底噪抬升或者大带宽的底噪抬升。

●路由器干扰:在无线路由器性能不佳时,经常会在2.6 GHz频段产生信号泄露,从而干扰5G信号。从频域干扰特征上看,呈现下宽上尖的宽频干扰,在2.6 GHz整个100 MHz频段都有可能出现。

●智能路灯干扰:于该类设备包含无线控制模块引起的干扰,从干扰特征上来看,存在右高左低、周期性波动降低特征,同时也有部分仅呈现右高左低的杂散特征。

●伪基站干扰:LTE D频段伪基站使用2.6 GHz频段,也会产生对于5G系统干扰。伪基站带宽可以支持1.4 MHz/3 MHz/5 MHz/10 MHz,现网常见的是5 MHz带宽,且多出现于5G系统后40 MHz带宽内。

●广电干扰(MMDS干扰):由于多路微波分配系统(MMDS)使用微波信号传输电视信号,2.6 GHz频段广电信号已经大面积退频,少数地市进度较慢依然存在少量影响。700 MHz的新频谱,存在大量广电信号干扰影响。从频域特征来看,主要呈现 8 MHz左右的方波。

●电信的800 MHz:由于下行频谱是869~880 MHz,三次谐波的频率范围为2 607~2 640 MHz,如果互调干扰抑制不好,有一部分信号会落进2 515~2 615 MHz这一段,呈现出右边带杂散干扰特征。

1.2 复合干扰

随着5G系统干扰越来越复杂,单一干扰场景逐渐降低,LTE D频段/NR系统内干扰伴随着其他种类干扰的复合干扰场景越来越多,种类越来越复杂,存在2~3种干扰叠加,这对干扰识别带来新的挑战。常见的复合干扰频谱特征有LTE D频干扰、NR系统内干扰,NR系统内干扰、路由器干扰,LTE D频干扰、干扰器干扰,NR系统内干扰、干扰器干扰,LTE D频干扰、NR系统内干扰、干扰器干扰,LTE D频干扰、NR系统内干扰、视频监控干扰。

2 深度残差网络

在深度学习中,网络层数越高,网络包含的函数空间也就越大,理论上网络的加深会让模型更有可能找到最优的函数去解决问题[9]。比如深度卷积网络整合了低、中、高不同层次的特征,特征的层次可以靠加深网络的层次来丰富,因此在构建网络结构时,网络的深度越高,可抽取的特征层次就越丰富、越抽象,对图像的分类就越准确[10-11]。但实际在深度学习中,网络的精度不一定会随着网络层数的增多而增多,会出现训练集和测试集准确率下降的网络退化现象,导致模型精度差、泛化能力低等问题。当浅层网络已经能够达到比深层网络更好的训练效果时,如果能把浅层的特征信息直接映射到深层,那么深层网络也可以保证较好的训练效果[12-14]。

为了解决传统深度学习模型的网络退化问题,微软实验室在2015年提出ResNet算法,并以巨大的优势获得当年ImageNet竞赛第一名,成为目前图像识别领域最先进的算法之一[15]。ResNet算法通过恒等映射连接不同网络层的方式构建残差网络结构,使深层的网络一定比浅层包含更多或至少相同的图像特征,在保证网络结构复杂程度下,根据学习目标自适应的调整网络层,保证了特征信息的完整性和准确性,提高了模型的精度和泛化能力[16-18]。

3 智能干扰识别系统

智能干扰识别系统如图1所示,分为离线和在线两大部分,离线部分包含图像化模块、图像处理模块、数据处理模块、算法模块和效果评估模块,该部分通过将干扰频域信息进行图像化生成干扰频谱波形图,并针对不同干扰类型进行图像处理和数据处理,之后使用改进的ResNet算法模型对干扰数据进行训练和验证,迭代生成模型并保存到干扰模型库,最后根据验证结果校正模型。在线部分包含数据采集、数据处理、干扰检测、图形处理、干扰识别和结果输出,该部分通过导入干扰数据库中的实时干扰数据,对所有小区进行数据处理和干扰检测,并将干扰小区的频域信息做图像处理,通过导入已训练好的离线模型对其作在线推理,生成干扰识别结果。

3.1 图像化模块

本模块通过采集运营商北向网管通信干扰数据,结合专家经验标注生成干扰样本,并对样本进行初步的数据处理和图像化,最后将结果存储在数据库中。具体步骤如下。

步骤1 干扰数据采集。通过对接运营商北向网管通信干扰数据,结合现网专家经验对干扰数据进行标注和校正,并对现有单一干扰类型和混合干扰类型进行梳理和分类。

图1 智能干扰识别系统

步骤2 数据提取。根据指标字段名称,提取干扰小区数据第0~272个PRB上检测到的干扰噪声(毫瓦分贝)和干扰类型,作为对应特征和标签。

步骤3 异常值处理。选取100 MHz全频段干扰数据,删除或替换存在异常数据的样本。

步骤4 图像化。原始干扰图像如图2所示,预处理干扰图像如图3所示,结合现网工程师的使用习惯,根据每条样本提取的特征值和标签生成两组干扰频谱波形图。原始图像用于人工评估分析,轴为0~272,轴为干扰值dBm,标题为对应干扰类型,图像文件以其样本编号命名。预处理图像用于模型训练、验证和测试,不包含横纵坐标轴、干扰类型标题,图像文件以其样本编号命名,并生成预处理图像文件名与其对应干扰类型的映射表。

步骤5 将预处理图像和映射表输入图像处理模块。

图2 原始干扰图像

图3 预处理干扰图像

3.2 图像处理模块

本模块通过加载干扰图像,将图像进行解码、形状变换等一系列图像处理操作,使之转化为模型可识别的数据类型并存入数据库中。具体步骤如下。

步骤1 图像解码。将预处理图像进行灰度化处理,像素点取值范围为0~255,黑色为0,白色为255,灰色为中间过渡色。

步骤2 形状变换。重新调整图像大小,将图像分辨率从640 dpi×480 dpi压缩为224 dpi× 224 dpi。

步骤3 水平翻转。无线网桥干扰预处理图像如图4所示,无线网桥干扰预处理水平翻转图像如图5所示,根据干扰类型特征,针对部分频点不固定的干扰类型,可以对其图像做水平翻转,增加样本量。

步骤4 数据类型转化。将图像解码后的数值转化为算法模型可识别的数据类型。

步骤5 导入映射表,将图像处理后的样本数据与其对应的干扰类型做匹配,生成样本数据文件,输入数据处理模块。

图4 无线网桥干扰预处理图像

图5 无线网桥干扰预处理水平翻转图像

3.3 数据处理模块

本模块通过对干扰类型标签的分析,针对样本数量较多、特征较为明显的标签,进行标签选择和样本平衡处理,并通过折交叉切分将样本拆分为训练集和测试集。具体步骤如下。

步骤1 标签选择。根据效果评估和干扰类型占比,选择样本特征较明显、数量较多的干扰类型作为标签。

步骤2 标签编码。对字符串类型的标签进行编码,转化为数字类型,便于算法模型预测和效果评估。

步骤3 数据平衡。基于各干扰类型的样本数量,对数量较少的样本进行上采样,数量较多的样本进行下采样。

步骤4 数据集拆分。采用折交叉切分将样本拆分为训练集和测试集,并保证每个子集中干扰类型分布和原数据集相同。

步骤5 将训练集和测试集输入算法模块。

3.4 算法模块

改进残差网络结构如图6所示,本模块构建了ResNet18算法的基础模型,并根据通信干扰数据的业务特点对原算法进行改进。由于复合干扰类型包含单一干扰类型的特征,即分类标签之间不满足相互独立的条件,所以原算法采用的多类别分类方法不适用于目前的干扰识别业务。本文通过构造单一干扰识别模块和复合干扰识别模块对原算法进行改进,将多分类问题转化为多标签分类问题。单一干扰识别模块通过模型训练提取单一干扰样本特征并对其进行识别,复合干扰识别模块通过获取单一干扰样本特征,对任意复合干扰样本进行识别[19-21]。具体步骤如下。

图6 改进残差网络结构

步骤1 导入单一干扰类型图像训练集并做折交叉验证。将原训练集拆分为等份,并保证每份数据集中干扰类型占比与原数据集相同。随机选取1份作为验证集,-1份作为新的训练集,进行轮训练,每轮迭代次,总迭代次数为次。由于干扰图片为单通道,图像分辨率大小为224 dpi×224 dpi,所以输入数据的维度为1×224×224。

步骤2 输入数据进行初始卷积运算,该卷积层包含64个步长为2、维度为7×7的过滤器,然后通过批标准化(batch normalization,BN)和ReLU函数的优化来减小过拟合,最后经过最大池化运算将数据长宽压缩一半做降维处理。BN,即在每次卷积后对小批量的数据做规范化操作,使得各通道的均值为0,方差为1,达到避免过拟合、加快运算效率的目的。ReLU激活函数的非线性变换,会使一部分神经元的输出为0,加强网络的稀疏性,从而减少过拟合的发生。

步骤3 构造4组残差模块,每个残差模块包含2个基础模块,基础模块按照CNN + BN + ReLU + CNN + BN的顺序构造网络层,输入数据通过基础模块运算后得到对应结果,再将该结果与捷径所得的输入值相加,并通过ReLU激活函数得到该模块的输出。

步骤4 完成所有卷积模块运算后,通过全局平均池化层和全连接层运算,提取干扰图像特征。

步骤5 构造单一干扰识别模块,将原结果映射成概率分布的softmax函数替换为sigmoid函数。选取最大概率的干扰类型作为该干扰数据样本的预测结果。softmax函数和sigmoid函数如下,其中,为输入数据,e为指数运算,为类别数量,=1,2,...,。

步骤6 完成前向传播后,根据干扰数据样本的预测结果和实际结果构造损失函数,并将多类别交叉熵损失函数替换为二分类交叉熵损失函数,对模型进行梯度反向传播。最后迭代模型更新网络参数,并根据验证集测试每轮迭代的效果。多类别交叉熵损失函数和二分类交叉熵损失函数如下,其中为输出数据,为样本序号,为概率,为样本总量,为类别数量,=1,2,...,。

步骤7 重复步骤1~步骤6,当模型训练达到最大迭代次数时停止迭代,并保存模型网络参数和配置参数。

步骤8 构造复合干扰识别模块,将复合干扰类型样本通过网络提取干扰特征,并从单一干扰识别模块中获取单一干扰特征,对该样本特征进行匹配,选取得分较高的干扰组合作为该复合干扰类型结果。

3.5 效果评估模块

本模块根据测试集的验证结果,对训练完的模型进行效果评估,调整标签选择规则和模型超参配置。具体步骤如下。

步骤1 导入已经训练完成的模型网络参数和配置参数,对测试集数据进行模型推理,通过计算推理结果的F1-Score和准确率,评估模型效果。

步骤2 根据评估效果,调整标签选择规则和模型超参数配置。

3.6 在线部分

本模块通过在线对接运营商北向网管的实时干扰数据,检测出高干扰小区,并对其进行数据处理和图像处理。之后通过导入离线阶段已经训练好的模型,对干扰小区进行干扰类型的识别。具体步骤如下。

步骤1 对接运营商北向网管,根据预设的时间戳采集PM干扰数据。

步骤2 根据规定的字段名称和数据格式,对采集到的数据进行预处理并入库。

步骤3 计算每天忙时8:00—22:00的全频段、D1频段、D2频段的PRB干扰平均值,三者之一大于−110 dBm或−107 dBm的小区检测为干扰小区。

步骤4 类似离线部分将干扰小区的频域信息进行图像化和图像解码,并转化为模型可识别的数据类型。

步骤5 导入已经训练完成的模型,对干扰数据进行在线推理,获取干扰类型。

步骤6 将干扰识别结果按照规定字段名称和数据格式保存到数据库。

表1 常见5G干扰类型

4 现网应用

4.1 干扰分析和模型训练

本文通过收集2021年6月到8月某省北向网管2万条5G干扰数据样本,并采用专家经验对其进行3轮标注和校正,生成基础干扰数据集。目前该省5G现网共有17种干扰类型,通过整理和筛选总结得到15种类型为急需重点解决的常见干扰类型,包括前10种单一干扰类型和后5种复合干扰类型,涵盖干扰场景的90%。通过对单一干扰类型样本的模型训练和效果评估,实现对单一干扰类型的干扰识别,以及任意配对形成的复合干扰类型的干扰识别。常见5G干扰类型见表1。

4.2 现网验证

现网数据采用该省2021年12月27日的682条5G干扰数据,人工干扰类型识别准确率约为70%,识别效率约为1人/天。本文提出的智能干扰识别准确率为90.5%,效率为8.3 s,相较于人工干扰识别,准确率和效率有明显提升,并且对于之前未出现过的新型复合干扰类型,例如,NR系统内干扰、路由器,都有较好的识别效果。智能干扰识别系统结果见表2。

5 结束语

本文提出的基于改进深度残差网络的智能干扰识别方法,通过采集运营商北向网管的通信干扰数据,并结合现网专家经验对干扰数据进行标注和校正。之后,对干扰样本的频域信息进行图像处理,构造针对复合干扰类型的改进残差网络,对样本进行离线的模型训练和在线的实时干扰识别。经过现网验证,相较于传统的人工干扰识别,该方法可以有效地提高识别准确率和效率、节约人力成本。

表2 智能干扰识别系统结果

[1] 段晓东, 孙滔. 面向融合、智慧、低碳的5G技术演进[J]. 电信科学, 2022, 38(3): 3-9.

DUAN X D, SUN T. Towards converged, intelligent, low-carbon characterized 5G-Advanced technologies[J]. Telecommunications Science, 2022, 38(3): 3-9.

[2] DAHLMAN E, PARKVALL S, SKOLD J. 5G NR: the next generation wireless access technology[M]. New York: Academic, 2020.

[3] 宋心刚, 张冬晨, 李行政, 等. 2.6 GHz频段5G上行干扰分析与识别研究[J]. 电信工程技术与标准化, 2021, 34(4): 74-81.

SONG X G, ZHANG D C, LI X Z, et al. Research on interference analyzing and recognition of 5G in 2.6 GHz[J]. Telecom Engineering Technics and Standardization, 2021, 34(4): 74-81.

[4] 陈凯. 5G干扰特征识别及解决方案研究[J].邮电设计技术, 2021(4): 34-39.

CHEN K. Research on 5G network interference characteristics recognition and solution[J]. Designing Techniques of Posts and Telecommunications, 2021(4): 34-39.

[5] DEB S, MONOGIOUDIS P. Learning based uplink interference management in 4G LTE cellular systems[J]. IEEE/ACM Transactions on Networking, 2015, 23(2):398-411.

[6] DARWEESH T A, ELSAYED K. LTE uplink interference-aware scheduling using high interference and overload indicators[C]//Proceedings of IFIP Wireless & Mobile Networking Conference. Piscataway: IEEE Press, 2016.

[7] 宋心刚, 张冬晨, 李行政, 等. 5G NR上行干扰问题研究[J]. 电信工程技术与标准化, 2020, 33(3):9.

SONG X G, ZHANG D C, LI X Z, et al. Research on uplink interference of 5G NR[J]. Telecom Engineering Technics and Standardization, 2020, 33(3): 9.

[8] 韩文冬. 5G基站上行干扰分析工具设计与实现[J].现代信息科技, 2021, 5(4): 53-55, 59.

HAN W D. Design and implementation of uplink interference analysis tool for 5G base station[J]. Modern Information Technology, 2021, 5(4): 53-55, 59.

[9] 李攀攀, 谢正霞, 乐光学, 等. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.

LI P P, XIE Z X, YUE G X, et al. Research progress and trends of deep learning based wireless communication receiving method[J]. Telecommunications Science, 2022, 38(2): 1-17.

[10] SCHMIDHUBER J. Deep learning in neural networks: an overview[J]. Neural Networks, 2015(61): 85-117.

[11] LU L Q, YI Y H, HUANG F L, et al. Integrating local CNN and global CNN for script identification in natural scene images[J]. IEEE Access, 2019(7): 52669-52679.

[12] SCHMIDHUBER J. Deep learning in neural networks[J]. Neural Netw, 2015.

[13] YANG W, JING Z, YANG C, et al. A deep CNN method for underwater image enhancement[C]//Proceedings of 2017 IEEE International Conference on Image Processing (ICIP). Piscataway: IEEE Press, 2017.

[14] DOLZ J, AYED I B, JING Y, et al. HyperDense-Net: a hyper-densely connected CNN for multi-modal image segmentation[J]. IEEE Transactions on Medical Imaging, 2018(99).

[15] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE Press, 2016: 770-778.

[16] LI B Q, HE Y Y. An improved ResNet based on the adjustable shortcut connections[J]. IEEE Access, 2018(6): 18967-18974.

[17] ROY S K, MANNA S, SONG T C, et al. Attention-based adaptive spectral–spatial kernel ResNet for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(9): 7831-7843.

[18] YOO H, HAN S, CHUNG K. Diagnosis support model of cardiomegaly based on CNN using ResNet and explainable feature map[J]. IEEE Access, 2021(9): 55802-55813.

[19] WU Z, SHEN C, HENGEL A. Wider or deeper: revisiting the ResNet model for visual recognition[J]. Pattern Recognition, 2016(90): 119-133..

[20] JIAO J B, TU W C, HE S F, et al. FormResNet: formatted residual learning for image restoration[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE Press, 2017: 1034-1042.

[21] YUE Z, LUO J Q, HUSHENG F, et al. Study on the identification method of human upper limb flag movements based on inception-ResNet double stream network[J]. IEEE Access, 2020(9): 85764-85784.

Improved ResNet algorithm based intelligent interference identification

MA Jian, ZHANG Guangjin, ZHANG Lei, DAI Jingwei

China Mobile Research Institute, Beijing 100053, China

The labor cost of the current network operation and maintenance is high and the efficiency is low. How to quickly and accurately identify the type of network interference, and improve the work efficiency of the maintenance personnel has become an urgent problem to be solved. An intelligent interference identification method of improved deep residual network (ResNet) was studied. The interference data was collected and preprocessedby connecting with the communication interference data interface of the operator's northbound network management. The type of itwaslabelled and corrected by the current network experts to form an offline interference data set. Then the interference frequency domain information was used to generate the interference spectrum waveform image, and performed image processing and data processing for different interference types. After that, the traditional Res Net algorithm was improved according to the business characteristics to extract the features of single interference type. The features were weighted in the compound interference type to identify any type of interference. Finally, the interference data was identified online by importing the trained model, which effectively improved the accuracy and efficiency of interference identification.

5G, interference identification, ResNet

TN929.5

A

10.11959/j.issn.1000−0801.2022233

2022−01−20;

2022−10−08

马键(1984− ),男,中国移动通信有限公司研究院无线与终端技术研究所技术经理,主要研究方向为无线网络智能优化、无线网管功能及产品开发工作。

张广晋(1990− ),男,中国移动通信有限公司研究院无线与终端技术研究所工程师,主要研究方向为无线网络智能优化、方案设计、AI算法研究及系统开发。

张磊(1984− ),男,中国移动通信有限公司研究院无线与终端技术研究所工程师,主要研究方向为产品解决方案设计。

戴经纬(1985− ),女,中国移动通信有限公司研究院无线与终端技术研究所工程师,主要研究方向包括无线网络智能化应用需求分析、方案设计、系统开发。

猜你喜欢
样本特征图像
离散型随机变量的分布列与数字特征
基于生成对抗网络的CT图像生成
浅析p-V图像中的两个疑难问题
巧用图像中的点、线、面解题
抓特征解方程组
不忠诚的四个特征
规划·样本
随机微分方程的样本Lyapunov二次型估计
“官员写作”的四个样本
趣味数独等4则