宽窄带融合下基于RNN-LSTM网络的温度预测

杨钦榕，陈万培，高 绅，张 涛,韩 恒

(扬州大学 信息工程学院，江苏 扬州 225009)

0 引言

现如今，物联网在线监测技术[1]在高压输电线路中的应用愈发广泛，线路的温度等参数在终端即可显现，告别了传统的人力巡线，给输电线路的运维管理带来了诸多的便利。随着应用的愈发深入，传感器掉线、数据异常等问题接踵而至，如何对运行线路进行温度预测、保证测温系统的平稳运行便成为了亟待解决的问题。测温系统在监测过程中会得到许多关联的数据，现阶段对这些数据主要应用就是查看与查询，没有做到对数据的多方面应用。如何利用好这些海量数据，通过对数据进行分析与研判，对系统运行过程中出现的故障进行诊断，已成为当下研究的热点。

现阶段，温度预测的方法大概可分为传统的手动分析数据并提取特征的方法和人工智能网络模型预测法。文献[2]在介绍变电站测温系统的基础上构建系统模型，从红外理论角度出发，得到时间上存在关系的数据，针对不同的影响因素提出相应改进措施。文献[3]中，罗会兰等学者对当前较流行的神经网络识别行为方法进行了整体的概括，着重介绍了传统的手动提取行为特征的方法，并对手动提取特征的步骤及优缺点进行了论述。王祥民等研究人员提出了一种动态主元分析与超限学习机相结合的方法来预测分解炉出口处的温度。通过提取主元实现降维，并将其作为超限学习机的输入，调整超限学习机的参数，搭建温度预测模型[4]。

然而随着应用场景的多元化、监测系统的复杂化，很难建立一个数学模型应用到特定的场景中，因此传统的特征提取方法不再是建立温度预测模型的首选。在面对复杂场景下的温度预测时，日趋火爆的以大数据为基础的人工智能优化方法逐渐受到研究者的青睐。

Shang等研究人员在文献[5]中聚焦电极间间隙不均匀的电解加工问题，分析工件、电解液和阴极等参数对加工精度影响后，提出构造BP神经网络，采用Levenberg Marquadt (LM)算法对该网络进行训练。实验表明，BP神经网络可实现对阳极精度的精准预测。

然而，BP神经网络对网络初始权重较为敏感，不同初始权重会导致收敛于不同的网络极小，在每次训练时出现不同的结果。同时BP神经网络具有收敛速度慢、训练数据能力和网络预测能力矛盾等缺点，在输电线路温度的预测方面不是最优选择。

文献[6]提出了利用循环神经网络检测网络入侵的方法，将有门控单元的循环网络与多层感知器结合起来，自动筛选有效特征。实验表明,提出的系统使用双向门控循环单元和多层感知器时,总体检测率最高达到了99.42%和99.24%,误报率分别低至0.05%和0.84%,与同类研究相比有更优的性能。而自从长短期记忆神经网络[7](Long Short-Term Memory，LSTM)的逻辑门结构获得认可以来，陆续出现了多种LSTM的变体，如有窥视孔连接的LSTM[8]、门递归单元(GRU)[9]等。LSTM神经网络是处理时间序列数据的一种方法,通过学习历史数据,可以找出数据之间的关系以及发现其中的内在规律。

本文将对高压输电线路的数据传输频带进行统一，采用融合后的频带进行传输，收集运行线路上的温度数据，并构建RNN-LSTM网络提取数据特征并做出温度预测。实验数据表明，这种预测方法准确率高，可为系统后台管理提供可靠的依据。

1 宽窄带融合

由第三地合伙人计划(The 3rd Generation Partnership Project，3GPP)组织制定的通用移动通信系统技术标准的长期演进的LTE[10](Long Time Evolution)，在数据传输速度、单次数据传输量等方面有着显著的优势，已成为宽带通信网络的技术标准。而窄带网络的当前技术标准则是数字移动通信系统[11](Digital Mobile Radio,DMR)，此种通信网络单次传输数据量较小，但资源浪费率较低。LTE与DMR在单次数据传输量、数据传输速度等方面存在较大差异，可能出现延时、带宽浪费等问题。

宽带的通用标准LTE堆栈层面由下到上依次分为物理层(PHY)、数据链路层(DLL)和网络层，其中数据链路层又可以细分为媒体访问层(MAC)、数据链路层(RLL)和分组数据汇聚协议层(PDCP)。而窄带的通用标准DMR，设有呼叫控制层(CCL)、DLL和PHY。窄带与宽带相比，层次更少，空口技术[12]差别明显，物理层对应的加密方式、调制方式以及链路层对应的帧长等数据形式都存在明显不同。结构上的不同导致宽带与窄带有很多关键技术上的差别。具体差别如表1所示。

表1 LTE与DMR的关键技术对比

为此，可在链路层和物理层之间加入通用数据管理层(General Data Management，GDM)，所有数据汇集到这一层，再由通用数据管理层对数据进行统一的分配，使传输数据量与融合后的带宽恰好匹配。融合后的架构图如图1所示。

图1中，来自不同传感器的数据先汇集到GDM，由GDM根据带宽大小，将一定量的数据平均分配到每个子网络中进行传输。融合后的传输速率表示如下：

(1)

(2)

式中，j为接入技术(窄带或宽带)；i为业务；Sij为信道转移函数；Nij为噪声功率谱密度；bij为采用接入技术j所得的带宽大小；Pij为采用接入技术j处理业务i的发射功率；βj为系统效率[13]；Ri为香农容量。

图1 宽窄带融合架构Fig.1 Diagram of wide and narrow band fusion architecture

2 循环神经网络

循环神经网络(Recurrent Neural Network,RNN)是一种基于序列数据的递归神经网络，这种网络包含的循环结构，可以将上一时刻的数据传递至下一时刻，并作用于下一时刻。在传统RNN中，数据往往由顶层传输至底层，层与层之间的神经元以全连接的方式相连。典型RNN的结构与神经网络一样，由输入层、隐含层和输出层组成[14]。而与传统RNN不同的是，典型RNN的隐藏层的输出与上一隐藏层的输出有关，即将先前时刻的信息与当前时刻的任务联系到一起，大大提高了数据特征的学习能力。典型RNN结构如图2所示。

在图2中，A代表循环体。激活函数tanh的导数在(0，1]上，与Relu及Sigmoid等其他激活函数比，不容易产生梯度消失，因此在构造RNN时，一般选用tanh作为激活函数。

图2 RNN结构Fig.2 Structure of RNN

3 长短期记忆神经网络

长短期记忆神经网络(Long Short TimeMemory,LSTM)是一种特殊的循环神经网络，较一般的循环神经网络比，LSTM有效地解决了循环神经网络存在的长期依赖问题。LSTM通过引入自循环的设计来产生梯度长路径[15]，每迭代一次，自循环的权重也随之改变，通过加入3个门：遗忘门、输入门及输出门，这种独特的结构使得误差在传播过程中无需逐层归因，部分误差可直接传递给下一层网络，可有效地解决梯度消失这一问题。其基本网络架构如图3所示。

图3 LSTM结构Fig.3 Structure of LSTM

4 新构造网络

通过对RNN网络和LSTM网络的分析，本文提出了一种用于高压输电线路温度预测的RNN-LSTM网络。与单独RNN网络一样，RNN-LSTM网络同样选择tanh作为激活函数，确保不产生梯度消失。RNN网络提取到数据特征后，在隐含层有时序性地训练一定的次数，t时刻的输出作为t+1时刻的输入，再将RNN网络的输出作为LSTM网络的输入。在LSTM网络中，通过在三大门限单元中设置不同的权重和偏置，在遗忘门和输入门分别对数据进行筛选和更新的处理后，最后通过输出门输出。RNN-LSTM结构如图4所示。

图4 RNN-LSTM结构Fig.4 Structure of RNN-LSTM

本文中，RNN及LSTM网络的相关参数设置如表2所示。

表2 RNN和LSTM网络的参数设置

RNN-LSTM混合网络模型的算法显示如下：

输入：训练集[Xtrain，Ytrain]，测试集Xtest

步骤：

1.将训练集中的数据平均划分为5组；

2.提取每组数据中的RNN特征[Xitrain,Yitrain]；

3.提取每组数据中的LSTM特征[Xitrain,Yitrain]；

4.根据训练数据，计算下一时刻的温度值来测试[Xitest,Yitest]；

结束

返回数据

输出：经网络模型训练后的温度值

5 数据分析

在终端收集宽窄带融合后传输来的数据，将数据按照线路号码归类，保留来自5条不同线路上100天的温度值，每条线路共14 400个数据。各组数据的训练集和测试集大小如表3所示。

表3 各条线路的训练集与测试集数据量

以3#线路为例，将数据导入Python软件，对数据进行特征提取，并对线路温度做出预测，得出如图5所示的结果。

图5 3#线路温度走势预测Fig.5 No.3 line temperature trend prediction chart

通过构造出的RNN-LSTM网络对5条线路的数据分别训练50次，运用均方误差和平均绝对误差来衡量所构造网络预测的准确率。RNN-LSTM网络的预测结果如表4所示。

表4 RNN-LSTM网络预测准确率评估

本文基于RNN和LSTM网络，构造了新的RNN-LSTM网络，在此总结了RNN、LSTM和RNN-LSTM网络分别应用于数据集时的数据预测结果。实验结果表明，运用RNN-LSTM网络对输电线路温度进行预测的准确性最高，同时训练时间较短。具体数据如表5所示。

表5 网络预测准确率和训练时间

6 结束语

通过对RNN网络和LSTM网络的分析，提出了构造RNN-LSTM网络来进行温度预测的方法。该网络与RNN网络相比，预测准确率提高了近3%，比LSTM网络的预测准确率高约5.5%，为提前了解高压输电线路上的温度状况提供了更可靠的依据。但该网络在提高预测准确率的同时，训练时间也随之有所增加，构建提高预测准确率也能降低训练时间的网络，有待后续进一步研究。