结合注意力机制与MSCNN-BiLSTM模型的电梯主动式故障预警

2023-09-18 21:42刘铠林穗贤胡昱杨贤
现代信息科技 2023年15期
关键词:注意力机制

刘铠 林穗贤 胡昱 杨贤

摘  要:主动式故障预警不仅可以辅助电梯的检修与维护,还可以最大程度地降低电梯安全事故。基于某公司现有电梯运行状态的数据集,提出一种电梯健康指数(HI)预测模型。该模型是结合注意力机制的多尺度卷积神经网络(MSCNN)和双向长短时记忆网络(BiLSTM)的融合模型,可以全面提取电梯数据集的深层次特征和时序信息,实现HI预测和主动式故障预警。在与其他常见模型方法的比较中,证实了该文模型具有更好的预测性能。

关键词:主动式;故障预警;MSCNN-BiLSTM;注意力机制

中图分类号:TP183;TP391 文献标识码:A 文章编号:2096-4706(2023)15-0151-06

Elevator Active Fault Early Warning Based on Attention Mechanism and

MSCNN-BiLSTM Model

LIU Kai1, LIN Suixian2, HU Yu1, YANG Xian1

(1.School of Electromechanical Engineering, Guangdong University of Technology, Guangzhou  510006, China; 2.Guangzhou Guangri Elevator Industry Co., Ltd., Guangzhou  511441, China)

Abstract: Active fault early warning can not only assist in elevator's maintenance and repair, but also minimize elevator safety accidents. A predictive model for elevator health index (HI) is proposed based on the existing dataset of elevator operation status in a certain company. This model is a fusion model of Multi-Scale Convolutional neural network (MSCNN) and bidirectional long short memory network (BiLSTM) combining attention mechanism, which can comprehensively extract the deep features and time series information of elevator dataset, and realize HI prediction and active fault early warning. In comparison with other common model methods, it has been confirmed that the model proposed in this paper has better predictive performance.

Keywords: active; fault early warning; MSCNN-BiLSTM; attention mechanism

0  引  言

故障预警是设备故障预测和设备健康管理领域的研究热点,其有着广泛的应用[1-3]。在物联网、云计算等技术的驱动下,机械设备与工业制造系统朝着大型化、复杂化、高精度化和智能化方向发展,随之产生了诸多问题,如设备健康维护与保障的难度不断加大,维护成本持续提高;设备不可预测的故障增加,尤其是电梯等特种设备,一旦关键部件出现意外故障,可能会带来灾难性的后果。随着国家经济发展和人民生活水平提高,电梯已然成为日常生活中的常用设备,也因为其使用頻率较高,故障率也一直维持在较高的水平,这给百姓的生活带来极大不便甚至生命威胁。故障预警可提前掌握电梯运行状态并进行电梯检修,避免故障的发生,具有很高的研究价值。

王玉军[4]提出,当维修成本较高时,预防性维修比故障后维修更符合经济效益。我国实行的是电梯定期预防性维修以及故障后的紧急抢修相结合的电梯维保制度,定期维修存在着资源消耗过大的问题。针对此问题,学者们提出了不定期维保制度,依赖于故障预警技术确定设备维修时间,辅助工程师制定维修策略。现今故障预警领域的关键技术为:分析故障产生机理、退化趋势,构建性能退化模型[5];提取设备运行状态发展趋势特征,剔除噪声信息,进而构建设备故障预测模型[6];根据设备退化趋势和实际生产生活需求,确定故障预警时间。

在电梯相关领域的研究成果主要集中在故障诊断方面,而对故障预警时间的研究较少。在现有的故障预警研究中,基本只采用了历史电梯运行数据,而没有结合电梯故障数据,未针对故障发生时刻的电梯参数进行研究[7]。使用单一的电梯状态数据进行故障预测,会导致忽略了电梯的其他关键数据,最终造成故障预警精确度不高,无法准确提前预警电梯故障发生时间等问题。

因此,本文结合电梯历史故障数据和运行数据对电梯进行故障发生时间预测,提出了一种结合注意力机制的多尺度卷积神经网络和长短时双向记忆神经网络(Multi-Scale Convolutional Neural Network and Bi-directional Long Short-Term Memory, MSCNN-BiLSTM)的HI预测模型。该模型一方面充分利用了MSCNN深层次空间特征提取的优点,提高了模型特征提取的深度和效率;另一方面融合了BiLSTM时间序列信息的处理能力,增强了算法模型对电梯退化期间时间序列信息的记忆能力;最后使用注意力机制实现权重分配,过滤无效信息,实现电梯的HI预测,最终根据实际需要确定故障预警阈值来完成故障预警。

1  背景分析

1.1  故障预警现状

随着软硬件技术的快速发展,物联网技术逐渐应用到机械设备的运行监管系统中,以实现设备深层次监管,定期评估设备的运行状况。电梯行业结合物联网技术,通过在电梯设备中添加传感器或者电梯主控板进行电梯运行数据采集与分析,基于此实现电梯故障预警。

故障预警一般聚焦于故障诊断和预警时间预测,传统故障诊断技术局限于人工信号分析,依赖于专业技术人员的机理知识和经验[8],存在着局限性;随着机器学习和深度学习的快速发展,诊断技术增添了智能诊断方向,通过卷积神经网络等深度学习算法[9]极大地提高了诊断效率和便捷性。江朋等[10]提出了一种集成故障预警模型,通过FP-Growth算法对历史运行数据和故障检修数据进行特征参数融合和故障分类,实现了故障诊断专家知识库构建和设备故障预警。

故障预警最重要的一环是故障预警的时间,现今主要的预测依据是设备的运行状态与正常状态的偏离度和设备故障时间。对于偏离度计算方法,彭道刚[11]等人提出一种基于长短期记忆网络和支持向量机的故障预警方法,利用长短期记忆网络输出压气机的参数预测值和实际值的残差曲线,设立预警阈值,通过残差与阈值的距离以此来确定预警时间。

1.2  健康指数预测方法

数据驱动方法具有高效的数据处理能力,并且无需依赖设备实际退化机理模型和专家知识,通过挖掘隐藏在大量历史数据中的退化信息,进行有效的故障预测。在这一领域中,已有一些效果不错的成果[12,13]。蒋文博等人采用比例风险模型构造HI,再通过机器学习模型实现了电梯故障预测[7]。李京峰等人采用深度置信网络对各个监测参数加权融合,构造HI,再通过长短时记忆神经网络(LSTM)实现了发动机故障预测[14]。王玉静等人使用卷积神经网络和LSTM构建出具HI,最后通过多项式曲线拟合实现了轴承故障预测[15]。谷梦瑶等人采用马氏距离计算设备状态的偏离度,再运用负向转换函数构建HI,最后通过相似性寿命预测方法实现了陀螺仪故障预测[16]。岳研等人采用多通道融合特征提取器提和自适应选择器提取关键特征,最后通过BiLSTM构造HI并实现了故障预测[17]。

综上所述,故障预测是故障预警任务中必不可少的部分,是指导工程师制定维保策略至关重要的基础,所以本文主要研究电梯设备的HI预测模型,实现电梯自动式故障预警。

2  数据和方法

实验所使用的数据集来自某电梯公司2022年179台电梯的故障数据和运行数据,保证了数据集的真实可靠性,实验在Python编程环境中编写。本文提出的模型方法预测流程由数据采集、数据存储、数据预处理、数据分析4大模块组成。

2.1  数据介绍

故障数据包含了主故障码、电梯编号、故障时间、电梯运行次数、电梯状态码、故障解除时间等故障相关信息,共有176列,表1为故障数据样本;运行数据是电梯运行过程所记录的参数信息,包括电梯编号、运行时间、启动楼层、停止楼层、电梯状态、运行接触器吸合时间等57列信息,表2为运行数据样本。

2.2  数据预处理

2.2.1  原始数据處理

原始的电梯故障数据和电梯运行数据是按照发生时间直接存储在总数据库中,存在重复提交、系统误判和部分记录内容缺失等问题,无法直接用于数据匹配和模型训练,需要设置数据清洗步骤,获取一份规整的电梯故障数据和运行数据。

对于原始故障数据,首先剔除故障次数小于3次的电梯故障数据,此类电梯一般是使用年限较短、质量较好、使用频率较低的电梯,也可能是部分数据丢失等情况,缺乏足够的历史数据;其次剔除短期内多次发生相同故障的数据,此情况是系统重复报障或者维修人员维修不完全导致的;再者剔除误报障的数据,此类数据是由于系统误判电梯状况产生的;最后基于日均故障次数,用四分位展布法去除离群点,剔除的数据基本来源于实验电梯和使用频率低的电梯。

对于电梯运行数据,首先基于故障数据的时间和电梯工号,构建剩余使用寿命标签;接着对数据进行去重操作;最后经过归一化处理每个特征,因为数据维度高,拥有着不同的量纲。归一化处理公式为:

2.2.2  数据标签构建

对于同一种故障而言,电梯从故障解除到故障发生的周期内的运行数据具有时间连续性。随着电梯运行时间不断增加,电梯部件的磨损不断加重,使得电梯部件的HI在运行周期内时刻变化,因此可采用基准度量法计算电梯在运行周期中的位置LOC,以此初步定义HI,计算公式为:

其中,T(n, i)表示第i个运行周期中的故障时刻,T(0, i)表示第i个运行周期的起始时刻,T( j, i)表示第i个运行周期中的第j个时刻。虽然LOC与故障直接相关,但时间并不足以作为HI定义的唯一判断标准,因为一般故障的发生是由多种因素相结合所导致的,所以需要融合多个因素构造的HI更加有效。本文采用多元线性回归算法对相关特征与LOC进行拟合,由拟合结果实现对HI的最终定义,计算公式为:

HI = b0 + b1F1 + b2F2 + … + bnFn + ε        (3)

其中HI表示更新后的健康指数,b0表示常数项,Fi表示第i个特征,bi表示第i个特征的回归系数,ε表示误差项。

2.3  基于注意力机制的MSCNN-BiLSTM模型

本文提出的基于注意力机制的MSCNN-BiLSTM(MSCNN-BiLSTM-AM)健康指数预测模型是由空间特征处理模块、时间特征处理模块和输出模块3个部分组成。空间特征处理模块由3个不同卷积核的卷积层和Concatenate层构成;时间特征处理模块由BiLSTM层、Attention层构成;健康指数输出模块由Flatten层和全连接层组成,结构如图1所示。在空间特征处理模块中,MSCNN模型通过设置不同大小卷积核自动提取并整合电梯数据的多尺度特征,经过多次重复提取,最终提取到最全面有效的特征信息;在时间特征处理模块中,BiLSTM模型提取并保留长时间的序列信息,再经由注意力机制层权重分配后,与MSCNN模型提取的特征映射图作为下一模块的输入数据。健康指数输出模块将两种输入数据融合且一维化处理,最后通过全连接层输出健康指数值。

2.3.1 MSCNN

卷积神经网络(CNN)是模拟于人体神经元,具有局部提取和参数共享的特性,在特征自动提取方面有着很广阔的应用前景。当数据集的数据维度比较高时,CNN和最大池化层相结合可以自动高效提取特征和缩小数据规模,提高模型的信息提取能力和训练效率。电梯运行状态数据包含大量信息,需要进行全面的数据特征提取和筛选工作。由于单尺度CNN只能提取到局部的特征信息,忽略了全局特征,丢失了部分重要的空间信息,而MSCNN由多个不同尺度卷积核组成,可以提取数据中多维度的空间特征信息,因此本文使用MSCNN来提取电梯运行过程中的不同层次的数据特征,捕获数据集中更为全面的深层次空间特征信息。

在本文中,输入数据集为二维向量,长为特征数量,宽为时间序列。二维数据经过数据处理后,输入到多尺度卷积层中经过多尺度特征提取,形成相对应的特征映射图。为了维持每个卷积层输出的数据维度,本文采用了零填充法,且使用了Relu激活函数来增加卷积核的非线性拟合能力。最后将每个尺度的特征图整合为一张综合特征映射图,并将其作为下一层的输入值。

2.3.2 BiLSTM

RNN被称为循环神经网络,其中每个隐藏层都具有自连接的特性,因此相较于其他模型结构,拥有时间记忆功能。由于自身网络结构无法记录长时间序列数据间的联系信息,为此科学家设计了细胞状态和三种门结构来实现长期信息记忆功能。细胞状态负责保存数据信息,sigmoid、tanh激活函数以及点乘操作等内容组合形成一种综合门结构,其结构如图2所示。电梯运行数据蕴含着时间序列特征信息,其中当前时刻的运行状态与前一时刻的运行状态有关,因此需要利用LSTM的特性捕捉时间特征信息。

BiLSTM模型称为双向长短期记忆神经网络,由前向LSTM和反向LSTM层结合而成,如图3所示,输入层将参数同时输入到两个方向的LSTM模型中,从前向和后向两个方向同步处理序列;两个方向的LSTM均有独立的隐藏层,可以在一个特定的时间步长中同时获取前向和后向的信息,从而提取更为全面的时间特征信息。相较于只能获得单一方向信息的LSTM,BiLSTM理论上能够提高最终预测的准确率。

2.3.3  注意力机制

注意力机制是启发于动物关注眼睛看到的特别部分,并通过神经计算做出反应。它可以使模型筛选出冗余数据中的高质量信息,只选择关键信息进行处理,提高了信息提取能力。BiLSTM模型虽然具有长时间的数据记忆能力,但很难捕捉到时间序列中的复杂特征,而注意力机制已经在睡眠分期[18]、语音识别[19]等诸多方面展现出了显著效果,因此本文选用注意力机制,辅助模型进行注意力权重分配,赋予关键信息更高的权重,减少资源浪费和提高模型效率。

注意力机制由查询向量(Query Vector)和键值对(key-value pair)进行权重计算,其计算步骤如下:

1)每个输入向量和query点积计算出注意力打分函数,计算它们之间的相关性。

2)Softmax计算出每key的权重。

3)將权重与对应的value加权求和得到最终的注意力。

计算公式为:

其中,q、(K, V )分别表示query、输入信息的矩阵表示,K用来计算注意力分布,V用来计算聚合信息,s (kn, q)表示打分函数。

2.4  评价指标

本文采用平均绝对误差MAE和决定分数R2对模型的预测性能进行评价。两者均是评估真实值与预测之间距离的指标,MAE指标值越小,R2指标值越接近于1,代表预测的效果越好,模型的精度越高,计算公式为:

3  实验结果

本节将展示模型在电梯数据集上的预测性能,并为了验证不同卷积核公差对于模型性能的影响,单独以卷积核公差为自变量进行大量验证实验。本文采用留出法将电梯数据集随机划分3个独立的数据集:训练集、验证集和测试集,其中训练集占总数据集的70%,验证集占总数据集的10%,测试集占20%。

3.1  模型回归预测性能

用训练集训练融合模型,再利用验证集进行性能验证,以此训练多个模型,最后选择性能最优模型拟合测试集,得到实际健康度和预测值的拟合结果图。如图4所示,x轴为时间序列,y轴为健康指数,其中黑线为真实值,灰线为模型预测值。

根据图4真实值和预测值的拟合效果所示,可以看出本文所提出的融合模型的预测性能较好,拟合的电梯健康指数曲线虽然有波动的趋势,但前进的趋势与实际情况吻合,和实际寿命曲线十分接近,特别是到磨损中后期,两条曲线基本重合。

3.2  卷积核公差实验

在本实验中,我们研究不同的卷积范围对于模型性能的影响。MSCNN采用了三种不同尺度的卷积核自动提取数据特征,以此得到不同范围的特征信息。为了保证自变量只有卷积核公差,实验必须首先确定中心卷积核尺度,将其设为不变量。经过大量实验,发现中心卷积核为9时模型对测试集的拟合效果最佳。最终以9为中心基准,以1~7的公差范围进行实验。对比实验结果如图5所示,当公差为4时,MSE取得最小值,R2取得最大值,训练出的模型综合预测性能最佳;在公差为1时,模型性能最差,而随着公差的增加,模型的性能逐渐提高,但当超过4后,模型的性能反而开始下降。实验结果表明,更大的公差能够提取到更多的空间层次特征信息,从而提高模型的预测准确度;而当公差超过一定范围后,将会给模型带来干扰信息,导致模型训练过拟合,引起最终的预测准确度下降。

4  对比分析

为了进一步验证本文提出的健康指数预测模型的可靠性和有效性,本文添加了与流行的深度学习模型的对比实验,如DCNN、CNN-LSTM、CNN-BiLSTM、CNN-BiLSTM-AM、MSCNN-BiLSTM方法。为排除数据不同带来的预测误差,本文采用同一批数据进行实验,并且采用MAE和R2两种评价指标对模型的预测性能进行评估。模型预测性能对比如表3所示。

由表3可以得知,在同一批实验数据中,基于注意力机制的MSCNN-BiLSTM模型的平均绝对误差MAE最小,决定系数R2更接近于1。

由CNN-BiLSTM-AM与MSCNN-BiLSTM-AM模型算法预测性能的对比可知,在同时进行多尺度卷积自动提取数据特征的前提下,后者的MAE比前者降低了41.40%,R2提高了2.15%。该结果说明了多尺度卷积模块从不同角度提取了数据中更多、更深层次的空间特征,提供给模型全面且有效数据信息,提高了模型的预测准确率。

由MSCNN-BiLSTM与MSCNN-BiLSTM-AM模型算法预测性能的对比可知,在增加注意力机制的情况下,后者的MAE比前者降低了50.49%,R2提高了3.72%。由此充分说明了注意力机制根据电梯的运行状态分配不同注意力权重,让模型得以专注于更为有效的特征信息,实现更精准的电梯健康指数预测。

综上所述,对比于如今较为流行的模型算法,本文所提出的基于注意力机制的MSCNN-BiLSTM模型在电梯健康指数预测领域中具有较高的预测性能,也证明了本文所提出模型的可靠性和优越性。

根据相关的评判标准和工程实践经验,将健康指数的范围划分成5个等级,分别为健康、亚健康、良好、异常和缺陷,如表4所示。当健康等级到达异常等级时,则进行故障预警,让维修人员着手制定检修方案。

5  结  论

本文提出了一个基于注意力机制的电梯健康指数预测模型,该模型由空间特征处理模块、时间特征处理模块和输出模块三部分组成。空间特征处理模块中通过MSCNN的多尺度的卷积核自动提取电梯数据中深层次的隐藏特征,并筛选出具有最完善信息和趋势性的特征;时间特征处理模块中采用BiLSTM的双向LSTM和LSTM特有的三种门结构同时捕捉计算过程中每个时间点的历史和未来数据,充分利用了序列数据的前后时间关系特征,完成对数据信息的全面提取分析;通过注意力机制实现注意力权重分配;输出模块利用全连接层完成对电电梯健康指数的高效、精确预测。本文通过对电梯数据的实验研究和模型性能对比分析,验证了所提出方法模型的有效性和可靠性。

参考文献:

[1] 牛玉广,李晓彬,张佳辉.基于多元状态估计与自适应闽值的电站辅机故障预警 [J].动力工程学报,2019,39(9):717-724.

[2] 孙建平,赵立慧,孙博扬,等.基于数据驱动与多变量状态估计的汽动引风机故障预警 [J].热力发电,2020,49(1):78-84.

[3] 韩宝宏,闫明胜,段鹏飞,等.基于SOM-MQE模型的设备故障预警方法 [J].工业技术创新,2021,8(1):74-78.

[4] 王玉军.浴盆曲线理论在民航空管设备管理中的应用 [J].通讯世界,2017(17):280-281.

[5] 刘子健,刘柏,吴婷,等.考虑性能退化的海用雷达可靠性优化策略方法 [J].船舶标准化与质量,2017(4):45-49+56.

[6] ELLEFSEN A L,BJ?RLYKHAUG E,?S?Y V,et al. Remaining useful life predictions for turbofan engine degradation using semi-supervised deep architecture [J].Reliability Engineering & System Safety,2019,183:240-251.

[7] 蒋文博,胡澜也,宋斐,等.基于比例风险模型与机器学习混合方法的电梯故障预测 [J].工业工程与管理,2021,26(4):19-27.

[8] 王江萍,孙文莉.基于小波包能量谱齿轮振动信号的分析与故障诊断 [J].机械传动,2011,35(1):55-58.

[9] ZHAO D Z,WANG T Y,CHU F L. Deep convolutional neural network based planet bearing fault classification [J].Computers in Industry,2019,107:59-66.

[10] 江朋,陆远,胡莹.基于LSTM+FP-Growth算法的印刷设备故障预警及诊断 [J].南昌大学学报:工科版,2021,43(3):276-284.

[11] 彭道刚,姬传晟,涂煊,等.基于LSTM-SVM的燃气轮机压气机故障预警研究 [J].动力工程学报,2021,41(5):394-399.

[12] YAN L,ZHANG H T,GONCALVES J,et al. An interpretable mortality prediction model for COVID-19 patients [J].Nature Machine Intelligence,2020,2(5):283-288.

[13] ZHU J L,GE Z Q,SONG Z H,et al. Review and big data perspectives on robust data mining approaches for industrial process modeling with outliers and missing data [J].Annual Reviews in Control,2018,46:107-133.

[14] 李京峰,陈云翔,项华春,等.基于LSTM-DBN的航空发动机剩余寿命预测 [J].系统工程与电子技术,2020,42(7):1637-1644.

[15] 王玉静,李少鹏,康守强,等.结合CNN和LSTM的滚动轴承剩余使用寿命预测方法 [J].振动、测试与诊断,2021,41(3):439-446+617.

[16] 谷夢瑶,陈友玲,王新龙.多退化变量下基于实时健康度的相似性寿命预测方法 [J].计算机集成制造系统,2017,23(2):362-372.

[17] 岳研,刘畅,刘韬.基于深度融合神经网络的轴承健康指标构建 [J].电子测量与仪器学报,2021,35(7):44-52.

[18] BAHDANAU D,CHOROWSKI J,SERDYUK D,et al. End-to-End Attention-based Large Vocabulary Speech Recognition [J/OL].arXiv:1508.04395 [cs.CL].[2023-01-02].https://arxiv.org/abs/1508.04395v2.

[19] 邱锡鹏.神经网络与深度学习 [M].北京:机械工业出版社,2020.

猜你喜欢
注意力机制
基于注意力机制的行人轨迹预测生成模型
基于注意力机制和BGRU网络的文本情感分析方法研究
多特征融合的中文实体关系抽取研究
基于序列到序列模型的文本到信息框生成的研究
基于深度学习的手分割算法研究
从餐馆评论中提取方面术语
面向短文本的网络舆情话题
基于自注意力与动态路由的文本建模方法
基于深度学习的问题回答技术研究
基于LSTM?Attention神经网络的文本特征提取方法