基于PSO-LSTM网络的航电系统故障率预测研究

孙毅刚 刘凯捷

摘要：为了提高航电系统设备故障率预测的精度，本文提出了一种基于粒子群算法优化的长短期记忆神经网络（LSTM）预测方法。首先该模型以历史故障率序列作为输入，然后通过粒子群算法（PSO）对长短期记忆数据网络中的关键参数进行迭代优化，最后依据优化参数建立PSO-LSTM预测模型并进行故障率时间序列预测。主要解决了传统依据个体经验选取模型参数而导致的低拟合度、低预测精度和低效的问题。通过与典型预测模型的仿真数据进行对比，验证了所提出的PSOLSTM预测模型在航电系统设备故障率时间序列预测中具有更高的預测精度。

关键词：长短期记忆神经网络；粒子群算法；循环神经网络；预测；可靠性

中图分类号：V240.2文献标识码：ADOI：10.19452/j.issn1007-5453.2021.05.003

随着航空技术的发展和科技水平的不断提高，飞机的航电系统也越来越复杂，随之带来的是更高的可靠性和安全性需求，有效地预测使用阶段的故障率是十分重要的[1-2]，同时故障率对指导备件贮存策略也有非常重要的作用[3]。

目前，对于故障率预测国内外学者开展了大量的研究，探索出多种预测方法，也取得了一定的成果，如支持向量机（SVM）[4]、奇异谱分解（SSD）[5]、差分自回归移动平均（ARIMA）[6]等。现有的研究主要集中在元器件级别和子系统级别，如参考文献[6]主要研究的是针对高温下铝电解电容器电容值下降的问题，建立的两种模型预测误差均在可接受范围内，且均能有效地提取预测数据中的时间序列信息；如参考文献[7]的研究是面向柴油机的燃油系统，基于键合图理论建立的柴油机燃油模型具有较高的精度和实时性，系统参数预测精度均控制在4%以内，这一类型的系统通过建模能够被很好地拟合和预测。

面对航空电子系统设备数据规模的倍数级增长以及系统内非线性关系复杂的耦合，尤其是航空电子系统设备及其所包含的元器件种类及数量均较多，每种元器件发生故障的模式又各不相同，所造成影响较为复杂，深度学习技术逐渐地应用于时序数据的研究。深度学习的基础主要就是依托大量的原始数据进行学习，对算法模型进行训练，使算法自主学习，提取特征挖掘内在联系与规律。参考文献[8]中对各种航空机电系统预测算法模型进行了对比，得出神经网络针对此类问题适用性较好的结论，尤其是对非线性及非平稳过程复杂系统的适用性。在神经网络的众多模型中，循环神经网络（recurrent neural network，RNN）因为其神经元的输出不仅与此刻的输入有关，而且与上一时刻神经元的输出也有关系，这使其比较适合处理时序数据。长短期记忆神经网络（long short term memory，LSTM）是一种RNN的改进版，可更好地学习记忆较长时间跨度的历史数据的信息，被广泛地应用于多方面的研究中，如船舶轨迹分类[9]、语言处理[10]、电价与股价预测、蓄电池寿命预测[11]、脑电情感识别以及医学中手术病例数据分析等[12]。LSTM模型的拟合程度与预测精度不止与模型结构有关，更加取决于模型参数的设置，而模型参数往往是依靠人为经验来确定的，经验则受人的个体差异影响巨大，从而导致预测精度与用时相差甚远。鉴于此，本文提出了一种基于粒子群算法（particle swarm optimization，PSO）优化的LSTM预测方法，利用粒子群算法在不断迭代过程中找出LSTM模型的最优参数，而后根据最优参数建立LSTM预测模型，通过与传统的预测模型对比，本文所提出的预测模型在预测中展示了优越的性能。

1 LSTM算法

LSTM神经网络是一种循环神经网络的改进版本，是一种门控RNN，可有效避免传统网络中梯度消失与梯度爆炸的问题。RNN在处理非线性时间序列问题时虽然有效，但是随着训练数据的时间间隔不断增长，RNN学习能力会变弱，模型会随着时间间隔的增大而忘记之前数据的规律，长期依赖的学习能力差，从而出现梯度下降现象[13]。航电系统的故障率数据的预测需要对较长周期的故障率数据进行训练，从而找到其中的映射关系进行预测，所以RNN处理此问题难以达到较为理想的效果。

LSTM神经网络可以很好地解决上述问题。LSTM引入了“门”结构来加强控制信息在细胞间的传递与沟通的能力。主体结构拥有三个门，即输入门（Input Gate）、输出门（Output Gate）和遗忘门（Forget Gate），内部结构如图1所示。在t时刻，神经元的输入包括：t-1时刻隐藏层的状态变量ht-1、t-1时刻记忆单元的状态变量ct-1和t时刻的输入变量xt。之后经过三门结构的模型单元的输出包括：t时刻的输出变量xt和t时刻记忆单元状态变量ct。

在粒子群算法中，通常是单一地把训练集样本的真实值与预测值之间的相对误差或测试集样本真实值与预测值之间的相对误差作为适应度函数，而此模型取两者的平均值可同时验证模型是否过拟合。

（4）由粒子的初始适应度值确定粒子的全局最优位置Gbest与局部最优位置Pbest，并将之作为历史最佳位置。根据算法更新粒子的速度与位置，计算对应的粒子适应度，并与局部和全局最优解进行比较更新，提高准确率。

（5）判断是否满足终止条件（粒子的适应度值随着迭代趋于稳定或达到最大迭代次数），若满足终止条件，将最优参数值赋予PSO-LSTM模型，否则返回（4）。

（6）由最优参数值构建的PSO-LSTM预测模型得到测试集的预测结果，依据评价指标进行分析总结。

2.3模型评价度量指标

式中：yt和ft分别为t时刻故障率时间序列的真实值和模型预测值，T为数据点个数。

3仿真分析

试验数据来自某航空公司在运营波音737自2007年1月至2015年12月间三种航空通信系统电子设备的月度故障率数据，选取了2007—2014年的数据作为训练集，选取了2015年全年的数据作为测试集。

软件平台为Jupyter Notebook，编程环境在TensorFlow框架下使用Python语言编程实现。

3.1单预测模型

一般依据经验选取参数建立的LSTM预测模型效果的差别，主要是因为人与人之间的个体认知差异选取的参数区别较大而产生的，为将此误差影响降到最低，采取的方法如下：首先应用本文前文提出的方法建立故障率时间序列的LSTM预测模型，模型结构由输入层、一个隐藏层和输出层组成，网络权重更新选用Adam算法，隐藏层激活函数为tanh函数，训练次数为500。以设备一故障率数据为例，图2展示了相同参数下不同学习率（lr=0.01，0.0075，0.005， 0.0025，0.001）训练模型的损失变化。可以看出在lr=0.0075时训练集的损失较为最小，因此最终选定lr=0.0075进行LSTM预测模型训练。

为了验证LSTM预测模型的预测性能，建立了RNN单预测模型进行对照。参数设置为初始学习率为0.01，隐藏层神经元个数为16，训练次数为100，激活函数选用Relu函数。预测结果误差见表1。用同样的方法对设备2和设备3的故障率数据进行预测，各设备数据通过不同预测模型的预测结果误差评价见表1。

从表1中可以看出，设备一的RNN预测模型的RMSE值比初步优选的LSTM预测模型在前2个月、前4个月、前6个月、前8个月、前10个月和前12个月分别高出7.26%、6.00%、35.97%、20.72%、10.10%、6.45%，LSTM预测模型训练集拟合结果的RMSE值也低于RNN预测模型。设备二的预测中除一个点（8个月）的RNN预测结果的RMSE值低于LSTM预测模型，其余均是LSTM模型预测精度较高，测试集整体的LSTM模型预测结果的RMSE值比RNN预测模型低了14.67%。设备三的故障率预测中，测试集和训练集的LSTM模型预测结果的RMSE值均低于RNN预测模型。综合来看，三个设备的预测结果中無论是部分月份还是整体年份的预测结果LSTM预测模型的预测精度均更高，整体预测精度比RNN预测模型分别高出6.45%、14.67%和15.74%，拟合效果更好。

3.2 PSO-LSTM预测模型

为了提高单一LSTM预测模型的预测精度，同时为了缩短预测模型参数选取的时间，利用PSO算法对LSTM模型中的两个关键参数隐藏层神经元个数m与学习率lr进行优化，依据本文2.2节的步骤，初始粒子通过式（7）、式（8）更新粒子速度与位置，再利用式（10）计算粒子的适应度值，并与局部最优解和全局最优解进行比较，判断是否更新局部最优解和全局最优解，直至满足终止条件，获得最优参数。模型参数设置如下：种群数量pop=20，迭代次数Tmax=100，惯性权重ω为=0.8，学习因子c1=2，c2=2；依据本文3.1节训练LSTM网络模型的结果，确定隐藏层神经元个数的取值范围为m∈[1，64]；学习率的取值范围为lr∈[0.001，0.01]。以设备一故障率数据为例，粒子适应度随迭代次数增加的变化规律如图3所示，粒子适应度最终稳定在0.75。

隐藏层神经元个数m和学习率lr随模型迭代次数的变化规律如图4所示，预测模型的参数寻优最终结果为m= 32，lr=0.0071。用同样的方法对设备2和设备3的故障率数据进行预测，各设备数据通过不同预测模型的预测结果误差评价见表2。

分析可知，三个设备均为通信系统电子设备，故障特性相似程度较高，同时在三个设备的故障率预测中，LSTM模型的预测精度不论是在训练集的拟合上还是在测试集的预测上效果都优于RNN预测模型，尤其是测试集的预测结果，通过粒子群算法优化后的预测模型相较于单一RNN预测模型和LSTM预测模型的RMSE值分别降低了21.05%和15.73%、26.00%和13.28%、25.93%和12.09%，可见PSOLSTM模型在处理故障率时间序列问题时有着更高的预测精度，同时也体现出通过粒子群算法优化LSTM预测模型的关键参数对预测精度影响的有效性。

4结论

针对航电系统设备复杂的故障率时间序列预测问题，本文提出了一种基于PSO-LSTM网络模型的预测方法，包括对模型的训练、预测和参数优选等，得到以下结论：

（1）与典型的循环神经网络模型相比较，LSTM神经网络利用其独特的门控结构，对长时间跨度的非线性时间序列具有较强的学习能力，使得LSTM预测模型的拟合效果和预测精度整体更优。

（2）利用粒子群优化算法对LSTM预测模型的关键参数进行优化，避免依据经验选取参数带来对模型预测性能的影响。

（3）本文提出的PSO-LSTM预测模型在航电系统设备故障率时间序列方面有较高的预测精度，可以逐步整合到子系统层次，进行更加系统化的故障率时间序列预测，以期建设成完整的故障率预测系统。

参考文献

[1]王鑫，吴际，刘超，等.基于LSTM循环神经网络的故障时间序列预测[J].北京航空航天大学学报，2018，44（4）：772-784. Wang Xin，Wu Ji，Liu Chao，et al.Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronautics，2018，44（4）：772-784.（in Chinese）

[2]张宝珍，王萍.飞机PHM技术发展近况及在F-35应用中遇到的问题及挑战[J].航空科学技术，2020，31（7）：18-26. Zhang Baozhen， Wang Ping. Recent development of aircraft PHM technology and problems and challenges encountered in the application on F-35[J]. Aeronautical Science & Technology， 2020，31（7）：18-26.（in Chinese）

[3]李瑞莹，康锐.基于神经网络的故障率预测方法[J].航空学报， 2008，29（2）：357-363. Li Ruiying， Kang Rui. Department of systems engineering of engineering technology. [J]. Acta Aeronautics et Astronautics Sinica，2008，29（2）：357-363.（in Chinese）

[4]鞠建波，胡胜林，祝超，等.一种改进的支持向量机回归故障预测方法[J].电光与控制，2018，25（1）：6-9. Ju Jianbo， Hu Shenglin， Zhu Chao， et al. A fault prediction method based on improved SVM algorithm[J]. Electronics Optics & Control，2018，25（1）：6-9.（in Chinese）

[5]舒文婷，程军圣，黄祝庆，等.基于GP-SSD的旋转机械复合故障特征提取方法[J].电子测量与仪器学报，2018，32（5）：17-24. Shu Wenting， Cheng Junsheng， Huang Zhuqing， et al. Feature extraction of compound faults of rotating machinery based on GP-SSD[J].Journal of Electronic Measurement and Instrumentation，2018，32（5）：17-24.（in Chinese）

[6]張田，潘尔顺.基于时间序列分析的电容器退化模型[J].上海交通大学学报，2019，53（11）：1316-1325. Zhang Tian，Pan Ershun. Degradation modeling of capacitors based on time series analysis[J]. Journal of Shanghai Jiaotong University， 2019，53（11）：1316-1325.（in Chinese）

[7]黄林，程刚，朱国情.关于柴油机热力系统故障优化预测仿真[J].计算机仿真，2019，36（3）：426-431. Huang Lin， Cheng Gang， Zhu Guoqing. Modeling and fault simulation of diesel fuel system based on bond graph theory[J]. Computer Simulation，2019，36（3）：426-431.（in Chinese）

[8]王红，杨占才，靳小波，等.航空机电系统先进诊断与预测技术研究[J].航空科学技术，2020，31（7）：40-47. Wang Hong， Yang Zhancai， Jin Xiaobo， et al.Research on advanced diagnosis and prognosis technology of aeronautical electromechanical system[J]. Aeronautical Science & Technology， 2020，31（7）：40-47.（in Chinese）

[9]崔彤彤，王桂玲，高晶.基于1DCNN-LSTM的船舶轨迹分类方法[J].计算机科学，2020，47（9）：175-184. Cui Tongtong，Wang Guiling，Gao Jing. Ship trajectory classification method based on 1DCNN-LSTM[J]. Computer Science，2020，47（9）：175-184.（in Chinese）

[10]胡超文，邬昌兴，杨亚连.基于扩展的S-LSTM的文本蕴含识别[J].计算机研究与发展，2020，57（7）：1481-1489. Hu Chaowen，Wu Changxing，Yang Yalian. Extended S-LSTM based textual entailment recognition[J]. Journal of Computer Research and Development，2020，57（7）：1481-1489.（in Chinese）

[11]成庶，甘沁潔，赵明，等.镉镍蓄电池寿命预测的PF-LSTM建模方法研究[J].铁道科学与工程学报，2020，17（7）：1825-1832. Cheng Shu， Gan Qinjie， Zhao Ming， et al. PF-LSTM modeling method for life prediction of Ni-Cd battery[J].Journal of Railway Science and Engineering，2020，17（7）：1825-1832.（in Chinese）

[12]卢淑祺，窦志成，文继荣.手术病例中结构化数据抽取研究[J].计算机学报，2019，42（12）：2754-2768. Lu Shuqi， Dou Zhicheng， Wen Jirong. Research on structural data extraction in surgical cases[J]. Chinese Journal of Computers，2019，42（12）：2754-2768.（in Chinese）

[13]王永志，刘博，李钰.一种基于LSTM神经网络的电力负荷预测方法[J].实验室研究与探索，2020，39（5）：41-45. Wang Yongzhi，Liu Bo，Li Yu. A power load data prediction method based on LSTM neural network model[J].Research and Exploration in Laboratory，2020，39（5）：41-45.（in Chinese）

[14]刘晓.基于学习自动机的容噪模式分类[J].航空科学技术， 2020，31（10）：75-80. Liu Xiao. Noise-tolerant pattern classification based on learning automata[J]. Aeronautical Science & Technology， 2020，31（10）：75-80.（in Chinese）

作者简介

孙毅刚（1963-）男，博士，教授。主要研究方向：航空电子电气测试与适航验证。

Tel：15379346484

刘凯捷（1996-）男，硕士研究生。主要研究方向：航空电子电气系统验证

Tel：15379346484E-mail：kaijie_66@163.com

Failure Rate of Avionics System Forecasting Based on PSO-LSTM Network

Sun Yigang，Liu Kaijie*

Civil Aviation University of China，Tianjin 300300，China

Abstract： In order to improve the accuracy of civil aviation avionics，this paper proposes a forecasting method based on long-short memery neural network optimized by PSO. Firstly，the model takes failure rate sequences as input. Then， the PSO is used to optimize the key relevant parameters in the LSTM. Finally，the combined PSO-LSTM model is constructed by key parameters to predict failure rate of civil aviation avionics. The model solves the problem of low goodness of fit， low prediction accuracy and inefficiency caused by selecting parameters based on experience. Compared with the simulation data of typical prediction algorithms，the PSO-LSTM model method proposed in this paper can effectively improve the prediction accuracy in predicting failure rate of civil aviation avionics.

Key Words： lLSTM； PSO； recurrent neural network； prediction； reliability