基于多元KELM 的发动机状态在线预测模型

戴金玲，许爱强，*，于超，吴阳勇

（1.海军航空大学，烟台 264001； 2.中国人民解放军 92313部队，济源 454650）

针对飞机发动机的在线状态预测属于早期故障检测方法，对排除早期故障、降低维护成本、提高系统稳定性和安全性都具有重要意义［1］。

早期用于时间序列预测的支持向量机［2-3］、神经网络［4-5］以及其他机器学习方法［6］，存在收敛速度慢，易陷入局部最优等缺陷。为克服这些缺陷，提出了一种新的神经网络：极限学习机（Extreme Learning Machine，ELM）［7-9］，其输入权值和隐含层偏置值随机生成且在训练中保持不变，仅需采用线性回归的方法确定输出权值。核极限学习机（Kernel ELM，KELM）［10］模型则将极端学习机与核方法相结合，进一步解决了极限学习机需要确定隐含层个数的问题，且具有更好的泛化性能。

基于核方法处理非线性问题的优势，文献［11］提出了基于核的增量ELM（Kernel Based Incremental ELM，KB-IELM），该方法由于吸收了所有样本数据，其网络结构大小与训练样本数相等，导致模型膨胀的问题。为解决这一问题，文献［12］将在线序列极限学习机［13］（Online Sequential ELM，OS-ELM）扩展到了核在线序列极限学习机（Kernel OS-ELM，KOS-ELM），通过设置阈值进行在线稀疏。文献［14-15］引入了滑动时间窗的概念，降低了模型复杂度并提高了泛化性能。文献［16-17］分别通过瞬时信息测量和积累一致性测量的方法选择有价值的样本、舍弃冗余信息，从而构造并更新模型。文献［18］在文献［16］的基础上引入了时变的正则化因子，应对模型在不同区域的结构风险。文献［19］引入了遗忘因子，实现模型对样本动态变化的有效跟踪，并极大提升了在线预测的精度与稳定性。

以上在线预测方法均架于单变量自身的历史时间序列信息。而事实上，一个系统的各变量间是相互影响、不可剥离的因素，因此对于变量的预测不仅要考虑变量本身的历史状态，也要考虑相关变量的状态。当前国内外已有关于多变量状态预测的研究，比如文献［20］将ELM 与最小二乘回归（PLSR）结合提出一种混合变量选择算法；文献［21］则将ELM与多核学习算法结合，利用多核的非同源数据融合能力实现更准确的预测，然而这些方法的耗时均较长，不符合在线预测的要求。因此有必要对多变量在线预测方法进行研究。

由于多变量时间序列的在线预测中，各个变量选择的稀疏字典是不一样的，因此以多变量相空间重构序列为输入向量、单变量为目标变量进行预测，可得到最符合目标变量变化规律的字典。本文首先通过设置时间延迟与嵌入维度，将多变量时间序列进行相空间重构；考虑到核自适应滤波（Kernel Adaptive Filtering，KAF）的收敛性和低复杂度、OS-ELM公式与递归最小二乘法（Recursive Least Square，RLS）公式的共通之处，以及KELM的运算速度优势［12］，受文献［22-23］启发，本文利用属于KAF算法的核RLS（Kernel RLS，KRLS）方法处理内核，并给出了理论推导；为消除冗余数据并增强模型泛化能力，本文采用最佳线性近似（Approximate Linear Dependency，ALD）准则对给定的测试序列执行构造性稀疏准则，将本文模型表示为KRLSELM。通过实例分析表明，相比单变量在线预测，本文的多变量在线预测可得到更高的预测精度和稳定性，且同样具有较高的时效性。

1 问题提出

1.1 多变量时间序列相空间重构

假设有一M 维多变量时间序列X1，X2，…，XN，其中Xi＝（x1，i，x2，i，…，xM，i），i＝1，2，…，N。对于多变量时间序列进行相空间重构可得

令预测模型的输出序列为向量Yn＝［y1n，y2n，…，yMn］＝［x1（n＋1），x2（n＋1），…，xM（n＋1）］，其中yin＝xi（n＋1）＝Fi（v（n）），i＝1，2，…，M 分别表示多变量序列中维度为M 时的输出预测值。式（3）中，延迟时间τi，i＝1，2，…，M 和嵌入维度di确定后，重构相空间内的多变量时间序列即可用于建模预测。

1.2 核极限学习机

将满足等式约束条件的核极限学习机优化问题定义为

式中：β为连接隐含层与输出层的输出权值；yi为期望输出值；ξi为样本xi对应的误差值；C为正则化参数；n为样本个数。由KKT条件，可得输出权值β的计算公式为

式中：H＝［h（x1），h（x2），…，h（xn）］T为极限学习机隐含层输出矩阵；Yn＝［y1，y2，…，yM］T为输入样本对应的输出目标值向量；I为单位矩阵。

相应的核极限学习机的输出形式可写为

考虑到核函数的映射与极限学习机中的隐层节点映射h（x）的相似性，将h（x）扩展为未知的特征映射，构建核极端学习机（Extreme Learning Machine with Kernels，KELM）模型。应用Mercer条件定义核矩阵为Ω ＝HHT，其中Ω（i，j）＝h（xi）hT（xj）＝k（xi，xj），当前时刻的核估计向量为kn＝［k（·，x1），k（·，x2），…，k（·，xn）］。

2 多变量时间序列在线预测模型

2.1 KRLSELM 算法

递归最小二乘法（RLS）通过迭代更新权重向量来进行时间序列预测，其结构如图1所示，设n时刻x（n）为输入样本，y（n）为输出目标值，w（n）为权重系数，RLS的输出为

图1 RLS结构Fig.1 Structure of RLS

式中：H（n）＝［h（1），h（2），…，h（n）］表示一个特征矩阵，令Ω（n）＝H（n）HT（n）。式（11）的后半部分可通过矩阵求逆引理得到，转化为该形式的原因如下：①H（i）TH（i）中的每个元素可以通过核函数简化计算；②权重被明确表示为输入数据的一个线性组合：w（n）＝H（n）β（n），由式（11）可得β（n）＝［λI＋H（n）TH（n）］－1y（n）；③为了避免复杂的求逆运算，可以通过迭代方法来计算β（n），经过数学推导得β（n）的迭代过程为［23］

文献［23，25］对KRLS收敛性进行了完整推导和分析，在这种情况下，KRLS的收敛性是等价的。算法流程如下所示，其中算法的参数即为KELM中的核函数k（xi，xj）和正则化参数C，最终返回权重β（n）即为式（5）输出权重。KRLSELM算法流程如下：

步骤1 初始化Q（1）＝（λ＋k（x（1），x（1）））－1，β（1）＝Q（1）y（1）。

步骤2 新样本（x（n），y（n））到达，更新参数：

步骤3 更新参数：

步骤4 返回β（n）。

2.2 ALD稀疏化准则

3 算法流程与复杂度分析

由第1节和第2节，将本文模型步骤总结如下：

步骤1 对多变量时间序列进行重构，设定各个维度的时滞τi和嵌入维度di，并得到输入向量x（n＋1）和相应某一预测维度的目标值y（n＋1）。

步骤2 初始化模型的参数，初始化字典Dic1＝｛x（1），y（1）｝，核函数的类别，核参数为σ，正则化因子C，阈值δ，令Q（1）＝（C＋k（x（1），x（1）））－1，β（1）＝Q（1）y（1）。

步骤3 当新样本（xn，yn）到达后，判断式（20）是否成立，若dis2≥δ，则执行步骤4；若dis2＜δ，则执行步骤6。

步骤4 更新字典，Dicn＝Dicn－1∪｛x（n），y（n）｝，加入新样本。使用式（16）、式（17）更新Q（n）和β（n）。

步骤6 令Dicn＝Dicn－1，β（n）＝β（n－1）。使用式（6），式（14）计算估计值＾yn和误差值e（n），返回步骤3。

从计算的角度来看，OS-ELM 算法的时间复杂度与P×P矩阵求逆相关，其中P为字典的成员个数，因此介于O（P2）和O（P3）之间。由KRLSELM算法显然可得，本文模型的时间复杂度在迭代过程中为O（n2）阶，且经过稀疏化准则，这种复杂度还可以降低。

4 实例分析

为了验证算法的有效性，将本文模型应用于以Lorenz混沌时间序列预测和某型飞机发动机飞参数据进行实验分析。实验通过训练时间和测试时间指标来度量计算复杂度，通过均方根误差（Root Mean Square Error，RMSE）来度量预测精度，以及最大绝对预测误差（Maximal Absolute Prediction Error，MAPE）、绝对预测误差（APE）和平均相对误差率（Mean Relative Error Rate，MRPE）来度量预测稳定性。

4.1 Lorenz混沌时间序列

本节首先验证算法对Lorenz混沌时间序列预测的有效性。Lorenz混沌方程是一组三元微分方程，其表达式为

取a＝10，b＝28，c＝8／3，初始值为（x（1），y（1），z（1））＝（10，1，0），利用4阶Runge-Kutta算法积分，取3个变量在时间为（4001，6400）的延迟时间为τ1＝τ2＝τ3＝2／s，嵌入维度为m1＝m2＝m3＝6，即重构向量维度为18，方程产生混沌时间序列如图2所示。相空间重构产生1200组数据，每组数据的前1000组作为训练样本，后200组为测试样本。其中x（t）、y（t）、z（t）表示Lorenz混沌时间序列在t时刻的值。

经过仿真对比，当Lorenz混沌时间序列的参数设置如表1所示时，可获得各方法下最佳预测结果如表2所示。其中第2列表示以图2中的Lorenz-（x）为预测目标，分别以单变量x（即重构向量［1～6］）、变量x和y（即重构向量［1～12］）以及变量x、y、z（即重构向量［1～18］）为输入变量进行仿真实验，并将各方法中每项指标的最优值加粗显示。由表2可见：

表1 Lorenz混沌时间序列实验参数设置Table 1 Experimental parameter setting for Lorenz chaotic time series

表2 Lorenz混沌时间序列预测结果Table 2 Results of Lor enz chaotic time ser ies prediction

图2 Lorenz混沌时间序列Fig.2 Lorenz chaotic time series

1）对比各方法的测试效果发现，对比KBIELM、NOS-KELM 和FF-OSKELM，KRLSELM 将各方法的最优预测精度提高了30.38%、93.56%和26.67%。FF-OSKELM 与KB-IELM 与本文模型具有同等数量级的预测精度与稳定性，NOSKELM则最低，验证了本文模型的有效性。

2）对比不同的变量输入组合发现，预测稳定性最高的均为多变量输入；除了KB-IELM方法以外，各个方法中预测精度最高的均为多变量输入，验证了本文所提多变量时间序列预测的性能。其中KRLSELM的预测精度及预测稳定性均随着输入变量数的增加而提高；方法NOS-KELM 与FFOSKELM则在输入变量为“xy”时具有最高的预测精度。

3）对比不同方法的消耗时间可见，除了KBIELM以外，各方法时间花费均在10－4s的数量级上，达到了在线预测的要求，其差异可基本忽略。

表2中各方法下预测精度最佳的预测结果（粗体部分），即各方法的最佳整体预测曲线如图3（a）所示，图3（b）所示为图3（a）中框出来的局部放大曲线，由图中可以得到：根据整体预测曲线中可见，所有的方法基本均能有效进行目标跟踪，大体达到预测的效果；根据局部放大曲线中可见，FF-OSKELM 与KB-IELM 的预测精度相比NOS-KELM方法更高，其中KRLSELM 的预测曲线与真实曲线最为贴近，进一步验证了表2中的结论。

图3中各方法的绝对预测误差如图4所示。由图中可知，NOS-KELM 的绝对预测误差（APE）远远高于其他方法；与KRLSELM 相比，KB-IELM与FF-OSKELM的绝对预测误差变化趋势大体一致，但在预测步数为40左右时均遇到了较大的波动，因此其稳定性低于KRLSELM。

图3 Lorenz混沌时间序列预测曲线Fig.3 Prediction curve of Lorenz chaotic time series

图4 Lorenz混沌时间序列预测误差Fig.4 Prediction error of Lorenz chaotic time series

图5为图3各方法在训练过程中的训练样本数随训练步数的变化曲线图。图中可见：①KRLSELM方法使用的训练样本不到总样本数1／10，验证了其具有较好的稀疏效果；②FF-OSKELM与NOS-KELM的训练样本数稳定在150左右，是经过稀疏化之后的结果，但仍然低于KRLSELM；③由于KB-IELM 没有稀疏化的过程，使用了所有的样本，其训练样本数与训练步数呈现线性相关关系，这也解释了表2中该方法时间消耗最大的原因。

图5 Lorenz混沌时间序列训练样本数Fig.5 Number of training samples for Lorenz chaotic time series learning

各方法的学习曲线由预测过程中的RMSE表征，如图6所示。其中，NOS-KELM的收敛性明显远低于其他方法。随着预测步数的增加，KBIELM、FF-OSKELM 和KRLSELM 均约在50个样本处开始收敛，学习曲线趋于平滑；其中KRLSELM能够收敛到更加精确的阶段，稳定性最高，验证了该方法的性能。

图6 Lorenz混沌时间序列学习曲线Fig.6 Learning curve of Lorenz chaotic time series

4.2 某型飞机飞行参数在线预测

本节将验证本文模型对某型飞机发动机状态在线预测的有效性。以某型教练机的发动机为例，选取涡轮后温度以及低压转子转速、油门杆角位移、高压转子转速为监测项目，并分别标记为变量1、2、3、4。

取该机型飞行参数系统某一架次的原始数据，数据采样每隔1 s进行一次，每个变量取非平稳状态下的250个样本，设置延迟时间为τ1＝τ2＝τ3＝τ4＝1，嵌入维度为m1＝m2＝m3＝m4＝6，则得到244组新样本。由于是其他样本4倍的数量级，将其乘以1／4做处理，得到经过处理的非平稳时间序列，变化曲线如图7所示。飞行参数包括发动机系统参数、液压系统参数、燃油系统参数、飞行姿态控制系统参数等，而数据采集系统已根据相关性分析方法对各个分系统进行了划分，例如，航速、高度、升降率属于飞行姿态控制系统参数；应急系统压力属于液压系统参数；剩余油量、燃油分耗率属于燃油系统参数；油门杆位移量、高低压转子转速，涡轮后温度属于发动机系统参数等。因此本文以发动机飞行参数系统为例对发动机状态进行预测，发动机系统共有4个可采集的与发动机状态相关的参数，由图7可见，其变化趋势一致，因此具有一定的相关关系。实验将前194组样本作为训练数据，后50组为测试样本。

图7 某教练机飞行参数样本曲线Fig.7 Flight parameter sample curves of a trainer engine

经过仿真对比，当飞行参数的设置如表3所示时，可获得最优性能。以低压转子转速（变量2）为预测对象，则输入变量组合排列后共有8种空间重构变量。飞参的预测仿真结果如表4所示，其中标粗部分为各方法下的最优预测结果。

表3 飞行参数设置Table 3 Experimental par ameters setting for flight parameters prediction

表4 飞行参数预测仿真结果Table 4 Simulation results of flight parameters prediction

由表4可见：

1）对比所有方法的预测结果可以发现，相比KB-IELM、NOS-KELM 和FF-OSKELM，KRLSELM将各方法的最优预测精度提高了89.26%、40.03%和14.31%。同时，几乎在所有输入变量组合下，KRLSELM均具有最高的预测精度和稳定性，进一步验证了本文模型的有效性。

2）对比所有方法的测试时间发现，由于样本数量较小，各输入变量组合的时间消耗均在10－3s的数量级以下，满足了飞机发动机在线预测的要求。

3）对比各算法下不同输入变量组合的预测结果发现，相比多变量输入，单变量的预测精度和稳定性几乎都是最低的，验证了多变量的考虑对单变量预测的重要意义；KB-IELM 在输入组合为变量“123”时的预测精度为最优，FF-OSKELM 与NOS-KELM在输入组合为变量“12”时为最优，而KRLSELM则在输入为变量“124”时为最优，因此预测精度与输入变量数不存在线性相关关系，随着输入变量数的增长，预测精度会达到一个极值点再下降。

4）对比预测精度与稳定性的关系，输入变量“23”在FF-OSKELM 方法下具有最优的测试精度，但其稳定性指标MRPE却并非最优；而在其他输入组合下可见，最优的预测精度也相应的稳定性也最优，因此预测精度与稳定性不存在一定的相关关系。

如图8所示为KRLSELM方法中4种变量组合的飞行参数预测曲线，图8（a）为整体预测曲线图，其中框出的部分即为图8（b）中的局部放大预测图。图中可见：①各个变量组合大体上都能跟踪预测目标；②局部图中，显然变量“2”的目标跟踪效果远不如其他组合变量的跟踪效果，且稳定性差。如图9所示为4种变量组合预测的APE曲线图，显然输入为变量“12”和变量“124”的预测结果相比另外2种输入稳定性更高。根据图9中各变量输入下的APE，显然变量“12”和变量“124”的预测结果波动更小，变量“2”的波动最大，进一步验证了表4中的结论。

图8 KRLSELM方法的飞行参数预测曲线Fig.8 Flight parameter prediction curves by KRLSELM

图9 KRLSELM预测的APEFig.9 APE curves predicted by KRLSELM

如图10所示为KRLSELM 方法的飞参训练样本数与训练步数的关系图。由图可知，训练样本数最高与最低的都没有达到最优预测结果，这是因为输入变量“1234”在稀疏过程中发生了过拟合，而输入变量“2”吸收的训练样本不够导致了欠采样。因此，稀疏性与吸收训练样本数并没有线性相关的关系。训练样本数在增长过程中存在一个极值点，使得方法的稀疏性达到最高。

图10 KRLSELM训练样本数Fig.10 Training sample numbers of KRLSELM

KRLSELM方法的学习曲线如图11所示，预测步数达到10时，预测曲线开始收敛。与表2结论一致，输入为变量“2”时的预测效果最差，其学习曲线的收敛效果也最差；当输入组合的预测效果最优时，对应的学习曲线也最为平滑，收敛效果最好。

图11 KRLSELM学习曲线Fig.11 Learning curves of KRLSELM

5 结 论

本文考虑了非平稳时间序列预测中多个变量对于单变量预测的影响，采用空间重构方法将多变量间的时间相关性转化为空间相关性，提出KRLS与ELM 结合对目标变量进行预测，通过ALD算法设置阈值对模型进行稀疏化，并应用于某教练机的发动机状态在线预测中，实验结果如下：

1）KB-IELM、FF-OSKELM 与NOS-KELM 均能对变量进行有效预测，且除KB-IELM 方法外，其他方法都达到了在线预测的要求。

2）满足在线预测条件的前提下，相比KBIELM、FF-OSKELM 与 NOS-KELM，本文模型KRLSELM 将平均预测均方根减小了90.61%、58.14%和25.77%，将平均相对误差率减少了99.61%、75.03%和28.59%，拥有更高的预测精度和预测稳定性。

3）对比不同输入组合变量的预测结果，单变量输入的预测精度几乎都是最低的，在多变量输入组合下获得最优的测试精度及稳定性，验证了多变量的考虑对于单变量预测的意义。