基于迁移学习方法的安全运行状态评估综述

洪晟，李文欣，刘昊

(1.北京航空航天大学 网络空间安全学院， 北京 100191)(2.北京工业大学 软件学院， 北京 100124)(3.北京航空航天大学 宇航学院， 北京 100191)

0 引 言

物联网、云计算和大数据等技术正逐步与航空航天等工业界当前应用的设备系统相结合[1-2]，使现代工业设备系统朝着复杂、精密、高速、大型和连续运转的方向发展[3]。设备功能、规模以及结构复杂度的提高，导致航空航天等领域产品的衰退情况复杂化，故障概率显著增加。如果不能及时检测并排除初始故障，故障蔓延可能会造成产品的性能下降、功能丧失甚至引发灾难性后果，所以需要对设备的运行状态进行准确评估。通过对设备产品的状态检测研究表明：大部分早期故障是可预知的趋势性故障[4]，是其实现健康评估与故障诊断的根本前提。航空航天领域设备健康评估、故障诊断等运行状态评估技术是指导设备检修以及提升系统运行可靠性的重要手段[5-7]，其作为一个相对复杂的问题，受到了各国军方和工业界的广泛关注[8]。而如何实现各类设备产品实时、快速、准确的运行状态检测已成为航空航天等领域的重要研究内容。

与此同时，随着各类产品结构日益复杂，规模日益增加，造价升高，设备的故障试验成本也随之升高，造成全寿命周期数据获取困难、缺失严重[9]。为了能够顺利开展航空航天领域设备产品健康评估与故障诊断模型的研究，需要解决数据缺失问题对其造成的影响。迁移学习作为机器学习目前研究最广泛的领域，能够从以往的任务中抽取知识并应用到新任务中，即合理利用相似产品的大量可用数据完成当前任务，为设备数据缺失条件下建立有效的状态评估模型提供了新思路[10]。

本文对迁移学习在数据缺失条件下实现航空航天领域相关设备产品运行状态评估的研究进行综述，指出迁移学习未来的发展方向。

1 迁移学习研究进展

1.1 迁移学习基本概念

迁移学习中定义了两个数据集[11]，一个称为源领域数据集，另一个称为目标领域数据集。迁移学习是通过迁移源领域里已有的知识来解决目标领域中仅有少许有标签数据甚至没有标签数据的学习问题[12]，其核心目标是使源领域和目标领域数据的距离尽可能小，实现更好的知识共享。

1.2 迁移学习方法划分

Pan S J等[13]针对源领域和目标领域样本以及实现任务是否相同将迁移学习方法划分为3类，归纳式迁移学习、直推式迁移学习和无监督迁移学习，其中每个分类以及实现任务如表1所示。

表1 迁移学习方法及其实现任务

按照实现迁移学习使用的技术方法将其分为4类：实例迁移、特征迁移、模型迁移以及关系迁移[13]。

基于实例的迁移是对源领域的样本重新赋予权重并运用于目标领域[14]。TrAdaBoost是其中一个典型方法，其思想如图1所示[15]，通过提高利于目标任务实现的实例权重、降低不利于目标任务实现的实例权重实现迁移学习。

图1 TrAdaBoost方法思想

基于特征的迁移是在源领域和目标领域中寻找一个好的共同特征表示[14]。迁移成分分析是其中一个典型方法，其思想如图2所示[16]。将每个领域数据从高维特征空间映射到相似度更高的低维特征空间，不同于基于实例的迁移学习，该方法映射得到的特征是全新特征。

图2 迁移成分分析方法思想

基于模型的迁移是从源领域和目标领域中找到它们之间共享的参数信息[17]。M.Oquab等[18]提出的使用卷积神经网络迁移表示是其中一个典型方法，其思想如图3所示[18]。将源领域的大量数据使用卷积神经网络进行预训练从而构建网络模型，然后将网络权重迁移到目标领域，用目标领域中少量数据对网络进行微调得到最优参数，从而获得适合目标领域的模型。

图3 卷积神经网络迁移表示方法思想

基于关系的迁移是将源领域的关联网络知识迁移到目标领域[14]。利用源领域与目标领域数据之间关系的相似性实现知识的迁移，比如生物病毒传播规律与计算机病毒传播规律之间的迁移。典型方法就是使用马尔可夫逻辑网络挖掘不同领域之间关系的相似性质[19]。

以上4种实现方法的优缺点对比如表2所示。

表2 迁移学习实现方法对比

2 数据缺失条件下状态评估

在现代航空航天等工业范畴中，设备产品状态评估模型的开发需要大量已标记的退化数据以及故障数据来支持。而在实际中，退化数据和故障数据的充分获得需要大量设备运行至故障状态，因此数据获取困难且成本昂贵。同时，设备之间结构与工作环境的不同导致某设备数据不能直接适用于其他设备评估模型的训练，造成数据缺失严重。有价值数据信息数量的不足对健康评估与故障诊断等模型的有效开展带来了较大挑战。将迁移学习引入到数据缺失条件下的设备评估、诊断与趋势预测等方向，为设备安全可靠运行以及维护维修决策等方面奠定基础。本文从不同实现方法的角度介绍数据缺失条件下使用迁移学习实现航空航天领域相关设备产品运行状态评估的研究。

在基于实例的迁移方面，Shen F等[20]提出一种基于实例的迁移学习框架，使用奇异值分解方法进行特征提取，利用TrAdaBoost算法对轴承的健康状态进行了评估。Tang S等[21]扩展了域自适应多层感知器，引入了多源任务相关的AdaBoost算法(MSTrAdaBoost)，为燃气轮机健康状况评估提供了有效的通用方法。张振良等[22]针对轴承故障诊断过程中信息缺失导致的预测能力不足和过拟合的问题，改进迁移学习算法形成6种初始基学习器，不断调整基学习器权重，集成一个基于迁移学习的半监督学习器。杨志淳等[23]针对试验数据不完整的问题，使用迁移学习TrAdaBoost算法从大量配电变压器中提取有效的故障信息，结合目标领域数据训练一个强分类器，实现目标配电变压器实时故障诊断。

在基于特征的迁移方面，马剑等[24]利用平均欧式距离作为相似性衡量标准，找到与目标评估电池特征相似度最高的参考电池，将目标电池和参考电池使用深度学习方法获取到表达数据间本质共同特征的基向量，进而实现寿命预测。康守强等[25]针对标签振动数据难获取问题，构造了多核核函数的半监督迁移成分分析方法，提高滚动轴承振动特征映射能力，完成不同域间的迁移学习任务，使变工况下滚动轴承多状态健康分类具有更高准确率。刘志宇等[26]提出了一种基于深度学习和迁移学习的液压泵健康评估方法，但是该方法不仅受限于其网络架构，而且仅支持特定领域。谭俊杰等[27]利用无监督迁移成分分析的核函数将不同工况的样本特征映射到数据相似性更高的同一特征空间，并使用最大均值偏差嵌入方法将源领域样本迁移到目标领域中，采用深度信念网络模型进行训练，为故障诊断提供了充足的训练样本。

在基于模型的迁移方面，Ren C等[28]利用故障数据库对建立的电力系统安全评估模型进行初始训练，将最小化差异后的源领域训练数据与目标领域未知数据(即在线测量数据)用于调整模型，利用模型去诊断未经学习的故障，具有较高的精度。Liu X等[29]在源领域采用飞机辅助动力装置的仿真数据训练状态监测模型，在目标领域利用测试数据对模型参数进行优化，使模型适应目标领域内的传感器数据，增强了机载动力装置的状态监测。通过对现有工作调研发现，深度神经网络可以学习更多领域适应的可转移特征，目前绝大多数基于模型的迁移学习方法都与深度神经网络进行结合[30]。Shao S等[31]通过小波变换将原始传感器数据转换为图像得到时频分布，进一步使用预先训练的网络来提取较低层次的特征，最后将标记的时频图像用来微调神经网络体系结构的更高层次，在感应电机、变速箱和轴承的状态诊断中获得了更快的速度和更高的准确率。

生成对抗网络在实现航空航天设备安全性与可靠性评估方面得到了一定的应用[32-34]，生成对抗网络的结构如图4所示[35]，其存在一个生成器和一个鉴别器，鉴别器判断输入的数据是真实数据还是生成器生成的人工数据，生成器的目标是生成与真实数据相似的新数据来迷惑鉴别器。当鉴别器不能区分出数据源来自哪里时，即可以认为生成器的目标达成。

图4 生成对抗网络结构

生成对抗网络在生成有用数据方面的优越性，使得基于生成对抗网络的迁移学习方法在解决数据条件不充分方面很有吸引力，使用对抗损失技术衡量两组领域数据之间的差异，找到最适合两个领域的可转移特征并生成类似于原始数据特征的样本特征[36-38]，可以实现数据量的增加，如图5所示。

图5 对抗迁移学习增加数据过程

与生成对抗网络不同的是，对抗迁移中可以直接将目标领域数据当作生成的样本，生成器不需要生成新样本，只需要进行特征提取，可以称为特征提取器[39]。通过不断学习领域数据的特征，使得判别器无法对两个领域进行分辨，该过程中源领域网络和目标领域网络的权重可以按需选择是否共享[40]。在实践中，对抗损失较其他方法取得了更好的结果，可以显著提高性能。在航空航天领域相关设备数据缺失条件下，利用对抗迁移学习方法实现状态评估刚刚兴起。Xie Y等[41]设计一个生成对抗网络循环结构产生不同工作条件下的振动数据，扩充样本数据后训练分类器，完成旋转机械故障诊断。Zhang Z等[42]训练特征生成器和特征分类器，前者将源领域和目标领域映射到同一特征空间，后者对前者生成的特征进行分类，两者对抗学习达到平衡后，将网络模型用于诊断目标领域下未标记的数据，验证了方法对于诊断电动机轴承故障的有效性。

3 未来研究方向

迁移学习在航空航天相关领域设备状态评估的现状综述证明了其解决有关产品数据缺失问题的适用性与有效性。准确的状态评估能够掌控产品的健康状态并延长其使用寿命，以便消灭安全隐患于萌芽初期，是提升设备安全性与可靠性的有效途径。针对迁移学习算法自身特性与其在设备健康状态保护方向的研究现状，未来的研究方向有：

(1) 迁移准则研究。目前针对设备的状态评估中，只提出迁移学习有效的一面，源领域中学习到的知识是否对目标领域的学习产生消极影响，即是否发生负迁移还不清楚。研究合理的迁移特征、迁移时机、迁移方法避免负迁移是实现良好迁移的基础研究之一。

(2) 精简迁移算法研究。在使用迁移学习对设备进行健康评估与故障诊断时，研究源领域和目标领域特征之间快速适应算法，建立高效自适应的模型，实现实时在线评估设备的运行状态是未来研究中待解决的问题之一。

(3) 对抗迁移学习研究。对抗迁移学习能够产生合理的样本，使设备数据缺失不再成为训练模型的限制，研究对抗网络训练的停止标准，推动其在运行状态评估领域更好应用是未来的重要任务之一。

(4) 工况适应迁移研究。设备运行环境动态变化、数据获取不足使顺利开展有效的状态评估受到影响。在数据缺失条件下利用迁移学习研究状态评估方法，使其应用到复杂工况却不产生显著的性能下降是技术难点之一。

(5) 关系迁移应用研究。目前利用关系迁移实现状态评估的研究还有待挖掘，考虑将一个系统的运行状态参数变化关系迁移到另一个相似系统中，从而实现目标系统健康状态监测与故障预测，提高系统的生存与容错能力推动其稳定运行也是未来的研究方向之一。

4 结束语

目前已经提出了多种经典方法完成知识迁移，例如基于实例的TrAdaBoost方法、基于特征的迁移成分分析方法、基于模型的卷积神经网络迁移表示以及马尔可夫网络实现关系迁移等。

本文分别从实例迁移、特征迁移、模型迁移以及对抗迁移角度总结了航空航天相关领域的设备产品数据缺失条件下使用迁移学习实现运行状态评估的研究现状。尽管研究已经取得了一定的进展，但是为了推动迁移学习在状态评估领域更好的发展还有诸多问题需要解决，其中包括迁移准则研究、精简迁移算法、对抗迁移学习、工况适应迁移以及关系迁移应用。