基于类加权对抗网络的跨域旋转机械故障诊断

彭 博，张 毅，蹇清平，于 翔

（1.成都工业职业技术学院，四川 成都 610218；2.西南石油大学机电工程学院，四川 成都 610500）

1 引言

近年来，深度学习作为一种高效的数据驱动特征提取技术正在兴起，而故障诊断研究在很大程度上得益于深度神经网络的发展［1］。由于运行条件的变化、附加噪声的干扰、机器安装误差等，在许多行业中，训练和测试数据更有可能从不同的分布中收集［2］。因此，测试诊断性能存在分布差异，这被称为域转移问题［3］。

域自适应方法已经成功地被开发用于知识转移，其目的是最小化源领域和目标领域之间的分布差异。其中，深度学习网络使得知识可以在不同的领域之间进行有效的传递，因此得到了广泛的研究。文献［4］提出了一种用于故障诊断知识转移的深度卷积神经网络结构，其中采用了两个模块，即状态识别和域自适应。文献［5］提出了一种用于跨域故障诊断任务的深生成神经网络，测试场景中的假故障数据可以通过MMD人工生成。文献［6］提出了一种基于深度学习的故障诊断领域自适应方法，使得域间最小均方误差最小。然而，考虑到现有的方法一般侧重于域的边缘分布的比较，这类方法的严重局限性在于两个域都有标识空间的理想化假设。

在实际的工业应用中，在测试场景中收集所有机器健康状况的数据几乎是不可能的。因此，考虑了部分迁移学习问题，即目标域的标签空间是源标签空间的子空间。文献［7］提出了一种选择性对抗网络，其中使用多个鉴别器进行部分域自适应。文献［8］提出了一种非监督部分迁移学习的重要性加权对抗式网络，在源样本上附加学习到的实例级权值来度量与目标域的相似度。文献［9］对不同来源实例的部分相关“实例特征”知识进行了探索，并相应地提出了一种具有部分相关“实例特征”知识的转移学习方法，用于选择性知识转移。但是上述方法在处理边缘数据分布时由于源类的离群性，无法跨领域传递有效的诊断知识。

为解决边缘数据离群性问题，提出了一种基于类加权对抗网络的跨域旋转机械故障诊断方法。通过在源类别上附加类级权重，可以直观地表示源域和目标域之间的关系，大大提高域自适应效果。在两个机械故障诊断数据集上的实验结果验证了该方法的有效性。

2 提出方法

2.1 问题表述

这里的目的是设计一个特征提取器h=G(x)，以获取数据的域不变特征，并尤其注意标签空间的差异。同时，构造了用于机器故障诊断的分类器y=F(G(x))，在源监督下的最小化概率Rt=

2.2 预处理

这里以机械振动信号为研究对象，进行故障诊断。具体地说，利用频域信息，首先对原始采集的加速度数据进行快速傅里叶变换（FFT）。端到端学习方案是深度学习的优点之一，但直接对数据进行数据源提取通常会导致网络训练效率较低，需要对数据进行预处理。与其他常见信号大多分布在图像等固定范围内的数据值不同，振动信号普遍存在显著峰值，可能比稳态时的值大上百倍。因此，目前流行的最小最大尺度等数据预处理方法不能直接用于机械信号的处理。在本研究中，提出了一种频域样本缩放的预处理方法，如式（1）所示。

式中：xs，i，k—源域中第i个样本的第k个数据点；xt，j，k—目标域中第j个样本的第k个数据点；xs，min—所有源域数据点的最小值；Ninput—样本的维数。利用对数函数，大幅度降低峰值，将信号映射到数据分布较为均匀的区域，便于后续深度神经网络的特征提取。

2.3 对抗网络域自适应

近年来，域对抗网络在迁移学习中得到了广泛的发展，通常采用特征提取器G和域鉴别器D两个模块，其参数分别记为θG和θD。同时进行对抗训练，其中域鉴别器的目标是根据提取的特征G(x)来区分源域和目标域，然后训练G来混淆鉴别器。这里进一步采用分类器模块C进行故障诊断，其参数记为θC，所提方法，如图1所示。

图1 迁移学习总体结构Fig.1 Overall Structure of Transfer Learning

首先，分类器用于机器故障诊断，并进行源监督训练。具体来说，在源域样本的经验分类损失最小的前提下，对特征提取器和分类器同时进行优化。

同时，为了减少域的移动，特征提取器需要学习域不变特征。基于对抗训练方案，对参数θD进行优化，以减小区域鉴别器D的损失。其中，D是两个域的二值分类器。另一方面，特征提取器被训练用来使得D的损失最大化。综上所述，域对抗网络的目标定义为：

式中：Lc—机器状态预测损失；Ld—领域分类损失；di—域标号；α0—两项惩罚系数。

在本研究中，机器状态和域分类都采用了交叉熵损失函数［10］。对参数θG、θD和θC进行了优化，得到了最优解。

式中：、和—θG、θD和θC的最佳取值。

这样，G可以提取域不变特征，在源监督下最小化目标故障诊断的风险。

2.4 类加权迁移学习

传统的领域对抗网络旨在拉近源域和目标域的边界分布。由于目标标签空间是部分迁移学习中源域标签空间的一个子空间，即Yt⊆Ys，直接进行对抗训练基本上会由于源离群数据而导致测试性能下降。因此，由于目标域数据无监督且目标标签空间不可用，因此在域自适应过程中需要忽略离群类。

针对部分迁移学习问题，这里提出了一种类加权域自适应方法。尽管目标标签空间不可访问，但可以向源类附加额外的权重，以衡量它们与目标域的相似性。可以发现，域鉴别器的输出非常适合用来作为权重的指标。

损失函数Ld描述了真实域标号d和预测标号之间的差异。在对抗训练过程中，期望属于同一类的样本聚类到相同的区域。相应的，离群源类与两个域的重叠较小，这意味着可以获得较高的预测离群源类的置信度，获得较小的Ld值。另一方面，共享的类经过大量的对抗训练，并且域鉴别器对域标签预测没有信心。因此，损失Ld更大。

因此，在部分迁移学习中，源类的权值可以通过域预测损失Ld来估计。

式中：wj和Djs—第j个源类的权重和样本；ns，j—Djs中样本的个数；ds—源域标签；Nc—源类的个数。

等式4表明，如果域鉴别器在识别源类时不太清晰，则源类有更大的机会进入目标域。相应的，应该更多地关注共享类的域适配，而忽略离群类。本研究中提出的类加权迁移学习方法的方案，在对抗学习中，源类被赋予不同的权值，如图2所示。

图2 对抗性学习中提出的类加权迁移学习Fig.2 Class Weighted Transfer Learning Proposed in Antagonistic Learning

虽然权值可以很好地用域分解损失表示，但值应在一定范围内归一化。这里采用最小最大归一化方法：

综上所述，这里方法的最终目标函数为：

式中：α1和α2—惩罚系数；dt—目标域标签。优化目标为：

目前广泛使用的随机梯度下降优化方法基本上不能直接求解式（7）中的优化问题。这是因为，同时通过特征提取器的优化和域鉴别器的优化，可以使域预识别损失最小化。因此，引入梯度反转层（GRL）来解决这一问题。

具体来说，在网络模型的前馈过程中，GRL作为身份映射，也可以忽略。在反向传播中，GRL在翻转符号后将接收到梯度传递的前一层。具体地说，GRL可以用前向传播和后向传播过程中的函数R(x)表示。

式中：I—单位矩阵；λ—惩罚参数，为简便起见，这里将惩罚参数设为1。

通过等式（7）中梯度反转层的应用，优化问题可以通过基于随机梯度下降的算法求解，该算法也可以在常用的深度学习编程平台上实现。这样就可以在一个训练步骤中同时更新网络模型中的所有参数，并且可以很好地解决局部迁移学习问题，有效地过滤源离群类，并将共享类集中于域自适应区域。

2.5 网络信息

所提出的网络结构，如图3所示。一般采用三个模块，即：特征提取器、域鉴别器和分类器。在特征抽取器中，首先使用三个卷积层，其滤波器尺寸为3，滤波器数目分别为128、64和32。在扁平化层之后，使用一个完全连接层对128个神经元进行分类，并将所学到的表示进一步用于域分类和机器状态分类。

图3 所提出的网络架构Fig.3 Proposed Network Architecture

对于域鉴别器，使用2个卷积层，分别使用大小为3的256个和128个滤波器，然后使用2个全连接层，分别使用512和128个神经元。然后连接两个神经元，分别代表两个域标签，最后使用softmax函数进行域分类。

分类器模块的结构与域鉴别器相似。使用了两个卷积层，分别带有大小为3的32和16个过滤器。在64个神经元完全连接后，利用Nc神经元和softmax分类器进行故障诊断。此外，为了避免过拟合，整个网络一般采用主动丢弃策略，大多数层采用LRe-LU激活函数。采用BP 算法对网络参数进行更新，并采用Adam优化方法。

3 实验分析

3.1 数据集描述

（1）CWRU。首个滚动轴承数据集由凯斯西储大学轴承数据中心提供。这里使用的振动数据采集自电机驱动端2个转速下的振动数据。1797rpm 和1730rpm，在4 个健康状态下：（1）健康（H）；（2）外圈故障（OF）；（3）内圈故障（IF）；（4）球圈故障（BF）。这三个故障是人工制造的，直径分别为7mils、14mils 和21mils。因此，在两个转速域考虑了10种轴承条件。

（2）TrainBogie。第二个滚动轴承数据集是在高速多单元列车转向架轴承系统实验装置上制备的，如图4所示。

图4 列车转向架试验台以及三种轴承故障Fig.4 Test Bed of Train Bogie and Three Kinds of Bearing Faults

与CWRU数据集类似，将1590rpm和1950rpm的两个转速作为不同的域，分别对应于260km∕h和320km∕h的列车速度。产生了三种类型的断层，即断层。外圈故障（OF）、滚子故障（RF）、内圈故障（IF）。这里还考虑了故障严重程度的三个级别，即轻度故障、中度故障和严重故障。两个数据集的详细信息，如表1所示。

表1 两个数据集的详细信息Tab.1 Details of the Two Data Sets

3.2 比较方法

本研究对部分迁移学习问题采用不同的观点进行比较。以下所有方法均与该方法共享相似的网络和实验配置。

基准方法：首先，在没有域自适应和部分转移特征提取的情况下，特征提取器和分类器在源监督下训练并直接用于测试。

DA-Ad［11］：该方法去掉了领域自适应的类加权方案，只引入了传统的域对抗训练。两个数据集的详细信息，如表1所示。

DA-MMD［12］：最大平均差度量（Maximum Mean Difference，MMD）已被广泛应用于测量源域和目标域之间分布的离散性。因此，也可以通过最小化学习表示中的MMD来提取领域不变特征。

3.3 实验结果与性能分析

在本节中，对部分转移学习问题进行了实验研究，研究了不同的故障诊断任务。相关任务的详细信息，如表2所示。在两个数据集中随机选取部分迁移学习任务。每个机器条件下有100个标记的源域样本可用于不同场景的训练，在每个考虑的条件下测试400个未标记的目标域样本。在实现过程中，首先对网络进行预训练，只保留最小的分类损失Lc。然后，对网络进行优化，使式（6）中提出的目标F最小。为了减少随机性的影响，对报告的实验结果进行10次试验平均，并给出平均值和标准差。模型参数，如表3所示。它们主要是由任务中的验证结果确定的，任务中仅使用1797rpm 转速下的CWRU 数据进行训练和验证，目标类与C2相同。本研究的实验是在NVIDIA GeForce RTX 2080 Ti GPU和i7 CPU的工作站上进行的。使用Tensorflow 深度学习平台进行编程。

表2 部分迁移学习任务的信息Tab.2 Information of the Partial Transfer Learning Tasks in this Study

表3 用到的参数Tab.3 Parameters Used in this Study

3.3.1 跨域的诊断结果

CWRU数据集不同部分迁移学习任务下的跨域故障诊断结果，如表4所示。除了提出的框架中的三种比较方法外，还使用了重要性加权对抗网络（IWAN）进行比较。实验结果表明，提出方法具有较高的测试正确率，大多数正确率在98%以上。在不同的任务下，该方法的性能优于其他方法，证明了提出的方法在解决部分迁移学习问题上的有效性。此外，该方法在不同情况下的标准差一般较小，表明该方法在不同的实验运行中都能取得良好的收敛性能。

可以看出，在非部分任务C1中，两种边缘域自适应方法DAAdv和DA-MMD 取得了良好的迁移学习性能。但是，当测试数据有偏差时，这些方法会产生显著的负传递效应。例如，在测试数据集中只有3个类的任务C5中，传统的领域自适应方法诊断正确率仅为60%左右，而在不使用迁移学习技术的情况下，基线方法的诊断正确率达到87.6%。使用该方法，正确率达到99.6%，在部分迁移学习任务中具有优越性。此外，比较方法的标准差也显著，特别是在C5等极端情况下，所提方法可以在较小的变化下取得稳定的性能。进一步验证了该算法的收敛性能。

此外，通过与IWAN方法的比较，该方法也取得了较好的效果。IWAN在相对简单的任务，如C1、C2和C8中具有较强竞争力，但在目标域有很大偏差的困难任务中效率较低。例如，在任务，C7和C10中，只有一个类包含在目标域中，而提出的方法明显有较大的改善。另外，在机器状态监控任务中，目标机器健康状态集通常较小，故障类别有限。因此，该方法适用于故障诊断中的局部域自适应问题。

不同方法的平均计算时间也，如表4所示。可以看出，在一般情况下，所提出的方法可以在半小时内实现。由于部分迁移学习问题大多离线进行，所以其计算量可以接受。虽然基线和DAAdv的比较方法导致更快的计算，但它们在测试精度上的竞争力却比较弱。值得注意的是，IWAN方法引入了源和目标域之间的实例级校准，因此相关样本包含了更多的参数。IWAN还使用了正则化技术［13］，因此，尽管其具有较好的诊断性能，但却需要更多的计算时间。

表4 CWRU数据集中不同任务测试精度的均值和标准差（%）Tab.4 Mean and Standard Deviation of test Accuracy for Different Tasks in CWRU Data Set（%）

列车转向架数据集的实验结果，如表5所示。与CWRU数据集相比，该数据集具有更强的实用性，因此获得的测试正确率较低。然而，仍然可以观察到相似的规律。对于目标域内相关类别超过半数的部分迁移任务，即B1、B2、B3和B8，三种域自适应方法的性能一般都优于基准方法。与该方法相比，DA-Adv 和DAMMD两种优化边界域分布的方法都具有较强的竞争力。但是，当目标域存在显著偏置时，两种边缘方法均达到负迁移性能，且测试结果比基准方法差。

表5 列车转向架数据集中不同任务测试精度的平均值和标准差Tab.5 Means and Standard Deviations of the Testing Accuracies in Different Tasks in the Train Bogie Data Set

与此同时，尽管IWAN方法在很多情况下都有很好的结果，但在目标领域存在很大偏差的困难任务中，IWAN方法的竞争力较弱。该方法在不同场景下仍然具有最佳的诊断性能，进一步验证了该方法对部分迁移学习问题的有效性和优越性。

3.3.2 参数分析

在本节中，研究了模型参数对诊断性能的影响。具体地，研究了惩罚系数α1和α2作为不同优化目标的权重。验证任务的实验结果，如图5所示。可以看出，在合理范围内，不同参数的性能变化不明显。例如，没有参数大于或小于另一个参数的十倍。结果表明，该方法的收敛性一般是稳定的。

图5 惩罚系数对验证任务的影响Fig.5 The Effect of Penalty Coefficient on Verification Task

3.3.3 特征可视化

在本节中，基于学习表示的可视化，定性地研究了所提方法的有效性。有效的t-SNE技术通过将样本从原始特征空间映射到二维地图来使得高维数据表示可视化［14］。

任务C2中特征提取器在不同方法下学习的高级表示的可视化结果，蓝色和红色数字分别表示源域和目标域中共享类的样本，如图6所示。绿色数字表示源异常值，值表示类。结果表明，不同的适应方法使不同域的分布更加接近，同一类群在不同域上很好地聚在一起。这表明现有的迁移学习方法一般适用于目标域偏性不显著且包含源类最多的部分迁移任务。结果表明，测试正确率较高，如表4所示。

图6 任务C2中不同方法学习的高级表征的可视化Fig.6 Visualization of Advanced Representations of Different Learning Methods in Task C2

任务C5中的可视化结果，如图7所示。其中，10个源类中只有3 个存在于目标域中。在这个场景中，使用DA-Adv 和DAMMD方法观察到两个域中不同类之间的显著重叠。现有的两种深度迁移学习方法都是为了最小化两个域的边缘分布，由于目标域存在较大偏差，导致同类的聚类性能较差。因此，两种方法的测试正确率都很低，如表4所示。另一方面，该方法对两个域之间的共享类具有较好的聚类性能，并且离群类与共享类能够很好地分离。因此，测试精度接近100%。

图7 任务C5的可视化结果Fig.7 Visualization Results of Task C5

此外，这里的方法在不同任务下的学习表示和类级权重，如图8所示。一色和另一色的数字表示不同权重的源样本，颜色条表示权重值。一色的数字是目标样本，值代表类。可以观察到，两个域之间的共享类大多聚在相同的区域，源离群类是分开的。另外，共享类基本上附加了最大的权值，源离群值的权值一般接近于0。例如，对于目标域存在显著偏倚且只有1 类中的任务C10，现有的域自适应方法负迁移性能严重，测试正确率明显低于基准方法，如表4所示。

图8 不同任务中的可视化结果Fig.8 Visualization Results in Different Tasks

然而，这里提出的方法通过将异常值的权值设置为几乎为零来忽略异常值，并关注权值最大的共享类5的自适应的结果。其结果表明，该方法对于解决部分迁移学习问题是非常有效的。

4 结论

为解决边缘数据离群性问题，提出了一种基于类加权对抗网络的跨域旋转机械故障诊断方法。在CWRU数据集和一个列车转向架数据集上对该方法进行了实验，分析实验结果可以得出如下结论：

（1）提出的诊断方法能够有效地忽略离群源类，在不同的任务下，该方法的性能优于其他故障诊断方法，证明了提出的方法在解决部分迁移学习问题上的有效性。

（2）该方法在不同情况下的标准差一般较小，表明该方法在不同的实验运行中都能取得良好的收敛性。

（3）提出的故障诊断方法相对来说具有更好的诊断精度，且时间成本也处于可接受区间。