基于子域自适应对抗网络的轴承故障诊断

周华锋， 程培源， 邵思羽， 赵玉伟

(空军工程大学 防空反导学院，西安 710051)

随着工业4.0时代的到来，海量的数据、智能化信息处理方法、面向未来技术的工厂不断涌现[1]，互联网与物联网技术快速发展需要更为智能化的状态监测与故障诊断系统。利用智能工厂内的各类传感器采集状态信息，构建深度学习网络模型，可以有效地对设备运行状态进行监测[2]。许多专家学者也将智能识别算法应用到故障诊断任务之中，实现端到端的诊断，并且取得了较好的诊断效果[3-7]。然而，其较好的诊断效果往往要求训练数据和测试数据来源于同一概率分布且均有大量可靠的标签信息[8]。在实际工程应用中，这两种设定是难以满足的。一方面，由于机械设备运行时的转速、负载、环境噪声等工况在时刻变化，传感器所收集到的数据分布也将发生改变；另一方面，机械设备从正常到发生故障需要一定的时间且故障不易察觉，收集标签信息并进行有效标注是一项费时费力的工作。

为了解决上述问题，许多专家学者将无监督域自适应算法引入到智能故障诊断领域当中[9]。通过寻找机械系统在数据空间上的相似性，实现故障诊断任务中知识的迁移。例如Cheng等[10]提出基于Wasserstein距离的深度迁移学习(WD-DTL)网络模型，通过最小化源域和目标域之间的分布差异，学习两个领域间的不变特征。Han等[11]将联合分布适应(JDA)应用于故障诊断领域，使源域和目标域的条件分布对齐，提高故障的识别准确率。Qian等[12]提出了基于高阶Kullback-Leibler(HKL)散度的分布差异测量算法，构建了在变工况情况下具有鲁棒性的故障诊断网络。An等[13]提出了一个基于多层多核最大平均差异的网络模型，将来自不同领域的特征映射到再生核希尔伯特空间，最小化特征分布差异。Wang等[14]利用相关对齐(CORAL)进行非线性变换来对齐两个分布的二阶统计量，以此来最小化源域与目标域之间的差异，提取域不变特征，实现无监督域自适应故障诊断。

综上所述，大多数已有文献都是利用距离度量函数度量源域与目标域的差异，并最小化该差异以实现源域和目标域的全局对齐，使网络模型同时在源域和目标域上均有较好的诊断效果，如图1(a)所示。但由于其对整个域进行对齐，忽略了不同类之间的差异，没有考虑到每个类别的细粒度信息，使得模型在类的边界处分类误差变大，模型整体的识别准确率有待提高。为了更好地利用每个类别的决策边界，提高模型的识别精度，本文提出了一种子域自适应对抗网络(subdomain adaptive adversarial network，SAAN)。通过考虑相关任务的决策边界来调整领域分布，同时将局部最大平均差异引入到模型结构中，对齐源域和目标域中的每个类空间，实现子域自适应，如图1(b)所示。

(a) 全局域自适应

(b) 子域自适应图1 领域自适应Fig.1 Domain adaptation

同时，本文在两个数据集上对SAAN模型的有效性进行验证，并与现有的域自适应算法进行比较。SAAN方法解决了不同工况下因其数据分布不同而导致诊断精度下降的问题，提高了模型在不同工况下的泛化性能，诊断性能优于其他域自适应算法，有着更高的诊断精度。

1 理论背景

1.1 无监督领域自适应

针对变工况下故障诊断精度下降和目标域无标签的问题，无监督域自适应算法可以利用在A工况下收集旋转零部件的有标签数据和B工况下未标记的数据训练网络模型，提取两种工况下数据中的相似特征，使网络模型在变工况的条件下表现出良好的泛化能力，能够同时有效识别A、B两种工况下旋转零部件的运行状态，以实现对无标签变工况下轴承的健康状态进行识别。

1.2 局部最大平均差异

最大平均差异(maximum mean discrepancy，MMD)[15-16]被广泛应用于领域自适应和迁移学习中，提取源域与目标域的相似特征，并取得了一定的效果。但MMD只关注了整个域的全局分布对齐，而忽略了相关子域间的关系。为了进一步提高域自适应方法的分类准确率，需要充分考虑每个子类的细粒度信息。Zhu等[17]在最大平均差异的基础上提出了局部最大平均差异，将局部最大平均差异应用到深度子域适应网络(deep subdomain adaptation network，DSAN)，并探究得到结论，即大多数前馈网络模型均可使用局部最大平均差异(local maximum mean discrepancy，LMMD)实现子域自适应。

本文将局部最大平均差异引入到对抗网络中以实现子域的对齐，保证模型有更高的诊断精度。为了更好的表述LMMD，将其距离定义如式(1)所示

(1)

为了适应对应层的输出特征，将上式重新表述为式(2)，以此来计算对应层的局部最大平均距离。

(2)

1.3 动态卷积

在普通卷积中，其卷积核参数经训练后对所有输入样本都是确定的。普通卷积神经网络(convolutional neural networks，CNN)特征提取能力的提高，依赖于卷积神经网络深度(卷积层数)和宽度(通道数)的增加。然而通过上述方法必然会使网络模型的计算复杂度增加。为了可以在不增加网络深度和宽度的情况下，提高网络的整体计算能力，动态卷积[18]通过多卷积核融合提高模型的特征提取能力，并结合注意力机制，动态聚合多个并行卷积核。通过注意力权重以非线性方式进行聚合，使其具有强大的特征提取能力。为便于介绍动态卷积，先介绍动态感知机，其计算公式如式(3)所示

(3)

图2 动态卷积层结构Fig.2 Dynamic convolutional layer structure

模型具有k个卷积核，它们共享相同的核大小和输入输出尺寸，同时借鉴通道注意力机制产生注意力权重{πk(x)}，通过使用注意力权重{πk(x)}进行聚合，最后对聚合之后的特征使用批量归一化(batch normalization，BN)和激活函数(ReLu)来构建动态卷积层。

2 基于子域自适应的对抗网络模型

2.1 模型结构

本文提出的SAAN网络主要由特征生成网络、两个分类器网络以及局部最大平均差异距离度量结构组成，结构如图3所示。

图3 SAAN网络结构Fig.3 The network structure of SAAN

为了更好实现源域和目标域的子域自适应，捕获类别的细粒度信息。一方面，因为两个分类器在网络初始化时采用随机初始化，设定不同的随机种子，保证了网络初始化及训练完成后的权重是不一致，使得源域之外的目标域样本被两个分类器以不同方式进行分类，所以可以通过最大化两个分类器之间局部最大平均差异dH(p,q)来检测远离源域的目标域样本；另一方面为了使生成器生成的特征都在源域内，通过最小化局部最大平均差异dH(p,q)，能够使源域和目标域的子域对齐，从而完成子域自适应。该方法成功实现主要有两个关键点：① 网络模型能够很好的识别远离源域的目标域样本，使得经过源域样本学习的分类器不容易将其误分类;② 目标域样本使生成器生成的特征尽可能在源域的范围之内，通过考虑类边界和目标域样本之间的关系，对齐源域和目标域。

2.2 训练过程

实现源域和目标域的子域自适应，使模型具有较好的泛化性能，能够准确识别不同工况下轴承的健康状态。模型训练和参数更新可分为三个阶段，每个阶段都有不同的损失函数与之对应，其示意如图4所示。图中G代表生成器，C代表分类器，xs和xt分别代表源域样本与目标域样本，下面将分别介绍训练过程。

图4 训练步骤Fig.4 Training steps

步骤1把生成器和分类器作为一个网络进行训练，以源域样本作为输入，使其能够正确地分类源域样本。让分类器和生成器构成的网络能够对故障特征进行正确分类，这一步是至关重要的。其优化的目标函数是使多分类的交叉熵损失函数最小。如式(4)所示

(4)

式中:I[ys=k]表示标签函数，即若类别是k，则I[ys=k]=1，否则等于0；p(y|xs)指以xs为输入相对应的类别k的输出概率，即由网络最后的Softmax层计算而来；(xs,ys)～(Xs,Ys)表示对其总和取平均值。

步骤2冻结生成器的可训练参数，以源域样本和目标域样本作为输入，通过最大化两个分类器之间的局部最大平均差异(LMMD)来更新分类器网络的可训练参数，以发现远离源域的目标样本。同时为了使其能够对源域样本进行正确分类，保证网络的分类性能不下降，其优化目标不仅包括两个分类器的局部最大平均差异的损失，也包括在源域样本上的分类损失。如式(5)所示

(5)

式中:L(Xs,Ys)与式(4)的计算方式一致;dH(p,q)即上文提到的LMMD损失，与式(1)的计算方式一致;p和q分别表示源域与目标域最终分类时的输出概率向量。

步骤3冻结两个分类器C1与C2的网络可训练参数，用目标域样本训练网络，通过最小化两个分类器之间的局部最大平均差异(LMMD)，使生成器生成的特征能够落在源域的范围内，其优化的目标损失函数如式(6)所示

(6)

本文的试验环境配置：CPU为Intel(R) Core(TM) i5-10200H，GPU为NVIDIA GeForce GTX 1650Ti，操作系统为Windows 10，深度学习框架为Pytorch 1.7，软件平台为python。模型训练批次大小设为16，训练次数为50次。模型训练过程中使用自适应动量(Adam)随机优化算法应用于梯度下降过程中，优化网络权重参数。其初始学习率设置为lr=0.015，按照lr=lr×γ进行衰减，衰减间隔为10，衰减因子γ=0.9，即每训练10次，学习率按照γ=0.9在上一次学习率的基础上衰减一次。Adam优化器其它参数保持默认，即一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999，权重衰减(L2正则化)为0。

每次训练都重复以上三个步骤，通过最大最小化两个分类器之间的局部最大平均差异损失，使生成器和分类器进行对抗训练，最终能够使源域和目标域的子域对齐，对故障样本进行正确的分类。

3 试验验证与结果分析

3.1 数据预处理

为了得到较为理想的故障诊断结果，在进行试验验证之前，首先需要进行数据预处理和数据分割。SAAN网络是将实测振动信号转换为频域信号作为模型的输入。具体的数据预处理方式如图5所示。

图5 数据预处理Fig.5 Data preprocessing

首先，对样本进行不重叠的切分，切分后每个样本的时域信号长度为1 024个采样点，将切分得到的时域样本通过快速傅里叶变换(FFT)变换到频域，由于频谱系数的对称性，每个样本的长度变为512；此后，对经过FFT变换后的数据样本幅值进行Z分数标准化，使输入值保持在一定的范围内。如式(7)所示

(7)

式中:x为经过FFT变换后的幅值特征向量;μx与σx分别为幅值特征向量x的均值和标准差，经过Z分数标准化后的结果Zx的均值为0，标准差为1。

为了使模型的故障诊断性能达到最佳，并且要避免在训练网络模型过程中发生测试泄漏问题，需要将训练集、测试集按照8∶2的比例进行随机划分，测试集只用于评估模型而不参与训练过程。

3.2 凯斯西储大学(CWRU)数据集试验

凯斯西储大学(Case Western Reserve University， CWRU)轴承数据集是从CWRU提供的轴承试验平台收集而来的[19]。本文使用了采样频率为12 kHz的驱动端的传感器数据，根据不同故障类型和故障尺寸共分为十类，如表1所示。

表1 凯斯西储大学轴承数据集故障状态信息Tab.1 Bearing data set failure status information of CWRU

此外CWRU数据集分别从四种不同的工况(0HP、1HP、2HP、3HP)下收集而来，本文将不同工况视为不同的迁移任务，如表2所示。例如0→1表示，源域为0HP工况下向目标域为1HP下进行迁移，所以该试验共有12组迁移试验任务。

表2 CWRU数据集工况信息Tab.2 CWRU data set working condition information

为了验证SAAN模型方法的有效性，避免试验的偶然性，每个迁移任务采取10次重复试验并对结果进行统计分析。每次试验训练50个批次，取每次试验最后一个批次测试集在模型上的故障识别精度作为该次试验的最终结果。在试验过程中发现，由于SAAN模型在源域上的识别准确率都高达100%，因此在结果展示上只考虑在目标域上的识别结果。试验结果如图6所示。本文所提出的方法在目标域上的故障识别精度可达99%以上，试验结果证实了SAAN模型的有效性。

图6 不同迁移任务下的目标域识别精度Fig.6 Target domain recognition accuracy under different tasks

本文进行对比试验，分别与相关对齐[20](CORAL)、多核最大平均差异[21](MK-MMD)、联合最大平均差异[22](JMMD)，域对抗网络[23](DANN)和条件域对抗网络[24](CDAN)五种域自适应方法进行对比，其中相关对齐(CORAL)、多核最大平均差异(MK-MMD)、联合最大平均差异(JMMD)都是通过距离函数来度量源域与目标域之间的差异，并在训练过程中最小该距离差异以实现特征分布对齐；其中DANN是将额外的一个域分类器连接到特征提取器，通过最小化标签预测损失和域分类损失，提取域不变特征用于分类。CDAN通过鉴别器与生成器对抗训练，对齐特征与类别的联合分布，实现无监督领域自适应，从而对轴承的健康状态进行分类。SAAN网络不仅利用了新颖的LMMD距离度量两个分类器之间的差异，并最小化该距离，缩小源域与目标域的类间距离，同时通过生成器与两个分类器之间对抗学习的方式来调整决策边界。各种不同迁移方法在目标域下的故障识别准确率如图7所示。

图7 CWRU数据集不同域适应方法故障识别准确率对比Fig.7 Comparison of fault recognition accuracy of different domain adaptation methods in CWRU data set

结果表明，上述域自适应方法在所有迁移任务中的平均准确率都可达85%以上，都具有一定的域自适应能力。SAAN域自适应方法相较于其他五种域自适应方法而言，在所有迁移任务中的故障诊断准确率都高达99%以上，说明SAAN网络模型的故障识别准确率优于其他五种域自适应方法，具有良好的泛化能力。

为了验证模型的抗噪性能，本文采取对所有样本数据按照SNR(dB)=10lg(Psignal/Pnoise)加入信噪比SNR(dB)=-5,-2,0,2,5的高斯噪声进行试验，其中Psignal和Pnoise分别为原始信号和噪声的功率大小。原始信号、噪声信号及加入噪声后的复合信号如图8所示。

图8 原始信号、-5 dB噪声信号及复合信号Fig.8 Original signal，-5 dB noise signal and composite signal

对添加噪声后的复合信号采用上述相同的数据预处理方法，每个迁移任务都进行10次重复试验，计算其平均值与标准差。在加入不同的噪声强度后，SAAN网络在各个迁移任务下的试验结果如图9所示。

图9 不同噪声强度在各迁移任务下的准确率Fig.9 Accuracy of different noise intensities under transfer task

通过试验结果我们可以发现，添加-5 dB的强噪声，SAAN网络模型在所有迁移任务上的准确率都能够达到85%以上，能够有效的抵抗噪声的干扰。此外，为了进一步验证SAAN网络模型优越的抗噪性能，在0HP→1HP的迁移任务上进行抗噪试验，加入不同强度的噪声，与本文提到的其他域自适应方法进行对比，试验结果如表3、图10所示。

表3 0HP→1HP下不同域自适应方法在不同噪声强度下的准确率Tab.3 Accuracy of adaptive methods in different domains under different noise intensities under 0HP→1HP

图10 0HP→1HP下不同域自适应方法在不同噪声强度下的准确率Fig.10 Accuracy of adaptive methods in different domains under different noise intensities under 0HP→1HP

由图10可以清晰的看出SAAN网络的抗噪性能在各个噪声强度下的故障诊断准确率都高于其他域自适应方法，在-5 dB的强噪声环境下，更是比其他域自适应方法的准确率高出10%左右，充分的说明了SAAN网络有良好的抗噪性能。

3.3 东南大学(SEU)数据集试验

为了进一步验证本文提出的SAAN模型，本文将在东南大学数据集上进一步试验。东南大学(SEU)数据集是由东南大学提供的变速箱数据集[25]，该数据集由两个子数据集组成，包括轴承数据集和齿轮数据集，共有10种故障类别，如表4所示。

表4 东南大学齿轮箱数据集故障状态信息Tab.4 Fault status information of SEU gearbox data set

数据集具有转速和负载配置两种不同的工况分别设置为20 Hz-0 V和30 Hz-2 V，任务0→1表示源域是数据具有20 Hz转速、0 V负载，目标域是具有30 Hz旋转速度和2 V负载的数据。因此，该数据集共有0→1和1→0两种迁移任务。

在东南大学数据集(SEU)训练SAAN网络模型，在不同迁移任务上训练过程如图11所示。通过训练曲线我们可以发现，模型在0→1和1→0迁移任务上具有较高的故障诊断精度，在源域上可达99%以上的识别准确率，在目标域上也能够达到95%以上的准确率，证明了SAAN模型方法的有效性，能够对无标签目标域的健康状态进行正确识别。

图11 训练过程的诊断精度Fig.11 Diagnostic accuracy during training

此外，为了说明SAAN模型采用的动态卷积结构能够提升模型的性能，提高故障类别的识别精度，将其中的动态卷积结构更换为普通卷积进行对比试验。同时，为了避免试验的偶然性，分别进行10次独立试验且观察在不同任务下目标域上的故障识别准确率，并计算10次试验下的标准偏差作为该迁移任务下的误差，其试验结果如图12所示。通过结果可以发现动态卷积的性能明显优于其普通卷积。

图12 普通卷积与动态卷积的性能对比Fig.12 Performance comparison between ordinary convolution and dynamic convolution

另一方面，采用不同的域自适应方法进行了对比试验，MK-MMD、CORAL、JMMD、DANN、CDAN五种域自适应方法不同迁移任务下目标域的识别精度对比如表5、图13所示。通过图表可以清晰的看到SAAN模型在不同迁移任务下的识别精度都要高于其他五种域自适应方法。

图13 SEU数据集不同域适应方法故障识别准确率对比Fig.13 Comparison of fault recognition accuracy of different domain adaptation methods in SEU data set

表5 不同域自适应方法在SEU数据集上的诊断准确率Tab.5 Diagnosis accuracy rate of different domain adaptive methods on SEU data set

为了从视觉上直观了解SAAN网络模型对目标域特征的影响，对SAAN网络模型在东南大学(SEU)数据集上0→1和1→0迁移任务上的结果进一步分析，使用t分布随机邻域嵌入(t-SNE)技术将高维特征映射到二维空间内，并将二维特征进行可视化展示，如图14所示。通过可视化分析，相较于未迁移网络而言，可以清楚看出SAAN网络能够较好的实现每个类别的子域自适应，使故障类别在类空间的角度实现了对齐。此外，通过与其他五种域自适应方法的可视化特征图进行对比，如图15所示，可以从特征图中看出，SAAN模型得到特征图的可分性要优于其他域自适应方法，有着更为明显决策边界，进一步说明其故障识别精度要高于其他域自适应方法。

1→0 SAAN迁移图14 不同迁移任务下源域和目标域的t-SNE可视化Fig.14 The t-SNE visualization of source domain and target domain under different migration tasks

图15 不同域自适应方法在0→1任务下目标域的t-SNE可视化Fig.15 The t-SNE visualization of the target domain under the 0→1 task with different domain adaptive methods

4 结 论

本文将无监督子域自适应方法应用到轴承智能故障诊断任务中，提出了一种新的SAAN模型，用于不同工况下的轴承智能故障诊断方法。通过2个数据集，共14个迁移任务证实了SAAN模型的有效性。同时，根据试验结果得出以下三个结论。

(1) SAAN模型在不增加卷积网络深度和宽度的情况下，利用动态卷积提取更多的有效特征，相比普通卷积而言能够在目标域获得更高的识别精度；

(2) SAAN模型与大多数域自适应方法不同，通过捕获类别的细粒度信息，充分利用每个故障类别的决策边界，使源域和目标域在类空间上实现对齐，避免了源域与目标域样本在决策边界附近出现类混淆。

(3) SAAN模型不仅在不同工况下具有良好的泛化性能，有效地解决了目标域无标签和变工况下因数据分布不同而导致模型诊断准确率下降的问题，同时具有良好的抗噪性能。相较于其他域自适应方法，具有一定的优越性。