一维改进LeNet-5及机械故障诊断应用

吴定海,曹进华,张云强,唐香珺

(1. 陆军工程大学 石家庄校区,石家庄 050003; 2. 厦门大学嘉庚学院 机电工程学院,福建漳州 363105)

机械故障诊断是监测、诊断和预示机械设备的状态和故障,对保障装备安全运行具有重大意义[1]。状态监测已经能够实现对多测点、全寿命的数据采集,进而获得大量的数据,而研究和利用先进的理论与方法,从机械装备大数据中挖掘信息,高效、准确地识别装备健康状态,成为装备大数据健康监测面临的新问题[2]。

卷积神经网络作为经典的深度学习模型并被不断发展,出现了如LeNet-5、 AlexNet、 VGG、ResNet、 GoogleNet等网络[3-4],在图像识别领域取得了巨大成功。CNN主要源于其模型结构和训练方式上的优势[5-6]:1) 以多层卷积变换为核心,具有更强的非线性深层次特征提取能力;2) 直接面向模式识别,实现了特征提取、选择和分类的联合优化;3) 训练时,首先以大样本进行“逐层无监督贪婪学习”对参数进行自适应调节,然后以小样本 “有监督整体微调”,实现网络学习的整体修正。

近年来,许多学者尝试将卷积神经网络应用于机械故障诊断[7],主要可以分为两大类:1) 将一维振动信号转化图像,进而使用卷积神经网络对图像进行分析。转换方法最为简单的是将一维信号排列成二维矩阵即灰度图像[8],其次是利用信号变换的方法形成图像矩阵,如时频分布[9]。灰度图像转换方法简单、计算量小,但是转换后的图像较为接近,而时频分布信息丰富但是计算量巨大。2) 直接采用一维机械信号作为输入,利用卷积神经网络深层次特征提取和分析,实现“端到端”的故障诊断,这种方法无需额外的处理和人工干预,避免了信息的丢失,简化了故障诊断信息处理流程,正在成为故障诊断领域的研究热点。

基于一维信号的卷积神经网络故障诊断,是利用数据驱动方式直接从大量机械故障数据中分析规律。部分学者进行了有益的尝试:Zhang等[10]构建了包含6个卷积模块的卷积神经网络,运用大尺寸卷积核和Dropout机制,对噪声干扰仍具有较好的诊断效果。Wan等[11]研究了利用改进的2D和1D LeNet-5网络对轴承进行故障诊断,改进的1D LeNet-5包含5个卷积模块网络结构,取得了不错的效果。针对深度卷积网络训练和诊断计算量大,刘星辰等[12]在采用全局平均池化层代替LeNet-5的全连接层,降低计算量,在轴承和齿轮数据诊断方面具有较高的精度,但是需要大量的训练样本。Janssens等[13]更是尝试单卷积层加全连接层的简单网络对轴承振动信号的故障诊断,计算量小但是模型的诊断精度较低,鲁棒性差。

针对一维复杂机械振动信号的分析特点,在经典LeNet-5网络基础上,合理整合了批量规范化、ReLu激活、重叠最大池化和Dropout机制,兼顾故障诊断网络的实时性和鲁棒性,对于往复机械的数据输入方面,尝试采用阶次采样提高训练样本数据质量,在较小训练样本条件下也能优良的训练效果。

1 一维LeNet-5卷积神经网络

LeNet-5是LeCun在1998年提出的经典卷积神经网络,对手写字符识别具有非常高的精度,该模型包括2个卷积层、2个池化层和3个全连接层,网络的具体细节如图1所示[14]。

图1 CNN的基本网络结构

表1列出了LeNet-5网络结构及参数,2个卷积模块由卷积层和最大池化层组成。卷积层固定采用5×5的卷积核,步长均设置为1,卷积核个数由6个增加到16个,池化层采用大小为2×2、步长为2的窗口进行最大池化。第1个全连接层神经元个数为120,第2层为84,最后一层为输出层,神经元个数由分类类别数量决定,手写字体0～9共10个类别,故设置为10个。

表1 LeNet-5经典网络结构及参数

2 改进一维LeNet-5网络

2.1 LeNet-5网络结构分析

LeNet-5作为一种经典的卷积神经网络,其网络结构设计也为后续卷积神经网络的发展奠定了基础。针对一维机械故障信号的特点对LeNet-5经典网络结构进行如下分析和改进:

1) LeNet-5针对图像分析采用固定5×5的卷积核,不能适应一维信号分析需求,故对卷积核结构进行改进,采用一维长卷积核和较大的池化步长;

2) 为提高模型的鲁棒性,采用重叠最大池化层以突出信号的邻域关联性,卷积层后增加了批量规范化和ReLu激活层,构建了两个卷积模块,避免梯度饱和并提高网络训练速度;

3) LeNet-5采用3个卷积层,耗费计算量大,故删减全连接层的数量,在卷积模块后只采用一个全连接层配合Softmax及输出层;

4) 在全连接层之前增加一个Dropout层,降低神经元之间的依赖程度,避免网络过拟合的发生,提高模型的泛化性能。

2.2 改进一维LeNet-5网络结构

一维LeNet-5网络结构设计如图2所示,包含输入层,两个包含卷积层、批量规范化层、ReLu激活层和重叠池化层的卷积模块,以及随机失活Dropout层,全连接层、Softmax层和分类输出层。

图2 改进的一维LeNet-5网络结构

1) 卷积层

卷积层是CNN的核心组成部分,一个深度卷积神经网络通过多个卷积模块来增强对信号的特征提取和表示能力。一维卷积操作表达式为

(1)

2) 批量规范化层

在模型中引入了批量规范化层(Batch normalization, BN),用于将各层的输入重新归一化,以减小内部数据分布偏移的影响,不仅可以提高网络的训练速度,还可以提高网络的泛化性能。

(2)

3) Relu激活层

为了避免梯度饱和现象的发生,卷积模块中加入了Relu激活层,用于把卷积层输出结果做非线性映射,增强信息整合能力,使得其训练简单、快速。

(3)

4) 池化层

池化层一般位于连续的卷积层中间,包括平均池化和最大池化。池化层能够逐渐减小表达空间的尺寸,降低网络参数和计算量,也能起到控制过拟合的作用。最大池化被普遍证明有更好的效果而被广泛采用,其运算公式为

(4)

式中:xl(i,t)为第l层中第i个特征图的第t个神经元;w为卷积核的宽度;j为第j个池化核。池化层实现数据降维的同时进一步突出提取特征。

5) 全连接层及输出层

模型在两个卷积模块后连接一个全连接层,而后设置有Softmax层,以交叉熵损失函数作为多类分类目标函数。全连接层权重ω和偏差b,f为非线性激活函数,对输入X∈Rm全连接层输出为

δ=f(ωX+b)

(5)

Softmax层得到输入数据的标签分布为

其中，ϕrb(m)=ϕb(m)+ϕNCO(m)+ϕPLL(m)-ϕori(m)，载波恢复后的基带信号只包含多普勒信息，由相位ϕrb(m)可直接得到多普勒跟踪结果fd(m)=Δϕ(m)/ΔT。

(6)

设计的一维LeNet-5网络结构参数如表2所示,以12类输出为例,输入层参数由输入一维信号的长度而定,一般采用2 048点,针对一维信号的特点,第一个卷积模块采用64×1的长卷积核,数量为16,步长为8,重叠池化层窗口7×1,步长5,第二个卷积模块采用32×1的卷积核,数量为32,步长为4,池化层窗口7×1,步长5,全连接层神经元个数等同于识别信号类别数。

表2 改进一维LeNet-5网络结构

3 轴承数据集分析

为验证本文建立模型的有效性,以美国Case Western Reserve University (CWRU)的轴承数据集[15]进行验证。选取正常工况和不同程度故障的驱动端轴承数据作为训练和测试样本,数据集和标签设置如表3所示,对负载为0～3 HP的振动信号进行滑动窗采样,数据长度为2 048点,滑动窗口为1 024(正常工况2 048),共获得不同负载、不同转速工况下的数据样本5 645个。对所获得的数据集打乱次序,选取70%作为训练集,10%作为验证集,20%作为测试集。

表3 数据集与标签

构建网络后,训练参数设置如下:训练样本数量为3 376个,验证样本数量为573个,初始学习率设置为0.001,衰减率为0.9,批量规范化设置为80,Dropout设为0.5,验证频率为30,模型共进行30轮训练,1 260次迭代。训练过程如图3所示,训练时模型只要迭代几步,分类准确率迅速上升,模型损失迅速下降,很快就超过90%以上,200步以后分类准确率和损失函数基本上就达能够到收敛,整个过程训练速度快,效率高。

图3 训练过程的识别率和交叉熵

模型训练完毕后,采用测试样本集进行性能测试,测试样本数量为1 696个,最终验证集的分类正确率能达到99.82%。模型的识别率混淆矩阵如图4所示。对于所有12类数据,模型均能够获得非常好的识别结果。

图4 识别率混淆矩阵

表4是模型识别精度比较。从表4可见,本文方法能够和文献[10-12]的诊断精度相媲美:从模型上看,文献[10-11]明显网络层数要多,结构较为复杂;从训练与测试样本数量来看,文献[12]所采用的模型同样较为简单,但是为达到较高的精度文献所采用的训练样本量较大,训练测试样本比为9∶1。综上所述,本文所构建的模型结构简单,计算效率高,训练样本较少时也具有非常高的识别准确率。

表4 模型识别精度比较

4 柴油机试验数据分析

4.1 柴油机振动信号的采样

利用阶次采样方法构建高质量训练样本集,在训练样本集较小的条件下获得较好的训练效果。某8缸柴油机缸盖振动信号测试系统如图5所示,ADXL001型振动加速度传感器安装于左4缸缸盖和气缸体结合处。上止点和瞬时转速信号测试选用霍尔传感器,输出轴上粘贴有磁钢片,初始位置对应左4缸上止点,瞬时转速测量选用M16-85型磁电式转速传感器,正对输出端飞轮。多通道数据采集系统与计算机用于同步采集4缸缸盖振动、曲轴上止点和飞轮瞬时转速信号。

图5 发动机缸盖振动信号测试系统示意图

实验设置了正常、单缸失火、进气不足和复合故障(单缸失火+进气不足)这4种典型的工况,所有故障均设置于左4缸。采样频率为51.2 kHz,采集800 r/min时的上止点信号、瞬时转速信号、缸盖振动信号,如图6所示。

图6 柴油机同步采集信号

柴油机输出端飞轮转动一圈,产生一个上止点信号,转动两圈则为柴油机一个完整周期。磁电式转速传感器获得的转速信号为正弦波信号,每个波峰对应于飞轮转过的一个轮齿,经转换可得瞬时转速信号,由一个工作循环的转速信号可见柴油机工作过程中具有较大的转速波动性。柴油机缸盖振动信号是在气缸工作过程中由多种不同激振力共同作用产生的,包括气体燃爆冲击压力、进排气门关闭时的气阀落座冲击力、进排气门开启时的气流冲击力、喷油器针阀落座冲击力、机体振动冲击力以及各种随机激振力,柴油机发生故障时,这些激振力的激振时刻和激振幅值大小将发生微弱改变。

4.2 模型训练及诊断结果

卷积神经网络的学习训练与所输入的训练数据样本的质量紧密相关。卷积神经网络具有良好的大数据学习能力,但是如果所输入的数据样本质量较差,则网络的学习效果也不好。对上述信号进行不重叠阶次域滑动窗重采样,获得样本数量分别为164、164、163、161个,对所获得的数据集打乱次序,选取70%为训练集,10%为验证集,20%为测试集。训练时初始学习率设置为0.001,衰减率为0.9,批量规范化设置为20,验证频率为30,模型共进行30轮训练。

为了对比,采样滑动窗采样的方法对柴油机800 r/min匀速工况的振动信号进行采样,分别取1 024、2 048、4 096和5 120的数据点数,滑动间隔500点,分别获得样本数量分别为10 200、10 160、10 080、10 040,仍选取70%作为训练集,10%作为验证集,20%作为测试集,最大迭代步数设置为10 000步。训练过程的识别率曲线经平滑处理后如图7所示,阶次采样的数据样本输入,网络模型的学习训练具有最大效率,只要迭代几步识别率就迅速跃升,阶次采样训练样本识别率最终达到100%。采用滑动窗采样的训练样本,样本质量较差,学习训练效率低,模型的识别率上升缓慢。随着滑动采样点数的增加,每个数据样本包含的信息量增大,能够较好地反应柴油机的工况,训练效果有所改善,但是滑动采样的样本信息量难免受原始信号采样率和柴油机旋转波动性等因素的影响,对模型的训练效果影响较大。

图7 阶次采样与滑动采样输入的网络训练过程

模型训练完毕后,采用测试样本对模型的泛化能力进行测试,识别精度如图8所示。随着数据点数的增加,输入样本所包含的信息量增大,模型的诊断精度不断提高,当输入信号为4 096点时达到最佳,之后输入数据长度再增加,识别能力反而降低。这说明数据长度也不是越长越好,一方面所建网络模型的结构已不适合此类型数据,丧失最佳的分析能力,且计算量巨大;另一方面受采样率、柴油机转速变化等众多因素的影响,滑动窗数据采样长度不容易确定最佳值。而本文提出基于阶次采样能够很好地包含了柴油机一个周期的信息,具有较高的训练样本数据质量,大大提高网络训练学习的效果,识别精度远高于滑动窗采样方式,达到了98.48%。

图8 阶次采样与滑动采样对诊断结果的影响

5 结论

构建了基于一维振动信号输入的改进LeNet-5网络模型,融合了阶次采样的样本数据集构建方法,从样本数据质量和模型学习能力着手,实现小样本下的高效训练学习,并利用柴油机和轴承数据集进行验证,主要结论如下:

1) 借鉴经典的LeNet-5网络模型,构建了包含两个卷积模块、单一全连接层和输出层的一维LeNet网络,模型结构简单紧凑,训练参数较少。模型的卷积模块结合批规范化层和Relu层,提高训练速度和网络泛化能力,利用重叠极大池化和随机失活来缓解网络出现过拟合现象。

2) 实验对比分析了滑动窗采样和阶次采样的样本集构建方式,阶次采样有助于提高旋转或往复机械数据样本的构建质量,减小转速波动的影响,能够使网络模型在小样本条件下仍具有非常高的训练精度和泛化能力。