多传感器信息深度融合的谐波减速器健康状态评估

陈仁祥, 张 勇， 胡小林， 杨黎霞， 陈 才， 谢文举

(1. 重庆交通大学 交通工程应用机器人重庆市工程实验室， 重庆 400074；2. 重庆工业大数据创新中心有限公司， 重庆 400056； 3. 重庆华数机器人有限公司， 重庆 400714)

随着制造业水平的不断提高，工业机器人由于具有工作稳定可靠、工作效率高等优势，被广泛应用于传统制造业中。谐波减速器作为工业机器人关节的核心部件，对工业机器人能够稳定可靠地运行发挥着至关重要的作用[1]，对其进行健康状态评估非常必要。

工业机器人的使用场景和工作特点使其谐波减速器工况呈现出循环往复运动、转速变化快、工作节拍不一的特点，增加了刻画其运行状态和评估其健康状态的难度。针对该问题，陈仁祥等[2]提出了基于整周期数据和卷积神经网络的谐波减速器健康状态评估方法，将谐波减速器振动信号分割构造整周期数据样本并分解获得时频图，最后通过卷积神经网络学习其瞬变特征并输出评估结果。该方法虽取得了较好的效果，但工业机器人谐波减速器结构复杂且精密，启动、加速、减速、制动循环往复，导致单一传感器不足以反映谐波减速器运动状态的全貌。同时，安装于工业机器人上的传感器会随着机器人的运动而运动，加剧了单一传感器对工业机器人运行状态反映的不全面性。因此，仅依靠单一传感器会导致健康状态评估结果不确定性高。

近年来，国内外众多学者将信息融合技术应用到故障预测与健康管理领域中，且取得了较好效果。张明等[3]提出径向基神经网络与加权证据融合理论结合的方法对往复式压缩机进行诊断；王秀青等[4]提出了一种多传感器信息融合与支持向量机相结合的方法对机器人进行故障诊断；Cai等[5]利用贝叶斯神经网络对热泵进行故障诊断；李松柏等[6]提出基于多传感器振动信号融合及堆栈降噪自编码的齿轮故障诊断方法；向丹等[7]提出了基于经验模态分解熵特征融合的方法来对滚动轴承进行故障诊断；Saflzadeh等[8]利用多源信息融合方法对滚动轴承振动故障进行了诊断研究。这些方法的成功运用，为工业机器人人谐波减速器健康状态评估提供了启发。但是，以上信息融合方法主要融合人工提取特征，依赖于人的经验以及专业知识，同时需要复杂的信号处理技术支持，难以适应复变工况下工业机器人谐波减速器的健康评估问题。

卷积神经网络(convolutional neural network，CNN)作为深度学习模型中一种经典而应用广泛的网络结构，由于其的局部连接、权值共享及池化操作等特性[9]，被广泛应用于故障预测与健康管理领域。如：宫文峰等[10]将全局均值池化技术代替CNN的全连接层部分对滚动轴承进行故障诊断；陈仁祥等[11]将信号经过离散小波变换得到的时频图输入到CNN对滚动轴承进行故障识别；Chen等[12]提出了一种将循环谱相干和CNN相结合的方法以对轴承故障进行故障诊断。CNN自动学习数据样本特征为谐波减速器的健康状态评估提供了有益借鉴。然而，这些方法仅用于针对单一传感器信息进行特征学习，谐波减速器特点决定了仅依靠单一传感器不能全面刻画其运行状态。

综上，为克服单一传感器不能反映工业机器人谐波减速器运行状态全貌导致健康状态评估不确定性高的问题，利用卷积神经网络对多传感器融合信息进行特征学习实现谐波减速器健康状态的可靠评估，提出了多传感器信息深度融合的谐波减速器健康状态评估方法。即，利用连续小波变换(continuous wavelet transform，CWT)多分辨率的特点对谐波减速器振动信号进行分解获得时频图描述其运行状态特征；再运用基于小波变换的图像融合将多传感器的时频信息进行融合以全面刻画谐波减速器运行状态；最后，利用卷积神经网络对融合后的时频图像进行自动学习以获得能准确表征谐波减速器健康状态的深度特征，从而实现对谐波减速器健康状态可靠评估。

1 理论基础

1.1 连续小波变换的原理

对于任意时域信号y(t)∈L2(R)，其连续小波变换(wavelet trarsform, WT)表达式为[13]

(1)

式中,gm,n(t)是由母小波g(t)经过尺度伸缩和平移得到的

(2)

式中:m为尺度因子;n为平移因子。

连续小波逆变换表达式为

(3)

其中

(4)

式中，G(ω)为母小波g(t)的傅里叶变换。

由于Morlet小波波形与齿轮啮合时产生的冲击特征相似，且ComplexMorlet小波(cmor小波)是Morlet小波的复数形式，自适应性能更好，故在此采用的是cmor小波。

1.2 基于小波变换的图像融合

基于小波变换的图像融合利用小波变换具有多分辨率的特点，将图像分解到不同频段上,然后融合各图像的低频分量与高频分量得到融合图像的低频分量与高频分量，最后通过小波逆变换得到融合图像，保证了图像在分解过程中信息的完整性[14]。因此,将基于小波变换的图像融合应用到多传感器下的谐波减速器健康状态评估，有利于综合各个传感器下信号的振动特征，得到能够充分表征谐波减速器在各个运转周期内振动特点的时频特征。基于小波变换的图像融合方法流程如图1所示。具体步骤如下：

图1 基于小波变换的图像融合流程图

(1) 将各图像进行小波分解，得到各自的低频分量与高频分量。

(2) 分别将各图像的低频分量和高频分量融合。融合的作用是充分表征谐波减速器在各个传感器采集通道下的振动特征，更完全地反映谐波减速器的状态，从而有利于CNN学习。

(3) 通过小波逆变换得到融合图像。

图像经小波分解后，绝对值较大的小波系数对应于图像中对比度变化较大的边缘等特征，而人眼对于这些特征比较敏感[15]。所以，高频分量选取基于极大值的融合规则，即两幅图像相同位置的高频分量中绝对值较大者作为融合图像对应位置的高频分量，即

DF=max{|Di|}i=1,2，…，n

(5)

式中：DF为融合图像的高频分量；Di为待融合图像的高频分量；n为待融合图像数目。

低频分量选取均值的融合规则，即各图像相同位置低频分量的均值作为融合图像对应位置的低频分量。

SF=∑Si/ni=1,2，…，n

(6)

式中:SF为融合图像的低频分量；Si为待融合图像的低频分量。

1.3 卷积神经网络

CNN是一种深度神经网络，具有局部感知、权重共享和多卷积核的特点，主要由卷积层、池化层以及全连接层组成[16]，如图2所示。输入的二维信号经过交替出现的卷积层及池化层提取特征后，最终通过分类器分类输出。

图2 卷积神经网络结构

(1) 卷积层

卷积层由多个卷积核构成，每个卷积核与输入信号进行卷积运算，然后经过激活函数得到特征图。激活函数为sigmoid函数，其函数表达式为

(7)

卷积过程数学表达式为

(8)

(2) 池化层

池化层通常位于卷积层之后，对卷积层得到的特征图进行降维，并保证了特征尺度的不变性。常用的池化方式有均值池化、最大值池化和随机池化。

(3) 全连接层

在全连接层，将卷积层和池化层得到的特征图展开为一列构成特征向量，特征向量与输出层全连接。选用的是softmax分类器。

2 多传感器信息深度融合的谐波减速器健康状态评估方法

所提出的多传感器信息深度融合的谐波减速器健康状态评估方法原理如下：首先构造谐波减速器振动信号样本集，为描述谐波减速器往复工作过程对采集数据进行整周期分割(分割方法见参考文献[2])。利用连续小波变换对样本进行分解，构造时频图以描述谐波减速器运行状态特征；再利用基于小波变换的图像融合方法将多个传感器的时频信息进行融合，以全面刻画谐波减速器的运行状态；最后利用卷积神经网络对融合后的时频图像进行自动学习从而实现对谐波减速器健康状态评估。方法流程如图3所示。具体步骤如下：

(1) 将多个传感器的振动信号分割构造整周期数据样本以描述往复工作过程中谐波减速器的运行状态信息；

(2) 利用CWT对各个传感器下的整周期数据进行分解以获得时频图；

(3) 利用基于小波变换的图像融合将各个传感器下的时频信息进行融合获得融合图像以全面刻画谐波减速器运行状态；

(4) 设置网络参数，构建CNN模型；

(5) 将训练样本以批量的方式输入到CNN模型中输出评估结果；

(6) 计算网络输出结果与预期目标间的误差，误差反向传播更新权重和偏置；

(7) 重复步骤(5)、(6)，直至将训练样本全部训练完毕且达到了迭代次数，得到训完成CNN网络；

(8) 将测试样本输入到已训练完毕的CNN模型中从而得到谐波减速器健康状态评估结果。

3 试验验证

3.1 试验数据

以型号为LHSG-17-80的谐波减速器来验证所提方法的有效性，谐波减速器振动信号数据采自工业机器人末端关节。谐波减速器共有三种状态：间隙过大(谐波减速器柔轮与刚轮出现较大间隙)、卡顿(谐波减速器转动时卡塞)和正常。间隙过大和卡顿状态的谐波减速器为工业机器人使用单位对工业机器人维修、保养时更换下来的减速器。

图3 方法流程图

传感器布置如图4所示，传感器1、2、3为单向传感器，各一个采集通道；传感器4为三向传感器有三个采集通道，共六个采集通道。采样频率10 240 Hz，在工作节拍为30%满转速及100%满转速的工况下重复采集多组数据并进行整周期样本分割，每种状态样本数为90，每个样本包含35 500个采样点，每种状态样本数为90。分别从三种不同状态中随机选取70个样本构成训练样本，余下样本为测试样本，如表1所示。

图4 传感器布置图

表1 谐波减速器数据样本集

图5为三种不同健康状态的谐波减速器一个运转周期振动信号时频图及其融合结果。观察融合时频图，三种不同健康状态下谐波减速器振动信号的能量几乎连续分布于所有频段内，且低频段内相对于高频段内能量明显较高，整个时间段呈现明显的能量波动，且间隙过大减速器的能量明显大于另外两类减速器，其中红色标记为时频图主要能量分布。由于工业机器人的使用场景和工作特点使其谐波减速器工况呈现出周期性循环往复运动、转速变化快的特点，一个运转周期内启动-加速-平稳运行-减速-停止-反向的时频特征在融合时频图中得以明显体现，并呈现周期性的特点，即合图时频图准确地表征了谐波减速器的运行状态。

图5 间隙过大、卡顿及正常时频图融合结果

3.2 试验结果及分析

本文的CNN网络共有2个卷积层：分别有10、20个卷积核，卷积核的大小皆为5×5；池化层大小为2×2。采用最值池化，学习率0.01，批量大小64，迭代次数k=25。所有任务均在工作站(Intel(R)Xeon(R)CPU E5-2678 v3 @ 2.5 GHz)上进行，软件环境为MATLAB 2018b。

将所提方法与各采集通道、文献[2]所提方法(未区分各采集通道)以及将各通道整周期数据S变换后融合(简称ST融合)进行对比，以验证所提方法的有效性和优势。图6为谐波减速器在30%满转速的工作节拍下不同健康状态下的分类准确率，表2为融合结果的准确率对比。

图6 不同方法准确率对比

表2 融合结果准确率

根据图6及表2，所提方法随着迭代次数的增加，分类准确率不断提高。当迭代次数k=8时，分类准确率已达到了91.67%；当k=11时，分类准确率达到了100%。说明了所提方法所使用的基于小波变换的图像融合全面地表征了各个传感器下的多个采集通道谐波减速器在各个运转周期内的时频特征，证明了所提方法是可行的、有效的。

观察图6及表2，各个采集通道随着迭代次数的增加，分类准确率逐渐升高。但在迭代次数较少的情况下，所提方法分类准确率更高，收敛更快。在迭代次数k=8时，所提方法分类准确率已达到了91.67%，反观其他单个采集通道，准确率最高的仅为通道6的73.33%，而其余通道健康状态评估结果更劣，精度均不足70%。当迭代次数k=11时，所提方法分类准确率已达到了100%，而单个采集通道效果最佳的为通道1和通道5，但也仅为85%。这是由于工业机器人谐波减速器运行工况复杂，单个采集通道的振动信号难以准确刻画谐波减速器的运行状态信息全貌，从而导致单个采集通道评估效果不佳。

同时，文献[2]所提方法也具有较好的评估结果，但在迭代次数较少时，文献[2]精度不佳，在迭代次数k=8时，文献[2]分类准确率仅为61.39%，当迭代次数k=20时，精度达到了99.44%；而所提方法在迭代次数k=11时精度已达到了100%。ST融合方法也能达到较好的评估结果，但收敛性略差于本文所提方法，在迭代次数k=8时ST融合方法分类准确率仅为85%，这是由于S变换对高频带模糊，从而导致健康状态评估效果不佳。而所提方法分类准确率已达到了91.67%，说明所提方法不仅评估效率更高，而且收敛性更好。

表2中各方法耗时为从样本截取至得到健康状态评估结果共消耗时间。根据表2，由于所提方法需要分解得到6个采集通道下的时频图(即：270×6=1 620),由于整周期截取每个样本数据长度为35 500，CWT耗时较长，致使所提方法耗时较多。而各单个采集通道方法仅需得到当前采集通道下的时频图，耗时较少。同时文献[2]所提方法及ST融合方法均需分解得到6个采集通道下的时频图，所需时间亦较多。需要说明，表2中耗时主要为网络训练所需时间，待测样本输入网络输出结果耗时非常短，在实际应用中，通常为预先完成网络训练后再进行健康状态评估，能满足实时性要求。

为进一步验证所提方法的有效性，在100%满转速的工作节拍下重复试验。图7为谐波减速器在100%满转速的工作节拍下不同健康状态下的融合结果分类准确率对比结果。根据图7，在100%满转速的工作节拍下，所提方法依然具有较好的评估结果，在迭代次数k=5时，分类准确率达到了100%。与此同时，其他单个采集通道、文献[2]所提方法以及ST融合，虽然在迭代次数较多后也能达到较好的分类准确率，但是收敛速度远低于所提方法。进一步说明所提方法是有效的。

图7 融合结果准确率对比

为验证所提方法的稳健性，采用非整周期数据进行多传感器信息深度融合试验。图8为非整周期数据时频图经基于小波变换的图像融合后融合图像与各单个采集通道的分类准确率。

根据图8，所提方法随着迭代次数的增加，分类准确率不断提高。当迭代次数k=25时，分类准确率已达到了86.67%。反观其余未经融合的单个采集通道的评估结果均不佳，各通道分类准确率均为60%左右。由此可知，对于非整周期数据，基于小波变换的图像融合依然能够充分表征谐波减速器的时频特征，证明了所提方法具有较好的稳健性。

图8 非整周期数据准确率对比

4 结 论

所提方法利用CWT分解整周期数据提取振动时频图像以充分展现谐波减速器各运转周期内的时频特征，然后运用基于小波变换的图像融合方法融合多个传感器下的时频图，最后通过CNN充分学习融合图像的时频特征从而实现对谐波减速器的健康状态评估。有如下结论：

(1) CWT相较S变换具有多分辨率的特点，更有利于刻画谐波减速器瞬变特征，最终评估更好。

(2) 相对于仅利用单个传感器信息，多传感器深度信息深度融合能更全面地表征谐波减速器健康状态，其评估结果准确率更高、更可靠。

所提方法为运动往复、转速瞬变的旋转机械状态评估提供了一种新的思路。