基于CNN和声音时频特征图的微型振动马达故障判别

冯涛 王杰 方夏 刘剑歌 黄思思

摘要：为解决人耳听音判别微型振动马达故障困难的局面，提出基于CNN和声音时频特征图的微型马达故障判别方法。通过采集微型振动马达运转过程中的声音信号，进行短时傅里叶变换获得二维时频特征灰度图。将通过经验人员反复听音和相关设备辨别的工件制作成训练集和测试集，通过CNN对训练集中时频特征图进行学习，使网络模型能够具有马达故障判别功能，并在测试集上进行验证。在训练集准确率为99.2%时，测试集准确率为94.1%。为验证模型在实际坏件判别中的可靠性，对6种单一破坏的零件进行分类，平均判别准确率达90%。结果表明：基于CNN和声音时频特征图的微型马达故障判别方法在微型振动马达的故障判别上有可靠的效果，能够运用于工业环境中取代传统的人耳听音判别故障的方法。

关键词：振动马达;故障判别;时频特征图;卷积神经网络

中图分类号：TP183 文献标志码：A 文章编号：1674-5124（2019）10-0120-08

收稿日期：2019-01-25;收到修改稿日期：2019-03-04

基金项目：四川省科技计划资助（2019YFG0356）;四川省科技厅重点研发项目（2019YFG0359）

作者简介：冯涛（1994-），男，四川南充市人，硕士研究生，专业方向为智能检测以及深度学习算法应用。

通信作者：王杰（1964-），男，教授，博士生导师，研究方向为计算机辅助制造。

0 引言

振动电机作为激振源，从大型的冶金、采矿中所使用的振动电机到手机交互所使用的微型振动马达都有应用。就手机微型振动马达而言，产品出厂时存在很多的噪声缺陷，严重影响电机转动的稳定性、使用寿命以及用戶体验。但在马达故障检测上多通过人耳听音判别，判别依据主观，导致产品质量稂莠不齐。为改善这种局面，提高企业的生产效率和马达本身的转动特性，对手机微型振动马达进行故障检测具有重要意义。

现阶段对振动电机进行了多方面的研究工作，宗荣珍[1]对振动电机所需要的转动偏心块进行了模态分析和静态分析。Li等[2]通过小波分析的方法对扁平振动马达进行了噪声缺陷分析。丘寿玉[3]提出了一种新的根据手机振动马达振动量的评测方法。古莹奎[4]等通过提取时域、频域、和希尔伯特变换的36个特征，实现对齿轮箱运转过程中的振动信号特征的压缩。

机器学习算法在信号分析领域有着重要的应用。赵越等[5]通过小波变换结合人工神经网络对磁瓦跌落声音信号进行检测，识别内部缺陷。谢罗峰等[6]结合双树复小波变换和临域成分分析，通过机器学习算法LSSVM分析磁瓦跌落的声音信号检测缺陷。Adlen Kerboua[7]通过两层LSTM网络对三相鼠笼异步电机的三相电流信号进行序列检测来对电机的运行过程实时监测。随着硬件加速性能的成熟，以卷积神经网络（convolutional neural networks，CNN）为代表的深度学习算法逐步成为机器学习算法的核心，如张孟伯等[8]将CNN在图像处理方面的优势，运用到OFDM进行频谱感知，并对OFDM信号进行分类。因此用深度卷积网络对信号进行特征的提取总结有重要的研究意义。

针对上述问题，本文提出一种基于CNN和时频图的微型振动马达的故障检测方法。首先将传感器采集到的声音信号进行A计权处理，将计权之后的时域信号进行短时傅里叶变换并绘制出时频灰度图，将信号特征提取聚类问题转化为图像处理问题。通过有监督机制，将得到的时频灰度图分为训练集和测试集。再利用CNN网络对训练集中好件与坏件的特征进行学习，并一边学习一边将测试数据输入训练过的模型中，评估模型的泛性，并通过对未经训练的单一破坏的振动马达进行测试，评估通过训练集和测试集优化得到的模型在实际生产中的可靠性。

1 微型振动马达声音信号时频图构建

1.1 测量原理

本文中测量的微型马达为旋转铁芯马达，该马达的振动源和动力源为为一体，偏心块安装于转子的一端，马达实物与偏心块形状如图1所示。

通过转子的旋转带动偏心块的高速旋转，从而产生惯性激振力，该力是一个空间回转力，其值为G，计算公式[3]如下：

G=mrω²（1）

其中m为偏心块的质量，r为偏心块质心到回转轴心的距离（即偏心距），ω为马达旋转角速度。

由上述空间回转力的公式可知，当电机本身，偏振块和转动转速固定的情况下，电机旋转所产生的空间回转力的大小是一个定值，其方向指向圆心。为了方便测量马达的运转情况，进行故障判别，需要将马达安装夹持在载物台上，马达在x，z两个方向都被限位，y轴通过弹性电极供电。图2为马达的夹持载物台以及马达在载物台上的受力分析。

由图2和式（1）可知转动过程中回转力可在竖直方向和水平方向产生两个分力FX，Fz，分力的计算公式为

F_x=Gcos（ωt）

F_z=Gsin（ωt）}（2）

根据（2）式可知，水平方向和竖直方向的分力大小随时间正弦变换和余弦变化，这两个力之间相位相差90°。

所以振动马达在转动过程中会沿x，z方向上产生两个简谐力。在测量载物台其他参数固定的情况下，其本身各个方向的刚度是恒定的，因此会在x，z两个方向上产生简谐受迫振动，从而引起周围空气激振动，产生声音信号。因此在理论层面上，声音与振动两者之间是相互联系的，测量声音与测量振动从本质看也是相似的[9]。结合工厂实践中以人耳听音为判断依据，以及声音传感器简单易安装不需要外置数据采集卡等优点，本文以声音信号为基础进行故障检测。

1.2 信号采集

本文搭建的数据采集系统克服了传统的噪声频谱分析仪中数据采集卡使用麻烦、连线复杂和代价高昂等缺点。可直接使用USB数据线将噪声传感器连至电脑，经内置声卡的DSP处理器即可得到高效、准确的图形和专业的声学频谱测量数据，简化声学测试过程。

根据前期实验测试，传感器的安装设计方案如图3所示。

将电机安装在测量载物台上夹持住，音频传感器置于侧面。采集的信号为马达转动过程中的声音信号。被测马达是由工厂有经验工人反复听音筛选的，其中好件350个，坏件350个。

为了保证足够多的采样点来反映马达转动过程声音信号的变换情况，本文所使用信号的采样率为51200Hz，采样时间为0.5s，在电压为2.7V，转速为250rad/s的正常工作情况下，电机转动一圈能够采集200个采样点。

1.3 时频图灰度图构建

目前工厂只在人耳听音环境下辨识微型振动电机是否故障，为了保证数据的可靠性，用于制作数据集的马达，在经过经验工人的反复听音辨别之后，再使用电流波形设备和分贝计进行进一步辨别。所以需要对获得的声音信号进行人耳听音特性的预处理。

1.3.1 A-计权

模拟人耳对40方纯音的响度特性叫做A一计权，它能够模拟人耳对高低频有不同灵敏度的频率特性，以及不同响度时改变频率特性的特点[10]，通过对马达声音信号A-计权之后能够获得模拟人耳听音特性的时域波形。图4和图5分别为A-计权后好件与坏件的时域波形。

由图可知，从时域信号上很难去辨别工件的好坏。经过反复测量发现，通过人耳听音得到的好件与坏件在频域分布上有一定的区分。图6和图7分别为A-计权后好件和坏件的频谱分布。

1.3.2 短时傅里叶变换

振动电机属于旋转机械，结构复杂，产生的声音信号是多种信号相互耦合的结果[4]，它由一系列简谐分量、其他分量和随机噪声叠加而成，频谱一般由工频、倍频、分频等若干谱线组成[11]。通过频谱分析能够将这些信号的成分分解开来，变成各种振幅频率和相位的简谐振动。在转子的偏心转动过程中，对应的声音信号频谱上，不同的频率分布往往对应着不同的振动原因，不同的倍频能量幅值反应了对应的故障形式。

对于故障马达而言，转动的过程中频谱随时间并非稳定分布的，而会产生一定的波动。因此，为了更好地检测马达的运行状况，需要获取局部时段对应的主要频率特性，以及特定频率信息所对应的时段。

由于传统傅里叶变换缺乏时间和频率的定位功能，在分辨率上和对非平稳信号分析时具有局限性[12]，1946年Gabor提出短时傅里叶变换（short-time Fourier transform，STFT），基本思想是在信号进行傅里叶变换之前先乘以一个时间有限的窗函数，并假定信号在窗内是平稳的，以此来确定窗内存在的频率成分，然后通过窗在时间轴上的移动逐段分析信号，最后得到所需的时频分布[13]。信号x（t）的短时傅里叶變换为其中x（t）为被分析的信号g以t）为窗函数，当窗函数g（t）取值为常数1时，短时傅里叶变换退化为传统的傅里叶变换。

1.3.3 声音信号的时频图灰度图构建

为提高声音采样信号的品质，取1024个采样点为一帧信号，保证每一帧中有5圈以上的马达转动声音信号，取帧重叠长度为帧长的3/4，利用汉宁窗，对时域信号进行短时傅里叶变换。根据采样帧的长度和重叠帧的长度将时域波形切分为97个窗。窗中的每帧信号进行傅里叶变换的公式为其中x（n）为第i帧信号，n的取值为;N为每帧数据的长度;L为数据的长度;符号「」表示取整[14]。其中k=1，2，…，w;w、h分别表示构造时频谱图的尺寸;w_n^kn为傅里叶变换的旋转因子。

通过对97个窗的傅里叶变换构造出三维的时频图。横坐标x表示97个时窗，每帧信号为1024个采样点，采样率为51200Hz，根据奈奎斯特采样定律可得，经短时傅里叶变换之后的每一帧信号所能测量的最大频率为25600Hz，覆盖了人耳的听音范围，每一帧信号的频带长度用513个点来表示，每个点之间间隔了50Hz，所以纵坐标Y的范围为0～25600Hz，z轴表示每帧信号在经过傅里叶变换之后的幅值，最终获得三维时频瀑布图，如图8和图9所示。

由于卷积神经网络对于三维图像进行特征提取时数据量较大，不容易拟合，而卷积神经网络对于二维图像有一个较好的特征提取能力，所以将三维时频瀑布图在频率轴和时间轴构成的平面作投影，并将得到的大小为513×97的二维特征向量图进行归一化：其中I"（i，k）表示构造的时频图在坐标（i，k）归一化后的像素值，最后得到的大小为513×97的灰度图。图10～图13分别为好件和不同坏件的二维时频灰度图。

2 基于CNN和时频灰度图的故障识别

基于CNN和声音时频图的微型振动马达故障识别核心是采集通过人耳听音分好类的工件声音信号，进行时频映射之后，获得二维时频灰度图并制作成训集和测试集，将训练集中的好件与坏件的时频灰度图经卷积神经网络进行特征学习，并提取出更高层次和更容易分类的特征，通过有监督学习的方式，使用损失函数进行反向优化模型，将测试集的中的工件声音的时频灰度图输入训练过的模型中测试优化效果，将训练集和测试集均表现良好的模型作为最终的分类模型，将单一破坏的故障件的时频灰度图输入网络中评估检测方法的可靠性。总体框架如图14所示，包括对训练模型的评估和对人耳听音判别数据集的评估。

将获得的工件时频灰度图分为测试集和训练集。其中训练集300张好件，300张坏件。测试集50张好件，50张坏件。

2.1 CNN的网络结构

CNN网路是深度学习的重要模型之一，通过CNN搭建的深度网络，能够对特征有更高层次的提取，让特征更加容易被分类，与传统的BP网络等相比，通过多层卷积和池化产生的感受野能够对区域特征进行总结，有助于频谱邻域和倍频的相关性特征提取，通过“权值共享”减少映射需要的参数和运算量，缩短优化时间减少过拟的发生。CNN一般由多层构建而成，每层由卷积层，激活函数和池化层组成，层的最后往往由全连接层进行连接对卷积层提取的特征总结并完成分类。

本文设计的用于时频图感知的网络在经典CNN深度网络ALEX[15]的基础上进行修改，在保证准确率的同时，提高检测的速度，以达到工业运用目的。

网络结构模型如图15所示，其中输入层是大小为513×97×1的时频灰度图，输出为对于好件和坏件的分类。

在各个卷积层的后面都连接有激活函数ReLU，使线性映射变为非线性映射，更有利于非线性特征的提取和学习。在卷积层1、卷积层2，卷积层4的ReLU层后均连接有池化层MaxPool，有利于进行下采样减少运算量的同時，增大感受野，提高CNN网络对于区域特征的提取效果。

卷积层1是由%个特征图组成的。使用11×11的卷积核对大小为513×97×1的时频灰度图进行卷积，得到的特征图的大小为129×25×96o

卷积层2由256个特征图组成。使用5X5的卷积核对MaxPooll层的特征图进行卷积，得到的特征图大小为64×12×256。

卷积层3由384个特征图组成。使用3X3的卷积核在MaxPool2层的特征图进行卷积，得到的特征图大小为31×5×384a其后连接激活函数使提取的特征非线性化。

卷积层4由256个特征图组成。使用3X3的卷积核在卷积层3经激活函数之后的特征图进行卷积，得到的特征图大小为31×5×256o

将卷积层4经过MaxPool之后得到的15×2×256的特征图拉伸层长度为7680的向量，再经过3层全连接层，将最后的输出连接到一个softmax分类器，输出结果为两类，判别结果为分数较高的一类。

与传统的ALEX层相比，本文需要识别的特征并不复杂，所以在改变输入特征维度和全连接层单元个数的同时，去掉了一层卷积特征提取层。由于转动机械的频谱会在倍频关联上表现出一些特征，所以保留11×11的大卷积核，并且保留3层MaxPool层来保证全连接层每一个单元有足够大的感受野去提取时频区域的关联性。并去掉LRN层，和dropout层，在激活函数之前使用BN层来防止梯度弥散加速网络收敛，并在损失函数中加入正则化项，让迭代得到的权重参数足够小，减小过拟合。

2.2 CNN训练过程

CNN训练过程主要分为前向传播和反向传播两部分。输入图像经过卷积神经网络之后，会产生分类的输出值，通过监督学习的方法，使用损失函数加正则化项构成最终的损失函数，通过优化损失函数的值的方式，对各个权重进行链式求偏导，并进行权重更新。前向传播样本的损失函数表达式为其中m为样本的数量，f_W，b（x^（i））为经过CNN网络之后得到的预测值，yⁱ为输入xⁱ对应的期望值。式（8）前半部分为训练样本的期望值与预测值之间误差的平方;后半部分为正则化惩罚项。

下式为梯度下降法权重更新表达式：

2.3 CNN的测试过程

当卷积网络对训练集不断学习更新网络权重后，在训练集上不断优化，为了有效验证训练模型的泛性，需要在训练的同时进行测试集验证，验证的时频灰度图只经过前向传播而不经过反向传播更新权重。测试放在每次训练集优化网络之后。

2.4 训练测试结果及模型评估

图16为训练过程中网络的训练集和测试准确率随迭代次数epoch的变换情况。图17为训练过程中训练集和测试集loss值随迭代次数epoch的变化情况。

可以看出，随着迭代次数epoch的增加，准确率越来越高，loss值越来越小，模型呈现收敛趋势。最优模型的训练集准确率为0.992，loss值为0.037;测试集准确率为0.941，loss值为0.280。

表1为本文网络与传统AlexNet的对比。由表中看以看出，本文所使用的网络所需训练的参数减少了10317734个，在相同的训练集和测试集上，能够达到相同的准确率，在1080TiGPU上测试，每张图像的测试速度提高3倍，对于论文所提的时频图有更好的检测效果。

由于本文训练集和测试集所使用的好件和坏件模型信号均由人耳听音辨识，为了防止模型只在人耳判别的工件上表现良好，对一批工件进行单一破坏，采集这些马达的信号做成时频图输入网络进行验证。表2为验证的结果。

可以看出本文提出的判别方案能够在实际工业使用中表现良好，各种单一破坏的坏件可达到80%准确率以上的判别效果，平均准确率为90%，提高了工件故障识别的准确度，减少主观误差，节约了劳动成本，避免了噪音对人耳的影响。

3 结束语

本工作提出了一种针对微型振动马达故障判别的方法并进行了实验验证。在实验中，声音信号是由传感器采集获取的一个复杂的原始信号，并根据人耳听音特性进行A-记权处理后进行短时傅里叶变换，得到时频灰度图。将复杂的信号分析转化到图像处理领域，利用卷积网络在图像特征提取领域的优势，对时频特征图进行了特征提取并分类，达到94.1%的判别效果。在单一破坏的可确定坏件中，模型也表现出90%以上的平均准确率。结果证明所提出的研究方法可靠并可以用于实际工业检测中。对于马达本身而言，考虑微型振动马达声音信号的复杂度和体积小的特点，难以通过现有的自动检测手段探究损坏的具体原因及现象。因此，微型振动马达故障原因的检测与判定将是下一步工作开展的方向。

参考文献

[1]宗荣珍.振动电机偏心块动态特性研究[J].煤矿机械，2010，31（7）：47-49.

[2]LI C，FENGI」N L.Application of wavelet analysis in faultdetection of cell phone vibration motor[C]//2009 InternationalAsia Conference on Informatics in Control，Automation，andRobotics，2009.

[3]丘寿玉.一种手机振动马达振动量评测方法浅析[J].电子质量，2018（3）：15-18.

[4]古莹奎，潘高平，朱繁泷，等.基于邻域属性重要度与主成分分析的齿轮箱故障特征约简[J].中国机械工程，2016，27（13）：1783-1789.

[5]趙越，殷鸣，黄沁元，等.基于WPT-ANN的磁瓦内部缺陷音频检测[J].中国测试，2015，41（6）：81-85.

[6]谢罗峰，徐慧宁，黄沁元，等.应用双树复小波包和NCA-LSSVM检测磁瓦内部缺陷[J].浙江大学学报（工学版），2017，51（1）：184-191.

[7]KERBOUA A，METATLA A，KELAIAIA R，et al.Real-timesafety monitoring in the induction motor using deep hierarchiclong short-term memory[J].The International Journal ofAdvanced Manufacturing Technology，2018，99（9-12）：2245-2255.

[8]张孟伯，王伦文，冯彦卿.基于卷积神经网络的OFDM频谱感知方法[J].系统工程与电子技术，2019，41（1）：178-186.

[9]张振华，井栋.基于声音振动信号分析的产品品质测试[J].战术导弹技术，2011（2）：115-118.

[10]唐求，贾杨威，滕召胜，等.基于粒子群优化的声级计A计权设计[J].仪器仪表学报，2015，36（4）：856-862.

[11]刘红星，左洪福，姜澄宇，等.信号频谱的二维向量及其应用[J].中国机械工程，1999（5）：537-539.

[12]熊星，孔凡让，张海滨，等.基于WPl]～川“的滚动轴承故障诊断[J].机械与电子，2014（1）：8-11.

[13]李岳，韩宾，鲁云.基于声卡和LabVIEW的声音信号EMI]时频分析系统[J].微型机与应用，2016，35（7）：73-75.

[14]刘炳集.基于时频图和CNN的直升机自动倾斜器滚动轴承故障诊断方法研究[D].南昌：南昌航空大学，2018.

[15]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNetclassification with deep convolutional neural networks[C]//International Conference on Neural Information ProcessingSystems.Amsterdam：Springer International Publishing，2012.

（编辑：莫婕）