家电异音在线自动检测的技术途径和系统架构研究

王晶　冯涛　杨伟成　杨晓玲　白柱杰

1.北京工商大学　北京　100037；2.中国家用电器研究院　北京 100037；3.青岛海尔洗衣机有限公司　山东青岛　266101

1　引言

家电运转向外辐射的声信号中包含着家电的运转状态信息，从物理机制上看，主要包括空气动力、机械运转和电磁激励等三种产生机理；从来源上看，家电的组成部件、部件间的相互连接和受运转部件振动激励的机体结构都会产生声信号。因此，家电运行时产生的声信号包含了家电运行的多种状态信息，声信号的正常和异常对应家电运转的正常和异常，这样就可以通过聆听声信号对家电的运行状态进行评判，进而检出异常家电，从而保证投入市场家电的质量。

家电产品在线异音检测已成为空调、冰箱以及洗衣机等多种产品生产线上的关键质检环节，但目前家电生产线上的异音检测多是通过人工方式来实施，人工异音检测虽然实施简单，但也存在学习培训时间长、检测标准因人而异、检测结果受疲劳影响以及熟练有经验人员难以获取且容易流失等问题，这些问题随着劳动力成本的上升和有经验技术工人日益匮乏等原因变得愈发严重。

随着信息技术、机器学习和人工智能技术的进步以及家电企业无人化智能工厂的建设需求，用智能机器代替人工来实现家电产品的在线异音检测正在受到越来越多的家电生产企业和研发团队的关注。

2　家电异音检测的技术路径

家电异音检测可以按照图1所示的技术途径来实施。按照机器学习的要求，通过传声器和信号采集系统进行声信号样本采集，需要注意的是采集得到的声信号既包含家电的运转声，也包括生产线的环境噪声。采用现有成熟的多种信号处理方法对所测声信号进行预处理，通过分析比较和尝试，组成最佳的信号特征向量，该向量应该能够最大程度反映家电状态信号，同时抑制环境噪声。常用的信号特征提取方法一般包括时域、频域和时频域三类[1,2]，时域的典型特征有短时能量和过零率；频域的特征种类繁多，有各种谱分析方法、线性预测系数以及梅尔频率倒谱系数等；时频域特征包含短时傅里叶谱和小波谱，时频特征会带来较大的计算量，但却更能完整全面地描述音频信号。

根据信号特征向量将声信号样本转化为数据集，数据集包括训练集、验证集和测试集。选择合适的机器学习模型，将数据集应用于机器学习模型进行训练、验证和测试，通过多次循环，优化分析，在数据集的基础上，获取机器学习面向具体工程问题的最优参数[3]，包括最优的特征向量、机器学习算法和异音检测法则，这几个环节可能需要多次循环才能得到最优的参数组合。最后，机器学习得到的分类法需要导入异音在线检测系统，在实际的生产线上进行运行调试，最终在生产线上完成部署。

机器学习技术在异音检测中发挥了重要的作用，从学习方法上看，机器学习算法可以分为监督学习（如分类问题）、无监督学习（如聚类问题）、半监督学习、集成学习、深度学习和强化学习，家电异音检测可以单独或综合使用上述各种方法。典型的机器学习模型包括线性回归、逻辑回归、决策树、支持向量机、贝叶斯模型、正则化模型、模型集成以及神经网络。上述机器学习模型的参数均可调整，模型训练和使用可按照以下步骤：（1）选择一个机器学习模型；（2）将训练数据集输入模型；（3）选择确定最优机器学习模型。

如果已经积累了大量的声信号样本，则可以考虑采用深度学习模型，该模型已经在图像信息处理和语音处理领域取得了显著的成就。深度学习是机器学习的一种，在传统的机器学习中，特征向量对学习效果很重要，但是特征工程非常繁琐，需要领域专家人工进行选择设计。而深度学习则能够从海量数据中自动学习特征，如果具备了声信号大数据样本，构建了高性能的计算平台，可以考虑深度学习模型。

经典的机器学习模型适用于各种使用需求，也不需要海量的样本数据和高性能的计算资源，但实施过程相对复杂，需要针对家电产品具体情况进行设计开发；深度学习模型实施过程相对简单，但需要海量的样本数据和高性能的计算资源。

图1　家电异音自动检测技术途径

图2　家电异音自动检测系统架构

图3　家电异音检测系统部署方式

3　家电异音在线自动检测系统的架构

图2描述了家电异音检测系统的架构，系统由硬件和软件两部分共同组成了一个不可分割的整体，硬件部分包括测量环境、传感器、采集系统和判别系统，测量环境可以是基本不做改动的原始生产线，也可以是在生产线上设计添加的简易隔声或吸声空间，测量环境的考虑重点是如何减少生产线环境噪声的影响。传感器和采集系统一般要求满足可听声频带的采样要求，对系统的量化精度要求至少采用16位采集系统，能达到24位更好。判别系统一般是采集系统和计算机的结合体，计算机上运行的软件是信号特征提取算法和机器学习模型。软件部分中的信号测量分析模块主要完成信号的采集和保存，应用信号处理技术，特征提取模块抽取声信号样本特征，构建特征向量和机器学习数据集。机器学习模块实现各种机器学习算法，在特征向量数据集的基础上，完成训练、验证和测试等环节，最终获得异音判别参数，过程中还包括特征向量和机器学习模型参数的选择与优化。

在家电异音在线检测系统的部署过程中，可以将训练、验证和测试等工作放到高性能服务器上进行，检测判别系统只完成声信号样本的采集和储存以及异音的在线判别工作，如图3所示。也可以省去服务器，将训练、验证和测试等功能与采集和在线判别功能放在一起，在一个系统上完成异音检测所涉及的全部工作。

4　家电异音在线自动检测的难点

随着信息技术的进步，机器学习和深度学习在图像处理和语音识别领域已经取得了很大的突破，在语音输入领域，很多商用系统已经做到超过90%的语音识别准确性，但要将这些技术引入到家电异音检测的工程应用领域，还要考虑解决自动异音检测系统的生产线适应性、环境噪声的干扰和样本的不均衡等实际应用难题，生产线适应性问题与产品类型、生产线的特点密切相关，需要根据工程实际具体分析，下面主要讨论后两个具有一定共性的问题。

4.1　生产环境噪声的影响

尽管目前的人工异音检测工位大多设计建造了简易的隔声或吸声环境，但家电运转产生的声信号与环境噪声相比，往往并不具备足够的信噪比。人工判别过程中可以利用人本身的听觉滤波机制，消除环境噪声的影响；机器系统判别时，必须想办法排除环境噪声的影响，但困难的是人们目前还没有搞清人本身听觉滤波机制的机理，难以在信噪比不大的情况下，滤除环境噪声，实现有用声信号的提取。

4.2　家电声信号样本的不均衡问题

人工判别只需少量的样本就能形成异音判别规则，自动异音判别则需要足够的声信号样本，深度学习更需要海量的声样本数据，但随着家电生产和质量管理技术的进步，相对于正常声样本，异常声样本所占比例极小，这就导致分类学习所需要的样本比例严重失衡，直接使用在语音识别中获得成功应用的机器学习分类模型就会导致较大偏差，需要针对家电声信号样本不均衡的实际情况，选择设计相应的机器学习算法。

5　结论

家电异音在线自动检测正受到家电生产企业的广泛关注，本文对家电在线异音自动检测的技术途径和系统架构进行了初步的阐述。提出了家电在线异音自动检测的两种实现途径，即经典的机器学习模型和近年来迅速发展的深度学习模型。简要描述了家电在线异音自动检测的系统架构和架构中各组成部分的相互关系。简要分析了家电异音在线自动检测实施过程中的需要解决的生产线环境噪声干扰和声信号不均衡难题，并给出了原则性的解决方案。