基于声音信号的汽车安全带卷收器质量检测方法研究

刘洪达,左敦稳,王勇,靳萌萌

(南京航空航天大学 机电学院,江苏 南京 210016)

0 引言

安全带卷收器在以往的质量检测过程中,通过总成检验工的手感来判断卷收器功能是否合格,检测效率低、成本高[1]。

由于检测过程中卷收器会产生各种声音信息,这些声音信息可以通过非接触测量安全、快速并方便地采集与获取。近年来国内外学者在声音信号的分类研究方面展开了一些研究[2]。

随着深度学习技术的发展,卷积神经网络 (convolutional neural network,CNN)受到了广泛的关注,它在声音信号分类方面得到许多应用。TRAN等[3]利用卷积神经网络结构从声音信号的图像中提取丰富特征对钻机故障声音进行分类。郑思宇[4]将采集故障噪声信号特征优化后输入到卷积神经网络模型中进行故障类型判断。

为了解决 CNN 网络过深导致的梯度弥散以及网络退化问题,HE等[5]将残差神经网络(residual neural network,ResNet)引入到 CNN中。SHETHWALA[6]利用ResNet和肺音信号的Mel谱图对肺音进行分类。LOEY[7]用ResNet对不同咳嗽声进行分类用于COVID-19领域。

对于声音信号特征差异不明显的分类,引入注意力机制能够取得更好的分类效果。目前结合残差网络与注意力机制对声音信号分类的研究还不够深入,但是在图像和视频领域已经取得了一些成果。ZHAO等[8]将改进的注意力机制嵌入到ResNet中,用于区分植物病害之间的微小变化。ULLAH等[9]利用注意力机制CBAM和ResNet在视频识别中识别马来西亚手语(MSL)。

1 分类模型

1.1 Within Blocks

残差网络ResNet-18中的残差块有4个卷积层的深度。“Within Blocks”是指在网络架构的每个残差块第2、第4卷积层的后面嵌入CBAM的方法。这种结构推断“Within Blocks”方法使得CBAM模块在这些残差块之间被应用8次。这种CBAM残差网络可以将中间特征映射细化到更能代表输入的重要信息。图1为CBAM-ResNet-18“Within Blocks”(以下简称为CBAM-ResNet-WB)中的单个残差块结构。

图1 “Within Blocks”方法单个残差结构

(1)

CBAM是结合了通道注意力(channel attention)模块和空间注意力(spatial attention)模块的卷积注意力机制,每个子模块有自己的功能。具体结构如图2所示。

图2 “Before Blocks”方法部分网络结构

通道注意力模块将输入的特征矩阵分别经过平均池化以及最大池化来筛选其空间信息,然后将结果输入到共享全连接层(shared MLP)中,再将共享全连接层输出的特征进行相加合并操作,经过sigmoid函数激活,最终即可获得通道注意力模块的特征权重矩阵Mc(F)。计算公式如下:

Mc(F)=σ[MLP(PAvgPool(F))+MLP(PMaxPool(F))]

(2)

式中:F为输入的特征矩阵;σ为应用的Sigmoid激活函数;MLP为多层感知机函数;PAvgPool和PMaxPool分别表示平均池化和最大池化。

空间注意力模块首先将输入的特征矩阵做平均池化和最大池化,得到两个通道数为1个特征向量,然后将两个向量沿通道方向进行拼接操作,之后通过卷积操作映射为通道数为1的特征向量,最后经Sigmoid激活函数获得空间注意力特征权重矩阵Ms(F)。计算公式如下:

Ms(F)=σ[f(PAvgPool(F),PMaxPool(F) )]

(3)

式中f为卷积计算。

本文使用的CBAM注意力机制首先使用通道注意力对输入特征F进行加权得到F1,然后再针对加权后的特征F1使用空间注意力进行再次加权得到最终的输出F2,其计算过程如下:

(4)

式中⊙表示逐元素相乘。

残差块中包含下采样(downsample)模块,其输出被添加到块的输入中,计算如下:

H(x)=F′+x

(5)

式中:x为结构的输入;F′为CBAM的输出。

1.2 Before Blocks

与之前的方法不同,本文采用的“Before Blocks”方法将CBAM模块嵌入到第一个残差块之前。与“Within Blocks”方法相比,它具有更低的网络复杂性和更少的计算成本。图2展示了CBAM模块的具体位置。

2 验证实验和结果分析

2.1 数据集和数据预处理

本文基于实际工况环境下对信号进行采集,背景噪声复杂,噪声信号、安静环境下和实际工况中的卷收器信号图像如图3所示。

图3 噪声信号、安静环境下和实际工况中的卷收器信号

根据《QC/T987—2014 汽车安全带卷收器性能要求和试验方法》,本文搭建实验平台如图4所示,实验平台主要包括1个型材架、1个滑轮、1条导向带和1个重物。

图4 采集卷收器声音数据实验平台

该实验平台将卷收器固定于型材架上,安全带绕过滑轮连接重物。重物为5kg,在其重力的带动和导向带的牵引下,安全带卷收器进行往复工作。录制过程中人工手持手机在卷收器旁,采集其工作声音,每次录制时间3～5s,每一个单独保存为WAV文件,其中包括150个合格品和150个次品,共计300个音频文件。

对所有音频文件提取Log-Mel Spectrogram特征,经过裁剪调整为128×256,加载到分类模型中,随机选择70%用于训练,30%用于测试。分类模型初始学习率为0.000 5,批量大小为128。在训练过程中采用RMSprop优化器,进行20轮训练。

2.2 验证结果分析

1)训练与测试过程比较

本文采用ResNet-18、ResNet-34、CBAM-ResNet-WB、CBAM-ResNet-BB模型进行比较,比较结果如图5所示。

图5 ResNet-18、ResNet-34、CBAM-ResNet-WB、CBAM-ResNet-BB模型的各轮次训练集与测试集的交叉熵和准确率对比图

ResNet-18模型训练集的交叉熵从开始时的1.34,最后逐渐减小到5×10-5。测试集交叉熵前12轮在2.98～33.91之间波动,第13轮到20轮持续减小,在20轮达到最小值0.79。训练集准确率在前3轮从55.71%提升到98.1%后始终保持较高水平,在第13轮达到100%后一直稳定。测试集准确率前10轮波动较大,第9轮提升到76.67%,第10轮降到53.33%,第11轮到20轮持续升高,最终在18轮达到最大值88.89%。模型训练准确率和测试准确率最终相差11.11%,存在过拟合问题。

ResNet-34模型训练集的交叉熵从开始时的1.93,最后逐渐减小到6×10-6。测试集交叉熵前12轮在2.13～168.35之间波动,第13轮到16轮从10.17持续升高到51.73,之后逐渐减小,在20轮达到最小值0.67。训练集准确率呈持续升高趋势在第13轮达到100%后一直稳定。测试集准确率前13轮波动较大,第11轮提升到81.11%,第13轮降到46.67%,第14轮到20轮持续升高,最终在20轮达到最大值85.56%。模型训练准确率和测试准确率最终相差14.44%,模型深度增加后导致过拟合更加严重。

CBAM-ResNet-WB模型训练集的交叉熵从开始时的3.92最后逐渐减小到0.93。测试集交叉熵前8轮在2.77～55.89之间波动,第9轮到20轮持续减小,在20轮达到最小值1.32。训练集准确率在前3轮从58.1%提升到97.14%后始终保持较高水平,在第10轮达到100%后一直稳定。测试集准确率前8轮处于较低水平,第9轮开始从60%提升到第14轮的92.22%,第18轮提升到93.33%。模型训练准确率和测试准确率最终相差6.67%,存在一定的过拟合问题。加入注意力机制的模型使特征更加符合分类要求,过拟合问题减小。

CBAM-ResNet-BB模型训练集的交叉熵从开始时的1.59,最后逐渐减小到0.06。测试集交叉熵前8轮在1.78～93.29之间波动,第9轮到20轮持续减小,在20轮达到最小值0.12。训练集准确率在前3轮从58.57%提升到96.19%后始终保持较高水平,在第9轮达到100%后一直稳定。测试集准确率前11轮处于较低水平,第12轮开始从65.56%提升到第20轮的97.78%。模型训练准确率和测试准确率最终相差2.22%,说明还是存在一些过拟合问题。本文模型过拟合问题更小,准确率更高,收敛速度仅次于参数更多的CBAM-ResNet-WB模型,但计算量相对较小。说明该模型能够加快收敛速度且获得更好的分类效果。

2)验证分类结果和混淆矩阵

图6为ResNet-18模型、ResNet-34模型、CBAM-ResNet-WB模型和CBAM-ResNet-BB模型的分类结果混淆矩阵,其中“0”代表合格品,“1”代表次品。左上角和右下角单元格显示每个类别分类正确的数量,其他单元格显示分类错误的数量。

图6 模型分类混淆矩阵

图6可知,ResNet-18模型分类结果较差,其中有10个合格品被检测成为次品;ResNet-34模型分类结果差,其中有13个次品被检测成为合格品;CBAM-ResNet-WB模型分类效果稍好一些,其中有6个合格品被检测成为次品,2个次品被检测成为合格品;CBAM-ResNet-BB模型分类效果最好,只有2个正品被检测为次品。

表1列出了ResNet-18模型、ResNet-34模型、CBAM-ResNet-WB模型和CBAM-ResNet-BB模型分类结果的精确率、召回率和F1值。ResNet-18和CBAM-ResNet-BB模型合格品的精确率都为1,所有被检测为合格品的卷收器均为合格品;同时,两个模型次品召回率都为1,能够检测出所有次品,确保出厂的卷收器质量,保障安全性;CBAM-ResNet-WB模型精确度和召回率相对较为平均,合格品和次品的分类均有错误。CBAM-ResNet-BB模型的F1值最高,合格品和次品F1值均为0.98,说明该模型分类效果最好。

表1 ResNet-18、ResNet-34、CBAM-ResNet-WB和CBAM-ResNet-BB模型的分类性能对比

3.3 与其他方法的对比

表2列出了CBAM-ResNet-BB模型与传统分类模型支持向量机、随机森林分类结果的准确率、精确率、召回率和F1值。实际工况下采集到的信号噪声较大,传统分类效果较好的支持向量机和随机森林模型在本次分类任务中结果较差,CBAM-ResNet-BB模型分类结果的准确率、精确率、召回率和F1值均优于支持向量机和随机森林,模型具有实际应用价值。

表2 支持向量机、随机森林和CBAM-ResNet-BB模型的分类性能对比

3 结语

本文提出一种CBAM-ResNet-BB模型,将注意力机制融入残差网络,能够基于声音信号对汽车安全带卷收器的质量进行分类检测,分类准确率达98%。

ResNet-18模型的检测准确率为88.89%,ResNet-34模型的检测准确率为85.56%。对于本文来说,ResNet-34模型网络深度相对较深,但是过拟合问题更加严重,导致准确率更低,因此选用ResNet-18模型进行改进。

CBAM-ResNet-BB模型的训练集和测试集最终准确率相差2.22%,对比ResNet-18模型的11.11%和ResNet-18 Within Blocks模型的6.67%,过拟合问题明显改善,准确率提高8.89%。

CBAM-ResNet-BB模型的分类准确率为98%,传统分类模型支持向量机的分类准确率为79%,随机森林的分类准确率为77%,进一步验证了该模型的优势,能够完成噪声较大的分类任务。