基于神经网络的玻璃缺陷声学检测方法

张涛，高新意，唐伟，丁碧云



基于神经网络的玻璃缺陷声学检测方法

张涛，高新意，唐伟，丁碧云

(天津大学电气自动化与信息工程学院，天津 300072)

描述了一种通过声学信号检测玻璃制品缺陷的方法。在实现步骤上，首先采集了不同缺陷类型的玻璃瓶敲击声，然后经过频谱变换及小波包变换，将敲击信号映射至不同的变换域中，并在每个变换域中提取信号的特征，从而将样本的缺陷信息对应为统计特征和物理特征，并采用基于互信息量的特征选择算法对特征空间进行降维；降维后的特征子集作为后向传播神经网络的输入参数，再由该神经网络实现对玻璃缺陷的自动化检测。结果表明，在已有实验样本数据下，该缺陷检测算法能准确高效地检测出存在缺陷的样本，识别结果的F-值稳定在95%左右。

缺陷检测；后向传播神经网络；特征提取；声学特征量；特征选择

0 引言

玻璃是最常见的材料之一，广泛应用在各个工业领域，但由于它材质的特殊性，同时它也是最脆弱、最易受损的材料之一。玻璃制品在制作和运输过程中，会造成沙眼、夹杂、孔洞、裂纹等缺陷，进而对玻璃的弯曲强度、抗压强度、疲劳极限等性能产生影响。目前，对玻璃制品缺陷的无损检测方法主要有人工法、计算机视觉检测法、超声波检测法、振动检测法和声学检测法等。

其中，声学检测法是通过分析声音信号来检测发声物体是否存在缺陷的方法，较其它检测方法而言，具有操作简单、检测速度快、受环境影响小和成本低等优点[1]。在实际检测过程中，通常采用敲击信号来分析物体是否存在缺陷。由于玻璃材料在制作过程中受多种因素的影响，并且材料的缺陷类型和缺陷部位各异，导致所采集的敲击信号中含有较多的干扰信息，难以对材料缺陷形成精确的描述，所以多年来，只能凭借经验来判断其中有用的特征。神经网络具有自学习、非线性等优点，将其应用在声学检测中，可以实现对缺陷的自动识别。目前，神经网络主要是和计算机视觉、超声波等检测技术相结合，实现对管道[2]、桥梁[3]和复合材料[4]等结构的检测。Valada等[5]提取环境中声音信号的深度频谱特征，将其作为神经网络的输入参数，来实现对于异常环境的检测。这种方法需要的数据量较大，神经网络的训练时间很长，难以满足应用的实时性要求。如何从敲击信号中提取出能全面代表材料缺陷的特征，并减少神经网络的训练时间，是神经网络技术应用于声学检测中亟待解决的问题。

针对以上问题，本文提出一种基于后向传播(Back Propagation, BP)神经网络的玻璃缺陷声学检测算法，首先在不同的变换域中提取敲击信号的特征，然后在保证检测效果的前提下，以平均互信息量(Mutual Information, MI)最小化为原则对特征矩阵进行特征选择，将选择后的特征子集作为神经网络的输入，使得网络的训练时间大为缩短。本文将该算法应用在玻璃瓶的敲击信号中，实现了对玻璃瓶缺陷的自动检测。

1 玻璃缺陷声学检测原理

声音是由机械振动产生的。振动体扰动周围的气体分子从而使空气压力产生周期性的变化。这种压力变化形成了或密或疏的空气波，并向物体的四周辐射出去，就形成了声波[6]。物体结构损伤研究表明，物体结构的损伤必定引起刚度的变化，并且这种变化与损伤的类型、程度都有密切的联系。通过对刚度变化的监测就可知道物体损伤的状况[7]。然而，刚度是难以直接测量的，一般是通过结构的动态响应特性，如用对物体的敲击信号来反映刚度的变化，进而确定损伤的状况。物体的整体刚度、质量和物体产生的声音信号的频率和能量振型符合以下关系[3]：

由图1可知，当玻璃瓶出现裂纹损伤后，敲击信号的时域能量分布、频率峰值以及峰值位置都发生了变化，所以可以通过分析敲击信号的这些特征来判断玻璃瓶是否存在缺陷。

声学缺陷检测系统包括声音信号采集、预处理、特征提取、分类模型的搭建、识别分析等步骤，图2描述了声学缺陷检测系统的基本框图。

2 试验装置及检测方法

根据试验要求，设计了一套基于敲击信号的玻璃瓶检测系统，并将整个系统布置在实际的生产环境中，系统的结构如图3所示。

图2 声学检测系统框图

图3 基于敲击信号的玻璃瓶检测装置示意图

整个检测装置跨接在机械传送装置上。为了保证检测系统的实时性并降低功耗，系统各部分的控制逻辑及显示输出由工控机实现，敲击信号的采集和分析由数字信号处理器(Digital Signal Processor, DSP)实现。玻璃瓶(参数规格见表1)在传送带上运行，传送带速度为30 cm·s-1，瓶中心点间距为30 cm，通过计瓶器来检测传送带上玻璃瓶通过的个数。当检测到有玻璃瓶到达敲击位置时，触发敲击棒，由于实验装置中敲击棒的高度固定，敲击棒敲击瓶身位置，实验中如无特殊说明，产生的信号均指敲击瓶身位置产生的信号。拾音器将采集到的敲击信号传入DSP中进行分析，并输出识别判决信号给剔除装置。同时，敲击信号的波形也会显示在工控机的屏幕上。如果该玻璃瓶被判定为有缺陷，则通过剔除装置将该缺陷瓶从传送带上剔除。

系统由硬件和软件两部分组成。硬件包括敲击棒(自制)、计瓶器(由光电对管构成)、拾音器(OB-D22) (参数如表2所示)、DSP处理器(TMS320VC5416)、工控机。其中，敲击棒为不锈钢材料，长约10 cm，采用小型电动机控制，完成一次敲击的时间约为0.1 s。软件部分见下文描述的缺陷检测算法。

表1 玻璃瓶规格参数

表2 拾音器OB-D22的性能参数

3 缺陷检测算法

本文提出的缺陷检测算法包括信号的预处理、特征提取和选择、神经网络的建立和训练、样本识别等步骤。

3.1 信号的预处理

由于信号采集环境中存在着不可避免的干扰因素，所以在数据中存在着噪声和异常信号。为了获得干净的敲击信号，对采集到的音频数据进行了预处理，包括降噪和端点检测，并剔除了其中的异常数据。

经过分析，环境噪声主要分布在低频段(200 Hz及以内)，而敲击信号主要分布在高频段(500 Hz及以上)，因此采用了高通滤波器去除噪声信号。为了正确地判定敲击声音的起点，本文采用了基于短时能量和短时平均过零率的双门限算法对敲击信号进行端点检测，并截取敲击声出现之后的2 048个采样点，图4(a)和图4(b)分别显示了有缺陷瓶预处理之前和之后的信号波形图。

另外，在采集的信号中，存在极少部分的异常数据，例如幅度过大，超出测量量程等。图5显示了有缺陷瓶存在异常信号的波形图，由于这类信号丢失了部分信息，难以提取到有用的特征，所以将此类异常信号剔除。

在预处理之后，采用汉明窗(Hamming window)对信号进行分帧处理。汉明窗的长度为256个采样点，帧移为帧长的1/2。这样每个敲击信号被分成了15帧。下面所说的特征提取都是针对一帧信号而言的。

3.2 提取信号特征量

特征提取用于获得信号中能够反映有无缺陷特征的声学参数，是决定缺陷检测算法性能的关键。由于缺陷类型多样，并且缺陷部位和敲击部位的相对位置存在多种可能性，所以对于同一个瓶子，每次敲击所产生的信号会存在差异。图6显示了对于同一个缺陷瓶(瓶身裂纹)，在不同位置敲击时敲击信号的时域波形图。由图6可见，通过单一特征难以描述缺陷情况，所以要在不同的变换域中提取特征来进行缺陷检测。

图4 有缺陷瓶预处理之前和之后的信号波形图

图5 有缺陷瓶异常信号

3.2.1 时频域特征

图7 有缺陷瓶信号频域特征

图8 无缺陷瓶信号频域特征

3.2.2 小波频域特征

小波包分析不但能反映信号的频率成分，而且能反映信号的频率成分随时间变化的趋势和规律，在描述信号的时频特征时具有独特的优势[8]。本文采用db4小波基对敲击信号做3层小波分解。分解后各个节点的能量分布值如表3所示。

表3 小波包分解后节点的能量分布值

表3说明，敲击信号经过3层小波分解之后，能量集中在节点3.1和3.3附近，所以选这两个节点作为特征节点，采用重构后信号的能量和均方差作为该帧信号的小波域特征。

3.3 特征选择

对所有瓶的每个敲击信号进行特征提取之后，得到的特征矩阵维度为15*18=270 (15为每个敲击信号分成子帧的个数，18为每帧信号提取的特征个数)。虽然大量的特征可以保证对信号描述的全面性，但特征矩阵每增加一维，就需要增加相应指数个训练样本才能保证充分训练。如图9所示，在相同的停止条件下，训练时间会随着特征个数的增加呈现指数形式的增长。另外，大量特征之间的相关性会造成冗余，增加不必要的计算量，使算法的实时性和分类模型的准确率下降[9]。所以在特征空间中选取合适的特征是很有必要的。

图9 训练时间随特征个数的变化曲线

本文采用了信息论[10]中的互信息作为特征好坏的评价标准，并在经典的基于互信息的特征选择算法(Mutual Information Feature Selection, MIFS)基础上增加了特征子集内部的互相关性度量，用于排除冗余特征，构成了新的评价函数。

互信息可以用于表示两个变量之间的依赖程度，当和完全独立时，它们之间的互信息值为0，当和之间的相似程度越大时，互信息的值就越大。

由于互信息可以表示两个变量之间的相似程度，所以可以用于作为特征选择的标准。RM Fano等[13]证明了在分类系统中，当特征数据与类标签之间的互信息最大时，得到的分类效果误差较小；在这个基础上，Battiti R[14]提出了经典的基于互信息的特征选择算法(MIFS)，将特征与类标签之间的互信息作为评价标准，采用贪婪算法选择符合评价标准的特征加入特征子集。但MIFS算法中存在评价函数失衡的情况，针对这一缺点，Kwak N等[15]提出了MIFS-U(MIFS-uncertainty)算法，作为MIFS算法的改进。但是这些算法只考虑了特征与类标签之间的相似性，排除了原始特征集中的无关特征，没有考虑到特征子集之间的冗余性，也没有考虑到新加入的特征对于整个特征子集的影响。

针对上述的缺点，本文在MIFS算法的基础上增加了特征子集内部的互相关性度量用于排除冗余特征，也就是对原始特征集中的每个特征，先判断它和类标签之间的互信息，如果低于某个阈值，则舍弃该特征，如果高于阈值，则加入候选特征集中。该步骤用于排除与分类无关的特征。对于候选特征集中的每个特征子集，计算平均互信息值，选出平均互信息最低的特征子集并输出。

弹性蛋白酶（Elastase）是从胰腺中分泌的一种酶。弹性蛋白酶为白色或类白色结晶性粉末，有吸湿性，等电点9.5±0.5，适用的pH范围为8.6～9.2，易溶于水和稀盐酸溶液，在pH 4～10.5的范围内，溶解度可达50 mg/mL。弹性蛋白酶可从鸡的胰腺中提取。

按照改进的MIFS算法原则，定义的评价函数为

经过特征选择之后，最终确定的特征子集维度为6，分别为：信号自相关序列的有效值、峰值因子、频谱面积、信号的主频率、第5个频谱峰值、节点3.1重组信号的能量。表4给出了特征选择之后特征子集之间的互信息量。

表4 特征子集的互信息量

由表4可见，特征子集之间的互信息量值较低，说明上述的特征选择算法可以从大量的特征中选择出相关性最小的特征子集。该算法可以在保证分类性能的基础上尽可能地降低算法复杂度，减少了冗余，保证算法的实时性。

3.4 建立BP神经网络

BP神经网络即误差反向传播神经网络，它通过各层节点之间的权值将输入和输出联系起来，从而实现特征和标签的非线性映射。本文采用了3层BP神经网络，其结构如图10所示。

图10 3层BP网络结构

对应于提取的特征空间，设置输入层节点的个数为6。样本帧的识别结果为有缺陷和无缺陷两类，因此BP网络的输出层有1个节点，设定输出1为有缺陷帧，输出0为无缺陷帧。根据式(12)以及大量实验，最终选取隐含层节点的个数为13。

3.5 评价指标

表5 实验结果评价参数

本文采用表5中的指标来对实验结果进行评价，包括：精确率()、召回率()以及F-值。精确率、召回率和值的计算公式如下：

精确率表现了正确检测出的缺陷瓶占所有检测为缺陷瓶的比例，也就是查准率。召回率表现为正确检测出的缺陷瓶占所有缺陷瓶的比例，也就是查全率。值综合考虑了精确率和召回率，是一个分类模型中常用的评价指标。

4 实验结果

为了验证检测方法的有效性，设计并进行了实验。通过敲击装置和声音采集装置对大量的玻璃瓶样本进行了敲击信号的获取，经过预处理之后得到有缺陷和无缺陷的敲击信号各1 000个。选取其中的60%作为训练集，20%作为测试集，另外20%作为验证集，通过交叉验证的方式来避免神经网络训练的过拟合。对每帧信号提取前文所述的6个特征值，经过归一化后输入BP神经网络中。根据实际需求，设定BP网络的学习速率为0.1，停止条件为验证集的出错的样本数达到6个或者平方误差的变化率小于给定值。在BP算法的基础上，采用Levenberg-Marquardt算法对网络进行训练，以提高BP网络的收敛速度和网络精度[11]。图11为BP网络训练曲线。从图11中可以看到，经过训练后，误差达到了系统应用的要求。

图11 BP网络训练过程

用训练好的BP神经网络对测试集数据(包含100个无缺陷样本和100个有缺陷样本)进行测试，实验结果如表6所示。

从表6中可以看到，对于测试集，信号帧检测的平均精确率为84.86%，召回率为85.78%，值为85.78%。而对于整个敲击信号检测的平均精确率为99.93%左右，召回率为90.66%，综合指标值可以达到95.08%。

表6 检测系统实验结果

为了验证本文提出的声学检测系统的有效性，在实际生产环境中进行了测试。图12是检测装置的机械概念图，图13是具体的系统实物图。图13(a)为计瓶器、图13(b)为敲击装置和拾音器、图13(c)为剔除装置、图13(d)是显示设备。

图12 检测装置机械概念图

图13 检测系统的组件实物图

检测装置投入使用后，运行稳定、效果良好，能够实时检测出传送带上的有缺陷的瓶子，解决了之前人工检测法所带来的耗时、受人为因素影响较大的缺点，大大提高了生产效率。

5 结论

本文提出了一种基于BP神经网络的声学缺陷检测方法。首先对敲击信号提取特征，包括时频域和小波域特征。然后基于特征之间的平均互信息量最小的标准对特征矩阵进行特征选择，选出相互之间相关性最小的特征子集作为BP神经网络的输入，利用神经网络的非线性映射对缺陷样本进行自动识别。经实验验证，该方法的平均精确率可达99.91%，能够准确地区分缺陷样本和无缺陷样本。但是对于沙眼等未影响整体结构的缺陷，该方法的检测能力有限，这也是系统平均召回率相对较低的原因。如何选取具有更好代表性的声学特征，使得算法对于该类缺陷也具有较高的召回率，这一问题仍然需要在未来的工作中进一步研究。

[1] 刘长福, 郝晓军, 牛晓光, 等. 基于BP神经网络的瓷绝缘子振动声学检测结果分类[J]. 无损检测, 2014, 36(1): 1-4.

LIU Changfu, HAO Xiaojun, NIU Xiaoguang, et al. Classification of the insulator inspection data by acoustic vibration based on BP neural network[J]. Nondestructive Testing, 2014, 36(1): 1-4.

[2] 王立坤, 赵晋云, 付松广, 等. 基于神经网络的管道泄漏声波信号特征识别[J]. 仪器仪表学报, 2006, 27(增刊3): 2247-2249.

WANG Likun, ZHAO Jinyun, FU Songguang, et al. Recognizing characteristics of pipeline leakage acoustic signals based on neural network[J]. Chinese Journal of Scientific Instrument, 2006, 27(Suppl 3): 2247-2249.

[3] 孙宗光, 高赞明, 倪一清. 基于神经网络的桥梁损伤位置识别[J]. 工程力学, 2004, 21(1): 42-47.

SUN Zongguang, GAO Zanming, NI Yiqing. Identification of damage location in bridge deck by neural network[J]. Engineering Mechanics, 2004, 21(1): 42-47.

[4] 万振, 王占刚. 基于神经网络的复合材料超声波检测研究[J]. 纺织学报, 2010, 31(2): 54-59.

WAN Zhen, WANG Zhangang. Research on flaw detection for composite material using ultrasonic testing based on neural network[J]. Journal of Textile Research, 2010, 31(2): 54-59.

[5] VALADA A, SPINELLO L, BURGARD W, et al. Deep feature learning for acoustics-based terrain classification[C]//Proceedings of the International Symposium on Robotics Research (ISRR). 2015: 21-37.

[6] 何琳. 声学理论与工程应用[M]. 北京: 科学出版社, 2006.

HE Lin. Acoustics Theory and Engineering Application [M]. Bei- jing: Science Press, 2006.

[7] 杨光松. 损伤力学与复合材料损伤[M]. 北京: 国防工业出版社, 1995.

YANG Guangsong. Damage Mechanics and Composites Damage [M]. Bei Jing: National Defense Industrial Press, 1995.

[8] 崔锦泰, 程正兴. 小波分析导论[M]. 西安: 西安交通大学出版社, 1995.

CUI Jintai, CHENG Zhengxing.Introduction of wavelet analysis [M]. Xi’an: Xi’an Communication University Press, 1995.

[9] YU L, LIU H. Feature selection for high-dimensional data: A fast correlation-based filter solution[C]//ICML. 2003, 3: 856-863.

[10] COVER T M, THOMAS J A. Elements of information theory[M]. New York: Wiley, 1991: 776.

[11] SAINI L M, SONI M K. Artificial neural network based peak load forecasting using Levenberg-Marquardt and quasi-Newton methods[J]. IEE Proceedings-Generation, Transmission and Distribution, 2002, 149(5): 578-584.

[12] AMIRI F, YOUSEFI M M R, LUCAS C, et al. Mutual information-based feature selection for intrusion detection systems[J]. Journal of Network & Computer Applications, 2011, 34(4): 1184-1199.

[13] FANO R M, HAWKINS D. Transmission of Information: A Statistical Theory of Communications[J]. American Journal of Physics, 1961, 29(11): 793-794.

[14] BATTITI R. Using mutual information for selecting features in supervised neural net learning[J]. IEEE Transactions on Neural Networks, 2002, 5(4): 537-550.

[15] KWAK N, CHOI C H. Input feature selection by mutual information based on Parzen window[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 24(12): 1667-1671.

Acoustic detection method of glass defects based on neural network

ZHANG Tao, GAO Xin-yi, TANG Wei, DING Bi-yun

(Schools of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China)

This paper describes the acoustic method to detect the defects of glass products. Firstly, the percussion signals of glass samples with different types of defects are collected. After the Fourier transform and the wavelet package transform, the signals are represented in different transform domains. The defects are expressed as statistical and physical features extracted from these domains. Secondly, a feature selection algorithm based on mutual information is used to reduce the number of dimensions of the feature space. The reduced feature subset is used as the input of BP neural network to realize the automatic detection of glass defects. The experimental results show that the proposed defect detection algorithm can identify defects well, and the F-measure is stable at about 95% in existing experimental samples.

defect detection; Back Propagation(BP) neural network; feature extraction; acoustic feature; feature selection

O492

A

1000-3630(2018)-04-0488-08

10.16300/j.cnki.1000-3630.2018.05.014

2017-08-22;

2017-10-18

国家自然科学基金(61179045)、华为高校合作基金(2016120024000202)资助项目

张涛(1975－), 男, 河南西峡人, 博士, 副教授, 研究方向为数字音频处理、多媒体技术、信息隐藏与数字水印。

高新意,E-mail: xinyigao11@163.com