基于视觉测振和卷积神经网络的螺栓松动检测方法

张天龙 闫子权 乔廷强 丁晓宇

基于视觉测振和卷积神经网络的螺栓松动检测方法

张天龙1闫子权2乔廷强3丁晓宇1

（1 北京理工大学机械与车辆学院，北京 100081；2 中国铁道科学研究院集团有限公司铁道建筑研究所，北京 100081；3 中国航发沈阳发动机研究所，沈阳 110000）

螺栓松动故障的准确检测对于确保机械产品可靠性具有重要意义。为了解决现有的基于卷积神经网络（CNN）的检测方法所需的大量高质量数据难以在实际工程中获取的问题，本文提出了一种基于视觉测振和CNN的螺栓松动检测方法。通过视觉测振技术，从视频中的每一个像素点提取出振动信号，有效解决了CNN模型训练数据难以获取的问题，通过少量实测视频样本即可对CNN模型进行训练，并实现对螺栓连接状态的准确预测。本文通过一个对悬臂梁结构的敲击实验验证了所提方法的有效性。

螺栓松动检测；视觉测振技术；卷积神经网络；连续小波变换

0 引言

螺栓连接具有结构简单、装拆方便、成本低、标准体系完善等优点，在各种机械产品中应用广泛。工程经验及大量研究表明，在振动环境下螺栓连接容易出现松动失效[1,2]，是威胁机械产品可靠性的常见问题。因此，在螺栓连接松动产生的初期能够将其检测出来对于确保机械产品可靠性具有重要意义。

螺栓连接松动会改变结构的刚度和阻尼，从而对结构在特定激励下的振动响应产生影响，因此基于结构的振动信号检测螺栓松动一直被认为是很有前景的检测方法，受到各国学者的关注。目前，常见的基于振动信号的检测方法一般包括信号采集、信号分析和处理、模式识别三个环节[3]。信号采集主要通过各种传感器和数据采集模块来采集信号；信号分析和处理的过程主要依靠小波变换等各种信号处理技术将信号转换为反映被检测结构状态的基本信息；而模式识别则通过这些基本信息对被检测结构的状态进行决策。

近年来，基于卷积神经网络（CNN）的结构故障检测成为了研究热点，学者们借助CNN对滚动轴承[4]、齿轮箱[5]、风机叶片[6]等结构进行了故障检测，在螺栓松动检测方面，CNN也表现出了优异性能。Abdeljaber等[7]提出了使用一维CNN从加速度信号中提取损伤敏感特征的方法，能够基于振动信号实时进行螺栓松动故障的检测和定位。Pal等[8]设计了一种基于CNN的深度学习模型，能够从基于振动信号的时频图中提取特征，实现对螺栓松动故障的识别。

在基于CNN的螺栓松动或其它故障检测方法中，除了CNN本身的架构设计和参数优化，充足的训练数据对于结果的准确性至关重要。任胜杰等[9]建立了基于一维和二维CNN的螺栓松动故障诊断模型，使用六种螺栓连接状态下的共960组（每种状态下各160组）实测加速度信号进行模型训练，最终达到大于99%的分类准确率。然而，加速度计等常用传感器一次只能获取一个振动信号，为了获得充足的数据用于CNN模型训练，需要开展大量的实验，而这在实际工程中往往难以实现。因此，如何通过少量实测样本实现CNN模型的训练，并得到螺栓松动故障的准确识别是一个亟待解决的工程难题。

针对上述问题，本文提出了一种基于视觉测振和CNN的螺栓松动检测方法。该方法使用基于相位法的视觉测振技术提取视频中每个像素点处的振动位移信号（下文简称振动信号），即每一个像素点都可以视为一个位移传感器，因此一次拍摄即可获得大量的振动信号，能够有效满足CNN模型训练对大量数据的需求。该方法还利用连续小波变换（CWT）将振动信号转换为时频图像，输入到CNN模型中进行训练，最终实现对螺栓连接松动故障的检测。本文通过对一个悬臂梁结构的敲击实验验证了所提方法的有效性。

1 检测方法流程

本文所提出的螺栓松动检测方法的流程如图1所示，包括以下主要环节：

1）拍摄结构振动视频：对螺栓连接结构施加激励，利用相机拍摄其在不同状态下的振动视频；

2）提取振动信号：利用基于相位法的视觉测振技术，提取多个区域内每个像素点对应位置的振动信号（下文简称像素点振动信号）;

3）生成时频图：对提取的每个像素点振动信号进行CWT，生成时频图像；将时频图像进行尺度统一和标准化处理后构造数据集，划分训练集和测试集；

4）训练CNN模型：构造CNN模型，利用训练集中的时频图像对CNN模型进行训练；

5）CNN预测分类：利用训练好的CNN模型对测试集中的所有时频图像进行预测分类，并通过“投票选举法”确定视频样本对应的螺栓连接状态。

图1 本文所提方法的主要流程

2 主要算法原理

2.1 基于相位法的视觉测振技术

本文所采用的基于相位法的视觉测振技术能够从拍摄的被测对象振动的视频中提取出结构的振动信息。Fleet和Jepson[10]首次提出了基于相位法的图像运动场估计的思路，他们使用Gabor滤波器与图像序列进行卷积操作，对视频中的每一帧图像进行分解，得到包含幅值和相位分量的复值响应，卷积操作的过程如式(1)所示

其中，()代表图像亮度，()是方向的Garbor滤波器，A是响应的幅值，Ф是响应的相位。Fleet和Jepson[10]已经证明，上述相位信息与图像的运动场紧密相关，且可以通过式(2)求得画面中的运动场

通过式(2)可以得到每一位置的速度信号，在时间上积分后即得位移信号，最后再进行快速傅里叶变换计算出频域信号，由此得到了结构的振动信息。所以，基于相位法的视觉测振技术可以提取出每个像素点的振动位移信号。本文基于MATLAB平台实现了该算法。

2.2 连续小波变换

2.3 卷积神经网络

本文通过CNN对结构振动信号的时频图像进行学习和分类，并最终对结构的螺栓连接状态做出分类。图2为所采用的CNN网络结构，由输入层、三层交替的卷积层和池化层、全连接层和输出层组成。在输入层输入由CWT生成的信号的RGB三通道时频图像。卷积层通过特定卷积核与上层的特征图进行卷积加上偏置值，再通过激活函数relu函数得到本层的输出特征图。池化层通过降采样来控制计算量，池化方式为最大池化。最后，将数据平坦化后经过一个全连接层，通过softmax分类器对样本完成决策分类。CNN的训练采用批量样本输入的方式，主要包括数据的前向传播和误差的反向传播两个过程，采用Adam优化器，学习率均设置为0.001。

3 实验装置

本文基于一个悬臂梁结构开展实验，验证所提出方法的有效性。实验所用的悬臂梁结构如图3所示，它由45#钢制成，包含三段梁，在搭接处（B1、B2）分别通过两颗M8螺栓连接在一起，并在B0处通过两颗M10螺栓将其固定在工作台上。

图2 CNN网络结构示意图

图3 本文采用的螺栓连接几何模型及实物图

实验通过改变B1和B2处螺栓的预紧力矩，共设置了如表1所示的4种不同的螺栓连接状态，实验的现场设置如图4所示。

表1 螺栓连接状态类别设置

图4 实验现场设置

4 实验方案

4.1 信号获取

使用力锤敲击悬臂梁的自由端使其产生振动，采用Basler acA720-520um相机拍摄结构振动过程的视频，同时使用直流非频闪的LED面光源进行补光。拍摄视频的帧率为500帧/s，每次拍摄的视频时间为8s，所以每个视频包含500×8=4000帧图像。实验在4种不同的螺栓连接状态下各拍摄了18组视频样本。

拍摄的视频界面如图5所示。通过基于相位法的视觉测振技术，可以从视频中提取像素点振动信号，具体方法在2.1节中已经介绍。在本实验中通过视频中结构的已知实际尺寸与图像中对应的像素尺寸之比来计算比例系数，进而把图像的测量结果转换为实际的位移单位。本实验在悬臂梁的三段上分别选择了一块区域（A1、A2、A3），从每块区域中分别提取了200个像素点振动信号。表2展示了四种螺栓连接状态下三区域的像素点振动信号示例。

图5 视频界面及像素点振动信号提取示意图

表2 四种状态下三区域的像素点振动信号示例

表3 四种状态下三区域的像素点振动信号的时频图像示例

4.2 时频图像生成

得到振动信号以后，通过CWT生成所有被选像素点振动信号的时频图像，表3给出了四种螺栓连接状态下三区域像素点振动信号的时频图像示例。本实验中每种螺栓连接状态下一共有200（点数量）×3（区域数量）×18（视频数量）=10800张时频图像。在输入到CNN之前，将每一张时频图像大小统一为300×100像素，所有像素点的灰度值都标准化为[0, 1]。

4.3 数据集划分

为了测试本文提出方法的有效性以及面对在小样本问题时的准确性，通过改变训练样本的数量进行了多次测试。每种状态下各18个视频样本，随机取其中N（1、2、3、4）个作为训练集和验证集数据的来源，其余（18-N）个作为测试集样本，如表4所示。每一个视频样本包含200（点数量）×3（区域数量）=600个像素点振动信号时频图像，在输入到CNN中进行训练时，训练集和验证集的时频图像按照1:1的比例随机划分。

表4 数据集划分

4.4 CNN模型结构

在本文实验中，根据输入到CNN中数据样本和CNN模型的不同共进行了4组分析，如表5所示，其中每一组分析都按表4中的数据集划分进行4次测试。

表5 四组分析的条件对比

在组1的分析中，输入到CNN中的数据样本是由来自区域A1、A2、A3的各一个像素点振动信号的时频图像结合起来生成的三帧时频图像序列。以组1中的测试1为例，训练集和验证集共200（每个区域中点数量）×1（N）=200个三帧时频图像序列，测试集为200（每个区域中点数量）×17（18-N）=3400个三帧时频图像序列的测试样本。此时，神经网络模型用到的是三维CNN，具体结构和参数如表6所示。CNN的主要参数包括卷积核数量、卷积核大小和池化区域大小，为了优化卷积神经网络的性能，本文所用参数是通过反复试错来确定的。

表6 组1中三维CNN的具体结构和参数

为了探究选取结构上不同区域内的像素点振动信号对准确率的影响，本文进行了组2～组4的分析。在组2、组3、组4中，分别只采用来自A1、A2、A3其中一个区域内的像素点振动信号的时频图像作为CNN的输入数据，此时，CNN的每个输入数据为一张RGB时频图像，此时的神经网络模型为二维CNN，具体结构和参数如表7所示。

表7 组2、3、4中二维CNN的具体结构和参数

4.5 “投票选举法”

测试集中的每一个三帧时频图像序列或者每一张RGB时频图像都可以被训练后的CNN分类到某一种螺栓连接状态，而最终实测视频样本的分类依据“投票选举法”，即每个视频提取出的200个三帧时频图像序列或者RGB时频图像的测试样本中分类得到类别最多的那一类就视为此视频样本的分类。以组1的分析为例，从某个视频样本中提取出的200个三帧时频图像序列的测试样本中有150个被预测为类别1，而其余的50个被预测为其他类别，就将该视频样本分为类别1。根据“投票选举法”，即可得到最终视频中螺栓连接状态的预测分类。

5 结果分析

通过对比测试集中所有视频样本的预测分类与其对应的螺栓连接状态的真实分类得到准确率，以衡量本文方法的性能，准确率的计算方式为

其中，测试集一共包含（18-N）×4（类）=（72-4N）个视频样本。

4组分析的多次测试结果如表8和图6所示，包含了在不同区域信号的选择以及不同训练用的视频样本数量下模型的分类准确率。其中，图7（a）（b）分别为组1中训练集与验证集为3个和4个视频样本时的准确率和损失值曲线，图8（a）（b）为此时的混淆矩阵。

从表8和图6中可以看出，在每种状态下的训练集和验证集视频数量仅有3个时，组1中模型对实测视频样本的分类准确率即可达到100%，而视频数量仅有4个时，所有模型的准确率都可达到100%。因此，本文提出的方法在小样本条件下依然能够对螺栓松动故障进行准确识别，基于相位法的视觉测振技术提取的大量振动信号有效地解决了CNN训练所需大量实测数据难以获取的问题。

此外，在相同条件下，选择视频中结构的多个区域内的像素点振动信号的时频图像作为CNN的输入数据比单个区域更有利于CNN模型的学习和预测。因为不同位置处的信号包含结构不同的振动响应特性，神经网络因此能够学习到更多的特征以帮助对结构的不同螺栓连接状态进行分类。

表8 四组分析的各次测试的分类准确率

图6 四组分析中的各次测试准确率变化

图7 组1中训练集与验证集为3个a）和4个b）视频样本时的训练曲线

图8 组1中训练集与验证集为3个（a）和4个（b）视频样本时的混淆矩阵

Fig.8 Confusion matrix when 3(a) or 4(b) video samples in training and validation datasets of group 1

表9对比了本文与其它几种螺栓松动检测方法的效果。可以看出，其它的几种方法均需要借助多个传感器或者在同一螺栓连接状态下重复采集大量信号才能达到较高的准确率，而本文提出的方法在使用一个传感器（即相机）和3个实测样本的前提下即可达到非常高的准确率。

表9 几种现有的螺栓松动检测方法对比

6 结论

本文提出了一种基于视觉测振和CNN的螺栓松动故障检测方法。该方法使用基于相位法的视觉测振技术实现对结构的振动信号采集，可以提取每一个像素点位置处的振动信号，从而基于一个视频就可以提取到大量振动信号。利用CWT将振动信号变换为时频图像，输入到CNN模型中进行特征提取和模型训练，训练好的CNN模型能够对时频图像进行预测分类，然后通过“投票选举法”最终实现对螺栓连接结构的松动故障检测。

本文提出的检测方法解决了CNN训练所需大量实测数据难以获取的问题。本文通过对某悬臂梁结构的敲击实验验证了该方法的有效性以及在小样本条件下的准确性，实现了在每种状态下只使用3个实测视频样本即可对螺栓连接松动故障进行准确的预测分类。

[1] 张铁亮, 王卓, 徐乐, 等. 螺纹连接松动问题研究综述[J]. 强度与环境, 2021,48(4): 37-47.[Zhang Tieliang, Wang Zhuo, Xu Le,et al.A survey of research on threaded connection looseness[J]. Structure& Environment Engineering, 2021,48(4): 37-47.]

[2] 巩浩, 刘检华, 丁晓宇. 振动条件下螺纹预紧力衰退机理和影响因素研究[J]. 机械工程学报,2019, 55(11): 138-148. [Gong Hao, Liu Jianhua, Ding Xiaoyu. Study on the mechanism and influencing factors of preload decline forbolted joints under vibration[J].Journal of Mechanical Engineering, 2019,55(11): 138-148.]

[3] Avci O, Abdeljaber O, Kiranyaz S, et al. A review of vibration-based damage detection in civil structures: from traditional methods to machine learning and deep learning applications[J]. Mechanical Systems and Signal Processing, 2021,147.

[4] 赵小强, 张亚洲. 利用改进卷积神经网络的滚动轴承变工况故障诊断方法[J]. 西安交通大学学报, 2021, 55(12): 108-118. [Zhao Xiaoqiang, Zhang Yazhou. Improved CNN-Based fault diagnosis method for rolling bearings under variable working conditions[J].Journal of Xi’an Jiaotong University, 2021,55(12): 108-118.]

[5] 周建华, 郑攀, 王帅星, 等. 基于小波时频图和卷积神经网络的行星齿轮箱故障诊断方法[J]. 机械传动,2022,46(1):156-163.[Zhou Jianhua, ZhengPan, WangShuaixing, et al. Fault diagnosis method of planetary gearbox based on wavelet time-frequency diagram and convolutional neural network[J]. Journal of Mechanical Transmission,2022,46(1): 156-163.]

[6] 王金轩, 汤占军, 詹跃东, 等.基于卷积神经网络的风机叶片结冰故障检测[J]. 计算机仿真,2021, 38(12):85-88+211. [Wang Jinxuan, Tang Zhanjun, Zhan Yuedong, et al. Fan blade icing fault detection based on convolution neural network[J].Computer Simulation,2021,38(12):85-88+211.]

[7] AB DE LJABER O, AVCI O, KIRANYAZ S, et al. Real-time vibration-based structural damage detection using one-dimensional convolutional neural networks[J]. Journal of Sound & Vibration, 2017,388: 154-170.

[8] Pal J, Sikdar S, Banerjee S. A deep-learning approach for health monitoring of a steel frame structure with bolted connections[J]. Structural Control & Health Monitoring, 2019(e2873).

[9] 任胜杰. 基于卷积神经网络的螺栓松动故障诊断研究[D]. 西安理工大学, 2021.

[10] FLEET D J, JEPSON A D. Computation of component image velocity from local phase information[J]. International Journal of Computer Vision, 1990, 5(1): 77-104.

[11] 赵俊锋, 张小丽, 闫强, 等. 螺栓连接结构动态特征学习与装配紧度智能监测[J]. 机械科学与技术, 2019, 38(3): 351-357.[Zhao Junfeng, Zhang Xiaoli, Yan Qiang, et al. Dynamic feature learning and assembly tightness intelligent monitoring of bolted joint structure[J]. Mechanical Science and Technology for Aerospace Engineering,2019,38(3): 351-357.]

Bolt Looseness Detection Method Based on Visual Vibration Measurement and Convolution Neural Network

ZHANG Tian-long1YAN Zi-quan2QIAO Ting-qiang3DING Xiao-yu1

(1 School of Mechanical Engineering, Beijing Institute of Technology, Beijing, 100081,China; 2 Railway Engineering Research Institute, Beijing, 100081,China; 3 AVIC Shenyang Engine Design Institute, Shenyang, 110000,China）

Accurate detection of bolt loosening is significant to ensure the reliability of mechanical products. In order to solve the problem that a large amount of high quality data required by the existing detection methods based on convolution neural network (CNN) is difficult to obtain in practical engineering, a bolt loosening detection method based on visual vibration measurement and CNN is proposed in this paper. By the visual vibration measurement technology, the vibration signal is extracted from each pixel in the video, which effectively solves the problem that the training data of CNN are difficult to obtain. The CNN can be trained with a small number of measured video samples, and bolt connection conditions can be predicted accurately. In this paper, the effectiveness of the proposed method is verified by a knocking experiment on a cantilever beam structure.

Bolt looseness detection; Visual vibration measurement; Convolution neural network; Continuous wavelet transform

TH113, O327

A

1006-3919(2022)02-0048-08

10.19447/j.cnki.11-1773/v.2022.02.007

2021-07-15；

2021-10-22

国家自然科学基金重点支持项目（U2141217）；航空发动机集团产学研项目（HFZL2019CXY021-2）；国家自然科学基金面上项目（51975055）

张天龙（1996—），男，硕士研究生，研究方向：连接力学；（100081）北京理工大学机械与车辆学院.