基于迁移学习的框架结构损伤识别研究

滕 辉,康 帅,王自法,2,殷 琳

(1. 河南大学 土木建筑学院,河南 开封 475004; 2. 中震科建防灾减灾研究院有限公司, 广东 韶关 512029;3. 宁波工程学院 建筑与交通工程学院,浙江 宁波 315211)

0 引言

土木结构在使用期间受外荷载影响可能会发生不同程度的损伤,这些损伤在不断的累积下会降低结构的安全性,为了及时修复损伤确保结构的安全,对结构进行损伤检测是必要的[1]。

当结构受损时,刚度和质量等物理特性会发生变化时,从而导致振动响应发生变化,根据这一特性部分学者提出了基于非参数(振动信号)的结构损伤识别方法[2]。赵怀山等[3]采用小波降噪和主成分分析对钢架桥结构进行损伤识别,该方法能够有效提取振动信号的特征信息,准确的进行结构损伤识别;任宜春等[4]对结构加速度响应进行改进的HHT分析, 通过结构响应瞬时频率的变化判断结构是否损伤和出现损伤的时间;刘宁等[5]通过经S变换后得到的振动信号时频谱以及时频谱能量对结构进行损伤识别。这些时频域方法虽然在结构损伤识别中表现良好,但是在对数据进行处理过程中,容易使振动响应中的部分损伤特征扭曲或丢失[6]。

随着机器学习理论不断的发展和完善,一些学者通过机器学习模型来提取振动响应信号中的损伤特征,以此实现结构损伤识别。HAGIWARA等[7]通过利用支持向量机(SVM)从少量的传感器中获得详细的损坏信息,验证了SVM应用在结构损伤检测的有效性;闫维明等[8]提出结合BP神经网络采用加速度响应相关特性作为结构损伤因子的损伤识别方法,对简支梁结构进行损伤识别,验证了该方法的有效性。 但在应用传统的机器模型对振动信号进行训练时,容易出现模型训练效率低下,产生过拟合等现象。

随着人工智能与深度学习的发展,以卷积神经网络(CNN)为代表深度学习模型的出现弥补上述方法的缺陷[9-10],能够用采用更少的参数得到更好的识别效果。李书进等[11]构建了可以从结构动力反应信号中进行学习并完成分类诊断的1-D CNN和2-DCNN,并对结构进行了损伤识别,验证了卷积神经网络在结构损伤识别的可行性;李雪松等[12]采用卷积神经网络提取振动响应信号中的特征,并且与传统的经验模态分解法和小波包变换法进行对比,验证了卷积神经网络模型相对传统识别方法有更强的提取特征的能力;ZHANG等[13]提出一种基于多振动信号决策级融合和卷积神经网络的结构损伤识别方法,对某钢架桥梁进行了损伤识别;WANG等[14]使用时域振动响应,采用密集连接卷积神经对结构进行损伤识别,结果表明该方法有着较高的准确度和良好的鲁棒性。

以往的研究表明采用卷积神经网络模型对结构进行损伤识别有较好的识别效果,但构建并训练出有较高准确度和良好鲁棒性的卷积神经网络,需要对网络模型的结构和超参数进行不断调整,直至到达最优效果。为了节省人力成本和时间成本,本文采用贝叶斯方法对一维卷积神经网络的结构和超参数进行了优化,并构建了基于迁移学习的ResNet-18模型[15-16],通过数值模拟数据和实验数据分别考虑单测点数据(单通道)和多测点数据(多通道)对这两种模型进行训练,并对损伤识别结果进行对比分析。通过在数据集中加入高斯噪声,根据预测结果分析两种模型的抗噪性。

1 深度学习理论

1.1 卷积神经网络基本原理

完整的卷积神经网络包括输入层、卷积层、池化层、全连接层和分类输出层,卷积神经网络结构如图1所示。其中卷积层和池化层为核心网络层,卷积层具有局部感知和权值共享等特性,可以降低卷积神经网络模型的计算参数,提高模型的计算效率。卷积层通过卷积运算对上一层网络输出的数据进行特征提取,随着卷积层数量的增加,网络模型可以提取更为复杂的数据特征。

图1 卷积神经网络示意图 图2 卷积运算示意图

卷积层的卷积运算是通过卷积核矩阵与输入数据上的感受野窗口矩阵对应位置相乘再求和,再将求和后的数据返回到输出矩阵中,一维卷积运算过程见图2。在进行卷积运算时一般卷积核按照从上到下来进行计算,卷积核的大小和个数,卷积步长,卷积运算前是否对数据进行填充这些称为卷积神经网络的超参数,是由网络设计者根据自己需求进行设置。

池化层的设置可以有效过滤冗余而保留特征值,提高计算的效率。池化层常用的两种池化方式分别为最大值池化和均值池化,最大值池化是将卷积运算后的子矩阵中最大值提取出来,最大值池化用来过滤像素中无用的信息,均值池化是将卷积运算后的子矩阵中所有数据求平均值将平均值作为结果,平均池化可以防止高维信息丢掉太多。

数据输入网络后,经过多次卷积和池化提取数据特征,通过全连接层将这些特征值展平为一维向量,将一维向量输入softmax层计算损伤数据与标签对应的概率,将概率最大值视为预测结果。全连接层在神经网络种主要起到整合池化层中提取的重要特征信息,其每层神经元都与上一层神经元相连接,连接处都有一个权重来计算特征的重要程度。

1.2 迁移学习

迁移学习是把在某个任务中学习到的知识,迁移到目标任务中,使目标任务能够取得更好的学习效果。核心思想是将已通过大量数据训练的网络模型迁移到目标任务中进行训练和预测,其原理如下[17]:用D={λ,P(X)}表示域,其中λ和P(X)表示特征空间和边概率分布,用T={y,f(x)}表示该域的任务,其中:y和f(x)表示标记空间和目标预测函数。给定一个基于Dt(目标域)的学习任务Tt,从Ds(源域)中获得学习任务Ts的帮助,通过发现和转移Ds和Ts的潜在知识来提高学习任务Tt的预测函数f(x)的性能。

在迁移学习过程中需保持模型的网络结构不变,然后载入在预训练模型中训练好的权重与参数,通过改变输入层和输出层尺寸使结构的振动响应数据输入模型进行训练和预测。最后对模型的部分超参数进行微调,并将采集到的结构响应数据输入模型进行训练和预测。

1.3 贝叶斯超参数优化

贝叶斯优化是一种全局优化算法,可用于求解表达式未知的函数的极值问题[18]。在训练机器学习模型时,需要不断调整模型的超参数使模型能够得到最优解,这一过程可抽象为函数极值问题,其变量为模型的超参数,函数值为机器学习模型的性能指标如准确率和预测速度等。因此,可以通过贝叶斯算法自动对机器学习模型的超参数进行优化,解决了人工优化耗时耗力的问题。

贝叶斯优化的思路是首先随机产生初始化样本点,通过样本点对高斯过程进行估计和更新,再通过提取函数来确定新的样本点,重复上述步骤,直至迭代终止。该优化方法能够考虑历史参数信息提高搜索新样本点的效率,并且使用较少的迭代次数就能得到机器学习模型超参数的最优解。

2 数据集及深度学习网络模型的构建

2.1 数值模型

本文采用六层钢框架结构,首层高度为4.5 m,其余层高为3.6 m,跨度和进深均为6 m,梁和柱均采用H型钢,截面尺寸如表1所示。结构阻尼采用瑞利阻尼,柱底固定和梁柱节点为刚接,结构平面布置如图3所示,采用ABAQUS梁单元建模(单元类型:B31),杨氏模量为210 GPa,泊松比为0.3,密度为7 850 kg/m3。

表1 结构构件信息Table 1 Information on structural members

图3 结构平面布置图Fig. 3 Plane layout of the structure

为了表示结构的损伤程度,将构件的弹性模量降低来模拟损伤,例如弹性模量分别降低10%、30%和50%,代表该构件损伤程度为10%、30%和50%。为了模拟不同位置的构件损伤,将结构中某个构件的弹性模型进行折减,表示该位置构件损伤。每层选择一个柱、横梁和纵梁进行损伤,共设定了18种损伤位置,每个损伤位置下共有3种损伤程度,数据集共有54种损伤工况。

通过有限元方法计算出在高斯白噪激励下的不同损伤工况下的加速度响应,每次激励时长为16 s,采样频率为100 Hz,每个样本长度为1 600,每次以0.02的步长对高斯白噪声进行调幅,共进行30次激励。将每层层顶设置一个测点,提取每层测点的时程加速度作为训练样本,单个测点共有1 620个训练样本,全部测点共有9 720个训练样本,将训练样本80%用于训练,20%用于验证和测试。

2.2 一维卷积神经网络模型

一维卷积神经网络模型的构建需要根据训练集和验证集正确率、损失值、训练速度等因素对模型的结构和超参数进行不断修正来确定,为了使模型能更快和更准确的识别结构损伤,本文在构建单通道(单个测点数据)和多通道(多个测点数据)一维卷积神经网络模型时采用贝叶斯法对模型的卷积层个数、卷积核大小、学习率和正则化进行优化。在优化过程中,对模型参数范围进行设置,其中每个卷积块中卷积层层数范围设定为(1,2),模型中共有三个卷积块,卷积核大小范围设定为(3,35),由于卷积核一般设置为奇数,故选取的卷积核大小为范围内的奇数,学习率范围设定为(1e-3,1e-2),正则化范围设定为(1e-4,1e-2)。部分模型优化过程如图4所示,所有模型优化结果见表2。

表2 网络结构及超参数优化结果Table 2 Optimization results of network structure and hyperparameters

图4 模型优化过程Fig. 4 Optimization process of model

2.3 基于迁移学习的ResNet-18网络模型

残差神经网络(ResNet)能有效的缓解梯度消失问题[19],极大的提高了网络模型的深度,从而提高了模型提取特征的能力。其中:ResNet-18网络模型有良好的提取特征的能力,在分类问题上有较好的识别精度。本文将通过大量数据预训练的ResNet-18模型迁移学习到本案例中,将迁移学习后的模型分别采用单通道(单侧点数据)和多通道(多测点数据)进行训练和预测,ResNet-18网络结构如图5所示。

图5 ResNet-18网络结构Fig. 5 Network structure of ResNet-18

3 数值算例识别结果

3.1 一维卷积神经网络识别结果

采用顶层测点的加速度数据来构建单通道数据集,每层测点数据来构建多通道(7通道)数据集,将构建的单通道数据集和多通道数据集输入网络模型进行训练并通过测试集对模型进行评估,最终识别结果见表3。由表3可知:采用多通道数据训练出的模型正确率更高,因为多通道数据相较于单通道数据包含更多的结构损伤特征。本文因数据集相对较小而构建的一维卷积神经网络较浅,对于损伤特征不明显的数据容易识别错误,而多通道数据补充了单通道中不明显的损伤特征从而使正确率有所提升。

表3 一维卷积神经网络模型识别结果Table 3 Recognition results of the 1-D convolutional neural network model

3.2 基于迁移学习的ResNet-18模型识别结果

将单通道数据集和多通道数据集输入2.3节所述的网络模型进行训练,训练后通过测试集对模型进行评估,结果见表4,该模型提取损伤特征的能力较强,无论是在单通道数据的训练下还是在多通道数据的训练下损伤定位和损伤程度识别都可以达到100%,对比两种模型在框架上的损伤识别结果可知:一维卷积神经网络模型在进行训练时用时较短,但其网络结构相对较浅共16层,对不明显的损伤特征无法有效的识别出来,而基于迁移学习的ResNet-18网络模型相较于一维卷积神经网络提取损伤特征的能力更强,在单通道数据的训练模型正确率仍能达到100%,但该网络较深共有71层,在进行网络训练时需要的训练时间相对于一维卷积神经网络的要更多。

表4 迁移学习的ResNet-18模型识别结果Table 4 ResNet-18 model recognition results of transfer learning

4 模型实验验证

4.1 实验模型介绍

本文采用的实验数据是来自卡塔尔大学公开的看台结构缩尺实验数据[20],实验模型见图6,尺寸为4.2 m×4.2 m,由25根填充梁和8根主梁组成,支撑在4个柱子上。8根主梁长4.6 m,悬臂部分填充长约1 m,其余填充梁长0.77 m。传感器布置在填充梁和主梁接头处,通过填充梁和主梁接头(节点)处的连接螺栓来实现结构该位置损伤。在整个框架中每次损伤一个节点作为一个工况,共设置了30个损伤工况。

图6 钢框架看台模型

对上述的每种工况,采用激振器对结构进行随机振动激励,并采集加速度信号,采样频率为1 024 Hz,共记录256 s的加速度信号。将记录的信号按照相等时长分段,每段长度为1 s,每种损伤工况一个加速度计共256个样本,所有工况共7 680个样本。为了分析实验数据中通道对模型损伤识别的影响,分别建立了单通道数据集和五通道数据集。

4.2 模型识别结果

将上节所制作的数据集输入构建的两种模型进行训练,并用测试集对训练后的模型进行评估,两种模型的识别效果见表5,在实验数据的训练下,迁移学习后的ResNet-18模型的识别准确率仍高于一维卷积神经网络模型,训练模型所需的时间仍多于一维卷积神经网络。

无论是数值模拟数据还是实验数据都验证了基于迁移学习的ResNet-18模型提取特征的能力要好于一维卷积神经网络,但在损伤特征较为明显的多通道数据中,一维卷积神经网络也有很好的识别效果并且训练效率要高于基于迁移学习的ResNet-18模型。

4.3 噪声影响下的识别结果

由于该实验是在室内实验室进行的,在采集振动信号时基本没有受到噪声影响,而在实际结构检测中采集的振动信号不可避免会参杂各种噪声,为了测试单通道数据集和多通道数据集训练的两种模型在噪声影响下的结构损伤识别效果,分别在单通道数据集和多通道数据集中加入信噪比为1dB的噪声,含噪声的振动信号为[21]:

ay=awgn(a,snr,′measured′)

式中:ay为添加噪声后的加速度信号,a为原始加速度信号,snr为信噪比。

将加入噪声的单通道数据集和多通道数据集分别输入一维卷积神经网络模型和基于迁移学习的ResNet-18模型进行训练,训练结果见表6,由表6可以看出加噪后数据训练的两种模型的预测正确率都有不同程度的下降,但多通道数据训练的模型仍然有着很高的正确率。

表6 加噪后模型的识别结果Table 6 Recognition results of the model after adding noise %

对比这两个模型在单通道数据集和多通道数据集训练后模型的预测结果可以看出:多通道训练的模型和单通道训练的模型相比有着较强的抗噪能力,对比这两个模型的识别效果可以看出:迁移学习的ResNet-18模型的抗噪性要优于一维卷积神经网络模型。

5 结论

本文基于振动信号构建了一维卷积神经网络模型和结合迁移学习的ResNet-18网络模型,采用有限元模拟数据和实验数据分别考虑单测点数据(单通道)和多测点数据(多通道)对模型进行训练并对预测结果进行对比分析,主要结论如下:

1)基于迁移学习ResNet-18模型和一维卷积神经网络模型都能较为准确的进行结构损伤识别,对比两者的训练效率和识别精度可以得出前者有较强的提取损伤特征的能力,但由于网络结构较深,训练模型所需的时间较长,后者因网络结构较浅相较于前者有较高的训练效率,但提取特征的能力相对较弱。

2)多通道数据相对于单通道数据包含的结构损伤特征更多,训练出的模型都有较好的识别效果,采用提取特征能力较弱的一维卷积神经网络也能够准确进行损伤定位和损伤程度识别。多通道训练的模型受噪声的影响相对较小,加入噪声后,两种模型仍然有较高的识别正确率。

3)基于迁移学习的ResNet-18 模型比一维卷积神经网络模型的抗噪能力强,加入噪声后,无论是单通道数据还是多通道数据训练出的模型,前者的正确率均高于后者。