李 丹, 沈 鹏, 贺文宇, 向抒林
(1. 合肥工业大学 土木与水利工程学院, 合肥 230009;2. 东南大学 土木工程学院, 南京 211189; 3. 合肥通用机械研究院有限公司, 合肥 230031)
钢结构桥梁具有轻质高强、抗弯刚度大、便于装配化施工等优点,是大跨度桥梁的重要发展方向。但由于服役环境、荷载条件等因素的影响,其疲劳损伤问题突出,成为影响钢结构桥梁运营安全的难题[1]。焊接节点是钢结构桥梁的重要传力构件,节点焊缝的疲劳开裂是桥梁的常见病害之一,在桥梁的日常运营维护中耗费大量的人力和物力。钢结构桥梁焊接节点疲劳损伤智能检测与监测已成为亟需研究的课题[2]。
目前基于振动响应的结构损伤识别方法通常利用频率、振型等模态参数来识别结构损伤[3-4]。该类方法适用于桥梁整体状态的评估,但对局部关键构件微小损伤的及时诊断仍存在困难。因此,超声、声发射等无损检测与监测技术成为主要的突破方向[5]。通过结构受力和易损性分析确定关键构件与热点区域,开展局部监测,进而融合整体与局部监测结果,是桥梁结构健康监测未来的发展趋势。
声发射是一种被动式的弹性波检测技术,利用材料自身在塑性变形、裂纹扩展、冲击、腐蚀等损伤过程中释放的瞬态弹性波实现损伤的识别与定位,对裂纹萌生和扩展高度敏感,对几何形状复杂的结构适应性强,在结构关键构件局部微小损伤的精准识别方面优势显著,可用于在役工程结构的长期动态监测[6-7]。Droubi等[8]利用声发射特征参数和频谱分析方法进行碳钢焊缝熔渣、气孔和裂纹缺陷识别。Wael等[9]建立基于特征参数的损伤指标评估钢桥眼杆疲劳裂纹的萌生与扩展状态。Li等[10]通过声发射信号特征模态实现正交各向异性钢板裂纹准确定位。
利用声发射进行结构损伤检测与监测通常需要建立对损伤敏感的指标,从大量的声发射信号中提取损伤信息。常用的时域和频域参数,如幅值、持续时间、峰值频率等容易受到信号反射、衍射、频散现象和环境噪声干扰。时频分析可以在时频域上显示非平稳信号的固有特征,表征不同类型的声发射信号在不同时频尺度上能量分布模式。小波变换作为强有力的时频分析工具,具有优越的时频局域化性能,可以有效平衡时频分辨率的矛盾,被广泛应用于结构健康监测振动、超声及声发射信号的处理[11-13]。
近年来,以卷积神经网络(convolutional neural network,CNN)为代表的深度学习在图像分类、模式识别等方面展示出极大的优势。卷积神经网络的核心思想是通过卷积过程组合大量底层特征形成更多抽象的高层特征,实现数据特征的学习、表达和分类[14-15]利用卷积神经网络解决结构损伤识别问题成为结构健康监测领域的研究热点[16-17]。Li等[18]建立多分支卷积神经网络模型对钢轨噪声、车轮冲击和裂纹扩展声发射信号进行分类识别。Guo等[19]提出一种基于卷积神经网络图像识别的风力涡轮机叶片损伤检测框架。骆勇鹏等[20]利用单传感器振动数据结合格拉姆角场和卷积神经网络实现框架结构的损伤识别。
本文针对桥梁钢桁架在长期运营状态下的疲劳损伤问题,以某悬索桥中央纵向腹板钢桁架焊接节点实测数据为例,提出基于声发射信号时频分析与深度学习的钢桁架焊接节点损伤程度识别方法。克服了传统检测方法识别精度低、受工作环境噪声影响大等弱点,可用于桥梁钢桁架结构的健康监测与智能运维。
本文利用通过时频分析和深度学习手段对声发射监测数据进行处理,实现桥梁钢桁架焊接节点的损伤程度识别。如图1所示,首先,采用小波变换时频分析表征原始声发射数据在时频域内的能量分布模式。然后,建立卷积神经网络模型对时频图进行学习,提取声发射信号对损伤敏感的时频能量分布特征,从而达到钢桁架焊接节点严重损伤、轻微损伤和噪声工况(即无损伤工况)分类识别的目的。本文所提出的方法充分发挥时频分析处理非平稳声发射声发射信号的优势以及卷积神经网络强大的图像特征提取和分类能力,能够实现对钢桁架焊接节点不同损伤程度的智能识别与分类。
图1 钢桁架焊接节点损伤程度识别方法流程图
小波变换利用一个随频率改变的灵活的时频窗口,从多尺度观察信号,可以对非平稳信号从不同层次进行分解,对信号的高频和低频成分都可以进行有效提取。定义连续小波变换将时域函数分解到时频域,得到小波系数
(1)
式中:ψ*(t)为小波基函数的复共轭;W(a,b)为小波系数,表示时域函数x(t)和选定小波在某时间段和某尺度上的相似性。对信号进行时频域转换时,通过设置伸缩因子a和平移因子b可以对小波基函数进行伸缩和平移变换,小波系数做同倍数伸缩,而不发生畸变,窗宽也会随着信号频率的变化而改变[21]。
不同类型损伤的声发射信号通常具有不同的时频能量分布特征,时频图较时域波形能够提供更多微观损伤信息。有大量研究通过时频分析成功描述复合材料、混凝土以及金属等多种材料的不同损伤机理[22-24]。然而,现场实测钢桁架焊接节点声发射数据存在多源高幅噪声,涉及多种相似的微观损伤机理,因此难以基于时频分析来定义单一的指标对钢桁架焊接节点的不同损伤程度进行有效识别。
自从Hinton等[25]于2006年首次提出深度学习的概念以来,深度学习的研究应用获得了广泛关注。卷积神经网络是第一个真正成功训练多层网络结构的深度学习算法,通常由卷积层、激活层、池化层以及全连接层组成,并利用稀疏连接、权重共享和降采样等方式对输入数据进行逐层卷积操作,极大降低了模型的参数数量,提高了模型的训练性能。
卷积层使用卷积核与输入图像的特定区域进行卷积,生成一系列特征映射。通过叠加多个卷积层,对输入进行不同维度的多层次特征提取。第l层卷积层的第j个特征映射输出由下式计算
(2)
激活函数也称为激活层,为卷积神经网络模型引入非线性,使网络表达能力更强。其中,ReLU函数可以解决训练过程中的梯度消失问题,并提供良好的泛化能力。ReLU函数的表达式如下
(3)
池化层是对前一个卷积层获得的特征映射进行降采样,以减少特征映射的维数和参数数量,创建平移不变性。本文模型使用最大池化,其运算规则如下
(4)
全连接层的作用是整合具有类别区分性的特征信息,将来自上一层的特征映射展开成一维向量以便执行分类。第l个全连接层的输出可以通过下式计算
xl=f(ωlxl-1+bl)
(5)
式中,ωl和bl分别为权重和偏置。
卷积神经网络中还有一些有助于提高学习性能的辅助层,如归一化层可以在训练过程中使每层神经网络的输入保持相同的分布模式,进而提升模型的收敛速度,随机失活层作为正则化手段可以有效缓解过拟合的发生,这些辅助层有效提高模型的泛化能力。
本文基于AlexNet框架建立的网络模型各层参数如表1所示,结构体系如图2所示。网络包含1个输入层(Input),5个卷积层(Conv),3个池化层(Pool),7个非线性激活层(ReLU),3个完全连接层(Fc),2个随机失活层(Drop),2个局部响应归一化层(Norm),1个分类层(Softmax)和1个输出层(Output)。其中,最深的全连接层Fc8、分类层和输出层均为1×3的向量,分类层向量对应三种损伤程度工况的概率。
图2 卷积神经网络模型结构示意图
为了使用有限的声发射数据实现更好的损伤工况分类效果,本文在声发射数据的训练过程中,引入迁移学习思想。迁移学习利用经典的大型数据集训练后的模型获得的知识执行当前的分类任务,可以实现源数据和目标数据之间共享参数和先验分布(源数据和目标数据无需具有相同的数据分布),能够大幅提升模型训练效率和准确率[26]。本文调用经过ImageNet ILSVRC经典数据集预训练的模型进行迁移学习,继而使用时频图数据集对模型参数进行微调。网络前端的浅层权重不会被更新,深层的权重会在新的学习任务中被更新和调整。其中,“浅层”是指最后一个全连接层Fc8之前的网络层,“深层”指的是Fc8及其之后最深的三层。浅层权重和偏置取值与原模型相同,并保持不变。深层权重初始值设置为随机向量,深层偏置初始值设置为0,两者通过自适应动量估计算法进行更新和调整。
自适应动量估计算法是卷积神经网络训练过程中常用的参数优化算法,用于优化神经网络训练过程中各层网络之间的权重和偏置等参数,加快网络训练收敛速度[27]。它属于一种梯度下降算法,结合了自适学习率梯度下降和动量梯度下降两种算法的优点,对梯度的一阶矩估计(梯度平均)和二阶矩估计(梯度偏方差)进行综合考虑,其优点在于每一次迭代的学习率都有一定范围,从而使得权重和偏置的变化比较稳定。
网格搜索算法是卷积神经网络训练过程中常用的超参数优化算法,通过遍历给定的训练批次大小、网络循环次数、初始学习率等超参数的组合来优化模型学习效果的方法[28]。它在指定的超参数范围内,按某一步长依次调整超参数,并训练相应的网络模型。通过遍历尝试每一种组合的可能性,最后选用表现最好的超参数组合。
此外,为了验证利用时频分析进行声发射数据表征的必要性以及所建立二维卷积神经网络模型的优越性,本文搭建了具有相似深度和架构的一维卷积神经网络模型。直接以原始声发射信号作为输入,充分保留信号各时刻数据点的相关性,利用信号的时域特征进行损伤程度的识别[29]。
某悬索桥钢箱梁中央纵向腹板钢桁架在长期服役过程中,在不同的梁段产生了不同程度的损伤,损伤位置主要集中在桁架右上肢下端与中间节点板连接的焊缝处。为了对损伤进行定量评估,可将损伤程度分为开裂已经基本完成的严重损伤(裂纹长度大于5 cm)、开裂初期的轻微损伤和噪声三种工况。
本文选取中塔附近腹板钢桁架(图3)三种典型工况(严重损伤、轻微损伤和噪声)开展声发射监测试验。分别将传感器布置在三种不同损伤程度的焊接节点板的同一位置处,如图4所示。试验采用一套美国物理声学公司(PAC)声发射数据采集系统。选用宽带声发射传感器,在100~1 000 kHz范围内具有稳定的频率响应,从而能够更准确地研究声发射信号的固有频率特性。使用耦合剂填充传感器和结构表面的缝隙,并用磁夹将传感器具固定。采样率设为5 MHz,在满足香农采样定理的基础上提升时频分析的准确度,同时设置100~1 000 kHz前置滤波,以降低噪声信号的干扰。前置放大器增益为40 dB,声发射触发采样阈值为40 dB,能够剔除无车辆荷载情况下的环境噪声。声发射撞击信号的峰值定义时间、撞击定义时间以及撞击锁闭时间分别为1 ms、2 ms和20 ms。
图3 试验区域示意图(m)
图4 现场试验装置
在桥梁正常运营状态下对三种钢桁架节点板进行同步声发射数据采集,时间为30 mins。严重损伤节点获得3 442个信号,主要由开裂面接触冲击与摩擦引起;轻微损伤节点获得1 793个信号,主要由微裂纹的萌生与扩展引起;无损伤节点获得429个信号,为车辆荷载作用下的运营环境噪声。因此,现场采集到的声发射信号可分为三类,即严重损伤信号,轻微损伤信号以及噪声信号,构成包括5 664个声发射信号时频图的数据集。虽然翻转、旋转、切割等人工数据增强方法能够增加数据集的大小,但是会改变声发射信号时频图中的能量分布模式。本文深度学习模型的目的正是根据声发射信号的时频分布信息对钢桁架焊接节点损伤程度进行识别,因此,全部使用原始声发射信号时频图构成的数据集有助于模型学习到真实的损伤特征。
声发射信号特征参数中的幅值能够反映材料损伤的程度,频率通常与声发射源的类型有关。三种损伤工况声发射信号幅值和峰值频率散点图,如图5所示。由图5(a)~(c)可知,严重损伤工况声发射信号幅值在大于70 dB的范围内有较多分布,且存在接近100 dB的高幅值,明显高于轻微损伤工况和噪声工况声发射信号幅值。后两种工况的声发射信号幅值分布范围大致相同,且在大于70 dB的范围内几乎无分布。由图5(d)~(f)可知,三种损伤工况声发射信号峰值频率主要集中在150~300 kHz低频带,轻微损伤工况声发射信号峰值频率在大于300 kHz范围内有更多分布。三种损伤工况的声发射信号幅值和峰值频率分布上有明显的交叉特征,很难基于上述声发射特征参数定义有效的损伤指标对不同的损伤工况进行区分。
(a) 幅值散点图
(b) 幅值散点图
(c) 幅值散点图
(d) 峰值频率散点图
(e) 峰值频率散点图
(f) 峰值频率散点图
由于结构运营荷载、几何构造和材料微观结构等因素的影响,声发射信号具有强随机性和非平稳性。钢结构疲劳裂纹引起的声发射信号幅值范围覆盖±10 V,频率成分范围覆盖100~800 kHz,涉及不同的微观损伤声发射机理(如裂纹扩展、裂纹表面冲击与摩擦),对应信号的幅值和频率成分相互交叠。因此,采用时频分析方法挖掘信号中蕴含的损伤信息。由图5可知,实测声发射信号的幅值和频率变化范围较大,为了尽可能全面地呈现同一种损伤程度工况内声发射信号波形及其时频图的复杂性和多样性,每种工况两个具有较大差异的典型声发射信号波形及其在0~800 kHz频率范围内的小波时频图,如图6~8所示。
(a) 示例一波形
(b) 示例一时频图
(c) 示例二波形
(d) 示例二时频图
(a) 示例一波形
(b) 示例一时频图
(c) 示例二波形
(d) 示例二时频图
(a) 示例一波形
(b) 示例一时频图
(c) 示例二波形
(d) 示例二时频图
严重损伤工况(图6(b)、6(d))和轻微损伤工况(图7(b)、7(d))声发射信号能量主要分布在100~300 kHz的低频带,部分轻微损伤工况声发射信号在300~700 kHz的高频带能量分布更显著。噪声工况(图8(b)、8(d))声发射信号能量主要分布在100~200 kHz低频带,且沿时间轴呈均匀连续分布。
严重损伤工况和轻微损伤工况声发射信号的能量分布大都具有明显的脉冲模式,沿时间轴的分布比噪声工况更密集。其中,严重损伤工况声发射信号能量随时间衰减缓慢,低频能量分布相对较高,这是因为已经形成较长贯穿裂纹的严重损伤焊接节点处于裂纹扩展后期,裂纹扩展速率较慢,其主要声发射源为疲劳裂纹张开和闭合过程中的表面冲击与摩擦,不断产生低频次生信号。而轻微损伤工况焊接节点仅存在细微裂纹,处于裂纹扩展阶段,其主要声发射源为微裂纹萌生与扩展。裂纹扩展是由金属晶粒和晶界断裂产生,相较于其他类型的微观机理,其声发射信号一般包含较多的高频成分。因此,轻微损伤工况中的声发射信号经过小波变换之后,在高频域上显示出了更多的能量分布。
总体而言,三种损伤程度工况声发射信号在0~800 kHz的时频图中具有不同的能量分布模式,但由于实测声发射信号的随机性和复杂性,同一种工况的时频图能量分布模式也呈现出多样性,难以基于时频分析定义单一的指标对三种工况进行分类。
对于三种工况的声发射信号时频图构成的数据集,随机选择80%的时频图(4 531个)用于训练,使用较高比例的训练集有助于获得鲁棒性更强的分类模型。选择10%的时频图(567个)作为验证集,用于调整超参数,较小的验证集可以加快调优过程。剩余10%的时频图(566个)构建测试集,输入到训练好的模型中,用于测试卷积神经网络模型的损伤识别效果。需要注意的是,将小波系数矩阵(165×15 360)生成的时频图储存为165×15 360×3的RGB图像,为了适应基于AlexNet框架的卷积神经网络模型的输入需求,需要将时频图调整为227×227×3的RGB图像。
引入迁移学习思想训练所建立的卷积神经网络模型,只需利用声发射信号时频图数据集对模型进行微调,使原模型能够适用于钢桁架焊接节点损伤程度识别这一新问题,从而达到焊接节点严重损伤、轻微损伤和噪声工况分类的目的。在模型微调过程中,采用自适应动量估计算法对网络参数进行调整,采用网格搜索算法对网络超参数进行优化,最终确定的训练批大小为15,网络循环次数为10,初始学习率为5×10-3。为避免过拟合,采用逐步降低学习率措施,网络每循环5轮次,学习率降低70%。
图9显示了模型训练过程中分类准确率和损失函数值随迭代次数的变化情况。训练和验证的准确率在最初的1 000次迭代中逐步提高,随后曲线变化趋于稳定。如图10所示,利用时域波形进行特征学习的一维卷积神经网络模型的训练和验证准确率在经过2 000次迭代后才趋于稳定。最终,两个模型经过3 020次迭代后均收敛。结果显示,一维卷积神经网络模型的训练准确率为83.25%。二维卷积神经网络模型的训练准确率达到94.71%。将从未用于训练或验证的测试数据集输入模型,得到一维卷积神经网络模型的测试准确率为84.28%。二维卷积神经网络模型的测试准确率达到94.11%,分类准确率结果汇总如表2所示。
图9 二维卷积神经网络模型训练过程中分类准确率、损失函数值与迭代次数的关系图
图10 一维卷积神经网络模型训练过程中分类准确率、损失函数值与迭代次数的关系图
表2 卷积神经网络模型分类准确率
图11和图12分别展示了两种模型对测试数据集的分类结果混淆矩阵。严重损伤工况声发射信号识别准确率分别为99.4%和95.9%;轻微损伤工况声发射信号识别准确率分别为92.2%和70.4%;噪声工况声发射信号识别准确率分别为86.0%和48.8%。由此可见,以时域波形为输入的一维卷积神经网络模型极易将噪声信号误判为轻微损伤信号或严重损伤信号。而以时频图为输入的二维卷积神经网络模型对三种损伤工况的分类平均准确率超过90%。这是因为时频图能够更加充分、直观地表征声发射信号中蕴藏的微观损伤机理信息,供卷积神经网络模型进行损伤特征提取与学习,提升其准确率和鲁棒性。由此可见,利用疲劳裂纹扩展、表面冲击与摩擦等不同微观损伤机理声发射信号的时频能量分布信息,以及卷积神经网络强大的特征提取能力,可以实现对钢桁架焊接节点不同损伤程度的智能识别与分类。
图11 二维卷积神经网络模型分类结果混淆矩阵
图12 一维卷积神经网络模型分类结果混淆矩阵
该方法可推广应用于各种形式钢结构焊接节点的疲劳裂纹损伤程度评估。但需要指出的是,由于不同结构运营噪声、材料微观结构和力学特性、节点几何构造等因素的影响,需要采用相应的实测数据进行卷积神经网络模型训练,以提升损伤程度识别的准确率。此外,如果节点内存在多处不同程度的疲劳裂纹,其声发射信号时频图的识别结果可能包括严重损伤程度和轻微损伤程度两种工况类型。
为了挖掘利用卷积神经网络模型进行钢桁架焊接节点损伤程度分类的内在逻辑,提升识别过程的可解释性,剖析对损伤敏感的声发射信号时频特征,本文对模型的卷积过程和分类过程进行了可视化分析。
首先,通过对各卷积层激活区域进行可视化,查看各卷积层学习到的特征,剖析模型的特征提取和分类过程。为了充分展示卷积神经网络模型的学习能力,选取3.2节中严重损伤(图6(d))、轻微损伤(图7(d))和噪声(图8(d))三种工况较为相似的声发射信号时频图,分别展示其典型隐藏层的特征映射图,如图13~图15所示。通过观察可知,浅层卷积层学习了时频图的颜色分布、边缘轮廓等基本特征,深层卷积层则通过多次组合浅层特征来构建其更复杂、更抽象的特征。显然,不同损伤程度信号时频图最终的特征映射图是不同的,所以在输出层被分为不同的类别。
图13 严重损伤工况声发射信号特征学习过程可视化
图14 轻微损伤工况声发射信号特征学习过程可视化
图15 噪声工况声发射信号特征学习过程可视化
然后,进一步探究三种工况声发射信号时频图在各个卷积层相同通道的特征图差异,如图16所示。模型对输入进行卷积操作时,会通过激活函数对卷积层学习到的特征进行正、负激活(白色像素表示强的正激活区域,黑色像素表示强的负激活区域)。在Conv1层,以通道10、41为例,模型提取到了时频图中能量分布的内部模式特征即点团状(实线圆圈)的高能量区域和条带状(虚线方框)的低能量区域。进一步观察Conv1特征图可知,模型还提取到了能量分布的边缘轮廓特征(通道62),可以看出严重损伤信号和轻微损伤信号频带分布较为分散,噪声信号的频带分布更为集中,边缘轮廓更为清晰。
(a) 严重损伤工况信号
(b) 轻微损伤工况信号
(c) 噪声工况信号
随着卷积层的加深(Conv3),特征图的边缘轮廓逐渐模糊,强的激活区域分布范围逐渐分化。噪声信号对应的强的正激活区域分布范围明显大于严重损伤信号和轻微损伤信号对应的区域(通道23、43)。到了Conv5层,严重损伤信号对应的强的负激活区域呈团状分布,轻微损伤信号对应的强的负激活区域在频域上的分布范围则更广,噪声信号对应的强的正、负激活区域沿时域始终呈连续带状分布(通道18、30)。三者差异越来越明显,模型学习到的特征越来越复杂。
最后,利用非线性降维算法(t-distributed stochastic neighbor embedding,t-SNE)呈现各个隐藏层在声发射信号分类中的作用。该算法适用于将高维数据降至低维,以便对高维数据进行可视化,其中数据点之间的距离表示它们的相似性。
图17展示了测试数据集在典型隐藏层上的特征映射。在输入层(Input),三种工况的声发射信号时频图特征有严重的交叉重叠,分类困难。经过多个卷积层(Conv1~Conv5)后,三类声发射信号时频图的卷积特征图在映射平面内的位置不断移动,同一损伤工况声发射信号对应的数据点相互靠拢,并逐渐远离异类信号对应的数据点。在最后的输出层(Output),所有数据点被分成三簇,对应钢桁架焊接节点三种不同的损伤程度,证实了声发射信号时频图内在损伤特征的可分性。
图17 测试数据集分类过程t-SNE可视化
针对目前大型桥梁钢桁架焊接节点损伤识别难度大、精度低的现状,本文提出了一种基于声发射信号时频图深度学习的钢桁架焊接节点损伤程度智能评估方法,并利用现场实测数据验证了其有效性和优越性。主要结论如下:
(1) 利用小波变换对声发射信号进行时频分析,以时频图作为输入、损伤程度作为标签,对基于迁移学习的二维卷积神经网络进行训练,实现了钢桁架焊接节点损伤程度的精准识别。
(2) 现场试验研究表明,小波分析有效表征了不同损伤程度工况声发射信号的固有时频特征。二维卷积神经网络模型能够提取信号时频域中的能量分布模式,对正常运营状态下的桥梁钢桁架焊接节点损伤程度的识别准确率超过94%,较利用时域波形进行损伤特征学习的一维卷积神经网络模型具有更强的鲁棒性。
(3) 通过对卷积神经网络模型各卷积层激活区域进行可视化分析,明确了各卷积层学习到的损伤特征,并剖析了卷积神经网络模型的特征学习过程以及内在的分类逻辑。
本文所提出的方法充分发挥了小波时频分析处理非平稳信号的优势和卷积神经网络深度学习模型强大的视觉图像特征提取能力,为声发射技术在钢桁架焊接节点等桥梁关键构件损伤识别与智能监测中的研究应用提供了新的思路。为提升本文方法的应用潜力,需利用实测数据进一步验证其在不同运营噪声、材料特性、节点构造和传感器布设位置工况下的鲁棒性,并细化每一种损伤工况下不同微观机理声发射信号的分类辨识。此外,探索通过采样阈值、压缩感知、损伤特征优化等方式提升长期监测过程中大量高频声发射数据的分析处理与存储传输效率。