刘洋洋,韩 潇1,*,张鹏嵩,沈平单,曹海林
(1.北京航空航天大学 宇航学院,北京 100191;2.北京卫星环境工程研究所,北京 100094;3.重庆大学 微电子与通信工程学院,重庆 400044)
金属构件广泛用于航空航天、风力电力、石油化工等领域,其在生产和使用过程中因高温高压、高负荷等外部环境的影响,表面或内部易产生微小的损伤[1]。如果未及时发现与修复微小损伤,则可能导致重大安全事故。因此对金属构件的定时检测与评估十分重要。
出于安全与经济考虑,常用无损检测技术进行损伤探测。现有的无损检测技术主要包括射线检测[2]、涡流检测[3]、超声波检测[4]等。近年来提出的激光超声检测技术是基于激光的热弹效应和烧蚀机制,利用激光脉冲在待测构件中产生超声波,可在不牺牲损伤定位准确性的前提下实现结构非接触式测量[5]。相比于传统超声波检测,激光超声技术通常不需耦合剂,从而降低了对试件表面光滑度要求,易于实现曲面等复杂结构的检测;但损伤结构成像精度严重依赖于扫描点的空间采样率,在缺乏损伤先验知识支撑的情况下,需要对整个待测构件进行密集扫描才能实现满意的成像精度,故不适用于大型待测构件。为此,付倩提出在大测量间距下对损伤进行粗定位,再对局部区域密集采样,通过多传感器协同以提升损伤边缘成像精度[6];王杰利用多组小波基函数对层压复合材料超声回波信号去噪,提高了缺陷成像精度[7]。
数据驱动的深度学习模型通过梯度更新算法实现端到端的模型参数优化,可以完成复杂非线性映射关系的自适应学习,因此其在结构损伤检测领域已有广泛应用。Lin 等利用深度卷积神经网络对原始传感器数据提取判别性特征,并将该特征用于结构损伤定位,实现了优于小波系数特征方法的定位精度[8]。为精确预测金属内部损伤宽度,Zhang等提出融合遗传算法的神经网络模型,对金属内部损伤情况下的激光超声信号进行特征提取,自适应学习特征与损伤宽度的映射关系,定量分析了金属损伤宽度对网络预测性能的影响[9]。目前卷积神经网络用于损伤边缘成像精度优化的相关研究较少,其鲁棒的特征提取能力与映射关系学习能力为结构损伤边缘成像优化提供了新思路。
本文以航空航天用4A01 铝板为研究对象,采用深度学习方法与激光超声检测技术进行构件损伤超声成像性能优化的研究,以期实现损伤检测的自动化和智能化。首先,利用大功率脉冲激光非接触地激发出超声Lamb 波;其次利用铝板中Lamb波的A0 模态的幅值完成扫描区域的可视化成像;最后,建立损伤类型-激光超声成像特征数据库,利用基于卷积神经网络的优化算法进行构件损伤边缘优化实验,以提高构件损伤边缘清晰度。
在试件中某一点施加激励的同时从另一个位置获取响应信号的过程满足声学互易原理[10]。因此,定点激励和在扫描区域布置大量传感器接收超声波可等效为定点接收和大面积扫描待测区域激励超声波的过程(如图1 所示)。根据声学互易原理,在金属构件附近定点放置用于检测超声响应信号的声发射(Acoustic emission, AE)传感器(A点),对脉冲激光器进行发射点校准,确定其扫描方式和扫描区域并设置扫描起始位置(B点),在待测构件表面进行持续的超声Lamb 波激发。
图1 声学互易示意图Fig.1 Acoustic reciprocity diagram
将二维扫描区域下AE 传感器采集到的Lamb波时域响应信号保存在三维数组中,其各元素的值为超声信号的幅值,定义为三维波场数据[11]。总采样时间可由采样频率(80 MHz)和总采样点数(16 384 个)计算,通过对三维数组时间维度的截取可获得任意时刻Lamb 波的传播状态,即Lamb 波的二维波场重建图,如图2 所示,其中:x、y轴为数据的空间维度;z轴为数据的时间维度。
图2 Lamb 波的波场重演方法Fig.2 Method for Lamb wave field reenactment
弹性波是应力波的一种,在无损检测领域中应用广泛。弹性波的能量可等效为超声波通过试件检测区域时,试件介质中粒子点处波的应变能;单位时间内粒子点处通过的总能量定义为弹性波能流。脉冲激光扫描某个区域时,对AE 传感器接收到的扫描区域所有采样点上超声波的幅值信号进行滤波、放大并采用相应的数据处理算法,可得到该区域的弹性波能流图[12],有关损伤的信息(如位置、形状及大小等)可根据该图进行评估。假设金属铝板的上下表面是自由的,即牵引力为0。σ表示应力值,则沿着纵向的应力σzz=0,表面切应力σyz=0 和σzx=0。此时平面应力条件和应力-应变方程可简化为
式中:εxx、εyy和εzz分别为横向两正交方向和纵向方向上的应变;E为杨氏模量;v为泊松比;G为剪切模量。通常基于激光热弹效应进行激发仅在构件横向产生应变,纵向应变近似为0。因此构件的应变能密度为
式中λ为各向同性弹性面的一阶拉梅常数。利用安装在构件表面附近的AE 传感器采集超声波响应电信号,该电信号幅值应与横向应变分量之和成正比,即与式(2)的右边第一项成正比。因此利用AE传感器采集的数据,通过式(3)中γ来近似表征应变能密度(归一化应变能密度)。
式中:i为AE 传感器数据在T内的采样点编号;T为数据采集模块的采样周期;ΔT为采样间隔;β为比例常数。对待测构件上所有扫描点的接收数据,利用式(3)便可构建出γ分布情况,以表示超声激发下构件的弹性能流图。
激光超声检测系统(如图3 所示)的硬件部分包括脉冲激光器、AE 传感器、信号接收链路以及存储模块,软件部分包括激光器扫描控制程序、信号处理程序和显示保存程序。
图3 激光超声检测系统整体架构Fig.3 Overall architecture of the laser ultrasonic detection system
该系统的工作原理是:激光器发出的脉冲红外激光束经二维扫描振镜偏转和聚焦后发射到试件表面;根据激光热弹机制,待测材料中将激发出超声波;AE 传感器检测结构中的超声信号并转化成相应的电信号,电信号经低噪声放大器和滤波器后传送至数据采集模块进行模/数转换,并将数据保存以供后续处理与分析。
实验前需要在标准铝板试件中制备不同形状的损伤类型。本文选取航空航天常用的4A01 铝板作为实验材料,分别制备了无损和有损试件(如图4 所示)。试件的长和宽均为300 mm,厚度为2 mm。选择稍大尺寸的板材可消除边界产生的回波信号。为减小试件表面粗糙度对实验结果的影响,采用机械加工操作对试件表面磨削,构件粗糙度约为0.7 μm。另外设计了如图4(b)~(f)所示的5 种俄罗斯方块形式的损伤类型(分别以1、2、3、4、5 标注),损伤深度为2 mm,用线切割机加工成形。图4 中各损伤尺寸的单位为mm。
图4 构件损伤成像实验用无损及有损试件Fig.4 Undamaged and damaged specimens for the component damage imaging experiment
构件损伤成像实验设计如图5 所示。AE 传感器放置在距离扫描中心区域约100 mm 的位置接收超声波信号,传感器的谐振频率范围是100~400 kHz。检测区域范围扫描方式为折扫,相邻扫描点间距为1 mm,扫描区域面积为40 mm×40 mm,共41×41 个空间采样点。在传感器的接收频段下,铝板构件中超声信号主要为A0 模态和S0 模态信号,使用短时傅里叶变换方法实现A0 模态信号的分离:对用1.1 节所述方法获得的三维波场数据进行绝对值处理,得到单极性的超声信号,使得信号的波峰更密集,信号截取更为高效。基于A0 模态和S0 模态的频率差异,以及A0 模态信号的到达时间较长和幅值较大的特点[13],分析原始数据的时频谱,取传播时延约束时间窗中最大谱峰作为Lamb波A0 模态幅值。不同时刻下扫描区域的Lamb 波A0 模态幅值分布利用式(3)得到构件弹性能流分布图,再用插值算法平滑数据进行绘图,实现损伤形状可视化。
图5 构件损伤成像实验设计示意Fig.5 Schematic diagram of component damage imaging experimental design
为模拟实际多层结构,在损伤铝板试件下方加垫一层等尺寸未损伤试件。为提高激光超声检测的灵敏度,从而探索提出的损伤边缘优化算法的性能上界,本文使用脉冲激光器无接触激励以及AE 传感器定点接收的方式,在固定接收端使用耦合剂连接待测构件与AE 传感器(后续工作中将使用激光测振仪实现完全的非接触检测)。具体的实验过程为:
1)确定扫描间距。为满足奈奎斯特采样定理,扫描间距通常应小于或等于Lamb 波在被检测构件中传播的半波长。过大的扫描间距会导致波传播图像质量下降,甚至波阵面不连续。本实验以构件微小损伤(约2 mm)为研究对象,经过多次实验选定扫描网格间距为1 mm,该间距下扫描数据适量且能产生相对高质量的波场图像。
2)在AutoCAD 软件中设置需扫描的激光点阵,加载CAD 文件,将脉冲激光投射到铝板栅格点对应位置以激发Lamb 波。
3)将铝板表面用无水乙醇进行清洁处理,然后利用声发射专用的耦合剂将AE 传感器固定耦合在铝板的对应位置。
4)将AE 传感器连接至低噪声放大器,设置放大器增益为10 dB。使用截止频率为500 kHz 的低通滤波器以减少带外干扰的影响。最后通过压点转换器将超声波转换为电信号输入到数据采集器中,经过模/数转换后将数据送入计算机显示和保存。
5)重复步骤2)~4),直到1681 个扫描点全部完成超声激发。同时为了减少环境以及实验器材的影响,每个扫描点重复实验10 次,以提高实验的准确性和可靠性。
6)利用弹性能流法对记录的数据进行处理,每个扫描点都利用式(3)计算出γ,以便实现超声波的可视化。
为研究超声Lamb 波幅值在健康区域和损伤区域的变化机理,分别对2 条经过损伤区域的扫描路径(对应坐标x=80 和x=81)以及2 条未经过损伤区域的扫描路径(坐标x=70 和x=71)上各扫描点产生的原始超声Lamb 波时域信号幅值进行研究,结果如图6 所示。当超声波在损伤凹槽边缘激发时,凹槽阻挡效应较强,大部分超声信号能量被损耗与反射,在损伤区域中透射效应较为明显,因此附着在待测构件表面的超声传感器所采集的信号强度较低。图6 中损伤路径的各扫描点幅值分布在相应的损伤位置处有明显极小值,由此可以初步确定损伤发生范围。通过截取各时刻超声Lamb波A0 模态的幅值,可以得到无损和有损铝板扫描区域内由超声激发的弹性能流分布,即得到其可视化成像结果,其中:图7(a)为无损成像,图7(b)~(f)分别为5 种损伤类型的成像;图中颜色表示该位置处的能量。从图中可以看出:1)当构件存在损伤时,激光超声成像的结果中存在与损伤形状相应的能流明显较小的区域;2)由于超声传播损耗,距AE 传感器越近,弹性波能流越强,成像颜色越深;3)由于扫描点数的约束及噪声信号影响,各损伤类型损伤边缘出现不同程度的畸变,其中,图7(c)的损伤成像精度相对较高且边界模糊最少,而图7(d)、(e)和(f)损伤结构成像存在较为严重的失真。因此,基于超声Lamb 波A0 模态幅值的方法可初步实现构件损伤边缘成像,但还需对边缘特征进行优化。
图6 损伤和健康路径上的Lamb 波幅值对比Fig.6 Comparison of the Lamb wave amplitude on damaged and undamaged paths
图7 构件的无损和有损成像结果对比Fig.7 Comparison of component undamaged and damaged imaging results
仅利用Lamb 波A0 模态幅值的方法无法高精度重建损伤的几何形状。本文提出受损边缘高精度重建卷积神经网络算法:预先构建损伤类型和激光超声成像的特征数据库,利用卷积神经网络方法,通过端到端的离线自学习,建立模糊损伤边界与高分辨率损伤边界的鲁棒映射关系,构建智能化损伤边缘优化模型。卷积神经网络使用3 个卷积层提取具有判别性的超声数据特征;基于提取的高维度特征,利用3 个反卷积层实现损伤边缘优化图像像素级重建;引入ReLU 激活函数为特征提取与重建过程加入非线性,使网络具备映射关系自学习能力;网络输出层使用Sigmoid 函数激活将重建结果投影到0-1 区间,加速网络收敛过程。算法的总体架构如图8 所示。
图8 受损边缘高精度重建卷积神经网络算法架构Fig.8 Convolutional neural network algorithm architecture for high-resolution reconstruction of damaged edges
算法流程为:激光激励后使用AE 传感器测量金属铝板中由热弹性效应产生的超声波信号并采集存储;各扫描点多次测量数据求均值并用最大值对数据归一化处理;将预先处理的超声数据划分为训练集、验证集与测试集,利用训练集和验证集的数据对卷积神经网络进行离线训练,训练过程中观察网络在验证集数据的泛化能力并进行相应网络超参数调整,直到网络在验证集上性能良好。训练结束后冻结网络参数,输入损伤边界模糊的测试集数据进行前向预测,最终得到边界优化的损伤图像。
本文使用的编程软件为Python 和MATLAB,深度学习框架为Keras。硬件环境如表1 所示。
1)数据集
网络输入的图像数据为基于Lamb 波A0 模态幅值方法获取的构件弹性波能流数据,根据待测构件损伤类型构建相应的标签数据库。此外,对实测的损伤类型-激光超声成像特征数据库进行数据增强,在数据集中加入高斯白噪声来获得多模态的训练数据,将原始测量的超声数据图像扩充到3000 张,以提高网络的收敛性能。
2)损失函数与评价指标
损失函数采用均方误差(mean square error, MSE)对需优化的构件超声图像进行像素级的约束,以恢复出高保真度的损伤边界。损失函数为
式中:Pˆ 和P分别表示预测的构件弹性能流分布图及相应标签;N表示每次训练使用的样本数。
本文采用在图像重建领域中最为常用的指标之一——结构相似性指数(structural similarity index measure, SSIM)来评价构件损伤边缘的优化性能。SSIM 体现了图像像素间的内在相关性,是一种与人类的真实感知统一的图像质量评价指标,该值越大则表示构件损伤边缘重建效果越好。
采用优化算法对试件的损伤边缘进行优化,结果如图9 所示。对比优化前的构件损伤图像(见图7)可以看到,在优化后的构件损伤图像中可清晰地区分出5 种损伤的位置和形状,这说明采用该算法对损伤区域边缘细节实现了优化,提高了整体成像的分辨率,极大改善了Lamb 波A0 模态幅值成像方法由于噪声导致成像区域模糊的问题。
图9 优化后的构件损伤图像Fig.9 Optimized images of component damage
对于图9(a)和(e)的长方形和正方形损伤类型,优化算法可实现缺陷边缘几何形状高质量重建,恢复出清晰的损伤结构;然而当构件缺陷结构较为复杂时,如图9(b)、(c)和(e)中缺陷结构包含转角,损伤边缘的重建性能出现了不同程度的下降,存在转角边界不够清晰问题。图9(c)的上下边界比较清晰,但是直角转角相较于其他类型的图像模糊较为明显。究其原因可能是该实验中各损伤类型设定的损伤区域较小,损伤宽度最小为2 mm,同时为降低计算复杂度需适当选择成像的空间分辨率(实验中设置为1 mm),导致转角处采样点数不足。
损伤1~5 的优化前超声图像与标签图像的SSIM 计算结果分别为0.909、0.912、0.875、0.873 与0.898。利用卷积神经网络增强A0 模态构件损伤成像精度随训练轮次的变化曲线如图10 所示。实验结果显示:随着训练次数的增加,各损伤类型的超声图像和标签图像的SSIM 相应提升;当训练进行到200 轮时网络收敛,网络增强的各损伤类型超声图像均可达到较优的SSIM,其中损伤5 的SSIM 最高,约为0.970,损伤1 和2 的SSIM 约为0.961,损伤3 的约为0.952,损伤4 的最低,约为0.944。比较可知:相比优化前的损伤图像,优化后各类损伤边缘均实现了SSIM 指标大幅提升,各类损伤SSIM 平均提升0.0642。几何结构简单的构件损伤可实现高分辨率恢复;当构件损伤几何结构较复杂时,损伤边缘成像精度小幅下降,各损伤类型中SSIM 最大下降0.026。以上结果表明基于自建的构件损伤类型-激光超声成像特征数据库,搭建的卷积神经网络模型增强了仅用超声Lamb 波重建构件损伤的结果,实现了损伤区域的几何形状特征高保真恢复。
图10 构件损伤边缘优化图像SSIM 随训练次数变化曲线Fig.10 The SSIM of the optimized image of component edge against the training times
针对目前构件损伤边缘成像模糊、成像精度低等问题,本文提出了基于深度学习的构件损伤激光超声成像方法。该方法利用高能脉冲激光器以非接触激励的方式获取结构中的超声波数据,采用基于卷积神经网络的优化算法对损伤边缘区域进行处理,针对各损伤类型实现SSIM 平均提升0.0642,优化结果能够清晰显示损伤的几何形状信息。与传统损伤成像技术相比,本文方法具有高保真度、宽频带、对材料表面光滑度要求较低、适用面广等优点,具有广泛的应用前景,可应用于航空航天等领域的材料检测。