基于区域的快速卷积神经网络的焊缝TOFD检测缺陷识别

(1.宁波市特种设备检验研究院，宁波315048；2.南昌航空大学 无损检测教育部重点实验室，南昌 330063)

超声衍射时差法(Time of Flight Diffraction，TOFD)可用于缺陷类型识别及尺寸的测量，是应用最广的焊缝检测方法之一。鉴于焊缝的组织结构、缺陷形态、检测条件及噪声干扰的复杂性，在焊缝超声TOFD-D扫描中，缺陷的图像具有特征复杂、位置随机、干扰严重等特点。再者，受检测人员能力和主观局限性的影响，在对D扫描图像进行缺陷类型的识别时，存在检测效率低、检测结果争议大、可靠性低等问题。传统机器识别首先需增强图像或信号的特征和设计数学模型提取特征，再设计神经网络，并基于特征进行训练，最后实现机器的自动识别。迟大钊、盛朝阳等[1-2]通过图像处理技术提高了焊缝缺陷D扫描图像的分辨率与可读性；陈振华等[3]提出了基于直通波及BP神经网络的近表面缺陷自动检测分类法；林乃昌等[4]基于Gabor小波提取特征的TOFD图像缺陷自动定性的方法对焊缝缺陷进行检测。CRUZ等[5]通过离散傅里叶法、小波包技术及余弦变换提取焊缝超声检测信号特征，构建了多层感知器对信号特征的分类识别。LIU等[6]采用提取点焊焊核多次反射波信号的小波包分解系数，并训练BP神经网络实现对完好焊核、焊核脱黏、弱结合、气孔的自动分类识别。尽管常规神经网络结合特征提取可用于自动缺陷识别、部分解决人工识别的问题，但在具体实践中还是面临特征选择及优化难、理论分析困难、需要经验和技巧等问题[7]。

深度学习网络在图像、声音、文本等数据识别中获得了广泛的应用并取得了良好的识别效果，具有隐层数多、自动学习和特征提取的特点[8-9]。MENG等[10]提取了碳纤维复合材料超声检测信号的小波系数特征，并采用深度学习网络提取更深层特征图，据此对孔洞、分层缺陷信号进行分类，还将其应用于C扫描和三维扫描特征的前期处理中，获得能够表现缺陷类型、深度的扫描图像。GIRSHICK等[11]于2014年提出了基于区域的卷积神经网络法(RCNN)，该方法是基于区域提议识别的典型方案。在此基础上，基于区域的快速卷积神经网络(Faster RCNN)利用CNN网络提取图像特征，通过构建精巧的区域网络降低了计算时间,使实时识别成为可能[12-14]。Faster RCNN网络识别结果对于目标图像的平移、比例缩放、倾斜或者其他形式的变形具有高度的不变性，有望用于易受检测条件影响、结构复杂的焊缝超声TOFD-D扫描图像中缺陷类型的自动识别。

笔者分析了焊缝缺陷的超声TOFD-D扫描图像特征，揭示了图像特征与缺陷轮廓的关系；构建了Faster RCNN神经网络用于自动识别焊缝D扫描图像的缺陷类型。在网络训练过程中，提出了D扫描图像样本扩展方法以丰富训练样本、提高网络的识别精度和鲁棒性。此外，根据焊缝缺陷的分布特点，优化和改进了建议框设置方法，以提高训练和识别效率。训练后的Faster RCNN网络可实现缺陷类型的自动识别，具有优良的识别率、鲁棒性和抗干扰能力。

1 试样制备及试验方法

采集20块Q235钢板对接焊缝试样的超声TOFD-D扫描图像作为图像特征分析与网络训练、验证的样本数据，试样编号为N01N20，试样中纵波声速为5 850 m·s-1。每块焊缝试样中有两处以上的自然缺陷，类型包括气孔、裂纹、夹渣、未焊透、未熔合等。设缺陷端部距试块边缘的距离为LF，缺陷长度为fL，缺陷深度为fh，试样厚度为T。两参数相同的超声TOFD专用探头以焊缝轴线对称分布于焊缝两侧，并沿焊缝延伸方向做D扫描成像，试样结构及试验方法示意如图1所示。

图1 试样结构及试验方法示意

为了通过较少的试样获得尽量多的图像样本，采用两种检测探头及不同的探头间距(PCS)对缺陷进行多次扫描成像，获得噪声、分辨率、缩放比有一定差异的相同试样(缺陷)的多幅TOFD-D扫描图像。探头频率及晶片尺寸分别为5 MHz,φ6.34 mm和10 MHz,φ3 mm；斜楔角度分别为45°,60°,70°;两种探头在安装楔块后的延时均为2.75 μs。

2 缺陷的TOFD-D扫描图像特征分析

2.1 检测频率及斜楔角度对缺陷D扫描图像的影响

采用5 MHz 60°(频率为5 MHz，楔块角度为60°)探头、PCS为55 mm及10 MHz 70°探头、PCS为70 mm，提取N9试样的缺陷D扫描图像；N9试样厚度T为20 mm，焊缝含有气孔(LF=35.5 mm，fL=17 mm，fh=12 mm)及夹渣(LF=107.5 mm，fL=55 mm，fh=16 mm)缺陷。N9试样在两种检测参数下的D扫描图像如图2所示，可见10 MHz 70°探头在检测条件下的缺陷D扫描图像的分辨率明显高于5 MHz 60°探头的D扫描情况，10 MHz 70°探头扫描图像的噪声显得更为严重。此外，由于PCS的差异，两种检测条件下的D扫描图像缩放比例也不相同,10 MHz 70°探头检测图像的相对压缩比例更大。然而，尽管两种检测条件下的信噪比、分辨率、长宽比存在差异，但两种缺陷的轮廓特征基本一致，夹渣图像特征(D扫描长度135 mm附近)为曲率和尺寸较大的抛物线条纹和直线条纹的组合，气孔(D扫描长度40 mm附近)则为尺寸较小且端部更尖锐的抛物线条纹。

图2 试样N9在两种检测参数下的D扫描图像

图3 试样N1的根部未焊透D扫描图像

2.2 焊缝缺陷的D扫描图像特征分析

母材金属未熔化导致焊缝金属没有进入接头根部形成未焊透，未焊透减少了焊缝的有效面积,使接头强度下降。图3是从试样N1提取的根部未焊透D扫描图像，可见其特征条纹接近底面且呈无规则长条形，底面反射波条纹中断并呈现向右凸出的抛物线形状。图像产生的原因是焊缝根部未填满焊液而形成缺口，使母材处的反射波传播路径变长，底面波时域信号向后延时导致TOFD图像条纹向右侧外凸。

图4 不同试样的夹渣、气孔、裂纹及侧壁未熔合的D扫描图像

裂纹和未熔合是两种典型的焊缝面型缺陷，裂纹因具有尖锐的端部及任意走向而成为危害性最大的焊缝缺陷。图4(a)，4(b)分别为试样N14中裂纹及试样N3中侧壁未熔合的D扫描图像，裂纹D扫描图像由开口朝向底面的尖锐抛物线条纹组成，多个分支裂纹尖端在D扫描图上表现为多个分散的尖锐抛物线条纹[见图4(a)]；而具有一定方向且连续的侧壁未熔合缺陷的上下两端点在D扫描图上表现为两条平行于扫查方向的短直条纹[见图4(b)]。夹渣、气孔是典型的焊缝体积型缺陷，其危害性一般低于面积型缺陷。图4(c),4(d)为试样N2中夹渣及N6中气孔的D扫描图；其中，夹渣D扫描条纹呈向右凸的抛物线，左侧开口处出现与夹杂粗糙表面相关的无规则、不连续的条纹；图4(d)是气孔缺陷的D扫描图，由于气孔端面圆润且不会在焊缝深度方向自由扩散，气孔图像的抛物线尖端比裂纹平缓。此外，由图4(a)及4(d)对比可知，裂纹D扫描的抛物线尖端比气孔的更为尖锐。对其他试样中的缺陷类型进行分析，均显示了相似的缺陷图像特征。超声TOFD检测的D扫描图像与缺陷几何形状密切相关，通过D扫描图像分析可区分缺陷类型；但由于特征结构复杂多变，人工识别存在效率低、受主观因素影响大的缺点。

3 图像识别网络结构及训练方法

Faster RCNN图像识别系统由特征图提取网络VGG16、区域提议网络RPN(Regional Proposal Network)以及Fast RCNN检测网络构成。VGG16网络基于卷积和池化方法提取特征参数，具有16层的深度。数据特征抽象化随着卷积层的加深越来越显著，最后一个卷积层可输出用于区分目标类型的512维特征图(Feature Map)，目标图像在特征图上具有很好的区分性。RPN网络和Fast RCNN检测网络均可基于VGG16输出的特征图进行区域提议及自动识别。超声TOFD-D扫描图像自动识别的Faster RCNN网络结构框图如图5所示,VGG16网络输出图像特征图经共享卷积层输入至RPN网络进行区域提议(Region Proposal)，提议框经非极大值抑制NMS算法降低冗余后，输出至Fast RCNN检测网络中的ROI pooling池化层，该池化网络根据RPN输出的区域提议框信息对每张图像的区域提议特征图(由共享卷积层输入)进行下采样，将各提议框中的目标图像特征“裁剪”至相同维度后输入至Fast RCNN检测网络的全连接层进行分类识别，识别结果包括提议框中缺陷类型的得分(置信度01)及该缺陷提议框的修正。

图5 Faster RCNN网络结构框图

图6 RPN网络及Fast RCNN检测网络结构框图

图6(a)为RPN网络结构框图，通过共享卷积层的3窗口对VGG16输出的特征图进行滑动卷积扫描，获得512维特征矩阵,输入至目标预测和坐标预测回归网络中。目标预测和坐标预测回归网络可输出与原始图形某位置对应的缺陷置信度及提议框修正，包括：① 通过目标/背景预测网络可输出k种(一般k=9，包括3种宽高比为1…1,1…2,2…1及3种像素尺度为128,256,512)区域提议矩形框为背景或缺陷的2个置信度(01),共2k个预测输出；② 通过坐标预测网络输出对这k个区域提议框的位置及尺寸的修正量[dx,dy,w,h]，其中[dx,dy]、[w,h]分别表示矩形提议框包围缺陷时，其中心位置的偏移量及矩形框尺寸的缩放比修正(w为宽度缩放,h为高度缩放)，共4k个输出。输出的区域提议框大多置信度较低且存在重叠，需经NMS算法进行去冗余计算。NMS算法通过设定置信度极大值的个数,可使每张D扫描图有2 000个区域提议框，大大减少了特征提取计算量、提高了训练和识别速度。图6(b)显示Fast RCNN 检测网络结构框图，ROI pooling网络根据区域提议信息对来自于共享卷积层的特征图进行下采样,生成7】维的特征，每个建议框内的特征均对应了一个7】·12维度的特征矩阵,作为全连接层的输入，经全连接层输出4 096维特征向量，分类训练后可输出：① 目标得分，即该目标提议框内某类缺陷的可能性(01)；② 目标对象(缺陷)所在提议框的修正，用2个平移和2个缩放共4个参数表示。

RPN网络和Fast-RCNN网络都需要采用VGG16网络提取特征图进行初始化，Faster RCNN图像识别系统的具体训练方法分为以下4步。

(1) VGG16预训练，采用包含1 400万幅图像的ImageNet数据集(Large Scale Visual Recognition Competition所采用的数据集)对VGG16网络进行预训练，使网络具备提取图片的边缘轮廓、局部能量等特征的能力。

(2) RPN单独训练,用D扫描图像构建图像训练集，但D扫描图像与预训练图像集ImageNet无论是类别、数量还是图像样式都存在很大的差别。在用D扫描图像集训练RPN网络时，直接用上一步预训练的VGG16初始化RPN，使用反向传播算法及D扫描图像对区域提议网络进行调优,使网络具备区分D扫描图像背景和目标的能力。

(3) Faster RCNN单独训练,Faster RCNN检测网络也利用VGG16预训练模型初始化，使该网络具备分类识别ImageNet图像类型的能力。通过预先标记的D扫描图像,利用反向传播法对该检测网络进行微调。

(4) RPN和Faster RCNN联合训练,分别单独训练RPN网络及Fast RCNN网络,并不能实现卷积网络的参数共享。联合训练方法如下：首先利用Fast RCNN检测网络初始化RPN网络，并固定共享深度卷积层，对RPN网络的专有部分进行调优(Fine-tuning)，这样两个网络就共享了深度卷积层；最后，固定共享的卷积层，对Fast RCNN的专有层(全连接层)进行调优。这样，两个网络就共享了卷积层并形成了一个联合的网络。

4 网络优化及识别效果分析

4.1 样本扩展及建议框优化

材料的几何形状、焊缝组织结构和检测环境容易使D扫描图中出现噪声条纹和界面波条纹，这些条纹容易与缺陷条纹混淆，降低检测效率和准确性。为使算法更有效地区分缺陷图像、界面波条纹及噪声条纹，在识别时，这些条纹可看作缺陷的背景[15]。网络训练过程应先采用ImageNet样本集对网络进行预训练，使网络具备初步的目标图像的识别能力，再采用焊缝的D扫描图像对网络进行训练调优。由于焊缝试样有限、D扫描检测图像样本较少，而调优训练样本较少易导致过拟合。因此，应采用试验方法扩充D扫描图像样本。① 对同一试样进行多检测参数(探头频率、楔块角度、PCS)的超声TOFD-D扫描，获得多个训练样本图像；② 采用相反的扫描方向进行D扫描成像，获得两幅方向相反、特征相同的扫描图像。图像扩充方法不仅有利于扩充训练集、避免过拟合，还可增强系统的抗噪声能力和鲁棒性。经扩展后的缺陷图像样本共537张(提取自20块焊缝试样、70个典型焊缝缺陷、7～8种检测参数)；其中，207张图像用作网络调优的训练集，129张图像作为验证集，201张图像用作测试集。上述训练集、测试集、验证集分别用于训练网络权值、测试最终的网络性能、调整学习速率(权值调整步进)和停止训练。此外，验证集还用于调整学习速率，当整个网络对验证集拟合程度较差时应调大学习速率,而拟合较好时则调小学习速率，直到网络在验证集上的误差达到一定阈值时停止训练。

图片像素越高，可提取的细节特征越多，但面临的计算量也将显著增大。试验表明：RPN网络矩形建议框在图像宽度(深度)范围内分布600像素即可满足要求。根据缺陷D扫描图像特征统计显示,缺陷图像宽高比一般为1…1和2…1两种。因此，为了进一步降低训练和识别时间，在RPN网络训练中设置初始目标框架宽高比为1…1和2…1，即考虑到宽度方向的像素<600，图像中任意位置的区域提议框尺寸为128×128,256×256,256×128,512256共4种，即k=4，目标建议框示意如图7所示。

图7 目标建议框示意

需要注意的是,目标预测网络输出1…1和2…1两种宽高比的框架，在经RPN网络中的坐标预测回归网络调整位置和缩放比后，最终的框架宽高比可能为任何比例，但其宽度方向的像素保持为小于或等于600。

4.2 识别效果分析

Faster RCNN网络对焊缝缺陷识别的效果如图8所示，设定建议框颜色,区分缺陷类型,夹渣为黄色、气孔为绿色、未焊透为白色、未熔合为灰色、裂纹为红色，建议框的左上角显示缺陷类型及置信度(01)。图8为N6试样在5 MHz 70°和10 MHz 70°探头检测条件下的D扫图像的Faster RCNN识别效果。图8(a)、8(b)为含裂纹及气孔焊缝试样的D扫描识别效果，两种检测条件下裂纹的识别置信度均达到1，气孔的置信度则有0.11的差异；图8(c)、8(d)为含气孔及未熔合的焊缝D扫描识别效果，两种试验条件下的缺陷识别效果相同，均达到最高为1的置信度。识别结果表明：由检测参数引起的D扫描图像的细节差异对识别效果的影响较小，Faster-RCNN方法具有很好的缺陷识别能力、鲁棒性及抗干扰能力。

由于Faster RCNN方法的识别结果是提议框中某类缺陷的置信度，因此设置信度高于0.7时为该类缺陷,低于0.7则为无法识别。设识别率R为该类缺陷被正确识别数与该类缺陷验证样本数的比值。表1列出了各类缺陷的识别效果统计，除48个气孔样本中有1个被误识为裂纹外，其余缺陷均未被误识。

图8 Faster RCNN网络对焊缝缺陷识别的效果

图9 识别错误结果分析

表1 各类缺陷识别效果统计

需要注意的是，验证样本中出现了噪声条纹和界面波被误识为缺陷的情况。表2显示有2个噪声条纹样本和2个界面波样本被误识为未焊透，7个界面波样本被误识为夹渣，4个噪声条纹样本被误识为气孔，未熔合无误识。

表2 缺陷误识数统计

图9(a)显示白色提议框框住了缺陷与底波，被误判为未焊透；图9(b)显示白色提议框框住了直通波，被误识为未焊透，黄色提议框框住了底波条纹附近的噪声干扰,被误识为夹渣；图9(c)中红色建议框中的噪声条纹被误识为裂纹；图9(d)中由绿色提议框框住的噪声条纹被误认为是气孔。实际识别中，可通过分析缺陷位置的分布特点来避免由界面波引起的误识。然而，很难判断噪声条纹引起的裂纹及气孔，因此识别前，信号及图像的去噪是非常必要的。

5 结论

(1) 分析焊缝典型缺陷，如裂纹、气孔、夹渣、未焊透、未熔合的超声TOFD-D扫描图像特征，发现缺陷的几何形状与D扫描图像密切相关，通过图像特征可识别缺陷类型。

(2) 基于多层卷积神经网络输出D扫描图像特征，输入至区域提议网络和检测分类网络构成Faster RCNN网络，并对图像样本及建议框范围进行优化配置，经训练后可实现缺陷类型的自动识别，并具有较高的识别率、鲁棒性及抗干扰能力。

(3) 缺陷自动识别网络的识别效果显示：各类缺陷间的识别和区分能力较好，由界面波及背景噪声形成的干扰条纹对裂纹及气孔的识别有一定影响；界面波可通过识别区域的位置避免误识；而对于噪声干扰，则建议对图像进行识别前的滤噪处理。

基于Faster-RCNN的焊缝TOFD扫描图像缺陷类型的自动识别技术，可有效提高对焊缝典型缺陷类型识别的效率和准确性，对于降低检测人员主观因素干扰和工作强度具有重要的应用价值。