基于改进Faster R-CNN的地铁车辆焊缝缺陷检测

钟嘉俊，贺德强，苗剑，陈彦君，姚晓阳

基于改进Faster R-CNN的地铁车辆焊缝缺陷检测

钟嘉俊1，贺德强1，苗剑1，陈彦君1，姚晓阳2

(1. 广西大学 机械工程学院，广西 南宁 5 30004；2. 中车株洲电力机车研究所有限公司，湖南 株洲 412001)

地铁列车的焊接缺陷严重威胁到列车运行安全，针对目前地铁车辆铝合金车体焊缝检测存在漏检错检问题，提出一种基于改进Faster R-CNN识别焊缝缺陷的方法。运用ABAQUS对铝合金车体焊缝缺陷进行建模仿真，获得多组同类缺陷信号图。基于Faster R-CNN框架对缺陷进行分类，并引入Unet模型和Resnet模型对原始Faster R-CNN框架进行改进，以提高识别精度。对人为添加噪声的信号图进行检测，以验证本文模型的鲁棒性。研究结果表明：改进后的模型对于铝合金车体焊缝缺陷检测具有更高的识别率和鲁棒性。

地铁车辆；Faster R-CNN；无损检测；Lamb波；焊缝缺陷

铝合金具有高强度和良好的加工成形性，是地铁车辆的主要材料，地铁列车铝合金车体的焊接方法主要为MIG焊接、TIG焊接和搅拌摩擦焊。铝合金相较于地铁车体的其他材料，如不锈钢等，其焊接过程具有更多的难点，在进行铝合金焊接时，铝材容易膨胀变形。搅拌摩擦焊技术的出现降低了焊接铝材残次品的概率，但是搅拌摩擦焊技术也会产生未焊透、气孔等缺陷[1−5]。目前对于铝材缺陷的检测，主要依靠人工检测，检测效率低下并且容易出现误判和漏判，为解决人工检测方法的局限性，人工智能算法开始应用于无损检测领域[6−7]。WAN等[8]探讨了动态电阻和焊缝焊接质量的关系，提出随着焊接电流变大，电阻下降，焊接质量和最终电阻大小有直接关系。Nirbhay等[9]探讨了微裂纹对Lamb波传播的影响，提出焊缝存在微裂纹时，Lamb波的偶次谐波会随着传播距离振幅增长。Kim等[10]利用超声波相控阵对奥氏体不锈钢的焊缝进行检测，对焊缝内部的人工缺陷能够精确识别并定位。超声波缺陷检测技术已受到国内外学者广泛关注，研究成果表明该方法可实现缺陷的识别，但目前未考虑对缺陷进行定量分析。图像数据提取技术已被研究人员用于焊缝检测，陈尧等[11]利用PCI算法对TOFD图像的数据进行提取，通过动态加权处理改善TOFD图像像素，增强缺陷信噪比，提高后处理图像的虚拟聚焦效果，使横向分辨率提高，有助于精准定位缺陷位置。有研究学者关注超声波传播失真造成的定位误差，Metwally等[12]使用时间反转法与聚焦法，恢复超声波在不同介质中传播所造成的失真，进行拓扑成像后能精准定位缺陷位置。近年来，随着人工智能技术的发展，国内外学者开始把人工智能技术和焊接检测结合起来，Murta等[13]利用机器学习算法对焊缝TOFD检测信号图进行分类，实验表明能够把未焊透缺陷和气孔缺陷的分类准确率达到85%。Muniategui等[14]开发了一种深度学习方法，通过应用模糊分类算法，能够加快从点焊生产图提取特征的速度并且降低图片储存要求。CHU等[15]利用机器学习的方法，对使用激光探测的焊接缺陷进行分类处理，通过中值滤波器分割提取特征，实验表明检测精度符合焊接质量检测要求。杨敬等[16]针对奥氏体不锈钢焊缝，利用射线追踪法确定超声波传播路径，通过全聚焦成像法对焊缝缺陷进行定位。Nowers等[17]使用A*路径寻找算法对超声波传播路径进行追踪，研究不同缺陷下的焊缝各向异性分布的振幅，实验结果表明他们研究的模型能够有效模拟各向异性奥氏体不锈钢焊缝。ZHANG等[18]使用超声波聚焦技术，验证了在奥氏体不锈钢中，缺陷回波和新生成的二次谐波具有一定的相位差。张聪颖[19]利用CIVA仿真软件探索了超声波干涉与聚焦问题。彭鸽等[20]研究了Lamb波对材料进行缺陷检测时对传感器位置优化的思路。现阶段对使用铝合金搅拌摩擦焊技术的焊缝进行质量检测的方法主要为超声波探伤、射线探伤、磁粉探伤和渗透探伤。地铁车辆铝合金搅拌摩擦焊在焊接过程中，如果出现摩擦热输出不足或者焊接速度过快，就会造成铝材和焊条的不完全连接，从而产生裂痕缺陷；铝材表面有氧化膜则会导致铝合金焊接出现气孔。本文针对铝合金搅拌摩擦焊的气孔缺陷和裂痕缺陷，利用超声Lamb波进行主动激发检测，结合深度学习图像分类的方法，对缺陷进行定量分析。

1 Lamb波特性和铝型材建模

超声Lamb波检测是超声波无损检测的一种检测方式，因其能一处激发大面积传播，所以Lamb波检测相对于常规检测方式具有快速、高效的特点，适合对板状结构进行无损检测。ABAQUS可以进行许多工程领域问题的分析，例如热传导、质量扩散、声学分析、压电介质分析，其可以仿真超声波Lamb波在铝型材的传播过程。本次仿真在使用有限元仿真软件ABAQUS仿真焊接缺陷时，每次仿真只设计一种人工焊接缺陷，进行多次仿真，以获得同类缺陷的不同缺陷信号图。

1.1 Lamb波频散特性

Lamb波有对称模式和反对称模式，其具有频散特性，绘制Lamb波频散曲线能够直观表示板中各种模态波的相速度、群速度和频率互相的关系，能够极大的方便仿真参数的选择。在自由边界情况下，各向同性材料薄板的Lamb波表面波频散方 程为：

式中：c和c为Lamb波的相速度和群速度。根据式(1)和式(2)可以算出铝型材的横波波速c= 3 090 m/s，铝型材的纵波波速c=6 390 m/s。式(1)中，幂次取+1和−1分别表示Lamb波的对称和反对称模式。利用图解法和二分法，用c，c和c将整个区间分为4个区，分别对对称模态和反对称模态进行求解，在MATLAB中画出群速度和相速度的频散曲线，如图1和2所示。

(a) 群速度；(b) 相速度

(a) 缺陷分布设计；(b) 铝型材气孔缺陷示例；(c) 裂缝缺陷示例；(d) Lamb波衍射现象

1.2 地铁铝合金车体材料特性

本仿真采用了与地铁车辆牵引梁相同的材料EN AW 6082-T6进行仿真，6082铝材特性如表1所示，能够模拟真实情况下6082铝材出现缺陷时的信号图特点。

利用正弦信号加载窗函数对正弦信号进行数据提取，以获得Lamb波数据，Lamb波激励信号为：

式中：f为激励信号的中心频率；为激励信号传播时间；为正弦波周期。

激励信号中心频率为150 kHz时，信号能量较为集中，因此本文选取中心频率为150 kHz经汉宁窗调制的五周期正弦波信号为激励信号，在MATLAB软件中构建的激励信号以表格的形式导入ABAQUS中。

表1 6082铝材料特性

1.3 焊缝缺陷特征

通过ABAQUS软件构建地铁车辆车体铝合金牵引梁，该铝合金型材的材料特性如表1所示，在铝型材上添加缺陷。在ABAQUS中构建长300 mm，宽200 mm，厚度4 mm的长方形局部铝合金区域。激励信号设置在铝型材的处，接收传感器设置在B处。在铝型材上按照图2(a)所示*位置设置气孔，在*位置上交替设置气孔缺陷，缺陷直径分别为2 mm和3 mm，一共设置28个不同位置、不同大小直径的气孔。每次仿真只设置一个气孔缺陷，结合尺寸和位置，如图2(b)气孔例子所示，可以生成28个不同的模拟气孔仿真信号图。

在铝型材上按照图2(a)所示*位置设置裂缝，在*位置上交替设置裂缝缺陷，缺陷长度为10 mm和12 mm，裂缝宽度设置为长度的十分之一。设置28个不同位置、不同大小直径的裂缝。每次仿真设置一个裂缝缺陷，如图2(c)裂缝缺陷例子所示，可以生成28个不同的模拟裂缝仿真信号图。

根据惠更斯原理，当铝型材出现缺陷时，Lamb波传播经过缺陷位置会发生衍射现象。此时裂缝缺陷位置可以近似看成一个新的波源，由于裂缝一般小于波长，所以会发生较为明显的衍射现象。如图2(d)所示，衍射后传感器接收到3个波峰信号：激励波信号、缺陷发生的衍射反射信号、边界反射 信号。

(a) 正常铝型材信号图；(b) 裂缝缺陷信号图；(c) 气孔缺陷信号图

图3(a)为正常铝型材的信号图，图3(b)中显示裂缝缺陷传感器接收到的3个波。激励波在经过裂缝缺陷时发生反射，裂缝缺陷的第一个到达波的幅值比正常铝型材的第1个到达波幅值更小，相比正常铝型材增加了缺陷反射波，边界反射波相对于正常铝型材的幅值也更小。

选取与裂缝缺陷相同位置的气孔缺陷作为对比试验，图3(c)为气孔缺陷信号图。通过对比两信号图发现：气孔信号图的第1个到达波的幅值比裂缝缺陷的第1个到达波的幅值大，第2个到达波的幅值相等，没有第3个到达波。产生这一现象的原因是气孔缺陷本身体积小，激励波在传播经过气孔缺陷时发生反射的波少，第1个到达波因为激励波传播经过气孔缺陷过程中反射少，能量损失少，所以气孔的第1个到达波幅值更大；气孔的缺陷反射波比较小并和边界反射波融合，最后传感器只接收到了2组到达波。气孔缺陷上的第1个波和第2个波均小于正常铝型材上传感器收集到的2个波。

2 图像分类算法

数据集采用2种不同算法进行分类：YOLO V2算法，YOLO V2在保证识别速度的情况下，识别准确率高，YOLO V2框架简单，在进行训练时花费时间少，训练速度快；Faster R-CNN算法，Faster R-CNN在优先保证高准确率的情况下，识别速度较快，训练时间比YOLO V2长。

传感器接收到的缺陷信号图相较于光学图像有以下特点：1) 从图像颜色分析，缺陷信号图是以白色为底，蓝色线条构造出波峰和波谷。没有光学图像那么丰富的色彩信息，也没有多姿多彩的不同背景。进行训练时模型需要考虑鲁棒性，避免过拟合。2) 缺陷信号图没有不同距离的尺寸变化，不需要使用FPN、SSD获取多尺度模型特征。3) 缺陷信号图的识别区域固定、信号类似，使用传统图像识别算法容易出现过拟合。

Faster R-CNN算法分为2部分，一部分为RPN网络提取感兴趣的区域；另一部分为Fast R-CNN目标检测模块损失函数：

图4 Faster R-CNN算法流程图

3 数据处理

3.1 数据集的构建与评价指标

进行模型训练前，首先把用于训练的缺陷信号图利用批量重命名程序统一命名为一串6位数的数字，例如，000 000.jpg和000 001.jpg。并将重命名好的图片，按照不同分类放入不同类别的文件夹目录。

对信号图使用基于pyqt4的工具进行标注，每标注一个信号图，会生成相应的XML文件。信号图和XML文件一一对应。XML文件记录了对应图片的作者、文件名、数据库来源、类别和bounding box坐标信息。将标注好的信号图，使用python程序进行随机分配到训练集、验证集和测试集，训练集+验证集占整体数据集的70%，测试集占整体数据集的30%，训练集占训练集+验证集里的50%，验证集占训练集+验证集里的50%。具体分配情况可见表2。

表2 数据集中数据分配

针对气孔和裂缝的识别，将测试集的结果分为4类，TP表示正确识别的正类样本数(当判定缺陷识别结果为气孔时，实际缺陷是气孔；当判定缺陷识别结果为裂缝时，实际缺陷是裂缝)，TN表示正确识别的负样本数(当判定缺陷识别结果不包含气孔时，实际缺陷不是气孔；当判定缺陷识别结果不包含裂缝时，实际缺陷不是裂缝)，FP表示错误识别的正样本数(当判定缺陷识别结果为气孔时，实际缺陷不是气孔；当判定缺陷识别结果为裂缝时，实际缺陷不是裂缝)，FN表示错误识别的负样本数(当判定缺陷识别结果不是气孔时，实际缺陷是气孔；当判定缺陷识别结果不含有裂缝时，实际缺陷是裂缝)。模型评价使用准确率()，精准率()和召回率()3个评价指标对模型进行评价，三者计算的公式如下：

3.2 模型训练

开发环境建立在深度学习框架Pytorch上，模型训练和测试使用YOLO V2框架和Faster R-CNN框架，均为Python版本，使用大型神经网络VGG-16和ResNet-50作为基本网络模型，目标检测框架基于Faster RCNN，在此基础上作了改进。整个训练使用1块GeForce GTX 1060，通过SGD优化，累计训练5个epoch。学习率为0.001，当loss值连续3次出现迭代后反而增加时，自动将0.1*当前学习率继续迭代，当学习率为0.00001时会自动提前终止训练。Batch size设定为4，动量设为0.9。

3.3 与其他网络框架的对比

YOLO V2框架使用的模型为DarkNet，训练10个epoch。表3列举了YOLO V2模型，Faster R-CNN模型，Faster R-CNN-ResNet50模型和本文基于Faster R-CNN改进后的框架的对比，其中YOLO V2使用的网络为DarkNet，Faster R-CNN使用的网络为VGG16，Faster R-CNN-ResNet50使用的网络为Resnet50，本文改进的模型使用的网络为基于Resnet改进的U-net模型Res-Unet。

表3 模型性能及仿真结果

由表3中可知，YOLO V2识别速度最快，但准确率最低。因为YOLO V2网络将检测问题转化成了回归问题，不同于Faster R-CNN先通过一个RPN网络提取框，再进行分类；YOLO V2直接使用7*7网格对图片进行划分，每个网格输出预测两类物体的概率，最后综合所有网格的输出结果进行分类。并且Faster R-CNN网络检测使用滑动窗口机制，最终检测出的物体候选区域远多于YOLO V2网络，所以Faster R-CNN网络检测精度高于YOLO V2，检测速度则慢于YOLO V2。通过Faster R-CNN模型和YOLO模型的比较，Faster R-CNN模型充分发挥了其性能，其在图像特征提取和对数据进行分类方面具有潜力，体现了其具有更好的泛化性。

为进一步测试本文改进的Faster R-CNN的性能，本文详细对比了3种Faster R-CNN模型对每个缺陷的识别效果，结果如表4所示。

综上所述，Faster R-CNN-Res-Unet相比Faster R-CNN，YOLO V2和Faster R-CNN-ResNet50，提升了准确率、精确率和召回率，ResNet50相比于VGG16有着更深的网络，准确率更高，Res-Unet相对于ResNet50显著提升了识别速度。在对目标图形分辨率为3216*2461的情况下，识别速度为42 ms一张，在需要保证高准确率的情况下，能够满足实际中快节奏生产的要求。

表4 模型检测精度对比

测试图片经过算法识别后，部分识别结果统计如图5所示。将人为添加噪声后的缺陷信号曲线使用Faster R-CNN识别，在没有预先进行添加噪声训练的情况下，能够识别出裂缝缺陷，证明本次训练模型具有较强的鲁棒性。

(a) 气孔缺陷；(b) 裂缝缺陷；(c) 噪声裂缝缺陷

4 结论

1) 使用Unet模型和Resnet模型作为特征提取器改进原始Faster R-CNN模型，改进后的模型具有更深的神经网络，对检测信号特征提取能力更好。将改进后的模型对6082铝材裂痕缺陷信号图和气孔缺陷信号图进行检测，识别率达到97%，与原始Faster R-CNN模型相比，准确率提升8%，精准率提升5%，召回率提升7%。

2) 改进后的模型可以消除噪声的影响，实现铝型材的缺陷检测，适用于轨道交通车辆焊缝缺陷检测。

3) 在实际Lamb波检测中，传感器和被测件会存在耦合不一致，各被测件的信号图不可避免的存在差异，后续工作将进一步减弱这些因素的影响，提高检测的鲁棒性。

[1] 刘玉龙. 轨道车辆板材搅拌摩擦焊接残余状态仿真研究[D]. 大连: 大连交通大学, 2018. LIU Yulong. Study on residual state simulation of FSW for rail vehicle plates[D]. Dalian: Dalian Jiaotong University, 2018.

[2] 徐国富, 段雨露, 钱健, 等. Al-Mg-Mn-Sc-Zr 合金搅拌摩擦焊接头显微组织、力学性能及腐蚀性能[J]. 中国有色金属学报, 2017, 27(2): 225−233. XU Guofu, DUAN Yulu, QIAN Jian, et al. Microstructure, mechanical properties and corrosion properties of friction stir welded Al-Zn-Mg-Sc-Zr alloy[J]. The Chinese Journal of Nonferrous Metals, 2017, 27(2): 225−233.

[3] 刘会杰, 李金全, 段卫军. 静止轴肩搅拌摩擦焊的研究进展[J]. 焊接学报, 2012, 33(5): 18−22. LIU Huijie, LI Jinquan, DUAN Weijun. Progress in the stationary shoulder friction stir welding[J]. Transactions of the China Welding Institution,2012, 33(5): 18−22.

[4] 赵雪梅. 铝合金搅拌摩擦焊接头超声信号特征与质量评价方法[D]. 哈尔滨: 哈尔滨工业大学, 2010. ZHAO Xuemei. Ultrasonic signal features and quality evaluation method of friction stir welded joint of aluminum alloy[D]. Harbin: Harbin University of Civil Engineering and Architecture, 2010.

[5] Khan N Z, Khan Z A, Siddiquee A N, et al. Analysis of defects in clean fabrication process of friction stir welding[J]. Transactions of Nonferrous Metals Society of China, 2017, 27(7) :1507−1516.

[6] 李宁, 卢子广. 基于支持向量机的焊缝缺陷类型识别研究[J]. 现代制造工程, 2017(10): 106−109. LI Ning, LU Ziguang. Type recognition of weld defects based on support vector machines[J]. Modern Manufacturing Engineering, 2017(10): 106−109.

[7] Martin O, Lopez M, Martin F. Artificial neural networks for quality control by ultrasonic testing in resistance spot welding[J]. Journal of Materials Processing Technology, 2007, 183(2−3): 226−233.

[8] WAN X, WANG Y, ZHAO D, et al. Weld quality monitoring research in small scale resistance spot welding by dynamic resistance and neural network[J]. Measurement, 2016( 99):120−127.

[9] Nirbhay M, Dixit A, Misra R K. Finite element modelling of Lamb waves propagation in 3D plates and brass tubes for damage detection[J]. Russian Journal of Nondestructive Testing, 2017, 53(4): 308−329.

[10] Kim G H, Park C K, Jin S W, et al. Qualification of phased array ultrasonic examination on T-joint weld of austenitic stainless steel for ITER vacuum vessel[J]. Fusion Engineering and Design, 2016, 109:1099−1103.

[11] 陈尧, 冒秋琴, 石文泽,等. 基于相位相干性的厚壁焊缝TOFD成像检测研究[J]. 机械工程学报, 2019, 55(4): 42−49. CHEN Yao, MAO Qiuqin, SHI Wenzhe, et al. Research on ultrasonic TOFD imaging inspection for heavy-walled weld based on phase coherence characteristics[J]. Journal of Mechanical Engineering, 2019, 55(4): 42−49.

[12] Metwally K, Lubeigt E, Rakotonarivo S. Weld inspection by focused adjoint method[J]. Ultrasonics, 2018(83): 80– 87.

[13] Murta R H F, Vieira Flávison de A, Santos V O, et al. Welding defect classification from simulated ultrasonic signals[J]. Journal of Nondestructive Evaluation, 2018, 37(3): 40−50.

[14] Muniategui A, Heriz B, Eciolaza L, et al. Spot welding monitoring system based on fuzzy classification and deep learning[C]// IEEE International Conference on Fuzzy Systems. IEEE, 2017.

[15] CHU H H, WANG Z Y. A study on welding quality inspection system for shell-tube heat exchanger based on machine vision[J]. International Journal of Precision Engineering and Manufacturing, 2017, 18(6): 825−834.

[16] 杨敬, 吴斌, 焦敬品, 等. 各向异性焊缝缺陷超声阵列全聚焦成像方法[J]. 声学学报, 2019, 44(1): 127−137. YANG Jing, WU Bin, JIAO Jingpin, et al. Total focus imaging of defects in anisotropic welds using ultrasonic array[J]. Acta Acustica, 2019, 44(1): 127−137.

[17] Nowers O, Duxbury D J, Drinkwater B W. Ultrasonic array imaging through an anisotropic austenitic steel weld using an efficient ray-tracing algorithm[J]. Ndt & E International, 2016(79): 98−108.

[18] ZHANG S, LI X, Jeong H, et al. Theoretical and experimental investigation of the pulse-echo nonlinearity acoustic sound fields of focused transducers[J]. Applied Acoustics, 2017(117): 145−149.

[19] 张聪颖. 超声相控阵检测系统图像处理和成像技术的研究[D]. 天津: 天津大学, 2010. ZHANG Congying. Study on image processing and imaging technology of the ultrasonic phased array testing system[D]. Tianjin: Tianjin University, 2010.

[20] 彭鸽, 袁慎芳. 主动Lamb波监测技术中的传感元件优化布置研究[J]. 航空学报, 2006, 27(5): 957−962, 777. PENG Ge, YUAN Shenfang. Optimization for collocation of sensors in active lamb wave-based monitoring[J]. Acta Aeronautica Et Astronautica Sinica, 2006, 27(5): 957−962, 777.

Weld defect detection of metro vehicle based on improved faster R-CNN

ZHONG Jiajun1, HE Deqiang1, MIAO Jian1, CHEN Yanjun1, YAO Xiaoyang2

(1. College of Mechanical Engineering, Guangxi University, Nanning 530004, China; 2. CRRC Zhuzhou Institute Co., Ltd, Zhuzhou 412001, China)

The safety of train operation is seriously threatened by welding defects. In order to solve the problem of missing detection and wrong detection in aluminum alloy body weld of metro vehicles, a method based on improved Faster R-CNN is proposed in this paper. Firstly, the weld defects of aluminum alloy car body were simulated by Abaqus, and several groups of similar defects were obtained. Then, defects are classified based on the Faster R-CNN framework, and Unet model and Resnet model are introduced to improve the original Faster R-CNN framework to improve the recognition accuracy. Finally, the noise signal graph is detected to verify the robustness of the model. The simulation results show that the improved model has a higher recognition rate and robustness for Aluminum car body weld defect detection.

metrovehicles; Faster R-CNN; nondestructive testing; Lamb wave; weld defect

U279.4

A

1672 − 7029(2020)04 − 0996 − 08

10.19713/j.cnki.43−1423/u.T20190716

2019−08−11

国家自然科学基金资助项目(51765006)；广西自然科学基金重点资助项目(2017JJD150010)

贺德强(1973−)，男，湖南桃江人，教授，博士，从事列车故障诊断与智能维护、列车网络与控制等研究；E−mail：hdqianglqy@126.com

(编辑 蒋学东)