深度迁移学习下的船舶焊接表面缺陷智能检测系统

胡晓轩， 甄希金， 朱 琦， 王 浩

(1.上海船舶工艺研究所，上海 200032；2.上海申博信息系统工程有限公司，上海 200032)

0 引 言

船舶焊接占船舶制造30%～40%的工作量[1]，在中小组立生产线上存在多种工艺类型的焊接，大致可分为手工焊、机器焊、机器人焊，每一种工艺类型所产生的焊接表面质量不一，基本采用人工检查，工作量较大且检测准确度依赖人工经验，检测效率不高。

近年来，随着人工智能中的深度迁移学习框架的快速发展，基于图像的缺陷目标检测越来越多应用于各行各业。刘梦溪等[2-3]通过改进深度学习中的卷积神经网络(Convolutional Neural Network，CNN)结构及算法，提高焊接缺陷识别率达93.26%；HOU等[4]在神经网络的改进过程中使用时滞细胞神经网络(Delayed Cellular Neural Network，DCNN)模型对x-射线焊接缺陷分类，分别为小孔、裂纹、未熔合、未焊透，识别率为97.2%。结果表明深度学习对焊接特征识别具有较高精度。

1 总体设计

焊接表面缺陷均含有独有的特征，首先需要采集大量手工焊和机器人焊的图像样本，对表面特征进行分析；然后通过选择合适的深度迁移学习方法，设计合理的深度迁移学习模型作为模型层；最后建立船舶焊接表面缺陷智能检测系统，在系统中调用检测算法，实现焊接表面缺陷的批量检测。

根据船厂的生产制造特点，提出以车间焊接中小组立生产线为对象的研究框架(见图1)，通过现场专用摄像机采集焊接表面图像数据，这些样本数据一部分作为训练集，一部分作为测试集，传输至上层的船舶焊接表面缺陷智能检测系统，进行模型的深度迁移学习；完成训练的模型经部署可使用日常的采样数据进行再学习，不断优化检测模型，检测结果通过船舶焊接表面缺陷智能检测系统进行展示。

图1 深度迁移学习下的船舶焊接表面缺陷智能检测系统研究框架

2 深度迁移学习下的船舶焊接缺陷目标检测方法

2.1 深度迁移学习

深度学习对数据具有较大的依赖性，在焊接机器人领域，由于工况较复杂且成本高，难以获取数量庞大的标注数据集，因此在很大程度上限制深度学习的使用和发展，而结合迁移学习则可作为解决焊接缺陷学习样本不足的手段之一。根据深度迁移学习中的不同迁移学习技术，可将深度迁移学习分为4类：基于实例(Instance-based，IB)深度迁移学习、基于映射(Mapping-based，MB)深度迁移学习、基于网络(Network-based，NB)深度迁移学习和基于对抗(Adversarial-based，AB)深度迁移学习。

2.2 船舶焊接缺陷目标检测

SqueezeNet[5]、MobileNet[6]、Xception[7]、ShuffleNet[8]、MobileNet V2[9]、ShuffleNet V2[10]等属于较轻量级模型，在优化CNN卷积层计算方式上起到作用，较大程度地提高CNN的效率。以MobileNet V2模型和焊接缺陷图像特征引入DropBlock方法优化神经网络，生成DBMobileNet V2[11]模型，基于该模型进行焊接表面缺陷目标检测及焊接表面质量评估。

根据《承压设备无损检测》和《钢的弧焊接头缺陷质量分级指南》，常见焊接缺陷类型包括裂纹、焊瘤、焊穿、弧坑、气孔、夹渣、咬边、未熔合、未焊透等，如图2所示。

图2 常见焊接缺陷类型

图像类别可通过图像分类任务进行区分。目标检测是对图像中的某类别物体进行标记，用边界框标记物体的位置和大小。目标检测算法分为3类：单级(one-stage)类，包括YOLO V1、SSD、YOLO V2、RetinaNet和YOLO V3；双级(two-stage)类，包括Fast R-CNN和Faster R-CNN；多级(multi-stage)类，包括R-CNN和SPP-Net。在检测速度测试中，单级类算法较为优异，但在检测准确度方面不及双级类，而多级类已逐渐被边缘化。

2.3 YOLO V3算法

YOLO V3算法是YOLO算法和YOLO V2算法的改进版。YOLO V3算法在COCO数据集上均值平均精度(mean Average Precision，mAP)的指标mAP-50比YOLO V2算法高13.9%，检测速度是R-CNN算法的1 000倍、Fast R-CNN算法的100倍，在输入尺寸为416×416像素时检测速度可达29 ms/frame。

Darknet-53是YOLO V3算法的主干网络，主要用于特征提取，采用Leaky ReLU作为激活函数，通过使用残差网络提高特征提取的准确率。针对船舶焊接表面缺陷目标较小的情况，在YOLO V3算法中，YOLO负责对焊接缺陷图像尺寸进行预测，Darknet-53用于提取缺陷特征。经多尺寸卷积和上采样，Darknet-53输出特征图，进行标准卷积运算。经Darknet-53特征提取处理的焊接表面缺陷预测图像如图3所示。

图3 焊接表面缺陷预测图像

对于焊接缺陷而言，YOLO V3算法在特征提取部分采用提取多特征层进行目标检测：特征层分为3层，即位于Darknet-53的中间层(52,52,256)、中下层(26,26,512)和底层(13,13,1024)；焊接图像分为13×13网格、26×26网格和52×52网格，每个网络点负责1个区域对焊接缺陷进行检测，预测结果对应3个预测框，通过reshape函数得到结果为(N,13,13,3,85)、(N,26,26,3,85)和(N,52,52,3,85)。YOLO V3算法通过解码将每个网络点加上其对应的偏移量x_offset和y_offset得到预测框的中心，再计算预测框的长和宽，即可得到焊接缺陷的具体位置。激活函数可在模型上增加标签，在焊接检测中可将气孔、夹渣等作为标签，从而使模型进行对象识别。

3 船舶焊接表面缺陷智能检测系统功能设计

系统设计采用msSQL 2016作为数据库服务器，并使用.net core跨平台框架和ABP开发框架进行服务端开发，以此提高服务端的稳定性和功能完整性。前端界面使用AngularJS 8.2.5框架及Bootstrap框架进行页面设计。系统包括登录、数据预处理(数据清洗、图像优化)、批量检测(一键检测、图形化展示)、检测参数管理(参数设置、模型管理)和权限管理(用户管理、角色管理、系统管理)等模块。系统模块功能如表1所示。

表1 系统模块功能

目前，已在船厂中小组立智能焊接生产线试验焊接表面缺陷智能检测系统，对传统焊机、手工焊机、智能焊接机器人的焊接进行检测等，如图4所示。

图4 焊接表面缺陷智能检测

船舶焊接表面缺陷智能检测系统试验检测结果如表2所示，初步达到检测预期效果。

表2 焊接表面缺陷试验检测结果 个

4 结 语

为提高船舶焊接表面缺陷检测系统的精确性和易用性，研究深度迁移学习下的船舶焊接缺陷目标检测方法，运用采用DropBlock方法进行卷积核优化的MobileNet焊接分类模型和YOLO V3算法，初步实现船舶焊接表面缺陷的智能检测，在试验阶段取得预期效果，为船舶焊接表面缺陷检测在船厂实际应用落地探索一条可行路线。