基于Fast-RCNN与结构光纵焊缝三维形态参数检测方法

陈英红，杜明坤

(1.广东省特种设备检测研究院珠海检测院，广东 珠海 519000; 2.珠海市安粤科技有限公司，广东 珠海 519000)

0 引 言

焊缝三维形态直接决定焊接位置处应力集中程度，焊缝外观尺寸检测正确性是焊后检测的一项关键内容[1]。传统焊后检测方法主要由人工使用放大镜、焊缝检验尺、棱角度尺等工具完成，存在精度低、检测周期长、无法连续性检测的现象，难以满足大批量、不同尺寸设备焊缝外观参数快速检测的需要[2]。目前国内外关于焊缝外观参数检测主要有基于机器视觉、基于线结构激光的检测方法[3-4]。TA Davis等[5]提出基于机器视觉改进背景差分法提取焊缝缺陷特征，对焊缝缺陷进行识别与归类；美国路易斯安那州立大学研究基于核改进的模糊K均值法提取焊缝特征信息，实现焊缝宽度、咬边检测[6]；文献[7]采用线激光扫描技术，通过单轮廓拟合、多轮廓组合方法计算出焊缝咬边等缺陷参数；Doyoung Chang等[8]提出使用差分检测与高斯滤波相结合算法检测焊缝特征点；文献[9]研究基于结构光的焊缝形貌检测方法，采用高斯滤波以及重心法在灰度图像上提取激光条纹中心线，并在中心线上提取焊道特征点，实现焊缝余高、宽度检测；文献[10]采用阈值分割、形态学方法，在二值图像上完成激光条纹中心线提取。上述焊缝检测方法侧重于焊缝部分参数检测，还未有焊缝三维形态全部参数(包括焊缝宽度、余高、错边量、咬边、棱角度)检测方法研究。

本文结合机器视觉、线结构激光两种焊缝外观参数检测方法，在机器视觉方面创新性地应用Fast-RCNN网络实现焊缝边缘特征提取，检测出焊缝宽度参数；在结构光方面，应用形态学处理方法提取激光条纹中心线，检测出焊缝余高、错边量、咬边、棱角度参数，从而实现焊缝三维形态全部5个参数检测。

1 基于Fast-RCNN与结构光的纵焊缝三维形态参数检测机理

根据GB150-2011《压力容器》[11]的焊缝宽度、余高、错边量、咬边与棱角度参数检测标准以及综合测量要求，设计如图1所示的纵焊缝三维形态检测模型。

CMOS工业相机与一字线激光器通过专用夹具固定，相机轴线与水平面垂直，一字线激光器出射激光面与水平线夹角为。焊缝形态参数为焊缝三维立体参数，其焊缝余高、错边量与棱角度与焊缝图像焊缝参数的三维平面参数、夹角有关。

图1 纵焊缝三维形态检测模型

图2 基于Fast-RCNN与结构光的纵焊缝三维形态参数检测流程

图2为基于Fast-RCNN与结构光的纵焊缝三维形态参数检测流程。工业相机分别在激光器关闭、打开情况下，拍摄两张焊缝图像，其中不包含激光线焊缝图像采用Fast-RCNN算法检测焊缝边缘特征，再经过滤波算法获取焊趾边界线，提取焊缝宽度特征点，即可得到焊缝宽度l；包含激光线的焊缝图像经过滤波处理，得到只存在激光条纹线灰度值图像，条纹中心线提取后，条纹中心线上极值点与焊缝宽度特征点进行比对，确定焊缝余高、咬边深度特征点信息，获得焊缝余高h、咬边深度d；根据被检圆筒半径拟合出圆弧，在条纹中心线上选取热影响区附近特征点，计算特征点到圆弧间的相对距离，即可得到焊缝错边量、棱角度e。

2 基于Fast-RCNN与结构光的焊缝三维形态参数检测方法

2.1 基于Fast-RCNN的焊缝宽度检测方法

图3为Fast-RCNN网络模型[12]，网络将整张图像、若干组对象框作为输入，网络首先使用卷积层(Conv)和最大池化层处理整个图像，以产生卷积特征图；然后对每个对象框以及特征区域(ROI)池层，从特征图中提取固定长度的特征向量；每个特征向量被输送到分支成两个同级输出层的全连接(FC)层序列中：其中一层进行分类，输出每一个ROI的概率分布；另一层输出K个对象中每一个类的精确边界(bbox)位置。

图3 Fast-RCNN网络模型图

图4为Fast-RCNN训练流程图。在工业相机拍摄的被检圆筒图像库(包含焊缝特征图像、不包含焊缝特征图像)上使用预训练网络VGG16完成对有无焊缝特征图像的分类；将训练好的VGG16网络的最后三层修改为Fast-RCNN网络结构，并将网络输入修改为图像以及图像中ROI区域两个数据输入。Fast-RCNN网络输入为带有焊缝特征框图像，与图3网络模型输入一致。

图4 Fast-RCNN训练流程图

图5为焊缝宽度流程与图像处理结果图。其中图5(a)为流程图，将待检测焊缝图像输入到Fast-RCNN网络，得到焊缝精确边界(bbox)信息；对bbox区域内进行高斯滤波处理，使用Canny边缘检测算法保留图像中焊缝两侧焊趾线、内部特征。由于两侧焊趾线并不连续，可采用图形形态学处理中的闭运算使焊趾线变得平滑，并修复焊趾线间断区域，焊缝宽度特征点为经过一系列图像处理后得到焊缝焊趾线上的每个像素点。图5(b)为每一步图像处理结果，焊缝宽度特征反映为焊缝图像上、下两焊缝宽度特征点图像中Y轴线距离，即宽度l。

2.2 基于线结构光的焊缝余高和咬边检测

焊缝余高、咬边参数通过激光条纹线反映，准确地提取高质量、清晰的激光条纹中心线是后续焊缝参数指标计算的关键。传统的基于灰度图像中心线提取方法(如重心法[13]、轮廓平均值法[14])对图像滤波要求较高、适用性差。本文采用基于二值化图像的形态学骨骼化、细化的中心线提取方法，并依据单像素点的中心线确定焊缝参数特征点。形态学处理中常见处理方法有膨胀、腐蚀处理，其本质是使用特定结构元B，对二值化图像A进行单像素处理，具体处理方法为：

图5 焊缝宽度流程与图像处理结果

图6为焊缝余高、咬边检测流程与图像处理结果图。由于激光具有较好单色性，可提取激光线图像RGB三通道中的单一通道图像作为激光线的灰度图像，若选用绿光激光器，即选用G通道图像；从灰度图像中，看出激光线区域与其他区域区别明显，采用阈值法即可得到条纹特征完整的二值化图像：

I(x,y)——灰度图像目标位置灰度值；

k——灰度阈值。

上述步骤得到激光条纹存在边缘毛刺、条纹线内部孔洞，可用形态学中开运算修整，再图像骨骼化，即得到激光条纹中心线。

图7为激光条纹中心线中焊缝余高、咬边参数特征点提取结果。根据GB150-2011中规定的焊缝余高为焊缝表面两焊趾连线上金属高度，反映在激光线条纹上特征为激光条纹线在焊缝宽度特征区域(图7中P4点、P5点之间的区域)内的横坐标极大值点(图7中P1点)，其中P4点、P5点选取规则如下：

图6 焊缝余高、咬边检测流程与图像处理结果图

图7 宽度、咬边特征点提取

(xl,yl)——激光条纹中心线坐标；

(xlP,ylP)——P4点与P5点坐标。

可得到焊缝余高特征为条纹中心线上焊缝特征极值点P1与焊缝宽度特征点P4在图像中像素坐标距离hL，P1、P5在图像中像素坐标距离hR。若存在错边焊缝的余高，取两侧测量余高平均值，得余高为激光线与水平面夹角。

GB150-2011中规定，焊缝咬边为沿焊趾母材部位产生的沟槽或凹陷，其在中心线图像中特征点反映为条纹中心上点P2与P4在图像中X轴向距离dL（上咬边深度）；P5附近的横坐标极小值焊缝宽度特征点P3、P5在图像中X轴向距离dR（下咬边深度），即可得咬边为激光线与水平面夹角。

2.3 基于线结构光的焊缝错边量、棱角度检测

GB150-2011中规定焊缝错边量为焊接时由于焊接部位变形、焊接偏差等因素造成错位、不平现象，错边尺寸、幅度即为焊缝错边量。规定焊缝棱角度为钢板卷制的筒体在纵向焊缝处与筒体圆弧相比凸起的量值，棱角度检测应用弦长等于为被检测圆筒容器直径，且不小于300 mm样板与直尺配合检测。传统圆筒容器的棱角度检测应用到不同尺寸的圆筒容器时需要分别制作指定的圆弧样板，耗时长，适用性差。

参考文献[15]中焊缝错边量、棱角度检测方法，研究基于机器视觉的焊缝错边量、棱角度新型检测方法，图8为检测方法的模型。其思路为分别选取焊缝两边热影响区外离焊趾线最近点作为特征点，根据被检圆筒容器的直径拟合出理论圆弧，检测出实际圆筒圆弧上的特征点与理论圆弧值之间的距离进而得到：

图8 焊缝错边量、棱角度检测模型

图9为焊缝图像错边量与棱角度检测示意图。点P6、P7为焊缝上下热影响区外离焊趾线最近的特征点。若直接检测难度较大，可用间接测量方法得到以点P6为例，特征点到激光线边界水平距离DL2，弦长上点P6纵坐标位置处距离理论圆弧的水平距离DL1，图像中实际错边量实际棱角度

图9 焊缝图像错边量与棱角度检测示意图

3 实验研究

使用SKT-MM500C-12A彩色工业相机(分辨率 2 592×1 944、感光元件 1/2.5″、像素 2.2 μm)以及焦距130 mm、最小线宽1 mm绿色一字线激光器，构造基于Fast-RCNN与结构光的纵焊缝三维形态参数检测系统。

图10为圆筒纵焊缝样品与原始图像。其中焊缝样品为图10(a)直径=570 mm输油管道纵焊缝；图10(b)、图(c)为激光器在关闭、打开情况下工业相机成像效果。由于测量模型中工业相机的主要成像平面为焊缝表面，可采用在焊缝检测位置处放置标准钢尺，计算图像中钢尺10 mm长度下相机拍摄图像中像素个数的方法完成相机标定工作。经过若干次标定实验，取标定结果的平均值作为标定结果，图像中单位像素间距在实际中的尺寸为0.018 mm。

图10 圆筒纵焊缝样品与原始图像

参照上面提出的焊缝5参数检测方法，应用Matlab软件完成焊缝5参数检测程序设计，表1为本文方法与使用焊缝检验尺检测结果对比表。表2为焊缝三维外观参数多次测量结果，其中焊缝宽度、余高的测量不确定度分别为0.019 mm、0.026 mm，与JJG704-2005《焊接检验尺》说明的焊缝检验尺的宽度、余高的测量不确定度0.173 mm相比，分别降低了89%、85%。

表1 焊缝5参数检测结果 mm

表2 焊缝三维外观参数检测结果 mm

4 结束语

1) 提出基于Fast-RCNN与结构光的纵焊缝三维形态参数检测方法，首先应用Fast-RCNN卷积神经网络从视觉图像中检测并定位焊缝区域、测量焊缝宽度；其次基于结构光单色性好特点，采用颜色阈值分割、形态学处理相结合方法提取激光中心线，从激光中心线沿焊缝方向的极大、极小值点计算焊缝余高、咬边深度，提取激光中心线处于焊缝热影响区部分，通过拟合标准圆弧，检测焊缝错边量与棱角度。

2) 采用工业相机与520 nm线激光器搭建纵焊缝检测平台。对直径为570 mm的输油管道的纵焊缝进行检测，能准确测量焊缝宽度、余高、咬边、错边量、棱角度等5个关键三维形态参数，焊缝宽度、余高的测量不确定度分别为0.019 mm、0.026 mm，较JJG704-2005规定的焊缝检验尺分别降低了89%、85%。

3) 应用人工智能、深度学习与机器视觉技术，建立焊缝宽度、余高、咬边、错边量、棱角度5个三维形态参数的测量模型，实现在各种光照条件下的焊缝定位、三维形态参数检测，有效地提升装置适用性。

下一步将研究装置误差补偿技术、动态测量技术，并尝试应用人工智能实现环焊缝、内部焊缝的三维形态参数检测，实现一站式全类型焊缝的视觉检测。