一种V型坡口焊缝图像处理方法及特征提取算法研究

梁立鹏，陆永华，谭 杰

(1.南京航空航天大学 机电学院，江苏 南京 210016；2.国营锦江机器厂，四川 成都 610000)

0 引 言

随着现代化智能制造技术的发展，自动化焊接得到了越来越广泛的应用[1].由于视觉传感器具有测量信息丰富、精度高且无接触的特点[2]，被广泛应用于自动化焊接的焊缝跟踪系统中，其中基于结构光的视觉传感器是最常用的一种传感器[3].在焊缝自动跟踪过程中，对焊前坡口焊缝位置的精准、高效定位是其关键技术[2，4]，会严重影响自动化焊接的质量和效率.而在实际焊接工作现场，由于焊接过程中存在大量弧光、光斑、反射噪声等干扰，实现焊缝跟踪变得十分困难，如何从采集图像中去除噪声，准确提取坡口焊缝的特征点是亟待解决的首要问题[5].提取图像感兴趣点(Region of Interest，ROI)后进行配准预处理可大大减少图形处理的复杂度[6].

在焊缝图像预处理方面，蔡志勇等[7]利用小波变换检测信号边缘的优势，提出了基于小波变换的V型坡口光条提取算法，能有效抵抗弧光的干扰，但其算法实现复杂，运行效率有待提高.常用的预处理操作还有图像滤波、边缘检测等[8].角点检测方法主要分为基于灰度图像与基于轮廓曲线的方法[9]，其中基于灰度图像的角点检测主要考虑像素邻域点的灰度变化，如Harris角点检测法[10]、Shi-Tomasi角点检测法等[11].基于轮廓曲线的角点检测主要依据轮廓曲率的变化，主要有基于曲率尺度空间(Curvature Scale Space，CSS) 的角点检测算法[12]、斜率分析法以及基于斜率变化的尖锐度角点检测法[13]等.赵亚利等[14]提出的角点检测算法不同于仅利用边缘轮廓的传统角点检测器，其结合了边缘像素灰度信息，并采用自适应全局阈值，避免了角点的误判，该算法的检测性能较优，对噪声具有稳健性.Huang等[15]在识别不同焊接接头类型的基础上对检测焊缝特征点进行了研究.

针对复杂焊缝图像特征点的提取，本文提出一种基于ROI开窗和多尺度空间卷积运算的图像预处理方法，并结合开运算和小连通域去除，差异化地消除噪声的干扰，提取出二值化光条纹.首先采用几何中心法(Geometric Center Method，GCM)细化光条纹，获得单像素宽的坡口焊缝光条，再利用局部窗口在图像上移动分析光条曲率变化，初步定位焊缝角点，进行光条区域划分，然后采用自适应宽度的二次加权重心法分段提取光条中心线，最后根据直线相交法和最小距离法提取出精确的焊缝特征点.

1 基于ROI开窗的图像预处理

金属表面大部分比较光滑，但磨削切割时会产生细微的表面纹理，激光投射于坡口焊缝上往往会发生不同程度的镜面反射和漫反射，使得采集图像上除了调制后的光条纹，还会存在较多的噪声，与此同时噪声的特性也与光条纹边缘特性相近，简单的图像预处理算法很难有效滤除噪声、准确还原光条信息.因此，本文采用基于ROI开窗的图像预处理算法提取二值化光条.

1.1 ROI区域划分

采集的一幅V型坡口光条图像如图1(a) 所示，光条部分为左右水平光条、左右坡口光条以及中央水平光条；噪声部分主要为反射光噪声、漫射光噪声以及孤点噪声.将光条图像划分为左、中、右3个ROI区域，大致如图1 中虚线框所示.

(a) 图像各部分含义

光条图像水平累加灰度值的分布情况如图1(b) 所示，灰度累加值最大的一行(如图1(b) 中的①号线所示)即为光条纹中心位置，然后在此位置上下延展一定宽度即可完成左右ROI区域的划分.根据左右ROI区域可确定中央坡口区域的上边界，下边界采用从下至上按行检索获取灰度极大值像素点确定.

根据上述定位方法提取出的3个ROI区域如图2 所示，通过ROI区域划分，可以将光条与距离较远的噪声部分分隔开，不仅明显去除了一定的干扰信息，更利于差异化分离光条与噪声，而且显著减少了图像预处理过程中的计算量.

图2 V型坡口光条图像ROI区域Fig.2 ROI of the V-groove stripe image

1.2 光条图像增强

受光条图像中噪声、反射光斑的影响，若直接进行图像分割，会将噪声和光斑误当做灰度值较高的光条.因此，本文在对光条纹与噪声形态学差异分析的基础上，提出了一种基于光条形态特征的线状空间卷积与图像差分相结合的图像增强方法.该方法采用不同尺度的卷积运算后进行图像差分操作，使噪声和光斑更加颗粒化.

图3 左、右ROI区域竖直方向空间卷积核Fig.3 Vertical spatial convolution kernel of left and right ROI

将M1分别与左、右ROI图像进行卷积运算，光条纹被进一步增强，并仍保持水平延展的特性；而ROI噪声区域内灰度值较大的像素点被增强，灰度值偏低的暗部像素点被进一步削弱，使得该区域变得离散化、颗粒化，图像增强结果如图4 所示.

图4 光条图像ROI区域M1卷积结果Fig.4 M1 convolution result of stripe image ROI

图5 中央ROI区域多尺度空间卷积核Fig.5 Different spatial convolution kernels of central ROI

图6(a) 所示为M2模板与中央ROI图像进行卷积运算的结果，可以看出，由于该区域内的左、右坡口光条具有一定斜率，上述卷积模板同样适用于坡口光条的增强，在保留了坡口光条的像素灰度值信息的同时，扩大了水平光条与周围光斑在形态上的差异.

图6 光条图像中央ROI区域图像增强结果Fig.6 Image enhancement result of central ROI

此外，对于中央ROI图像，该区域内噪声面积更大且与光条形态更为接近，所以本文还对噪声的竖直方向进行了增强，使其形态更加离散化，构建的水平空间卷积模板为1×5型矩阵M3，如图5(b) 所示.

将M3与中央ROI区域进行卷积运算，结果如图6(b) 所示，然后用M2卷积结果与M3卷积结果进行图像差分，其二值化分割图像如图6(c) 所示，可见图像差分后使得噪声颗粒更为细小，并维持了坡口光条连续性、均匀性分布的特点，使光条与噪声之间的差异凸显.

1.3 小连通域去除

由于图像中噪声连通面积相对光条而言在数量级上差距显著，因此，本文采用形态学开运算与基于轮廓查找的微小连通域去除相结合的方法去除干扰噪声.

首先对图像增强后的各ROI进行5×5的形态学开运算，图7(a) 所示为中央ROI开运算结果，可见开操作在保证连续的光条纹不受影响的同时，能够去除绝大多数的噪声颗粒，但仍有一些小面积的噪声连通域存在.基于轮廓查找的微小连通域去除法：查找出二值化光条图像中的全部轮廓，并获取各轮廓面积，通过设定轮廓面积阈值去除微小的噪声连通域，去噪效果如图7(b) 所示.采用本文图像预处理算法对V型坡口光条图像进行预处理的结果如图7(c) 所示，可见该算法效果显著，能够准确提取出完整的二值化光条.

(a) 开运算结果

2 基于形态学特征的角点检测

本文对二值化光条图像采用几何中心法对光条纹进行细化，提取出光条纹的像素级中心线，结果如图8(a)所示.然后依据细化后的V型坡口光条的形态学变化特征，在单像素宽的V型坡口光条基础上，定位出图8(b)中所标识角点.

图8 单像素V型坡口光条Fig.8 Single-pixel V-groove stripe

对于A′(F′)和C′(D′)角点，仅需遍历像素点获取x坐标、y坐标极值像素点即可，G′(H′)角点则为距离C′(D′)角点最近的像素点，实现算法均比较简单.对于B′(E′)角点的提取，本文采用的算法原理如图9 所示.

图9 光条纹第一对角点B′(E′)提取原理示意图Fig.9 The extraction principle of the corners B′(E′)

设一移动矩形窗口(如图中实线框所示)的宽度为2a+1，位于窗口中心处的像素点记为中心像素点Pc，该点坐标为(c，y(c))，其左右两侧均有a个像素点(如图中虚线框所示).窗口从光条纹边界点A′(F′)开始移动，本文的移动方向为从左向右(从右向左)，步长为S.分别求取窗口内中心点Pc左右两侧光条的平均斜率kl、kr，计算表达式为

窗口每移动一个步长，便计算获得平均斜率kl和kr，为了表征中心点左右两侧光条纹的形态差异(即曲率变化)，本文引入斜率的绝对变化量Δk, Δk由平均斜率kl和kr求得，即

Δk=|kl-kr|.(3)

如图10 所示，当中心点Pc左右两侧的光条纹无明显变化，Δk较小趋近于0；当中心点Pc左右两侧光条纹变化十分显著，对于V型坡口光条来说，即为左右两侧光条近乎垂直，则Δk趋近于无穷大.因此，通过绝对变化量Δk就可以定量地分析出光条曲率的变化.

(a) 无明显变化

当Δk大于阈值km时，该中心点可能是所要定位的角点，将其作为备选角点存入容器Vec中，然后移动窗口，本文步长S设置为1个像素；重复上述操作，将符合条件的中心点存入Vec中；通过对坡口光条图像特征的分析，本文认为当中心点与已提取光条边界点A′的y坐标之差大于20个像素时，不可能再出现满足条件的角点，窗口停止继续移动.

最后，通过非极大值抑制筛选出真正的角点.在存放备选角点的容器Vec中找到斜率绝对变化量Δk最大时的中心点，则该点就是满足条件的角点B′(E′)，即

PB(E)=Pc(max(Δk)), (Pc(Δk)∈Vec).(4)

3 亚像素特征点提取

采用分段式精确提取特征点的方式，即根据初步检测出的像素级角点，对V型光条纹进行区域的划分，结果如图8(b) 所示，然后分段提取其亚像素级光条中心线，在此基础上提取出V型坡口光条的亚像素特征点.

3.1 自适应光条中心提取

基于自适应宽度的二次加权重心法提取激光条纹亚像素中心点的计算原理如图11 所示.首先，通过扫描二值化光条纹的边界获得激光条纹每个横截面的宽度wi和光条灰度图中第i列的像素集合G(i，y)，然后采用式(5)计算出光条纹每列中心点的坐标，如图中Pi所示，图中的圆点即为提取出的亚像素级中心点.根据wi和第i列的像素集合G(i，y)计算出光条各截面中心点的坐标

图11 基于自适应宽度的二次加权重心法原理图Fig.11 Schematic diagram of the quadratic weighted grayscale centroid method based on adaptive width

3.2 光条特征点提取

光条特征点的亚像素坐标提取采用直线相交法和最小距离法，直线相交法用于光条纹存在连续两段直线的情况，当光条纹特征点相对孤立时则采用最小距离法.实现原理如图12 所示，对于B，E特征点，即为中心线l1与l2，l4与l5的交点；对于C，D，G和H特征点，则为中心线l2，l3和l4上与初步定位的角点C′，D′，G′和H′距离最近的点.

图12 亚像素特征点提取原理示意图Fig.12 Schematic diagram of sub-pixel feature points extraction

4 实验结果与分析

为了验证本文算法的实现效果，搭建基于线结构光视觉检测系统，如图13 所示，其由线激光器、电荷耦合器件(Charge-Coupled Devices，CCD)工业相机、夹具模块、实验检测台和计算机组成.

图13 线结构光视觉检测系统Fig.13 Vision detection system based on linear structure light

4.1 图像预处理实验

分别采用中值滤波、直方图均衡化、Log变换法以及本文预处理算法对V型坡口光条图像进行噪声去除，然后通过Otsu阈值分割提取二值化光条，实验结果如图14 所示.可以看出，一般的图像预处理流程很难将噪声和光条部分区别开，而本文处理算法能够有效滤除噪声，提取出完整的二值化光条.

图14 不同图像预处理算法提取的二值化光条图像Fig.14 Binary stripe images extracted by different image preprocessing algorithms

4.2 特征点检测实验

采用本文算法对V型坡口光条进行特征点检测的结果图像如图15 所示，直线段为提取出的光条中心线，实心圆点即为特征点.

图15 光条中心提取及特征点提取结果Fig.15 Extraction result of stripe center-line and feature points

为了验证本文算法的有效性和准确性，将所提方法与现有的角点检测算法进行对比，检测结果如图16 所示.

图16 不同角点检测算法提取角点结果Fig.16 Extraction results of different corner detection algorithms

为了客观评价不同算法的角点检测效果，本文采用误检率、漏检率、正确角点定位误差以及运行时间4项指标进行评价，其中正确角点定位误差为正确角点与人工标记角点之间的平均距离，误检率为错误角点数占需检测角点数的比重，评价结果如表1 所示.从表1数据可知，本文算法的角点检测正确率明显高于其他算法，误检率与漏检率均为0，角点定位误差仅为0.50 pixel，检测准确性较高，可见本文算法对V型坡口焊缝特征点的检测更加有效.在角点检测的效率上，本文算法的运行时间为31 ms，略长于基于尖锐度算法，但相比Harris算法效率提升60%，仍然具有较高的实时性.此外，上述对比算法检测角点仅为像素级，而本文算法最终提取出亚像素特征点，算法的精确性得到了进一步的提高.

表1 不同角点检测算法评价结果Tab.1 Evaluation result of different corner detection algorithms

5 结 论

针对复杂坡口焊缝图像中噪声去除、特征点提取的难题，本文提出基于ROI开窗的图像预处理方法，有效去除了光斑、噪声的干扰，并准确提取出二值化光条.在检测出焊缝角点基础上采用变宽限二次加权重心法分段提取光条中心线以及焊缝特征点，进一步提高了特征点提取的精度.本文算法的检测准确率达100%，远高于其它角点检测算法，并且检测效率比传统角点检测方法提升至少60%.焊缝特征点提取的目的是为了实现空间几何尺寸的视觉检测，因此，在下一步的研究中将会完成系统标定，获取焊缝实际几何尺寸的测量并完成系统精度检测实验与分析.