基于区域优化的等厚对接焊缝图像二值化方法

王兴东 杨雅伦 孔建益 施 毅

1.武汉科技大学机械自动化学院，武汉，4300812.扬州力德工程技术有限公司，扬州，225000

0 引言

小批量生产的大型非标件，其焊缝坡口形貌复杂，焊接路径多且长，人工和示教再现型焊接方式不再适用，因此，基于激光视觉的焊缝跟踪技术得到发展[1]，该技术具有直观、与工件无接触、精度高和响应快等优点[2-5]，得到了国内外学者的广泛关注。目前，光学三角测量原理[6]在焊缝检测中应用最广，然而强烈的弧光和焊缝表面的镜面反光现象导致视觉传感器难以直接进行传感测量[7]。

基于视觉传感的焊缝图像二值化处理是等厚对接自动焊接的关键步骤。二值化阈值的选取决定了焊缝图像的处理效果[8]。坡口镜面反射、多层多道焊坡口形貌复杂和飞溅等现象，使图像存在灰度级多、灰度分布不均和随机噪声的问题，影响阈值的选取。基于阈值的二值化方法可分为两大类：局部阈值法和全局阈值法[9-11]。局部阈值法依据子块中像素点灰度值特征自适应调节阈值，进行多目标二值化。常用的局部阈值法有Niblack法[12-13]、Bernsen法[14-15]等。TALAB等[15]基于Bernsen法检测图像中车牌标志，使用双均值滤波去除噪声，选用不同于Bernsen算法的λ值来确定各像素的局部阈值，对车牌图像进行局部二值化。焊缝图像中的干扰灰度级较高，若采用局部阈值法，易产生强制噪声。全局阈值法采用单一阈值，将图像所有像素点灰度值与阈值比较，根据比较结果区分背景及焊缝目标。OTSU[16]提出的一种最大类间方差法是二值化的最优算法之一。LI等[17]为了在含有强弧光、飞溅及热变形的复杂焊接环境中进行图像预处理，采用二次中值滤波去除部分噪声，并通过定义计算窗口位置以缩小图像。WU等[18]对焊缝图像进行中值滤波去噪，采用Otsu 法处理图像，以峰值信噪比和均方根误差作为图像二值化质量的评估指标。

国内学者研究了经典算法的改进。申俊琦等[19]通过最小二乘法建立Otsu法所选阈值与焊缝光带区域灰度平均值的直线回归方程，以选取适合的阈值；齐继阳等[20]提出一种改进Otsu法，在考虑类间方差和类内方差对图像分割效果影响的基础上，用方差信息代替均值信息，构建焊接图像分割阈值算法。 但上述算法中单一阈值易受噪声干扰，使焊缝图像无法达到满意的二值化效果，并且需要处理图像的所有像素点，计算量大，因此，降低干扰对阈值的影响，准确得到焊缝光带特征信息是问题的关键。本文提出的二值化方法结合图像灰度信息、空间邻域信息和优化算法，有效滤除焊缝图像存在的干扰，让光带信息成为二值化图中唯一特征。本文建立了基于视觉传感的等厚对接焊缝跟踪成像系统，对比分析了常规算法的处理结果；自适应地定义感兴趣区域(region of interest，ROI)以缩减原始图像；基于邻域灰度极差值的分布特征，提出了对ROI图像划分为平缓和剧烈两区域的算法；以高质量二值化图像为目标，平缓系数和剧烈系数为设计变量，建立了焊缝光带区域判定的优化模型，以最优结果确定了焊缝光带区域；将该区域灰度均值作为二值化变换阈值，完成图像预处理。为验证算法有效性，对比分析若干组的实验室实验二值化处理的结果，并在工业现场对多层多道焊的连续图像进行实验。

1 基于视觉传感的等厚对接焊缝跟踪实验系统

基于视觉传感的等厚对接焊缝跟踪实验系统主要由激光视觉传感器、主控计算机及控制平台组成，结构如图1所示。其中，激光视觉传感器主要由CCD摄像机和线激光传感器组成。选用大恒公司的MER-130-30UM相机(分辨率为1 280×1 024像素)，焦距为12 mm的M1214-MP2镜头，线激光传感器为波长650 nm的LH-L6353DL激光器。线激光传感器射出的激光线照射在工件表面，形成特定形状的激光线条纹；激光视觉传感器中CCD摄像机接收来自工件表面的反射光，利用成像原理采集等厚板焊接图像，并传入主控计算机进行图像处理。实验对象选用板厚分别为5 mm、10 mm、25 mm的钢板，均开设45°的V形坡口角。

图1 基于视觉传感的等厚对接焊缝跟踪实验系统Fig.1 Tracking system of uniformed-thickness butt weld based on visual sensor in laboratory

2 常规二值化算法的分析效果

在搭建的成像实验系统中，CCD摄像机和线激光传感器在同一个平面，且平面夹角θ为30°，如图2所示。5 mm厚钢板对接焊缝的原始图像见图3a。

图2 CCD摄像机与线激光结构Fig.2 Structure of CCD camera and line laser

对原始图像(图3a)应用Otsu算法[16]进行二值化，得到图3b，可看出仍存在反光噪声，焊缝光带边界不光滑，且顶点包含多余像素。这是由于原图中焊缝光带灰度值非常高(接近255)，但所占面积较小，使得其算法的直方图不能显著表征光带与其相邻区域的灰度变化，故焊缝周围有噪声残留。应用文献[17]算法的二值化结果如图3c所示，焊缝光带相较于图3b更加平滑，光带宽度增大，但未完全滤除反光噪声，且顶点包含多余像素。该算法选用开窗进行中值滤波，但图3a的反光区域明显、连续且灰度值变化不大，使得反光区域内的像素点灰度值与设定窗口中值接近，无法替换反光像素点，导致噪声残留。应用文献[19]算法的二值化结果如图3d所示，图像光带出现断裂且边界粗糙。该算法将二值化阈值直接设为激光带区域像素点的灰度平均值，由于光带灰度值非常高，且明显高于光带边缘区灰度值，故以该阈值进行二值化时会将边界像素点滤除，得到不完整焊缝信息。因此，上述三种方法均不适用于处理灰度级多、灰度分布不均和随机噪声的焊缝图像，它们的二值化阈值导致图像处理过度或不完全。针对实时的焊接要求，应有效滤除噪声、准确且高效地提取焊缝光带，故本文提出了基于区域优化的等厚对接焊缝图像二值化方法。

图3 常规算法用于V形焊缝二值化结果Fig.3 The representative results using the common binarization algorithms

3 基于区域判定优化的焊缝图像二值化方法

应用二值化算法无法有效保留焊缝信息。针对实时检测需求，本文定义ROI(region of interest)图像以减少处理范围。为获取更好的二值化效果，按照邻域灰度极差值的分布特征，提出了将ROI图像划分为平缓和剧烈两区域的算法；以高质量二值化图像为目标，建立了焊缝光带区域判定的优化模型；以获取的最优结果确定焊缝光带区域，将该区域灰度均值作为变换阈值，进行二值化处理，最终获得准确而完整的光带信息。本文理论研究的技术路线如图4所示。

图4 本文技术路线图Fig.4 Flowchart of the proposed method

3.1 基于特征的自适应ROI定义方法

本文提出基于特征的自适应ROI定义方法可保留不同条件下的焊缝图像纹理，同时缩短搜索时间，具体步骤如下：

(1)读取图像宽度M、高度N和像素点灰度值gi,j，i=0,1,…,N；j=0,1,…,M-1；结合成像系统的硬件配置、焊缝光带几何特征及图像灰度分布，获取焊缝光带宽度γ，设定图像灰度值的边界值Δ。

(2)判断中心像素点P0(i0,j0)灰度值是否满足gi0,j0≥Δ，若满足则设该点为A，并继续向上搜索是否存在gi,j0≤Δ，若存在，则将首个满足条件的点设为P1(i1,j0)，否则，取上边界为第N-1行，并停止搜索；若P0(i0,j0)不满足条件，则继续向上搜索直至找到满足gi,j0≥Δ的点A，并重复找到A点之后的步骤；若搜索至上边界未找到A点，则将P0(i0,j0)设为P1(i1,j0)。

(3)以P1(i1,j0)点为起始点，水平向左搜索，判断是否存在gi1,j≥Δ，若存在，则将首个满足条件的点P(i1,jx)设为P0，再按步骤(2)的模式向上搜索，得到点P(iy,jx)，令该点为起始点进行向左向上的顺次循环、判断，否则直至搜索到左边界，取Pa(ia,0)为左上边界点。

(4)从Pa(ia,0)开始，水平向右搜索，判断是否存在gia,j≥Δ，若存在，则将首个满足条件的点P(ia,jz)设为P0，再按步骤(2)的模式向上搜索，得到点P(iw,jz)，令该点为起始点进行向右向上的顺次循环、判断，否则直至搜索到右边界，取Pb(ib,M-1)为右上边界点。

(5)取上边界为第iup行，iup=ib+γ(若iup≥N-1，则取iup=N-1)。

(6)同理，按步骤(2)到步骤(3)的模式，开始向下搜索图像左下边界点Pc(ic,0)，从Pc(ic,0)开始，按步骤(4)的模式，搜索到右下边界点Pd(id,M-1)。

(7)取下边界为第ilow行，ilow=ik-γ(若ilow≤0，则取ilow=0)。

(8)获取的ROI图像为第iup行至第ilow行的所有像素点。

将图3a原图处理后，得到图5所示的ROI图像(图中方框标记为后续举例区域)。本算法自适应地选取上边界为第32行，下边界为第150行，所定义的ROI图像相较于原图，减少26 209个像素点，相对于原图，降幅为37.70%。

图5 图3a的ROI图像Fig.5 The ROI image of fig.3a

3.2 基于邻域灰度极差值的图像区域分类

ROI图像存在灰度级多、灰度分布不均和随机噪声等问题，导致不同区域的灰度变化情况不同。若以常规二值化算法的单一阈值来考察所有区域的灰度变化情况，则结果不再准确。图像灰度极差值可准确描述图像明暗变化剧烈程度[21]。本文以像素点与其邻域像素灰度极差来表征图像的明暗变化剧烈程度。为获取更好的二值化效果，基于邻域灰度极差值的分布特征，提出将ROI图像划分为平缓和剧烈两区域的算法。

ROI图像(设为I)内各像素(不包含4条边界上的像素点)与其8邻域像素的最大灰度值gI(i,j)max与最小灰度值gI(i,j)min之差为像素的邻域灰度极差值e(i,j)，即

e(i,j)=gI(i,j)max-gI(i,j)min

(1)

gI(i,j)max=max(gI(i+k,j+l))

(2)

gI(i,j)min=min(gI(i+k,j+l))

(3)

其中，gI(i,j)表示ROI图像像素点灰度值；k，l分别取-1，0和1。

(4)

(5)

其中，I(i，j)表示ROI图像像素点；S(i，j)表示平缓区域像素点；B(i，j)表示剧烈区域像素点；N表示ROI图像所有像素点个数。

根据式(4)，将所有邻域灰度极差值趋近或等于0的像素点集合定义为平缓区域S(i，j)；将所有邻域灰度极差值差异明显的像素点集合定义为剧烈区域B(i，j)。图5中方框区域内像素点的灰度值如图6a所示，邻域灰度极差值分布及其分区结果(S(i，j)包括①、③和⑤三个部分，B(i，j)包括②和④两个部分)如图6b所示，邻域灰度极差值越大，显示的颜色越深。

图6 方框区域像素点灰度值及邻域灰度极差值计算结果Fig.6 The gray value and the distribution of the neighborhood gray difference of the box

3.3 基于焊缝光带区域优化的等厚对接焊缝图像二值化处理

上文将ROI图像分为平缓和剧烈两大区域，为达到高质量二值化图像的目标，以平缓系数和剧烈系数为设计变量，建立焊缝光带区域的优化模型，利用最优系数将两区域进一步细化，将含有焊缝信息部分合成焊缝光带区域；将该区域灰度均值作为二值化变换阈值，完成图像预处理。具体方法如下。

图6中，平缓区域S(i，j)中①和⑤部分的灰度值接近或等于0，将其定义为背景区域N(i,j)S；③部分的灰度值接近或等于255，定义为光带中间区域G(i,j)S。区域G(i,j)S灰度值明显高于区域N(i,j)S灰度值，据此设定划分两区域的阈值，灰度值大于阈值的区域即光带中间区域G(i,j)S；在不同环境下得到的图像，背景区域N(i,j)S和光带中间区域G(i,j)S的灰度值均会出现不同程度的变化，即

(6)

其中，α为平缓系数，α∈(0,1]；gS(i,j)为区域S(i，j)像素点灰度值；gmax和gmin分别为ROI图像内最大与最小灰度值，平缓阈值为α|gmax-gmin|。观测大量焊缝图像可知，剧烈区域B(i，j)与区域G(i,j)S接近的部分包含光带边界等有用信息，而接近区域N(i,j)S多是噪声干扰，为全面获取光带信息，本文将区域B(i，j)划分为接近背景区域的焊缝外区域W(i,j)B和接近光带中间区域的光带过渡区域G(i,j)B。

图6a中，焊缝外区域W(i,j)B中包含噪声，而其灰度值大于区域N(i,j)S；光带过渡区域G(i,j)B包含光带信息，灰度值接近中间区域G(i,j)S，进一步结合焊缝图像特征，提出通过动态优化剧烈系数进行合理区分，即

(7)

其中，gB(i,j)为区域B(i，j)像素点灰度值，β为剧烈系数，β∈(0,1]。将式(6)和式(7)准确划分的区域G(i,j)S与G(i,j)B合并为焊缝光带区域G(i，j)。

高质量二值化图像的目标如下：处理后图像的像素灰度值的峰值信噪比(peak signal to noise ratio， PSNR)高，且其均方根误差(root mean square error， RMSE)低。对ROI图像进行二值化，即以区域内像素点的灰度均值K作为变换阈值进行图像处理，使处理效果应达到高质量处理的目标，即

(8)

K=(NG)-1∑gG(i,j)

(9)

其中，gG(i,j)为区域G像素点灰度值，gW(i,j)为图像二值化后灰度值，NG为区域G像素个数。焊缝光带区域判定系数(平缓系数α和剧烈系数β)是划分得到区域G(i，j)的关键。为达到高质量二值化图像的目标，建立优化焊缝光带区域判定系数的目标函数：

minf(α,β)=ω1R-ω2P

(10)

(11)

P=10lg(2552/M)

(12)

(13)

其中，ω1、ω2分别为峰值信噪比和均方根误差的权重系数，依据文献[22]，本文算法中ω1、ω2取1；P为图像像素灰度值的峰值信噪比；R为图像像素灰度值的均方根误差；M为图像像素灰度值的均方误差。综上，焊缝光带区域判定的优化模型为

minf(α,β)=ω1R-ω2P

g3(X)=x1≤1g4(X)=-x1<0

g5(X)=x2≤1g6(X)=-x2≤0

模型中，g1(X)和g2(X)根据式(6)、式(7)中的判定条件得来，g3(X)～g6(X)根据焊缝光带区域判定系数的取值范围得到。根据本文建立的模型，采用内点法[22]求解，优化图5中焊缝光带区域判定系数。取初始点X(0)=[0.25 0.20]T，优化结果为X*=[x1x2]T=[0.15 0.10]T，即α*=0.15，β*=0.10；f*=f(X*)=20.79，P=16.66，R=37.45，K*=124.45。对图5进行二值化处理的结果如图7所示，可看出焊缝光带轮廓完整且清晰，且基本滤除了无关信息。

图7 二值化结果图Fig.7 Image after binarization

4 实验与评估指标

为验证本文算法有效性，分别在实验室和工业现场进行实验，对实验结果进行评估和分析。

4.1 实验室实验

采用图2所示的系统和图3所示的成像角度，针对10 mm厚钢板进行图像处理。原始图像(图8a)中存在明显反光噪声；为突出灰度信息，得到图像的灰度图(图8b)；图8c采用上文中基于特征的自适应ROI定义方法，确定ROI图像；应用本文方法处理的结果如图8d所示，焊缝光带边界平滑，有效去除了反光噪声，便于后续焊缝角点高效提取。对于5 mm和10 mm厚钢板的等厚对接焊缝图像，二值化结果(图7和图8d)凭肉眼观测，主观评价效果均较好。

图8 本算法处理10 mm钢板图Fig.8 The images of 10 mm thick steel plates using the proposed method

进一步依据图像质量评价指标对不同二值化算法结果进行客观评估，对比结果见表1，对于两种不同厚度的钢板，相比其他3种算法，本文方法均得到了最高的峰值信噪比值、最低的均方差误差值和最小的目标函数值。

表1 应用不同二值化算法处理图像的评估结果

4.2 工业现场实验

现场搭建工业实验焊缝跟踪系统如图9a所示；跟踪系统的控制系统和自主研发的软件系统界面如图9b所示；跟踪系统的成像系统如图9c所示，包括CCD摄像机、镜头、线激光发射器和滤镜及辅助装置(挡光板和排风扇等)等；现场焊接时跟踪系统的工作照片见图9d，选用CO2气体保护焊进行焊接，存在强烈的弧光和大量飞溅。

图9 现场搭建工业实验焊缝跟踪系统Fig.9 Weld tracking system for industrial experiment

设定CCD摄像机与焊板垂直距离为200 mm，CCD摄像机的前方是线激光，两者水平距离为265 mm，CCD摄像机的后方是焊枪，两者水平距离为380 mm。焊接工艺参数见表2。根据CCD摄像机和焊枪的距离以及焊接速度，为满足实时性要求，要求图像处理的时间应远少于95 s，本文算法计算时间少于1.7 s。

表2 焊接工艺参数

按照中厚钢板(如厚度为25 mm)的焊接工艺要求，需进行多层多道焊接。分别给出需进行第一和第二道焊接时的坡口(钢板尺寸为25 mm厚、450 mm长)，如图10所示，其第一道坡口形状与前者讨论的5 mm和10 mm厚钢板坡口相似(开有角度为60° V形槽和3 mm钝边)，第二道坡口的形貌较复杂。

图10 25 mm厚钢板第一道和第二道坡口形貌Fig.10 The groove shape of 25 mm thick steel plates

针对25 mm厚钢板的第一道坡口，采用本文提出的优化模型及算法进行图像二值化，处理效果良好。截取25 mm厚钢板在第二道焊接过程中连续的9组图像(图11)，所有子图中的上图为原始图像、下图为二值化处理结果图，每张原始图像分别包含不同噪声且焊缝坡口的形态存在一定的变化。

图11 25 mm厚钢板9组第二道焊原图及二值化结果Fig.11 The second layer welding of 25 mm thick steel plates

感性观测图11中的二值化结果可看出，焊缝信息得到有效保留，光带清晰且平滑，无关信息基本被去除，结果较为理想。依据图像质量评价指标PSNR和RMSE进行客观评估，结果见表3。连续的不同图像，其差异性必然存在，表3中图11a～图11e五组图像的值接近；相比其余8组，第3组图像(图11c)的值最为理想；9组图像中数值偏离程度最大的一组是第6组(图11f)，但本文二值化方法以寻优为目的，所以图像客观评估值整体较高；实验结果证明了本文提出的优化模型适应性好，能实现对多层多道焊的实时焊缝检测。

表3 应用本文算法处理25 mm厚钢板第二道焊图像的评估结果

连续的高质量的二值化图像便于后续提取光带特征点处理，满足了自动焊接的实时性需求。25 mm厚钢板第二道焊缝跟踪结果如图12所示，可以看出，焊缝较为平整、匀称，焊接效果好。

图12 25 mm厚钢板第二道焊缝跟踪结果Fig.12 The tracking result of the second layer welding of 25 mm thick steel plates

5 结论

对比分析若干组的实验室实验结果后发现，主观和客观评价效果好；由工业现场实验的连续化图像二值化处理结果可知，有效去除了噪声干扰，满足多层多道的实时性焊接要求；本文提出的二值化方法有效实现了焊缝跟踪图像的预处理，针对多种厚度规格的钢板，保证了实时焊接的质量。