激光焊匙孔特征的近红外与X射线传感分析

高向东, 李竹曼, 游德勇，张南峰

(广东工业大学 机电工程学院，广东 广州 510006)



激光焊匙孔特征的近红外与X射线传感分析

高向东*, 李竹曼, 游德勇，张南峰

(广东工业大学 机电工程学院，广东 广州 510006)

由于多传感匙孔特征参数可以有效地反映大功率激光焊接质量状态，本文研究了匙孔特征信息的提取方法并建立了焊缝成形预测模型。以大功率盘形激光焊接304不锈钢为试验对象，应用近红外高速摄像机和X射线视觉成像系统同时提取了焊接过程中的熔池动态图像，并分割出匙孔区域。针对近红外图像，应用矩方法导出匙孔的不变矩特征，同时定义并提取匙孔面积和最前端点纵坐标两个特征；针对X射线图像则提取匙孔深度和熵两个特征。在不同激光功率条件下得到匙孔特征并进行特征融合分析，然后建立了3个BP神经网络焊缝成形预测模型。探索了匙孔形态、焊接条件和焊接状态三者之间的联系，实现了对焊接过程的在线监测。试验结果表明，将两个传感器获取的匙孔特征信息融合并进行主成分分析变换后，熔宽和熔深的预测绝对误差平均值分别为0.18 mm和0.57 mm，比基于单个传感器获取匙孔特征建立的BP神经网络分别减小了0.03 mm和0.31 mm，显示提出的方法能够有效在线监测大功率盘形激光焊接状态。

大功率盘形激光焊；不锈钢板；匙孔特征；焊缝成形预测；特征融合；近红外分析；X射线分析

1　引　言

激光焊接具有能量密度高、 热影响区小、焊接变形小、焊缝深宽比大、焊接参数易于控制等特点，是激光加工技术的重要内容之一[1-2]。激光焊接过程中，焊件表面在激光束辐射下剧烈汽化，金属蒸气以一定速度离开熔池并对熔化的液态金属产生附加压力。熔化金属在压力的作用下形成匙孔，匙孔随着激光束沿焊接方向移动时，匙孔前方熔化的金属绕过匙孔流向后方，凝固后形成焊缝，匙孔效应与激光焊接过程中的激光吸收有着紧密的联系[3-4]。

激光焊接过程中匙孔处于波动状态，是一个瞬态的过程，但焊接稳定阶段任意位置匙孔特征有着极高的相似度，即匙孔处于相对稳定的状态。国内外对匙孔进行的大量研究并取得了显著的成果。ZHANG等人通过模拟匙孔的形成过程，建立匙孔深度实时调整的组合热源模型，模拟结果与试验结果吻合得良好[5]。ZOU等人使用扫描电子显微镜检测匙孔壁微形态，发现激光束作用于匙孔前壁，并且其微形态特征表明焊接过程中的能量耦合主要被匙孔前壁吸收[6]。KIM等人利用同轴观测方法测定匙孔形状，指出激光束的吸收、多重反射和加热机制都会随着匙孔形状的变化而变化[7]。MENG等人通过从不同光学传感器提取特征并进行定量分析，指出由于压力从匙孔底部释放出来，从而导致匙孔尺寸影响激光反射强度，并且当焊接过程中匙孔出现完全渗透现象时可见光发散和激光反射都会减小[8]。

在不同的焊接条件下，熔池的红外辐射强度发生变化，匙孔形貌的改变与波动直接影响入射激光束能量的吸收利用及熔池的形貌，从而影响焊接质量与焊缝成形[9]。试验证明，多传感匙孔特征参数特别是匙孔面积和深度等特征可以有效地反映大功率激光焊接的质量状态。本文针对大功率盘形激光焊接304不锈钢板，在不同的激光焊接功率条件下，利用近红外高速摄像机和X射线视觉成像系统摄取熔池的瞬时信息，提取并分析匙孔特征参数，将两个传感器的匙孔特征进行特征融合分析，并建立BP神经网络模型，探索匙孔形态、焊接条件和焊接状态三者之间的联系，从而实现了焊接过程的在线监测。

2　试验装置及工作原理

试验装置包括大功率盘形激光焊接装置Trumpf-16002、松下六关节机器人、激光焊接头、保护气体(氩气)装置、X射线封闭装置及图像采集系统，其结构如图1(a)所示。试验中近红外高速摄像机的采集速度为5 000 frame/s，X射线的采样频率为500 Hz，激光功率为7～15 kW，激光光斑直径为200 μm，聚焦位置为-3 mm，激光波长为1 030 nm，焊接速度为3 m/min，图像分辨率为512 pixel×512 pixel，氩气流量为30 L/min。试验采用的304不锈钢板焊件尺寸如图1(b)所示。

(a) 激光焊接装置结构示意图(a) Schematic diagram of laser welding equipment

(b)焊件结构示意图(b) Schematic diagram of weldment图1　激光焊接装置和焊件结构示意图Fig.1　Schematic diagram of laser welding and weldment

为了分析匙孔特性，利用一个40 W的半导体激光器(波长为976 nm)作为辅助光照射焊接区，将一个配备了窄带滤光器的单色高速摄像机安置于与水平方向成70°角的位置，得到清晰的熔池动态图像。X射线由焊件的左侧照射管发出，穿透整个焊接区域，材料密度的差异会导致X射线不同程度的衰减，最终传感器会接收到X射线强度规律性的变化特征。

3　匙孔图像特征提取

3.1匙孔图像预处理

以激光功率为13 kW时为例，应用近红外高速摄像机和X射线视觉成像系统摄取连续的熔池动态图像，分别取其中5 000帧和750帧进行特征提取，所对应的焊缝长度为50 mm。将原图进行裁剪并转换为灰度图像，通过中值滤波去除噪声并进行二值化处理，分割图像后得到清晰的匙孔二值化图像，如图2所示。激光焊接试验所得焊缝实物的正面图、侧面图及相应的熔宽和熔深如图3所示。由图3可知，激光功率一定时，由于匙孔内蒸发量基本保持不变，熔宽与熔深始终呈现出相反的变化趋势，即熔宽增大时熔深减小，熔宽减小时熔深增大。

(a)灰度图　　　(b)中值滤波图　　　(c)二值化图(a)Grayscale image　(b)Median filter of (a)　(c)Binary image of (b)图2　匙孔图像预处理Fig.2　Keyhole image pre-processing

图3　激光功率为13 kW时的焊接结果Fig.3　Weld seam configuration with laser powers of 13 kW

3.2近红外匙孔图像特征提取

3.2.1匙孔不变矩特征

矩可被用来反映随机变量的分布情况，如果将图像的灰度值看作是一个二维或三维的密度分布函数，则矩方法即可用于图像特征的提取。矩特征主要表征了图像区域的几何特征，由于它具有旋转、平移、尺度等特性的不变特征，所以又称其为不变矩。一个矩集通常用于描述该图像形状的全局特征，并提供大量关于图像不同类型的几何特性信息[10]。

一幅数字图像f的二维(p+q)阶矩定义为：

(1)

其中：p=0,1,2，…，q=0,1,2，…，变量M和N分别是图像的高度和宽度，(x,y)为图像位置坐标，f(x,y)为图像灰度。当图像发生平移变化时，mpq也会发生改变，为了使mpq具有平移不变性，定义p+q中心矩为[11]：

(2)

其中：p=0,1,2，…，q=0,1,2, …。

(3)

归一化的(p+q)阶中心矩定义为：

(4)

其中：γ=(p+q)/2+1;p+q=2,3, …。

一阶矩与形状有关，二阶矩显示曲线围绕直线平均值扩展的程度，三阶矩则是关于平均值对称性的测量。由二阶矩和三阶矩可以导出7个对平移、缩放、镜像和旋转都不敏感的不变矩。用以上方法对经过预处理的匙孔图像序列进行不变矩特征提取，取一个二阶矩和两个三阶矩如式(5)～式(7)所示，所得特征曲线如图4所示。当焊缝出现焊瘤等不稳定现象时，3个不变矩特征参数的平均值明显比焊接平稳部分大。

当p+q=2时，有：

(5)

当p+q=3时，有：

φ2=(η30-3η12)2+(3η21-η03)2,

(6)

φ3=(η30+η12)2+(η21+η03)2.

(7)

图4　匙孔不变矩特征参数Fig.4　Configuration parameters of keyhole invariant moments

3.2.2匙孔形态特征

为了更全面地描述匙孔的特征，定义并提取二值化图像的匙孔面积S和最前端点纵坐标F两个形状的特征参数。熔宽和熔深出现突变的图像序列对应的S平均值随之增大，而F平均值则随之减小，如图5所示。

(a) 匙孔面积　　　 (b) 匙孔最前端点纵坐标(a)Area of keyhole　　(b)Coordinate value of keyhole’s forefront 图5　近红外视觉图像特征参数Fig.5　Configuration parameters of near-infrared visual images

3.3X射线匙孔图像特征提取

X射线检测存在辐射危害，将所有传感器安置于X射线封闭系统中，包括激光头、光电感应准直器及2组高速摄像仪。视觉传感器的釆集图像经数据线传递至封闭系统外部的计算机分析系统。定义并提取匙孔深度H和匙孔剖面灰度图的熵E两个特征参数，所得结果如图6所示。其中，熵是表征不确定性的量度，描述了原始数据集携带信息量的度量。熵越大不确定性越大，其定义如式(8)所示[12]：

(8)

式中：f表示一幅图像中的灰度级，L表示一幅图像中灰度级的个数，g(f)表示灰度级f出现的概率。可以发现，在有焊瘤出现的序列段，H明显减小，而E则明显增大。

(a) 匙孔深度　　(b) 匙孔熵(a)Depth of keyhole　　　(b)Entropy of keyhole图6　X射线视觉图像特征参数Fig.6　Configuration parameters of X-ray visual images

3.4匙孔特征参数分析

(a) 焊缝俯视图(a) Vertical view of weld seams

(b) 焊缝侧视图(b) Lateral view of weld seams图7　不同激光功率下的焊接结果Fig.7　Weld seam configurations under different laser powers

(a)焊宽和熔深的平均值　(b)φ1 & φ2 & φ3的平均值(a) Mean values of w and r　(b) Mean values of φ1,φ2 and φ3

(c)S和F的平均值　　(d)H和E的平均值(c) Mean values of S and F　(d) Mean values of H and E图8　熔宽、熔深和特征参数的平均值Fig.8　Mean values of weld width(w) and penetration(r) and configuration parameters

使激光功率P从7 kW增大至15 kW，以观察各个特征参数的变化特性，焊缝如图7所示。对各焊接试验过程中拍摄得到的熔池图像序列进行特征提取并计算各个特征参数，图8(a)为熔宽和熔深的平均值，3个不变矩特征参数的平均值如图8(b)所示，两个形状特征参数的平均值如图8(c)所示，两个X射线特征参数的平均值如图8(d)所示。

由图8可以看出，随着激光功率P的增加，匙孔深度H与焊缝熔宽和熔深的变化趋势一致，先减小后增大，φ1，φ2，φ3先增大后减小。S逐渐增大，E和F则逐渐减小，且这3个特征参数在激光功率为11 kW时出现了较大幅度的波动。

结合各焊缝实物图及其平均熔宽和平均熔深可知，当激光功率小于9 kW时，焊接过程较为稳定，此时焊缝整齐均匀，各个参数变化不明显。当激光功率达到9 kW时，焊接过程开始不稳定，由于T型焊件下方宽度较窄，原本随激光功率增大而增大的熔池，从两边侧漏而减小，导致此时熔宽和熔深都急剧减小，匙孔深度H也随之减小。

当激光功率达到11 kW时，焊缝表面形成了明显的焊瘤，此时随着匙孔内蒸发量的增加，匙孔深度H增大，表面匙孔尺寸S在蒸气压力减小的条件下会急剧缩小，随着激光功率P的继续增加，由于熔池的侧漏，匙孔内部体积并未过多增加，使得孔内蒸气压力增大，匙孔尺寸继续增加。综上可知，H和S能正面反映焊缝的焊接状态，φ1，φ2，φ3，E和F同样可以显示出相应的规律。

4　BP神经网络预测模型

4.1主成分分析法的特征变换

主成分分析法是从一组特征中计算出一组按重要性从大到小排列的新特征，它们是原有特征的线性组合，并且相互之间是不相关的，常被用来解决特征提取和选择的问题。通过主成分分析法进行特征变换能够消除各特征参数之间的相关性，在降低特征空间维数和减少计算量的同时，保留了原始特征的主要信息[13]。对5组试验所得数据进行主成分分析，得到的各主成分的变化曲线如图9所示。

图9　主成分特征参数曲线Fig.9　Configuration parameter curves of principal components

4.2构造BP神经网络预测模型

BP神经网络是一种前向型人工神经网络的结构形式，通过训练使网络具有预测能力和联想记忆，能有效反映多因素之间的复杂关系[14-15]。建立3个焊缝成形预测模型，分别以X1=[P，S，F，φ1，φ2，φ3]、X2=[P，S，F，φ1，φ2，φ3，H，E]和X3=[T1，T2，T3，T4]作为BP神经网络的输入量，熔宽预测值W和熔深预测值R作为输出量，学习速率为0.001，最大训练次数为1 000，训练精度为0.000 1。将各个特征参数归一化处理得到25 000组数据，并将任意20 000组数据作为训练集，其余5 000组数据则作为测试集。为了更直观地比较预测值与实际值的逼近程度，定义焊缝宽度预测值W和熔深预测值R的绝对误差平均值分别为：

(9)

(10)

式中:Wi为熔宽预测值，wi为实际熔宽，Ri为熔深预测值，ri为实际熔深，N为测试集数量。对于隐含层不同节点数，3个焊缝成形预测模型的两个绝对误差平均值e1和e2如表1所示。

表1　不同隐含层节点数三个神经网络预测模型的绝对误差平均值

4.3BP神经网络预测模型结果分析

在不同隐含层节点数时，3个焊缝宽度预测模型的绝对误差平均值e1和e2分别在隐含层节点数为6,7和8得到了最小值。比较可知，模型X2的e1和e2分别比模型X1要小约0.02 mm和0.22 mm左右。模型X3的e1和e2分别比模型X1要小约0.01 mm和0.09 mm左右。此时5 000个测试集通过模型X3计算得到相应的预测值，取其中100个熔宽和熔深的预测值与实际值进行对比，结果如图10所示。可以发现，两个焊缝成形参数预测值的变化趋势与实际值的变化趋势基本吻合，这说明此时模型选取的输入特征能准确地反映出实时的焊缝成型状态。

图10　焊缝成形预测偏差Fig.10　Prediction errors of weld formation

模型预测结果表明,通过近红外视觉图像得到的匙孔不变矩特征参数和匙孔形状特征参数均能很好地反映实际的焊接质量，再融合X射线视觉图像所得到的特征参数，大大降低了焊缝成形预测的绝对误差平均值。最后将通过主成分分析得到的主成分特征作为BP神经网络的输入，其输出就能更好地逼近实际值，从而实现焊接状态的实时评估。焊缝成形预测过程中采用了较少的测试集，这表明在实际的焊接状态在线监控过程中，利用较低速率的摄像机采集图像可以减少图像处理量，满足在线监控的实时性要求。

5　结　论

本文在大功率盘形激光焊接过程中，应用近红外高速摄像机和X射线视觉成像系统摄取熔池瞬时信息，并计算出匙孔不变矩特征参数和匙孔形状特征参数。两个传感器的匙孔特征参数统计规律表明，若匙孔不变矩、匙孔面积和深度值较小，而最前端点纵坐标和剖面熵值较大，则焊接质量较好；反之，焊接质量较差。对试验数据进行主成分分析并建立BP神经网络焊缝成形预测模型，表明两个传感器的匙孔特征参数信息融合时，焊缝熔宽和熔深的绝对误差平均值达到0.18 mm和0.57 mm，比单个传感器要小约0.03 mm和0.31 mm左右，可以有效反映实际的焊接状态。

6　致　谢

感谢日本大阪大学接合科学研究所片山实验室提供的焊接试验帮助。

[1]崔丽，李晓延，贺定勇，等. 5A90铝锂合金激光焊焊缝微观组织特征[J]. 焊接学报，2010，31(9):77-80.CUI L, LI X Y, HE D Y,etal.. Microstructure investigation of Nd∶YAG laser welded 5A90 aluminum-lithium alloys[J].TransactionsofTheChinaWeldingInstitution, 2010, 31(9):77-80. (in Chinese)

[2]陈玉华，戈军委，刘奋成，等. TiNi形状记忆合金/钛合金异种材料激光焊[J]. 光学 精密工程，2014，22(8):2075-2080. CHEN Y H, GE J W, LIU F CH,etal.. Micro laser welding of dissimilar materials between TiNi shape memory alloy and titanium alloy[J].Opt.PrecisionEng., 2014, 22(8):2075-2080. (in Chinese)

[3]GAO X D, SUN Y. Monitoring of high-power disk laser welding of type 304 austenitic stainless steel based on keyhole dynamic characteristics[J].Insight-Non-DestructiveTestingandConditionMonitoring, 2014, 56(6):312-317.

[4]汪任凭, 雷永平, 史耀武. 激光深熔焊中匙孔形成过程的动态模拟[J]. 焊接学报, 2010, 31(11):38-40.WANG R P, LEI Y P, SHI Y W. Numerical simulation of keyhole formation process in laser deep penetration welding[J].TransactionsofTheChinaWeldingInstitution, 2010, 31(11):38-40. (in Chinese)

[5]ZHANG T, WU C S, FENG Y H. Numerical analysis of heat transfer and fluid flow in key hole plasma arc welding[J].Numer.HeatTr.A-Appl., 2011,60(8): 685-698.

[6]ZOU J L, WU S K, YANG W X,etal.. A novel method for observing the micro-morphology of keyhole wall during high-power fiber laser welding[J].Mater.Design, 2015, 89:785-790.

[7]KIM J, DENG C, OH S,etal.. Electro dynamic simulation of energy absorption in laser keyhole welding of zinc-coated and uncoated steel sheets[J].J.Mater.Process.Tech., 2016, 231:412-421.

[8]MENG C, LU F G, CUI H C,etal.. Research on formation and stability of keyhole in stationary laser welding on aluminum MMCs reinforced with particles[J].Int.J.Adv.Manuf.Tech., 2013, 67(9):2917-2925.

[9]YOU D Y, GAO X D, KATAYAMA S. Multiple-optics sensing of high-brightness disk laser welding process[J].NDT&EInternational, 2013, 60(2):32-39.

[10]杨舒, 王玉德. 基于Contourlet变换和Hu不变矩的图像检索算法[J]. 红外与激光工程, 2014, 43(1):306-310.

YANG SH, WANG Y D. Image retrieval algorithm based on Contourlet transform and Hu invariant moments[J].InfraredLaserEng., 2014, 43(1):306-310. (in Chinese)

[11]WU G, WU CH F, HOU Q Y,etal.. Target location method based on invariable moment feature matching[J].Opt.PrecisionEng., 2009, 17(2):460-468.

[12]曹建农. 图像分割的熵方法综述[J]. 模式识别与人工智能，2012，25(6):958-971.

CAO J N. Review on image segmentation based on entropy[J].Patt.Recogn.Artif.Intell., 2012, 25(6):958-971. (in Chinese)

[13]李海森，张艳宁，姚睿，等. 基于主成分分析的直线运动模糊参数估计[J].光学 精密工程，2013,21(10)：2656-2663.

LI H S, ZHANG Y N, YAO R,etal.. Parameter estimation of linear motion blur based on principal component analysis [J].Opt.PrecisionEng., 2013, 21(10):2656-2663. (in Chinese)

[14]GAO X D, SUN Y, KATAYAMA S. Neural network of plume and spatter for monitoring high-power disk laser welding[J].Int.J.Precis.Eng.Man., 2014, 1(4):293-298.

[15]秦国华，谢文斌，王华敏. 基于神经网络与遗传算法的刀具磨损检测与控制[J]. 光学 精密工程，2015，23(5):1314-1321.

QING G H, XIE W B, WANG H M. Detection and control for tool wear based on neural network and genetic algorithm[J].Opt.PrecisionEng., 2015, 23(5):1314-1321. (in Chinese)

高向东(1963-)，男，河南郑州人，教授，博士生导师，1998年于华南理工大学获得博士学位，研究方向为焊接自动控制。E-mail：gaoxd666@126.com

李竹曼(1991-)，女，湖北荆州人，硕士研究生，主要从事激光焊接技术方面的研究。E-mail：lzm_0805@163.com

(版权所有未经许可不得转载)

Analysis of laser welding keyhole characteristics based on near-infrared high speed camera and X-ray sensing

GAO Xiang-dong*，LI Zhu-man，YOU De-yong, ZHANG Nan-feng

(School of Electromechanical Engineering, Guangdong University ofTechnology,Guangzhou510006,China)*Correspondingauthor,E-mail:gaoxd666@126.com

As the characteristic parameters of a multi-sensing keyhole reflect effectively the welding quality of high power lasers, this paper researches the extraction method of keyhole characteristic information and establishes a prediction model for welding formation. By taking a high power disk laser to weld 304 austenitic stainless steel plates for an example, a near-infrared high-speed camera and an X-ray vision imaging system were used to capture the molten images in welding processing and to obtain the keyhole region by image processing. The invariant moment characteristics were extracted from near-infrared visual images by the moment method, meanwhile the keyhole area and ordinate value of the keyhole forefront were calculated as the characteristic parameters. Depth and entropy of the keyhole were extracted from X-ray visual images. In different laser powers, the keyhole characteristics were obtained and three BP (Back Propagation) neural network models were set up through feature fusion of all the characteristic parameters. The relationship between the keyhole formation, welding condition and welding state was explored and the on-line monitoring for welding process was implemented. Experimental results show that the average absolute value of relative errors between predictive and measured values of weld width and penetration are 0.18 mm and 0.57 mm, respectively through fusion analysis and principal component analysis on characteristic parameters of two sensors, and they have been reduced by about 0.03 mm and 0.31 mm as compared with that of a single sensor. The proposed method can be applied to monitoring high-power disk laser welding quality in real time.

high-power disk laser welding; stainless steel plate; keyhole characteristic; weld forming prediction; feature fusion; near-infrared analysis; X-ray analysis

2016-06-22；

2016-08-12.

广东省重大科技项目专项资金资助项目(No.2014B090921008)；广州市科学研究专项资金资助项目(No.201510010089)；广东省协同创新与平台环境建设专项资金资助项目(No.2015B090901013)；广东省科技发展专项资金资助项目(No.2016A010102015)；佛山市科技创新专项资金资助项目(No.2014AG10015)

1004-924X(2016)10-2400-08

TG456.7

Adoi:10.3788/OPE.20162410.2400