一种基于PPCNN的金属激光熔化沉积熔池状态识别方法

马琳杰

摘要：金属激光熔化沉积质量与熔池状态具有密切的关联，根据熔池视觉特征对加工中的熔池状态进行识别，进而实现沉积质量的在线预测对金属激光熔化沉积技术具有重要意义。为构建上述映射关系，本文提出了一种基于金字塔池化卷积神经网络的金属激光熔化沉积熔池状态识别方法。针对所采集的熔池同轴图像，建立用于训练和测试的数据集;构建了金字塔池化卷积神经网络（Pyramid pooling convolutional neural networks，PPCNN），并进行网络关键参数的研究。结果表明：第一层卷积核尺寸为5×5，卷积层和金字塔池化模块含有64+8×3个卷积核使网络在识别准确率上达到最佳。所提方法取得了最高96.80%的识别准确率。

Abstract： The quality of metal laser melting deposition is closely related to the state of the molten pool. Recognizing the state of the molten pool in processing according to the visual characteristics of the molten pool， and thus realizing the online prediction of the deposition quality is of great significance to the metal laser melting deposition technology. In order to construct the above mapping relationship， this paper proposes a method for identifying the molten pool state of metal laser melting deposition based on pyramid pooling convolutional neural network. Based on the collected coaxial images of the molten pool， a data set for training and testing was established; a pyramid pooling convolutional neural network（PPCNN） was constructed， and key network parameters were studied. The results show that the size of the first layer of convolution kernels is 5×5， and the convolutional layer and pyramid pooling module contain 64+8×3 convolution kernels to make the network achieve the best recognition accuracy. The proposed method achieved a maximum recognition accuracy of 96.80%.

關键词：增材制造;定向能量沉积;激光熔化沉积;熔池;卷积神经网络;金字塔池化模块

Key words： additive manufacturing;directed energy deposition;laser melting deposition;molten pool;convolutional neural network; pyramid pooling module

0  引言

定向能量沉积（Directed Energy Deposition，DED）是利用聚焦热能将材料同步熔化沉积的增材制造工艺[1]。该技术可以在零件的成形过程中实现不同材料的融合，使得制备的零件具有任意方向上的材料和功能梯度。其中金属激光熔化沉积是采用激光束作为聚焦热能的定向能量沉积技术。目前，由于金属激光熔化沉积存在复杂的多物理场耦合作用，使得加工零件的质量可靠性和效果重复性提升困难，这限制了其规模化工程化应用。

在线诊断识别及反馈控制是提高激光熔化沉积技术质量可靠性与效果重复性的关键手段之一。熔池作为激光熔化沉积加工中的重要物理现象及多场耦合的重要载体，其包含着丰富的物理冶金状态信息，可为工艺稳定性与零件质量的在线诊断识别及反馈控制提供重要的理论与数据支持。因此，针对熔池形态监测的研究引起了学者的广泛关注。唐梓珏等[2]采用同轴监测方法，对四种不同工艺条件下的熔池动态特征进行监测，揭示熔池关键形状精度的演化行为，并建立新的熔池形状精度模型。HOFMAN等[3]同样采用同轴监测方法对熔池宽度进行监测，结果表明熔池宽度影响沉积层的稀释率和硬度的稳定性。刘新锋等[4]利用CCD相机拍摄完整的熔池图像，通过提取熔池的长度、宽度、面积等特征作为神经网络的输入，建立预测熔池背面熔宽变化的网络模型。上述研究虽然已对熔池特征与最终加工质量间的关联关系展开了研究，并实现了基于特定熔池特征的在线诊断识别，但对于可反映激光熔化沉积熔化—熔融—凝固全过程的熔池而言，依然有大量的过程特征信息没能很好的进行利用，这阻碍了基于熔池的激光熔化沉积质量在线诊断识别与反馈控制技术的应用。

深度学习（Deep Learning，DL）算法能够自动创建特征提取器与分类器，其识别分类能力随着提供新的训练数据而改进和发展。卷积神经网络（Convolutional neural networks，CNN）可以直接对图像进行处理，使直接对熔池图像进行特征提取成为可能。与传统方法相比，CNN的显著优点是利用深层次的网络结构从图像中自动提取出更加抽象的特征，而不是依赖于专家知识手动提取。同时，CNN具有局部感知和权值共享的特点[5]，减少了网络参数的数量，从而减少了训练的时间。上述优点使其应用范围也更加广泛[6-8]。但Zhang等[9]将原始图像输入到CNN取得的平均准确率只有92.8%，原因是原始图像含有噪声或CNN在传递过程中信息丢失，导致没有取得更高的准确率。因为在金属激光熔化沉积中，受多物理场耦合、监测光路污染与加工环境变化等因素的影响，熔池特征往往复杂多变，这对CNN性能提出了更高的要求。

为了充分利用金属激光熔化沉过程熔池图像的在线信息并抑制熔池信息在深度神经网络传递过程中的损失，本文提出了一种基于金字塔池化模块的卷积神经网络熔池状态识别方法，并结合在惩罚函数中添加L2范数正则项来提高模型的泛化能力，實现了熔池状态的精确识别。通过本研究为激光熔化沉积质量的反馈控制提供了重要的数据支持。

1  试验材料、设备及方案设计

试验采用了由六轴机器人（KR30HA，Germany）、半导体激光器（LDF 4000-100 VGP，Germany）、激光头（YC52，Precitec KG，Gaggenau，Germany）和送粉器（RC-PF-01B-2，Raycham Ltd，Nanjing，China）组成的激光熔化沉积系统，实验设备如图1所示。熔池图像采集系统由同轴工业相机、计算机组成。其中，同轴工业相机可采集632×508像素的图像，采集帧率最高可达500fps，所采集的熔池图像为单通道灰度图像，采集后传输到计算机中进行保存。试验过程中的保护气和载粉气均为纯度 99.999%的氩气，送粉量为9.15g/min，载气流量为600L/h，保护气流量为900L/h。试验所用材料为316L基体和316L粉末，粉末的粒径为45～150μm。

本文所采用的316L基板尺寸为60mm×40mm×8mm。通过改变激光功率（500W、600W、700W、800W、900W、1000W、1100W、1200W）和扫描速度（1mm/s、3mm/s、5mm/s、7mm/s、9mm/s、11mm/s、13mm/s、15mm/s、17mm/s、19mm/s），在80组参数的组合下，利用单道扫描，获取熔池的灰度图像。由于在沉积起始处熔池不稳定，此时拍摄的熔池图像不具有代表性，因此需选择1s后处于激光熔化沉积稳定状态时的熔池图像作为最终的数据集。

2  数据集生成

参照前期研究成果[2]的单道单层沉积试验，本文将沉积状态分为4类，其对应图像特征分别如下：①熔池的几何轮廓为倒梯形，此时沉积层润湿角过高（接近或大于90°），冶金结合不良，沉积状态为过度熔融;②熔池的几何轮廓为近圆形，此时沉积层润湿角远小于90°，冶金结合正常，沉积状态为正常熔融;③熔池的几何轮廓为不规则形状，此时沉积层润湿角正常，但冶金结合不良，沉积状态为不完全熔融;④当无法形成稳定的熔池和沉积层，沉积状态为不连续熔融。之后以阈值分割和边缘检测算法获得熔池初步轮廓，并根据熔池初步轮廓的外接矩形a*b，截取（a+10）*（b+10）矩形范围作为ROI（Region of Interest）区域。图2显示了4类单道的表面质量及对应的熔池ROI图像。每个沉积状态下数据的详细介绍如表1所示。最后将熔池图像统一压缩为32×32像素作为模型的输入。因为CNN是一种有监督的训练方式，需要对每张图像建立标签，该标签代表熔池图像对应的沉积状态。

3  PPCNN模型

PPCNN（Pyramid pooling convolutional neural networks，PPCNN）即金字塔池化卷积神经网络。卷积神经网络的高层特征有助于类别识别，但连接全连接层的池化层会丢失大部分提取的高层特征，从而影响识别准确率。而金字塔池化模块[10]融合了不同尺度的特征，提高了获取全局信息的能力，有效的减少了高层特征的信息丢失问题。因此，本文将金字塔池化模块与卷积神经网络相结合，构建了PPCNN模型，模型结构及参数如图3所示。

本文的金字塔池化模块融合了三种不同尺度的金字塔池化特征，分别为1×1，2×2，4×4，如图3中的金字塔池化模块。其中红色表示全局池，对整个特征图进行池化操作。以下金字塔等级将特征图分割为不同的子区域，对特征图进行不同位置的池化操作，不同金字塔等级池化操作会产生不同大小的特征图。金字塔池化操作后采用1×1卷积确定每种尺度所生成的特征图数量，之后采用双线性差值扩展到与C5相同的尺寸，最终将金字塔池化模块生成的三种不同尺度的特征图与C5特征图进行融合，从而聚合高层特征，减少信息的丢失，提升整体的识别准确率。

卷积神经网络的训练过程分为前向传播和反向传播，在前向传播过程中，输入数据经过多层卷积层和池化层进行特征提取，经全连接层，输入分类器进行数据的分类识别。在反向传播过程中，依据损失函数，通过反向传播从后往前更新网络的权重和偏置参数，以达到最优的网络参数，最终实现最优的网络模型[11]。为了防止模型的过拟合，提高网络模型的泛化能力，本文采用添加L2范数作为惩罚项的交叉熵损失函数，则改进后的惩罚函数为：

4  PPCCN熔池状态识别

4.1 PPCNN关键参数影响分析

CNN的网络参数对整体的识别结果有较大的影响。例如，卷积核尺寸、全连接层数量等。通过对上述两个参数进行研究，确定最适合识别四种沉积状态的网络参数。第一层卷积核作用于输入图像，其卷积核的尺寸直接决定首次感受野的大小，对初次特征提取至关重要。因此，研究第一层卷积核尺寸从3×3-11×11的变化过程中，识别准确率的变化趋势如图4所示。从曲线中可以看出，当卷积核尺寸为5×5时，网络对熔池状态的识别率最高。这是由于3×3的尺寸较小，不能有效的提取熔池图像的特征，而由于输入图像只有32×32，过大的卷积核尺寸不能合适的提取熔池图像的特征，反而会增加网络训练的时间。

由于最后一层卷积层卷积核和金字塔池化模块卷积核数量即融合后卷积核总数共同决定了全连接层输入的大小，而全连接层中的特征直接决定识别准确率，因此研究融合后卷积核总数对识别效果的影响。由于金字塔池化模块融合了三种不同金字塔尺度下的特征，再与前一层卷积层进行最终融合，故要确定四层卷积核数量，以使网络达到最优的识别率。本文采取了6组不同数量的卷积核进行训练，分别为32+8×3，32+16×3，32+32×3，64+8×3，64+16×3，64+32×3，其中32+8×3表示金字塔池化模块的前一层卷积层有32个卷积核，金字塔池化模块每种尺度下有8个卷积核，故四层卷积核总数为56，其他参数的含义与之相同。训练得到融合后卷积核总数与识别准确率的变化趋势如图5所示。从图5中可以看出，当卷积核总数为88时，准确率最高为96.80%。当前一层卷积层卷积核数量为32时，整体准确率低于前一层卷积层卷积核数量为64的准确率。说明当最后一层卷积层中卷积核数量较少时，不能充分对熔池图像特征进行提取，导致融合后效果不佳。当最后一层卷积层卷积核数量为64时，随着卷积核数量的增加，识别准确率下降。说明全连接层参数过多，可能导致过拟合现象，从而影响对测试数据的识别。

因此，通过对第一层卷积核尺寸和融合后卷积核总数的研究，最终确定第一层卷积核尺寸为5×5，融合后卷积核总数为88（64+8×3）时，网络的识别精度最高。

4.2 准确率对比分析

为了对比论证所提方法的优势，选择不添加L2惩罚项的PPCNN、标准CNN进行对比。不添加L2惩罚项的PPCNN也采用图3的网络结构与参数，标准CNN的网络结构和参数与图3相比，将金字塔池化模块替换为步幅为2，滤波器为2×2的最大池化层，且只有两层全连接层，第一层全连接层具有1024个节点，第二层全连接层的节点数为200，其他网络结构和参数与图3保持一致。同时为了突出所提方法相对于SAE和传统方法的优势，将熔池ROI像素灰度值范围从0到255分为25个区间，将不同区间中的像素数提取为熔池特征分别输入SAE、SVM和传统浅层神经网络BPNN进行对比。具体实验方法介绍如表2所示。

本文每种方法共进行4组相同条件的试验，选择梯度下降算法对网络执行350次优化迭代后，每种方法的4组实验的准确性如表3所示。

从表3可以得到，采用CNN的方法的准确识别率明显高于SAE和传统分类方法。采用所提方法（L2-PPCNN）四次识别准确率分别为：96.25%，95.90%，96.40%以及96.10%，平均准确率为96.16%，高于不添加L2惩罚项的PPCNN的95.41%。说明惩罚函数中添加L2范数正则项，提高了模型的泛化能力和识别准确率。而标准CNN由于沒有采用金字塔池化模块，其平均准确率为93.41%，相比于所提方法，其识别准确率下降了2%。说明金字塔池化模块融合的不同尺度的特征提高获取全局信息的能力，从而有效减少高层特征的信息丢失，提升了识别准确率。熔池特征+SAE的平均准确率只有75.40%，这表明CNN提取熔池特征的能力比手动+SAE提取特征的效果更好。熔池特征+SVM和熔池特征+BPNN的平均准确率都低于55%，说明传统神经网络在信息丰富的熔池图像中已经无法获得较高的识别率。以上结果可以得出，所提方法识别准确率最高，表明从熔池图像中提取的特征信息更全面。说明所提方法提高了获取全局信息的能力，有效减少高层特征的信息丢失，同时还提升了模型的泛化能力。即本文提出的方法更适用于金属激光熔化沉积中熔池状态的识别。

5  结论

本文研究了一种金字塔池化卷积神经网络的金属激光熔化沉积熔池状态识别方法。构建了金字塔池化卷积神经网络，从而融合了不同尺度的特征，提高了获取全局信息的能力，提升了识别准确率，从而有效的减少高层特征的信息丢失问题。同时在惩罚函数中添加L2惩罚项用于正则化处理，提高了模型的泛化能力。分析了网络中两个重要参数对于识别准确率的影响。研究表明：第一层卷积核尺寸为5×5，卷积层和金字塔池化模块含有64+8×3个卷积核使网络在识别准确率上达到最佳。相比于其他方法，在4组平行实验中，所提方法最高识别准确性达到96.80%。同时该方法也为激光熔化沉积质量的反馈控制提供了重要支持。

参考文献：

[1]全国增材制造标准化技术委员会.GB/T 35351-2017，增材制造术语[S].北京：中国标准出版社，2017.

[2]唐梓珏，刘伟嵬，颜昭睿，等.基于熔池动态特征的金属激光熔化沉积形状精度演化行为研究[J].机械工程学报，2019，55（15）：39-47.

[3]Hofman J T， Pathiraj B， DIJK V J， et al. A camera based feedback control strategy for the laser cladding process[J]. Journal of Materials Processing Technology. 2012， 212（11）： 2455-2462.

[4]刘新锋，高进强，姜锡瑞，等.连续电流TIG焊熔池图像的低成本自动化检测[J].焊接学报，2001（06）：25-28.

[5]李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（09）：2508-2515.

[6]Wang F T， Deng G， Ma L J， et al. Convolutional Neural Network Based on Spiral Arrangement of Features and Its Application in Bearing Fault Diagnosis[J]. IEEE Access. 2019， 7： 64092-64100.

[7]Jiao J， Zhao M， Lin J， et al. A multivariate encoder information based convolutional neural network for intelligent fault diagnosis of planetary gearboxes[J]. Knowledge-Based Systems. 2018， 160： 237-250.

[8]李海超，刘景风，谢吉兵，等.基于卷积神经网络的GTAW熔透预测[J].机械工程学报，2019，55（17）：22-28.

[9]Zhang Y， Hong G S， Ye D， et al. Extraction and evaluation of melt pool， plume and spatter information for powder-bed fusion AM process monitoring[J]. Materials & Design. 2018， 156： 458-469.

[10]Zhao H S， Shi J P， Qi X J， et al. Pyramid Scene Parsing Network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， July 21-26， 2017， Honolulu， HI， USA：IEEE， 17355193.

[11]李恒，张氢，秦仙蓉，等.基于短时傅里叶变换和卷积神经网络的轴承故障诊断方法[J].振动与冲击，2018，37（19）：124-131.