陈磊 刘芳 黄帅
开发设计
基于深度学习的VC散热片铜管焊接控制系统
陈磊 刘芳 黄帅
(台达电子电源(东莞)有限公司,广东 东莞 523308)
针对人工控制VC散热片铜管焊接存在缺陷率高的问题,提出基于深度学习的VC散热片铜管焊接控制系统。该系统选用工业相机VCXU-53C采集焊接位置图像;利用改进的深度学习SqueezeNet轻量化神经网络建立焊接网络模型,实时分析采集的焊接位置图像,输出当前焊接进度;识别到焊接进度完成时,立即向高周波焊接设备发送停止信号,从而实现高周波焊接设备的自动化与智能化。该系统经实际应用验证:焊接良率可达到99.91%,满足实时检测的需求。
深度学习;SqueezeNet;网络模型;高周波
蒸汽腔(vapor chamber,VC)散热片亦称均温板或均热板,采用真空腔均热板技术,在二维面上传导热量,实现高效散热,广泛应用于CPU,NP,ASIC等大功耗器件的散热。目前,VC散热片的铜管焊接大都采用人工控制高周波焊接方式,存在缺陷率偏高的问题。
本文提出基于深度学习的VC散热片铜管焊接控制系统,配合高周波焊接设备实现VC散热片的铜管全自动焊接。采用改进的深度学习SqueezeNet轻量化神经网络建立焊接网络模型,实时识别铜管焊接进度,并根据焊接进度及时控制高周波焊接设备。该控制系统可代替人工,避免人为因素造成的焊接不良,有效解决了人工控制VC散热片铜管焊接存在缺陷率偏高的问题。
基于深度学习的VC散热片铜管焊接控制系统主要包括视觉模块、算法模块和控制模块,系统框图如图1所示。
图1 基于深度学习的VC散热片铜管焊接控制系统框图
视觉模块由工业相机和组合镜头组成。其中工业相机采用VCXU-53C(USB3.0接口,530万彩色全局曝光coms相机);组合镜头由焦距为50 mm的镜头带3个5 mm接圈加90度转折镜头组成,其框图如图2所示。工业相机VCXU-53C通过高周波线圈的中间通孔采集焊接位置图像,其视野大小为25 mm ×31 mm。视觉模块接收控制模块传送的开始采集信号后,由工业相机VCXU-53C采集焊接位置图像,并将采集的焊接位置图像实时发送给监控显示屏,实现焊接过程的实时监控;同时将采集的焊接位置图像发送给算法模块,供其分析识别。
图2 视觉模块框图
算法模块包括图像预处理和网络模型。图像预处理灰度化处理视觉模块传递的焊接位置图像,并将处理后的焊接位置图像传送给网络模型。网络模型采用改进的SqueezeNet神经网络,对接收的焊接位置图像进行特征提取和池化等计算,得出当前焊接进度;当算法模块识别到焊接进度完成,立刻向高周波焊接设备发送停止信号,完成一个焊接周期。
1.2.1 图像预处理
视觉模块采集的焊接位置图像是彩色的,采用RGB颜色模式,需用三维矩阵来表示。本文将彩色图像进行灰度化处理,以减少图像处理时间。图像灰度化处理方式有分量法、最大值法、平均值法和加权平均法[1]。本文采用最大值法,即将彩色图像中RGB亮度三分量的最大值作为灰度图的灰度值,处理效果如图3所示。焊接位置图像经灰度化处理后,只需一维矩阵即可表示,提高了后续处理速度。
图3 焊接位置图像灰度化前后对比
1.2.2 SqueezeNet模型
VC散热片铜管焊接要求控制精准,故需要高效快速的网络模型。本文选用轻量且高效的神经网络SqueezeNet实现焊接网络模型。焊接网络模型在有限计算资源情况下,尽可能地提高算法处理帧数,达到实时监控焊接进度的目的,从而准确地控制焊接过程。
SqueezeNet模型[2]由Fire Module堆积而成。Fire Module采用模块化的卷积,包含squeeze层(1×1卷积核)和expand层(混合使用1×1和3×3卷积核)2层卷积操作。标准SqueezeNet1.0模型结构如图4所示,共包含10层。
图4 标准SqueezeNet1.0模型结构图
第1层是卷积层,用来提取输入数据特征;第2层到第9层是Fire Module的堆积,中间穿插着stride =2的maxpool层,主要作用是下采样,并采用延迟策略,尽量使前面层拥有较大的feature map;第10层是卷积层,用来得到所有类别的通道;最后通过softmax函数将各个通道归一化为概率,得到每个通道的分类概率值。
1.2.3 改进的SqueezeNet模型
由于SqueezeNet1.0模型训练耗时且只能解决分类的问题,本文对SqueezeNet1.0模型进行改进。1)将穿插在fire4与fire5、fire8与fire9 之间的maxpool层改成穿插在fire3与fire4 、fire5与fire6 之间,这样可对特征提早进行降维处理,减少了每层的处理时间,从而提高训练速度;2)将SqueezeNet1.0模型最后一层softmax换成3个线性(全连接)层,将输出尺寸1×1×1000变为1×1×1,使输出不再是分类概率,而是单个回归值,可直接用来表示当前焊接进度。改进的SqueezeNet模型结构如图5所示,模型各层参数信息如表1所示,其中s1×1表示squeeze层中1×1 filter的个数;e1×1表示expand层中1×1 filter的个数;e3×3表示expand层中3×3 filter的个数。
1.2.4 训练改进的SqueezeNet模型
根据改进的SqueezeNe模型训练VC散热片铜管焊接网络模型。通过生产经验将焊接过程分为5个阶段定义:(a) 无材料、(b) 有材料,未开始加热、(c) 焊接过程中、(d) 冷却中和(e) 冷却完成,如图6所示。
工业相机VCXU-53C采集(c)阶段焊接过程中反反映焊接进度的图像,利用改进的SqueezeNet模型训练VC散热片铜管焊接网络模型。具体训练步骤:1)收集图6中(c)阶段的图像50张,同时记录每张图像对应的焊接进度;2)采用图像预处理将收集的图像转为灰度图像,以此提高后续训练速度;3)将处理后的所有图像分为训练集和验证集,本文随机选取30张图像作为训练集,剩余20张图像作为验证集,4)将训练集作为改进的SqueezeNet模型输入,利用高性能计算机训练焊接网络模型,得到训练后的焊接网络模型;5)将验证集作为焊接网络模型的输入,得到每张图像的结果与之前记录的真实进度进行对比,计算其准确率,本文实验的准确率为99.95%。
图5 改进的SqueezeNet 模型结构图
表1 改进的SqueezeNet模型各层参数信息
图6 焊接过程分段定义
本文焊接进度采用百分数表示,100.00%表示焊接已完成。模型训练进度输出表如表2所示,其中标签为每张图像对应的真实焊接进度;输出为本文模型识别图像的焊接进度结果;差异为真实焊接进度与本文模型得到的进度差值。
表2 模型训练进度输出表
续表
由表2可知:本文建立的焊接网络模型能识别图像中当前焊接进度,输出结果表示当前焊接进度的百分数。在实际应用中,需要考虑模型差异、视觉控制的间隔时间以及高周波焊接设备反应时间等。本文经过大量试验验证,当模型进度值首次达到(95.00%, 100.00%)区间时,给出停止焊接信号,焊接品质合格。故现场使用时,当模型进度达到95.00%时,立即向控制模块发送焊接完成信号。
控制模块主要用于工业计算机与高周波焊接设备的信号交互。控制模块包括控制模块(1)和控制模块(2)。控制模块(1)接收由高周波焊接设备发出的开始焊接信号,经过信号处理后将该信号传送给视觉模块;视觉模块开始采集焊接位置图像;视觉模块将采集的焊接位置图像传送给算法模块。控制模块(2)向高周波焊接设备发出停止焊接信号,算法模块发送的字符串标志“OK”信号转为GPIO高电平信号,并将高电平信号通过继电器传送给高周波焊接设备;高周波焊接设备立即自动停止焊接。高周波焊接设备与工业计算机的信号均通过继电器进行交互,当两者无信号交互时,由继电器进行隔离;当需要信号交互时,继电器吸附导通传送信号,如图7所示,其中K1与K2为继电器。
图7 工业计算机与高周波焊接设备的信号交互示意图
基于深度学习的VC散热片铜管焊接控制系统采用C#编写开发,将该系统部署在工业计算机上;工业相机VCXU-53C镜头通过网线连接工业计算机;继电器一端连接在工业计算机的I/O口,另一端连接高周波焊接设备,当高周波焊接设备接收高电平时立即停止焊接。
基于深度学习的VC散热片铜管焊接控制系统和作业员分别控制高周波焊接设备进行铜管焊接,以焊接良率为评定标准,以10天为统计时间,每天统计实际总产量、良品(焊接成功)、不良品(焊接不成功)和良率(良品/总产量),统计结果如表3所示。
表3 焊接控制系统与作业员的铜管焊接实际情况统计
由表3可知:基于深度学习的VC散热铜管焊接控制系统应用在高周波焊接设备上的平均良率可达99.91%,而作业员控制高周波焊接设备焊接平均良率为94.06%;另外本文控制系统配合高周波焊接设备,实现自动化焊接,产量也有所提升。测试结果表明:基于深度学习的VC散热铜管焊接控制系统既能提高铜管焊接良率又能增加产量。
本文提出的基于深度学习的VC散热片铜管焊接控制系统已在散热片生产线高周波焊接站实际使用。经过1年时间的验证:该系统可准确地识别焊接的工作状态,并实时控制高周波焊接设备的停止,满足实时检测的需求,且焊接良率达到99.91%,满足用户需求。该系统一方面将高周波焊接设备由手动控制转变成全自动控制,实现了高周波焊接设备自动化;另一方面采用改进的深度学习SqueezeNet模型建立焊接网络模型来识别焊接过程,体现高周波焊接设备的智能化。
[1] 李慧,欧阳鑫玉,张锋.基于图像技术的EAN-13条码识别系统设计[J].信息技术与网络安全,2020,39(3):73-77.
[2] Iandola F N, Han S, Moskewicz M W, et al. Squeezenet: Alexnet-level accuracy with 50x fewer parameters and< 0.5 mb model size[J]. arXiv preprint arXiv:1602.07360, 2016.
[3] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
[4] 陈建强,刘明宇,符秦沈,等.基于深度学习的热轧钢带表面缺陷检测方法[J].自动化与信息工程,2019,40(4):11-16,19.
[5] 王耀南,陈铁健,贺振东,等.智能制造装备视觉检测控制方法综述[J].控制理论与应用,2015,32(3):273-286.
Welding Control System of VC Radiator Copper Pipe Based on Deep Learning
Chen Lei Liu Fang Huang Shuai
(Delta Electronic Power (Dongguan) Co., Ltd. Dongguan 523308, China)
In view of the high defect rate of the manual control of the welding of the VC heat sink copper tube, a deep learning based VC heat sink copper tube welding control system is proposed. In this system, VCXU-53C industrial camera is used to collect the welding image; the improved SqueezeNet lightweight neural network is used to build the welding network model, analyze the collected image in real time and output the current welding progress. When the welding progress is recognized, the stop signal is sent to the high-frequency welding equipment immediately, thus realizing the automation and intelligence of the high-frequency welding equipment. The system has been verified by practical application, the welding yield can reach 99.91%, and it can meet the needs of real-time detection
deep learning; SqueezeNet; network model; high frequency
陈磊,男,1986年生,本科,工程师,主要研究方向:机器视觉、智能检测与控制。E-mail: yiw555@126.com
刘芳,女,1992年生,硕士,主要研究方向:深度学习、智能检测与控制。
黄帅,男,1993年生,本科,主要研究方向:机器视觉与深度学习。
TH86
A
1674-2605(2020)03-0004-07
10.3969/j.issn.1674-2605.2020.03.004