基于深度学习与工业服务器的云检测系统应用研究

赵卫东,秦 锋

(1.滁州职业技术学院 信息工程学院,安徽 滁州 239000;2.安徽工业大学 计算机科学与技术学院,安徽 马鞍山 243002)

随着国际竞争的日益严重、人工劳动成本不断升高,制造行业自动化设备亟待智能化升级[1-2]。在国内大部分工厂已经引入自动化,甚至智能化设备,以电路板行业为例,业界熟知的有AOI设备,用于对电路板表面缺陷的检测。AOI设备虽然解决了一部分问题,但是仍然存在痛点问题一直没有解决:AOI设备为了保证不漏检,把评判标准定得很低,大量的良品,被判为不良品,导致误判率很高、人工复检压力很大。为了解决这个问题,本文提出云检测系统,接入AOI设备所在局域网,对AOI检出的不良图片进行二次过滤,达到提高直通率、降低误判率的目的。

在云检测方面,张庆[3]等人设计了云检测平台,基于XML和Web Service将云端硬件映射为云资源,该研究虽解决部分问题,但没有对检测算法应用展开研究,在实际落地中,往往不能达到工程目的。王海涛[4]等人通过特征提取,信息补全,将云端深层特征与本机浅层特征结合,以更好地实现云检测,但该研究未考虑算法与网络系统之间稳定调用的问题。徐少壮[5]等人基于U-Net网络特征和云检测影像特征,提升系统鲁棒性,提高云检测精度,但其未考虑算法与网络系统兼容的问题。

为了提高云检测系统的性能,本文提出一种新的检测方法,主要是对AOI误判的产品进行过滤,减少人员复判工作量。整个过程分为两部分:过滤算法的AI模型实现、局域网系统与算法调用的集成。本文结合网络系统与AI模型,设计并实现了一套耦合算法与网络系统的缺陷云平台检测系统。最后,借助实际项目来测试所提系统的效果。

1 云检测系统设计

在实际应用场景中,比如工厂中某车间有5台AOI设备,每天都会产出大量的误判图片,需要质检作业员复判,1台AOI设备后面拖5个VRS复判工位,需要5位作业员,三班排程,光一台AOI设备的复判作业就需要25人,总共需要75人的人力成本。本文开发出一套云检测系统,能够过滤掉80%的误判图片,即减少60人的人力成本,这是AI研发落地于工业生产降本增效的目标实现。

本文云检测系统流程设计如图1所示,AOI输出待复判图像,通过局域网实时传输给云检测系统中的GPU分析计算模块,经过计算得到检测结果,保存于系统数据库,并经过局域网将检测结果和图片传输给VRS,即剩下的误判图片给人员二次确定即可。

图1 云检测系统流程设计

待复判原图如图2所示,为良品图像,图中没有缺陷,交由AI系统检测,本文后续将对其进行检测和讨论。

图2 待检测的复判图像

1.1 AI过滤算法

工厂中的AOI设备一般已经用了很多时间,且积累了大量图像数据,这些数据是训练AI过滤模型的肥料。本文收集了1万张良品图片和1万张不良品图片,共计2万张图片,进行AI过滤模型训练。本文的过滤算法主要分为两个部分:基于图像比对的传统方式、基于深度学习的AI分类模型。传统方式:建立标准模板图,与实际待测图像,进行逐个像素的比对计算,算出相似度,当相似度高于某阈值,则判为良品,反之则判为不良品,这种方式往往基于经验,算法泛化能力有限,因此只作为本文算法体系中权重较小的一支,在本节不予以赘述。本节主要讨论基于深度学习的AI过滤模型。

为了展开过滤模型训练工作,将待训练图片,统一大小为512*512像素。训练库覆盖各个细分领域的图片,为了达到样本库全面覆盖性。

其中的激活函数是:Sigmoid、tanh、ReLU[6-8],表达式如式(1)-式(3)所示。

(1)

tanh=tanh(x)

(2)

ReLU=max(0,x)

(3)

式(1)-式(3)中,x代表输入值,左侧为输出值。深度过滤神经网络的本质是权值乘以输入值加上偏移值[9-10]。

本文的循环过滤神经网络采用特定标准差来初始化节点权重,在反向传播过程中限制梯度不超过某个阈值。循环过滤神经网络采用早停止模式,增强模型鲁棒性。

如图3所示,本研究采用AI过滤模型技术检测了误判图像,检测结果为良品,与实际标记一致,可见检测准确,为人工复判减轻了压力。

图3 复判图像检测结果

1.2 云检测系统设计

基于web技术,开发一套局域网服务器端软件系统,即云检测平台,类似于一个网站,对应复判图片过滤需求。因为云检测平台是网络系统,所以支持跨系统跨平台。本系统经过硬件选型与资源整合,具有高并发、稳定响应的性能。云检测平台接收到图片,就调用算子或模型,完成过滤作业。服务器端:同时接收来自几个或十几个机台PC的图像文件(文件名格式如:机台号_产品号_生产号_图像编号.JPG);基于AI过滤模型完成图像检测;检测结果返回对应的机台PC(结果信息格式如:机台号_产品号_生产号_图像编号_OK/NG类型)。设备PC端:发送图像文件至服务器指定目录,接收服务器端检测结果信息。系统架构示意图如图4所示(以1台服务器负责5个设备PC为例)。

图4 本文系统架构

本系统采用前后端分离进行设计,前端技术:页面采用JSP、HTML,样式采用css3,脚本采用Javascript、jquery,UI采用amazeui/layui,图表库采用echarts,弹层组件采用layer;后端技术:开发语言采用Java,框架采用springmvc、spring,持久化采用hibernate/dbutils,缓存采用ehcache/redis,消息队列采用acitveMQ;前后端数据传输:采用websocket、HTTP;接口:第三方SDK采用云文件存储服务等,消息采用邮件、短信、微信消息,类库管理采用maven,数据库使用MySQL,web服务采用nginx+tomcat。本系统网络方面的技术路线清晰,开发出的系统稳定且易于维护。

本系统含有的一级模块:系统框架、系统管理、权限管理、通用信息管理、服务状态、产品检修、标准任务、统计信息、消息管理等,二级模块数量更多,在此不一一赘述。本系统网络方面的模块分门别类,每个模块都是独立开发,具有低内聚、高耦合的特点。

数据流管理方面,AOI设备上部署数据传输软件,自动扫描文件夹,上传NG图像到GPU服务器或映射到局域网环境,web服务器调用GPU服务器上的算法,对NG图像进行过滤,并上传到VRS设备。数据传输软件设置和工作流程如下。

(1)配置扫描文件夹路径。

(2)设置文件夹大小,超过大小自动清空时间较久的文件。

(3)上传可调整为直接映射到局域网环境中,局域网内通过url路径直接访问到图片。

(4)开放上传接口,供GPU服务器上传文件,或也直接部署在GPU服务器。

(5)文件管理功能,查看各批次文件名及文件产生时间等信息,手动上传或删除文件。

在本文系统中,网络系统用Java语言作为后台语言,算法用C++语言开发,涉及跨语言调用,即Java语言调用C++的DLL,对于两种语言的调用机制,进行了统一化处理,对字符串传输乱码问题,也进行了测试和经验处理,达到了多种语言协同稳定工作的目的。

由图4可知,AOI设备输出误判图像,并且把设备号、生产号、产品号、图像编号等数据生产信息,一起传输给云检测系统,然后经过AI分析计算后,过滤掉误判的图像,即实际良品图,AOI误判为不良品图,将剩下的误判图像传输给VRS,交由人工复判。

如图5所示,将分割AI模型、分类AI模型,都整合进了网络系统。

图5 系统标注与复判界面

2 实验与讨论

本文系统的AI模型基于libtorch1.7实现,产品化过程基于VS2019、QT5.6.2实现;网络系统前端基于javascript脚本语言实现,后端基于java实现。硬件组成:一台服务器(内存128G,CPU 5218,带raid)、插4张独立显卡2080TI(最多对应20台设备PC的数据计算)、配置一个机柜(带UPS、散热、大小约2.5～3台工控机堆大小),整个系统界面如图6所示。

图6 本系统界面

待检测的复判图像,如图7所示,待识别的复判图像为良品图像,AOI误判为不良品图像。本研究耦合AI过滤算法和云平台系统,如图8所示,可见本研究检测正确,判为良品,为VRS复判工位减少了一个工作量。

图7 待检测复判图像

图8 本研究检测结果

经过比对实验,文献[3]的技术系统,如图9所示,依然误判。文献[4]从算法展开讨论,未考虑实际落地需要配套系统问题,效果不能达到工程要求。如图10所示,依然误判,没有能够为VRS人工复检减少工作量。

图9 文献[3]识别结果

图10 文献[4]识别结果

最后调出本系统量产统计曲线图,即误判去除率,可见曲线总体向上,即误判去除率呈上升趋势,越来越多地可以减少人工复判的压力。

结语

为了解决AOI设备误判多、人工复检压力大的问题,本文分别从云平台网络系统和AI过滤检测,结合两者优势,并进行串并联,建立起一套健壮的云检测机制。本研究将AI中过滤模型,进行打包升级,部署在云端服务器上,可以处理来自各个AOI端的误判图片。开发出完整的云检测系统,对图片数据信息进行有效的管理和传输,对AI算法进行稳定的调用,并行化的对实际场景中误判图片进行并行化检测[11-13]。

在后续计划研究中,将建立一个能够过滤多个工厂误判图片的云检测系统,以提升系统并行过滤能力。