云边协同外观质量人工智能检测系统的设计与实现

张明强,高 华,袁东风,张海霞,孙广源,马 睿,翟华振,张寻政

(1.山东大学 信息科学与工程学院, 山东 青岛 266237;2. 曲阜师范大学 网络空间安全学院,山东 曲阜 273165;3.山东大学 先进信息技术研究院,山东 济南 250100;4.山东大学 控制科学与工程学院, 山东 济南 250061;5.海尔集团 海尔空调全球供应链, 山东 青岛 266103;6.山东省无线通信技术重点实验室,山东 济南 250100 )

0 引言

智能制造[1]是全球新一代工业革命的风向标,为提升产业核心竞争力、实现新旧动能转换,亟需发展新一代信息技术赋能的智能制造产业。美国工业互联网、德国工业4.0、日本创新工业计划和中国智能制造均从不同角度提出借助新一代信息技术对工业场景改造升级的思路[2-3],其核心理念均通过工业物联网(Industrial Internet of Things,IIoT)、多功能传感器和云计算等信息集成技术,将分布式、组合式的工业制造单元模块构建成多功能、智能化的高柔性工业制造系统,同时在生产设备、零部件、原材料上装载可交互智能终端,借助物联网实现信息交互和实时互动,使机器能够自主决策,并对生产进行个性化控制,进而打造先进的无人化智能工厂。与装备制造业强国相比,我国装备制造业综合竞争力依旧较弱,实际产线数据实时分析和生产自主决策方面困难突出,大大制约了制造业的产能和效率,严重阻碍了制造业从大规模制造向大规模个性化定制转型的进程。

人工智能、大数据、云计算和边缘计算以及通信技术(Artificial intelligence,Big data, Cloud and edge computing,Communications,ABCC)已经成为当前制造业转型升级的主要抓手。借助人工智能(Artificial Intelligence,AI)和机器视觉方法进行制造业产线的数字化转型升级[4],可以充分利用深度学习、机器学习理论和方法在数据挖掘、特征抽取方面的优秀潜能,捕捉历史数据信息隐含的重要特征,辅助产线进行智能决策。近年来,随着数据量的积累、算力的进步和AI模型表示能力的增强,利用深度学习方法进行图像理解已经成为机器视觉和AI领域研究与垂直行业落地的热点。图像理解可以划分为图像分类(image classification)、目标检测(object detection)、图像分割(image segmentation)3个层次。图像分类[5-6]采用事先确定好的类别来描述图像,是最基础的图像理解任务,也是深度学习模型取得进步最大、应用最广泛的一种任务,AI模型取得进展的同时也诞生了ImageNet[7],MNIST(modified national institute of standards and technology),CIFAR10(Canadian institute for advanced research, 10 classes),CIFAR100(Canadian institute for advanced research, 100 classes)等多种具有国际影响力的图像数据集;目标检测关注图像中特定目标的类别和位置信息,需要从背景中分离出感兴趣目标,一般用矩形框定位(object localization)目标区域,同时给出定位目标的类型或类别信息,目前主流算法包括基于区域的卷积神经网络(Region-based Convolutional Neural Networks,R-CNN)[8],Fast R-CNN[9],Faster R-CNN[10],Yolo(you only look once)家族系列算法[11-14];图像分割包括语义分割和实例分割等多种类型,要求分离不同语义的图像部分,或者描述出感兴趣区域或目标的精细轮廓,在现实场景和医学影像分析领域存在大量应用,目前主流算法包括Mask R-CNN[15],U-net[16]等,在国内外公开的PASCAL-VOC(pattern analysis,statistical modeling and computational learning-visual object classes),LIDC(lung image database consortium)等数据集上效果良好。

产品质量是企业的生命线,在工业生产制造全生命周期中,对产品质量进行实时监控可以及时预警生产过程中的突发状况并作出响应,从而规避风险。现阶段,产品质量管控需添加额外工序或人工对产品中间件进行质量评估,不但带来额外的生产成本,而且制约了生产效率。针对该问题,国内外产业和学术界均进行了大量研究。由于影响产品质量的因素比较复杂,人、机、料、法、环等都会对制造质量产生影响,“事后检验”以及统计过程控制的传统质量管控方式已无法适应新型智能制造系统和产业柔性制造的需求。

借助历史数据建立数学模型,特别是AI模型,完成产品质量的预测分析,同时实现产线设备预测性维护和故障诊断是当前的主流方式[17-21],然而由于工业大数据采集、整理、分析和存储均会耗费大量人力物力,而且隐含价值的挖掘难度较大,导致基于AI的质量管控方法在实际制造产线的应用十分有限,仍处于初期探索阶段。

国内外有关AI在空调外观质量检测问题的应用均未见报道。产品Logo、联机管、栅网等关键部件的错漏装检测是空调外机外观质量检测工序的核心任务,也是空调外机封箱入库前至关重要的一步,很大程度上影响客户满意度、投诉量和品牌价值。本文聚焦空调外机的外观质量检测问题,将该问题建模为目标分类与图像识别任务,结合真实空调产线历史积累数据,构建空调外观质量检测专用数据集,并在IEEE DataPort网站面向国内外研究人员公开,辅助机器学习和深度学习领域内相关特征识别与检测算法的验证和测试。在此基础上,设计了一种改进的快速精简Yolo(Fast Tiny Yolo,FT-Yolo)算法,进一步研发边云协同模式外观质量AI检测系统,完成图像采集和处理,实现空调外机铭牌Logo、旋风网及联机管颜色等外观质量特征的自动在线检测,并针对异常检测实时预警,同时通过可编程控制器(Programmable Logic Controller,PLC)与线体和云平台互联交互,实现机机对话、不良品自动停线和打返修区。

1 空调外观质量检测问题建模与公开数据集的构建

1.1 外观质量检测问题建模与评估方法

外观质量检测的内容包括:①联机管,空调外机附加两条和室内机相连的联机管,其管径和管头颜色不同,联机管错漏装直接导致入户无法安装;②旋风网,用于保护扇叶,同时保证消费者人身安全,空调型号不同,旋风网也存在差别;③产品Logo,Logo标志商标和机型,销往内地和海外产品的Logo不同。在实际生产过程中,产品型号种类繁多(全部型号超过1 000种),存在大量需要检测的不同外观质量特征,而同一生产线生产过程会根据订单和排产情况频繁更换产品型号。因此,外观质量检测工具需要快速识别产品Logo、旋风网、联机管等多项检测内容,并与当前产线生产的产品型号进行匹配,同时完成检测数据的存储和传输,以便进行质量追溯。

上述外观质量检测问题可以建模为目标检测与识别问题,检测过程需要完成目标定位和分类两个任务。本文借鉴Yolo家族模型的基本思路,将该问题转化为回归问题,采用均方差损失函数和随机梯度下降方法训练神经网络模型,一步完成目标定位和分类任务。模型训练过程中的基本损失函数表示为[8]

(1)

(2)

(3)

(4)

式中:IoU为预测边界框与标记边界框的交并集之比;Precision表示检测出的目标有多大比例为真正的目标;Recall表示真实目标有多大比例被模型检测出来。对于某个类别,可以通过计算平均精度来判断该类别预测结果的优劣,而平均精度即为Precision-Recall曲线与坐标轴相交的面积,均值平均精度mAP则为多个类别的平均精度。

1.2 改进的Yolo算法Fast-Tiny Yolo

YoloV3模型252层[13],YoloV4模型161层[14],模型推理过程计算量大,不适用于计算能力受限的工业物联网边缘节点设备。因此,将YoloV3模型简化,提出改进的FT-Yolo模型对目标检测精度和检测时间进行折中。FT-Yolo网络共27层卷积层,如表1所示,其网络结构采用卷积、批归一化(Batch Normalization,BN)和LeakyReLU激活(Conv+BN+LeakyReLU)为基础的残差网络作为核心模块,表1中采用“←Conv”表示残差模块短接(shortcut)引出位置的卷积层,“→Resdual-Add”表示残差模块的Add层,将短接引出位置的卷积层与本层输出进行叠加,引入残差模块使得网络训练更加容易,可以防止梯度弥散和网络退化。与YoloV3不同,为了进一步简化模型运算量,FT-Yolo网络提供两路输出,采用非极大值抑制法(Non-Maximum Suppression,NMS)进行局部搜索,给出最终目标检测结果。

表1 FT-Yolo网络结构

1.3 外观质量检测公开数据集的构建

如前所述,AI在空调外观质量检测问题的应用国内外均未见报道,也未发现空调外观质量检测领域的公开图像数据集。为了训练和验证深度学习目标检测算法,本文采集大量外观质量检测数据,选取部分常用型号整理并标注了外观质量检测(Appearance Quality Detection,AQD)图像数据集。将数据集命名为SDU-Haier-AQD(简称AQD),并在IEEE DataPort网站公开,用于目标识别与检测领域深度学习算法的训练、验证和测试[22]。AQD数据集中的所有数据均从空调产线外观检测工位处使用工业相机采集,根据相机差异分为2 464×2 056和1 232×1 028两种分辨率,图像为jpg格式,单幅图像大小在100 kB～400 kB之间,本文在构建数据集时并未对图像进行任何预处理。在外观质量图像AQD数据集标注过程中,采用Github开源标注工具labelImg[23]标注样本。如图1所示,标注过程将待检测目标用矩形框框出,并给予类别命名,最终形成与图像样本同名的xml文件,xml文件中包含图像名称和存储位置、图像尺寸和通道数、图像标注目标名称、标注目标所在横纵坐标位置等信息。如图2所示,由于原始图像分辨率不统一(如外机图像1分辨率为1 200×900,外机图像2分辨率为1 500×1 000),而用于深度学习算法训练的样本图形则为统一尺寸(416×416),为方便训练深度学习模型,在缩放图像后进一步对标注的横纵坐标等信息进行归一化,并将归一化的坐标等标签信息以txt文档形式保存。

AQD公开数据集共标注数据10 449幅,全部标注数据总计约2.5 GB,每幅图像的标注过程需要对图像中的Logo、旋风网、联机管的轮廓进行详细勾画,单幅图像的标注过程约5 min,整个标注过程花费约10人月的工作量。AQD公开数据集中外观质量检测图像可以细分为11个空调机型(A1-A11),表2所示为不同空调产品型号代号及对应的样本数量。表3所示为该数据集的全部标注类别,共分为16类,包括联机管相关特征5类、旋风网2类、Logo 9类。

表2 AQD公开数据集包含的外机型号代码及对应的标注图像数量

表3 AQD公开数据集中标注的标签名称及其数量

2 云边协同产品外观质量AI检测系统设计

2.1 系统总体设计

本文设计的产品外观质量AI检测系统是云边协同智能制造管控平台的一个子系统,该平台聚焦产品质量管控、设备预测性维护和智能排产等多项任务,全面采集海尔互联工厂生产过程数据,涵盖内、外机外观检测,噪声检测,内、外机性能检测等18个关键点位的智能化改造和升级。如图3所示,云边协同产品外观质量AI检测系统负责产品外观质量数据采集、聚合、传输、检测,以及与工业云平台的交互,可简化为端、边、云3层架构:

(1)底层产线部署传感器(工业相机、条码扫描器等)、PLC控制器等物联网设备、轻量级边缘计算设备数据聚合器(DataAggregator,DA),DA为增强版的工业网关,嵌入了5G模组和智能数据聚合模块,可替换ISA95工业金字塔架构中的数据采集与监控系统(Supervisory Control and Data Acquisition,SCADA),负责底层物联网节点数据的采集和聚合传输。

(2)边缘服务器节点负责完成AI检测与识别任务,根据智能检测与识别结果产生决策,驱动PLC等设备控制产线运行,并与云端交互,完成数据上传和云端AI模型下载。

(3)工业云平台通过基础设施即服务(InfraStructure as a Service,IaaS)、平台即服务(Platform as a Service,PaaS)和软件即服务(Software as a Service,SaaS)等不同服务,辅助生产全流程各要素之间交互,同时依托强大的计算资源池,负责工业场景中AI模型的训练与更新。

2.2 产品外观质量智能检测基本流程

空调外机外观智能检测的核心目的是通过在产线部署AI系统和自动化、智能化的AI检测方法,实现空调外机外观的自动检测,提高企业生产效率,降低产品瑕疵概率和人力成本,其基本流程和PLC控制产线过程如图4和图5所示。

(1)空调外机沿产线行进至外观质量检测工位区域,如图4所示的检测区域A,触发AI检测算法驱动工业相机拍照,采集外机图像并自动传输至边缘服务器。

(2)部署在边缘服务器的AI识别算法完成实时检测,将识别结果反馈到工位监控屏,同时将拍摄的外机外观图像上传至工业云平台存储。由于边缘硬件条件限制和检测时延约束,AI模型复杂度受到一定影响。

(3)边缘服务器所部署的智能产品外观质量检测系统根据AI算法检测结果输出PLC控制信号,控制当前产品在产线中的走向,同时将相关信息(产品条码、型号等)反馈到制造执行系统(Manufacturing Execution System,MES)。当算法检测置信度高于特定阈值时,判定为合格产品,产品随产线从分流区域B进入合格区域C,并转入下一工序,而将检测不合格的产品打返修区处理。

(4)云端负责生产数据的汇总、存储以及工业AI模型的训练。边缘端采集到的图像和各种传感器信号需要在云端备份存储,以备后续质量溯源。产品型号变化与新产品研发使得AI模型并不一直适用,产品外观检测系统需要根据产线生产变动情况更新模型来保证模型的准确性。

2.3 云边协同机制

边云协同的内涵涉及资源、数据、智能、应用管理、业务管理、服务、安全等多方面要素的协同,协同的实现需要基础设施、网络技术、AI方法等多层面关键技术共同支撑,主要包括边缘AI芯片、云平台、容器等基础设施,时延敏感网络(Time Sensitive Network, TSN)、软件定义网络(Software Defined Network, SDN)、开放平台通信统一架构(Open Platform Communications Unified Architecture,OPC UA)等网络与通信技术,AI模型设计、划分,计算任务卸载等AI方法。从技术实现的角度,资源、数据和智能的有效协同需要在端、边、云不同物理位置合理而智能地划分计算、存储和通信任务。因此,面向复杂工业应用场景,通信协议的打通、计算存储资源和网络功能的虚拟化、数据的压缩与降维、特征抽取与融合,以及分布式人工智能成为实现边云协同的核心任务。物联网(Internet of Things,IoT)终端设备不断生成需要使用深度学习等AI技术进行实时分析或用于训练深度学习模型的数据,受硬件资源限制,直接在移动终端进行深度模型训练难度很大,因此AI模型的训练仍然在云端,AI模型的推理过程放置在靠近终端设备的边缘,可以在一定程度上满足边缘设备上深度学习的高计算量和低延迟要求。本文设计的系统利用边缘服务器节点提供CPU和GPU(Graphics Processing Unit,GPU)计算能力、有限的通信带宽和数据传输能力、缓存和永久存储能力。上述计算、通信和存储能力用于支撑边缘节点完成现场数据采集,数据的初步分析、汇聚和融合,以及借助AI模型实现现场决策等任务,然后将有价值的数据传输到云端数据库进行存储。

本文设计的产品外观质量AI检测系统采用云边协同机制,将工业生产中现场运行设备封装为边缘服务设备,利用5G专用蜂窝网络客户终端设备(5G Customer Premise Equipment,5GCPE)将边缘服务设备以扁平互联的方式联接到工业数据平台,并与大数据、深度学习等云服务对接,可以解决工业控制高实时性要求与互联网服务质量不确定性的矛盾,提高产线执行层的时效性。在计算能力方面,云端有大规模服务器虚拟化而成的计算资源池,具有强大的计算能力和极低的计算时延;边缘侧设备的计算能力相对云端较弱,可以独自完成外观检测任务。由于边缘设备位于网络边缘,距离数据源头近,能够有效减少数据的网络传输延迟。考虑实际场景为多条产线,多种检测任务并发,且边缘侧和核心网络带宽受限,本文前期完成了数据清洗、压缩、聚合[24-25],能够合理分配边缘与云端计算任务[26],实现云端与边缘高效协同,有效降低边缘侧任务处理和数据传输的端到端时延,加快产线运行节拍,提高生产效率。

2.4 工位显示及Web端管理

外观质量AI检测系统Web界面主要由实时监测和数据管理两部分组成。实时监测界面用于实时显示系统的运行状态和当前检测产品的相关信息,包括图像、一维码、型号、商标、出气栅状态等,如图6所示;数据管理界面用于查询已检测产品的信息,并能根据给定条件筛选查询结果,如图7所示。云端的实时监测和管理可以在完成二次质检的同时辅助产线完成质量追溯。

3 结果与讨论

本文采用自行标注的SDU-Haier-AQD公开数据集进行算法训练、验证和测试。全部数据共10 449幅图像,按80%,10%,10%的比例将该数据集图像划分为训练集、验证集和测试集。为了测试和验证所提FT-Yolo算法的性能,进一步搭建外机外观质量AI检测演示系统,在实际产线进行部署和测试。

选取YoloV3和YoloV4两种主流目标检测算法作为本文外观检测任务的baseline算法,分别分析了YoloV3,YoloV4和所提FT-Yolo 3种算法在不同IoU指标(IoU=0.3,0.5,0.75)下针对不同目标的检测精度。如表4～表6所示,在IoU=0.3时,YoloV3(252层),YoloV4(161层)和FT-Yolo(27个卷积层)均达到很高的水平,FT-Yolo在测试集上的mAP甚至略微超过baseline算法;在IoU=0.5时,所提FT-Yolo算法性能比YoloV3和YoloV4略低,但仍能达到超过97%的识别准确率,其中相对3种标注种类,联机管检测的mAP相对较低;在IoU=0.75非常严苛的情形下,3种算法的mAP相比IoU=0.5均明显下降,联机管检测性能下降比较严重,其主要原因在于联机管目标较小,与背景环境像素值相差不大,且标注过程中由于人为因素,标签边界框大小并不统一,导致算法检测比较困难。综合考量,因为本任务对目标的准确位置信息并不敏感,主要目标是检测关键目标是否俱全,所以FT-Yolo非常契合任务目标。

表5 IoU=0.5时不同模型在不同目标下的mAP %

表6 IoU=0.75时不同模型在不同目标下的mAP %

进一步搭建外机外观质量AI检测演示系统,在实际产线部署本文设计的外观质量AI检测系统,并对不同算法的延时特性进行测试。在AI模型的部署过程中,考虑到工业场景下硬件设备受限(目前大部分工业产线侧尚未部署GPU计算能力),所采用的测试硬件平台为Intel i7-4790 +AMD Radeon R7 350 组合,单独由CPU执行外观质量检测算法,并未使用GPU。测试结果表明,FT-Yolo算法在准确检测Logo、旋风网、联机管等关键外观质量信息的基础上(如图8),单幅图像检测时间仅为0.29 s(如图9),明显低于YoloV3和YoloV4两种算法(0.62 s和0.53 s),远低于现有真实空调产线3 s～5 s的外观检测节拍,外观质量检测时间缩短90%以上(以现有产线3 s的外观检测节拍计算,(3-0.29)/3 =90.33%)。外观检测是空调外机总装流水线多个串行工序的一个重要环节,因此所设计外观质量AI检测系统在解放人工、实现外观质量信息自动智能检测的同时,可以显著提升外观检测工序的效率,有助于提升整条总装产线的运行效率。

4 结束语

本文针对空调外机外观质量检测问题,首次建立了一种用于空调外机外观质量检测的公开图像数据集,并已在IEEE DataPort公开,有助于机器学习和深度学习领域目标识别与检测算法的训练、验证和测试,同时助推AI在制造产业落地。基于该数据集,提出一种快速精简的目标检测模型FT-Yolo,实现了空调外机Logo检测、旋风网检测和联机管颜色识别。试验结果和产线实际测试表明,所设计的基于AI的外观检测系统可以统筹云端和边缘设备,高效协同完成外观检测任务,有助于提升产线生产节拍和生产效率,具有很强的可推广性。后续工作将结合云边协同模式,采用基于联邦学习的多产线分布式AI模型更新方式进一步提升系统自动化程度,解决本文遗留的AI模型需定期手动部署更新的问题。