基于5G 的工业AI视觉检测系统应用

郭 熹，李 斌，马文辉，贺 鸣，陈亚峰（.中国联通研究院，北京 0076；.珠海格力电器股份有限公司，广东珠海 509070）

0 前言

机器视觉检测是指利用机器替代人工实现检测和判断［1］。典型的机器视觉检测系统包括相机、镜头、光源、工控机、图像处理系统、执行机构、被测物等。其检测原理是通过相机对被测对象进行图像拍摄，然后将图像数据传送至图像处理系统。图像处理系统通过检测算法对图像进行特征提取、识别，输出检测结果并执行相应操作［2］。机器视觉检测在工业领域具有广阔的市场空间，主要应用场景包括目标检测（如对产品外观瑕疵检测、对产品零部件的有无检测等）、目标识别（如文字识别、颜色识别等）、目标定位（如PCB 加工定位、标签定位等）和目标测量（如对指针仪表的长度、角度测量、对零部件的尺寸测量等）。

传统方式的机器视觉检测主要以人工特征提取、分类、识别为主，检测方法具有针对性，系统鲁棒性差［3］。常见的处理方法包括如图像灰度处理、滤波算法、图像算数、图像二值化、霍夫变换等。随着人工智能技术的不断发展，以神经网络为代表的深度学习技术正逐步应用在机器视觉领域。深度学习利用机器模仿人类思考，实现对图像的理解，被用来解决复杂场景的模式识别［4］。其典型应用领域包括目标检测、图像分类、图像分割等。与传统方式相比，深度学习可以在训练过程中自学习相关属性，省去特征工程环节，识别精度更高、更加灵活［5］。但是对硬件的内存和计算能力要求较高，通常需要额外的硬件投入。此外，在应用开发过程中，需要收集大量的样本数据进行模型训练以提高模型精度。虽然机器学习相对于传统方式有诸多优势，在实际工业应用场景中，既需要基于深度学习的视觉检测，又需要传统的视觉检测方式。如对表计尺寸的测量、条码识别等场景，传统方式简单而高效，使用机器学习方法则费时费力。

通过在5G 试点项目的大量实地调研发现，工业企业在现有视觉检测应用上存在诸多不足，具体表现在以下4个方面。

a）部分企业采用传统方式依靠人眼做视觉检测，存在效率低，漏检率高等问题。

b）部分企业采用一体化智能工业相机做视觉检测，但单点设备成本高，不适合规模应用，且无法有效管理。

c）部分企业采用基于云端的视觉检测系统，存在响应慢、数据安全性低等问题。

d）企业缺乏AI 视觉相关专业技术人员，难以满足视觉检测项目建设需求。

基于上述分析，认为支持多场景应用、平台化的视觉检测系统是工业视觉的重要发展方向。随着互联网+制造业转型升级步伐的不断推进，5G、AI、大数据等高新技术手段将为工业视觉检测技术的发展注入新动能，推进工业视觉检测技术变革。

1 格力视觉检测需求分析

视觉检测贯穿零件加工、组装、包装等各个环节，是企业产品质量的关键保障，提升视觉检测水平能有效降低企业经营成本。格力空调在生产过程中存在大量视觉检测场景，包括压缩机线视觉检测、外机自动电气安全检测、整机外观检测、印刷品质量检测等。当前存在大量依靠人眼做视觉检测的现象，检测效率低，漏检率高，容易带来产品质量隐患。因此，格力急需一套自动化、平台化的视觉检测系统替代人工检测。一方面，需要满足各生产环节的多场景检测需求，有效提升检测效率，降低检测成本，实现智能检测管理。另一方面，为应对消费者个性化产品需求，新系统需要具备易扩展、易操作性，能灵活快速适应新场景检测要求。

2019 年，中国联通与格力电器开展5G 智慧工厂暨全业务战略合作，基于5G、工业互联网、物联网、大数据、人工智能等新型技术，打造家电产业5G 智慧工厂示范区。5G 作为新一代无线通信技术，在带宽、时延、连接数等网络性能上较上一代蜂窝网络实现全方位提升，可为工业网络连接提供高可靠服务保障［6］（见表1）。通过5G 网络可构建平台化的视觉检测模式，实现多检测点并行检测、智能管理。移动边缘计算（MEC）是5G 重要能力之一，可在移动网络的边缘提供IT 服务和计算能力，支持将业务处理卸载到移动网络边缘节点［7-8］。利用MEC 本地分流能力，可极大降低端到端通信时延，同时保证生产数据安全。基于5G 技术的平台化视觉检测系统，将为企业带来更多价值。

表1 工业无线网络指标对比

2 基于5G的工业AI视觉检测系统解决方案

基于5G 的工业视觉检测系统是平台化、支持多检测点并行的工业检测系统。通过5G +MEC 的工厂内网架构与现场瘦客户端进行交互，实现企业整体视觉检测体系，可同时满足多场景、多检测点并行的检测及智能化管理需求。通过将主要算力及算法放置于平台端，极大提升分析处理能力，现场端仅需普通工业相机等少数设备即可实现AI视觉检测，有效降低单点检测成本，提升部署灵活性。此外，平台侧支持对检测点的能力配置，单一检测点仅需微调即可适配新检测场景，可满足对不同产品的快速检测需求。

如图1 所示，基于5G 的工业AI 视觉检测系统架构包括现场设备端和智能监测平台。

2.1 现场设备端

现场设备端负责与产线联动，包括系统触发与结果反馈。需将图像采集并上传至服务端，并获取服务端的处理结果。现场设备由以下3个部分组成。

a）工业相机系统，包括工业相机、镜头、光源等，工业相机系统主要负责现场端图像获取，需根据不同检测场景及检测需求进行适配及选型。

b）现场工控终端，一般为工控机，负责控制工业相机系统及现场设备，实现图像上传、控制指令下发、运行现场客户端软件等功能。

c）现场设备，包括传感器、急停开关、三色灯、扫码枪、显示器等，负责信号检测及结果显示，实现系统触发、运行控制、结果显示等功能。

2.2 智能检测平台架构

智能检测平台是视觉检测系统的核心，可部署在企业数据机房或云端服务器，主要负责处理视觉检测流程，完成包括场景管理、业务管理、算法模型训练、算法管理、检测业务编排、检测结果分析等功能。平台提供状态查看和统一管理接口，可适配不同场景的检测需求。智能检测平台通过5G 网络与各检测点相联，实现1对n的检测管理与应用服务支持。

智能检测平台可以满足的各类制造企业对工业视觉检测业务的需求，为上层应用提供服务。智能检测平台架构如图2所示。

a）基础能力层。通过统一的接口为上层应用提供基础检测能力。

图2 智能检测平台架构图

b）编排器层。通过编排器的方式将基础能力进行组合、协同及调用，用以完成对下层基础检测能力的封装；同时，针对特定场景的检测需求（如暗光），可以通过对基础能力的封装形成特定场景下的解决方案，形成功能更强大、更具针对性的基础检测能力库。

c）编排流程库层。针对不同的应用，需要建立一套支持将基础能力编排用以解决应用实际检测需求的编排流程库。

d）应用层。通过使用编排器及编排流程库调用基础检测能力，满足全部检测业务需求，并通过输入输出接口，向现场设备及人员提供工业检测应用服务。

e）云计算平台。根据实际情况，使用Kubernetes或Docker技术构建上层应用的部署平台。

f）基础设施层。包括CPU 服务器、GPU 服务器及GPU推理单板机等计算资源。

g）输入及输出适配器。通过插件化的方式支持主流工业相机通信协议及工业总线协议，便于快速与工装环境对接。

2.3 关键技术

2.3.1 平台化的系统设计

现阶段工业视觉检测产品大多数是以工业智能相机或传统视觉检测方式为主。传统单点检测系统通常由光源、相机、图像采集单元、图像处理单元等模块组成，各模块分散部署在现场侧，多为针对单一检测场景定制化开发，体积较大系统复杂，难以升级维护［9］。智能相机是一种高度集成化的微小型机器视觉系统，将图像的采集、处理与通信功能集成于一体［10］。相对于传统视觉检测系统，智能相机在部署上更加灵活便捷，但是由于体积限制，其处理能力通常较差，只能运行简单算法且单机成本高昂。

相对于现有视觉系统，基于5G 的AI 视觉检测系统是基于C/S 架构设计的视觉检测PaaS 平台，将主要处理能力集中在后端智能检测平台，各检测点通过现场终端将图片发送至智能检测平台并实时获取检测结果。智能检测平台内置多类算法能力，包括传统的机器视觉算法以及更为复杂的深度学习模型算法等。通过平台化的系统设计可支持多场景并行的视觉检测并实现算法能力的复用。

2.3.2 深度学习视觉能力平台

缺少专业AI 技术人员是企业视觉发展面临的难题，本系统搭建了基于深度学习的视觉检测能力平台，支持视觉检测模型训练的全部流程，提供包括数据集管理、样本标注、模型训练、模型发布、模型管理等功能。深度学习是传统机器学习的延伸，广泛应用在图像识别，目标检测诸多领域。典型的深度学习模型主要有卷积神经网络（CNN——Convolutional Neural Network）、深度置信网络（DBN——Deep Belief Networks）、堆栈自编码网络（SAE——Stacked Auto-Encoder Network）模型等。CNN 是一类包含卷积计算且具有深度结构的前馈神经网络［11］，通过卷积和池化操作自动学习图像在各个层次上的特征。DBN 是一种生成模型，通过训练其神经元间的权重，可以让整个神经网络按照最大概率来生成训练数［12］。SAE与DBN类似，区别在于其结构单元为自编码模型［13］。其中，CNN 是在图像识别领域应用最为广泛的神经网络之一，基于CNN 模型的视觉检测典型算法包括用于如目标检测的RCNN、Fast RCNN、Faster RCNN、YOLO、SSD等，用于图像分类的LeNet、AlexNet、VGG、GoogLeNet算法等［14-15］。

当前系统深度学习视觉能力平台已部署YOLOv3、SSD、Fast RCNN、RetinaNet 等算法主要应用于目标检测场景。平台支持用户模型自训练使用，通过设计标准化操作流程，降低了场景应用开发难度，无需专业开发人员即可完成模型训练、校验与部署，实现新视觉检测应用的快速上线。

2.3.3 算法能力集成

工业视觉检测场景复杂多类，检测需求从简单的尺寸测量到复杂的多目标识别。因此，需要依据场景实际情况合理选择算法能力，既需要传统的视觉检测方法又需要基于深度学习的视觉检测方法。在算法层面，平台提供开放、可扩展的视觉检测算法能力库，支持集成第三方算法能力，当前提供深度学习检测能力库、OpenCV 检测能力库、Halcon 检测能力库等。平台提供标准的接口能力单元，用户也可将企业原有视觉检测算法自行移植到平台中使用。

2.3.4 能力编排引擎

能力编排引擎是视觉检测系统的核心能力之一，针对多场景应用需求，通过检测能力编排引擎为用户提供可视化集成编排开发环境，用户可针对新检测场景对视觉检测算法、检测业务流程等进行编排及配置，快速形成新的视觉检测能力。

2.3.5 基于5G＋MEC网络的承载方案

格力对生产数据安全有严格要求，为实现生产数据不出园区，在网络建设上需要支持5G+MEC 网络架构，一方面利用5G 网络作为设备连接手段，提供高可靠数据传输保障。另一方面，借助MEC 本地分流能力，关键生产数据直接分流至本地数据中心视觉检测平台，确保生产数据不出厂，保证数据安全性。同时，通过本地分流还能降低端到端通信时延，提升系统响应速度。

3 系统测试

结合格力5G 试点工厂的实际生产视觉检测场景检测需求，在试点工厂对系统进行整体测试。测试内容分为2个部分：网络架构测试及系统测试。

3.1 网络架构测试

格力试点工厂在园区部署3 台5G 基站实现园区网络覆盖，同时部署MEC 服务器实现本地业务分流控制。为验证系统网络架构可行性，在格力试点工厂进行了系统测试及验证（见图3）。其中，现场终端设备通过CPE 接入5G 网络，在园区部署MEC 服务器，车间采集的图像数据经MEC 分流至格力数据机房。测试结果表明，在5G +MEC 网络承载环境下，系统可正常运行，且数据传输通信时延可满足企业检测需求。

3.2 系统测试

针对格力视觉检测需求，以空调外机为检测目标，进行空调外机整体外观检测，通过在测试环境下模拟产线运行，空调进入检测区域后触发器产生触发信号，同时触发4台工业相机拍照，工控机将图像文件通过5G 网络上传至视觉检测平台并实时读取检测结果，输出显示检测内容并下发控制指令。

图3 网络架构

空调外机视觉检测场景具体检测内容包括螺丝钉数量识别、接线盒ROHS标识有无、接线盒警告标识有无、空调铭牌有无、空调铭牌文字识别（重点识别名称、型号、制造日期、出厂编号）、标签上冷媒型号是否正确、空调2个防尘帽有无等。

现场测试环境如图4所示。

图4 现场测试环境

现场测试结果表明系统可在规定时间内完成对空调外机进行4面多目标检测，并实时反馈检测结果，在检测效率和识别准确度上均达到预期要求（见表2）。

3.3 应用效果

基于5G 的工业AI 视觉检测系统，将5G、MEC、AI技术与视觉检测相结合，打造平台化、智能化的工业视觉检测系统，实现了多场景并行的视觉检测。相较于企业现有视觉检测能力单一、成本高、管理差等问题，该系统成本低，适合大规模部署；系统算法能力强，支持集成主流算法库；管理能力强，支持对检测流程及检测结果进行大数据分析；提供标准化操作流程，能有效降低人员准入门槛。该系统的应用可有效提升企业视觉检测智能化水平，满足多场景视觉检测需求，减少人员成本投入，提升生产效率，助力企业数字化、智能化转型。

表2 空调外机4面视觉检测结果

4 价值分析

4.1 产品自身价值分析

在成本层面，相对于现有的工业智能相机，平台化的视觉检测系统，现场端无需复杂硬件及高算力要求，可极大降低视觉检测规模部署成本，实现新检测场景快速批量部署。

在算法层面，平台化的视觉系统具备更强的算法能力和算法复杂度，可扩展性强、易维护，具备更高的检测效率和识别精度。

在使用层面，利用模型训练平台及业务编排能力，无需专业开发人员即可实现新检测场景快速部署，有效降低了用户使用门槛。

在管理层面，平台化的视觉检测系统可以支持多场景并行接入，可实现全场景视觉检测的精细化管理，解决传统视觉检测数据孤岛问题，可实现工业视觉检测整体管控与数据分析，提高生产工艺。

4.2 产品工业应用价值分析

基于5G 的工业AI视觉检测系统可以为企业提供端到端视觉检测解决方案，建立全场景视觉检测接入及监控管理体系，实现低成本、智能化、高效率的视觉检测应用，有效提升生产效率及产品质量，降低生产成本，为企业带来更多利润。

同时，系统基于5G+MEC 所构建的企业内网来承载数据业务，为5G 工业网络的建设带来了应用价值，使5G 网络能更好地服务工业生产，带来新业务点，该模式具备复用推广价值，可以扩展到其他5G 工业应用场景之中。

5 结束语

本文基于5G、AI 等新兴技术，结合格力视觉检测需求，设计了平台化的视觉检测系统，该系统契合企业智能化发展需求，能够有效解决企业工业视觉检测当前面临的成本高、开发难、管理差等问题，该系统具备通用性及可复制性，通过微调即可复制推广到其他工业企业，具有一定的行业示范及推广意义。