基于5G的智能机器视觉检测系统开发

葛 爽，姜明君，李明辉

（博世汽车部件（长沙）有限公司，长沙 410100）

0 引言

机器视觉是利用机器设备代替人工进行检测或测量任务的技术，它是集机械、电子、光学和软件计算等技术为一体的工业化应用，目前已被广泛应用于测量、检测、引导和识别等领域。传统机器视觉检测需要人工设计特征提取算法进行分类识别任务，检测方法具有针对性，系统鲁棒性能差[1]。近年来，随着计算机技术的迅猛发展，深层卷积神经网络在图像处理中强大特征提取与归纳能力取得重大进展，在图像识别、图像分类、目标检测、语义分割、生成对抗等计算机视觉各个领域中应用[2]。

传统工业互联网主要是依靠有线网络或者WiFi网络进行数据交互或者远程控制的，工业应用具有很大局限性，如有线网络对设备部署带来很多限制，WiFi网络存在信号不稳定，传输速度慢，响应时间长等问题[3]。5G即第五代移动通讯技术，它不仅带来了无线网络服务架构的革新，而且具有低延时、大带宽、高可靠等特点，能有效解决生产线设备线束多，网络信号不稳定及干扰等问题，从而为工业网络连接提供高可靠服务保障。随着5G技术的不断发展，基于AI的机器视觉系统正在催生更大的应用市场[4]。通过5G网络将数发送到云端服务器，可以实现更加复杂的运算和更短的时间响应。但是将5G和深度学习技术同时应用到工业视觉检测领域的案例仍然非常少，其中重要原因，第一是目前市场上还没有真正的成熟的5G工业相机，通过5G终端实现的图片数据传输方案比较复杂，成本高；第二是因为虽然深度学习技术具有特征提取自学习、鲁棒性强和更灵活等特点，但是对计算机算力要求也更高，所以相应需要更大的算力硬件投入[5]。

针对以上问题，本文提出了在工厂5G专网架构下，充分发挥5G和人工智能结合的优势，开发5G工业相机进行图像数据的采集和传输，设计开发基于深度学习的智能视觉检测平台，并通过多个测试工位共享该智能视觉检测平台，搭建快速的、并行的、智能化检测系统，并应用于实际生产测试中，不仅提高了检测效率，减小了误报率，而且降低硬件投入成本，推动基于5G的智能机器视觉检测在工业领域的应用与普及。

1 5G智能机器视觉检测系统

机器视觉检测已是工业检测的重要组成部分，贯穿于产品加工、测试、组装、包装等各个生产环节，但当前各生产环节还是存在大量依靠人工目检的视觉检测的场景，由于检测结果主观性强，易受检测人员经验、心情等因素的影响，所以容易造成产品质量风险隐患[6]。基于5G智能机器视觉检测系统通过在5G工厂专网架构下，利用自研发的5G工业相机大带宽、低延时等特点实现海量高清图片数据的采集和传输并与远程部署的AI服务器进行交互，根据不同生产应用场景或者不同工位视觉测试需求，搭建快速的、并行的、智能化的检测网络。

通过远程端AI算法服务器的部署，不仅能提升图像分析处理能力，而且提高了设备端轻量化程度和灵活性，同时多检测工位可以共享AI算法服务，减少了硬件及算力的浪费，同时设备的日常维护或算法更新等工作也只需要在服务器端进行，大大降低了维护成本。基于5G的智能机器视觉检测系统结构如图1所示，整个系统核心包括5G工业相机和智能视觉检测平台两个部分。

1.1 5G工业相机

工业相机的功能是将光信号转变成有序的电信号，具有更高的成像稳定性、传输能力和抗干扰能力等，其性能好坏不仅直接影响图像的分辨率和质量，更关系着整个生产过程的效率[7]。由于图像的数量和精度快速攀升，对网络传输的低延迟需求愈发强烈，在4G时代，受限于传输速度和时延等性能，图像传输前端和后端通讯响应时间比较长，无法实现实时通讯，在5G技术加持下，工业相机传输实现了性能的突破。

现有的传统工业相机，如果需要通过5G网络传输图片数据到基站，必须借助于CPE信号转换，并不是真正意义的5G工业相机，同时，增加的CPE和线束影响设备端的轻量化和灵活度。目前市场还没有成熟的5G工业相机设备，因此，开发无线5G工业相机进行图像数据采集和传输是5G机器视觉检测的基础和必要条件。自研发的5G无线工业相机如图1所示，相机主要由成像模组、控制器和5G通讯模块3个部分组成。

图1 基于5G的智能机器视觉检测系统结构

（1）成像模组。包括一个CMOS面阵传感器和镜头。主要负责现场端图像的获取，可根据不同应用场景需求进行适配和选型。

（2）控制器。5G工业相机的核心，主要负责控制成像模组图像采集和GPIO输出控制，以及提供5G通讯模块接口等。

（3）5G通讯模块。提供大带宽、高可靠、低延时的网络环境，支持sub-6 GHz和毫米波频段以及5G独立组网（SA）和非独立组网（NSA）两种运行模式。

1.2 智能视觉检测云平台

智能视觉检测平台是检测系统的核心，一般部署在远程端，主要负责数据的云存储、云处理和云协同等功能，同时利用容器技术将不同检测工位组网，实现1对多的检测任务与应用支持，降低硬件成本和设备端复杂程度。智能视觉检测平台架构如图2所示，分为存储层、容器层、算法层、应用层和决策层。

图2 5G工业相机

（1）存储层。数据的存储是智能视觉检测平台的基础工作，由于需要存储的图片数据体量大，因此采用基于Hadoop分布式存储技术，保证海量生产数据的快速、高效、可靠性传输和存储。

（2）容器层。根据实际应用需求，利用Kubern-etes或Docker技术构建算法上层应用接口，实现1对n的检测任务。

（3）算法层。对图像数据进行处理分析实现对特定目标的检测、分析与识别，包含基于open-cv传统算法和深度学习算法。各个算法高度集成化、模块化，以便于重复调用。

（4）应用层。根据实际应用需求，通过编排器的方式将算法模块进行组合和调用，以完成检测程序的封装。

（5）决策层。依据图像分析结果进行决策判断，并制定相应响应策略，包括控制，协同与显示等。

2 5G智能视觉检测系统关键技术

2.1 自研发的5G工业相机

工业相机是机器视觉系统中一个关键组件，其本质的功能是将光信号转变成有序的能被电子系统处理的电信号，具有高的成像稳定性、高传输能力和高抗干扰能力等特点[8]。目前所有的5G视觉解决方案中，工业相机采集图片后都需要借助于5G终端或者CPE传输图片数据，大大增加了设备端的复杂程度。

5G工业相机是依靠5G的大带宽、低延时和高可靠性等特点实现海量高清数据的采集功能，为保证特殊场景图像传输速度，自研发5G工业相机利用MPEG-4 AVC图片编码技术对图片进行压缩后传输，5G工业相机关键技术开发如图3所示。相对于现有的5G图像采集传输方案，自研发的5G工业相机配置简单，支持远程部署和控制，插卡即用，依靠高效、稳定的5G网络实现端对端的实时图像数据采集传输任务，可满足当前许多工业智能检测应用场景。

图3 智能视觉检测云平台架构

2.2 平台化系统设计

传统视觉检测系统通常是为特定场景定制化开发的，光源、工业相机、图像处理等单元模块都在设备端，体积大，系统复杂，升级维护成本高。5G智能视觉检测系统是基于C/S架构设计的，设备端只保留5G工业相机，图像处理能力移到后端智能检测平台上，各检测工位只需采集图片传输到平台端处理即可获得检测结果，具有以下优势。

（1）通过5G内网架构实现企业整体视觉检测体系，可同时满足多场景、多检测点并行的检测及智能化管理需求。

（2）图像的存储和分析处理算法主要部署在平台端，极大提升设备的存储和数据分析处理能力，减少了硬件及算力浪费，实现数据云存储，云计算和云协同。

（3）设备端只需5G相机即可实现智能视觉检测，有效降低工位检测成本，提高设备端轻量化程度及灵活性。

（4）对于设备的日常维护或者算法更新，只需要在服务器端进行即可，降低了设备维护成本。

图4 5G工业相机关键技术开发

2.3 基于深度学习的智能视觉算法

传统图像处理算法主要靠算法开发人员根据具体应用所处环境、光源及被检产品特点等因素人工设计特征提法方法，该方法对开发人员专业知识要求较高且泛化能力及鲁棒性能差，只能用来解决特定场景、可人工定义、设计、理解的图像分析任务。

深度学习算法主要是基于数据驱动进行图像特征提取的方法，该方法根据大量图片样本的学习可以得到更深层、更高效和更准确的图像特征表示，泛化能力和鲁棒性更强，并且是端对端的，无需复杂的调参过程[9]。本系统搭建的智能视觉检测云平台支持深度学习算法训练的全部流程，包括数据集存储管理、图片标注、模型训练、模型部署等功能。目前已集成部署的深度学习算法有分类算法（VGG16，Resnet50，SENet等），目标检测算法（Faster-RCNN，YOLOv3，YOLOv5），图像分割算法（FCN，Unet），光学字符识别OCR（advanced EAST+CRNN），生成对抗网络GAN（encode+decode，Pix2Pix），智能平台通过模块化、标准化的系统设计，大大降低了算法应用开发的难度，缩短了算法模型验证和部署的时间。

3 系统应用验证

长沙博世作为5G工业互联网示范工厂，目前已经实现5G专网信号无死角全覆盖，可同时保障5G信号强度及上下行带宽（下行700 Mb/s以上，上行200 Mb/s以上），可保证所有智能视觉检测应用测试场景对网络数据传输的需求。

马达包装是所有马达产线最后一个生产工序，如果马达包装发生漏装或者装错型号的情况，没有其他有效手段进行拦截，将直接造成客户投诉。由于传统图像处理算法对于环境和位置的变化要求非常高，所以不适用于此场景检测，目前包装重量的测量方法可以有效规避马达包装漏装的情况，但是马达错装的情况仍无法有效检测。

针对博世产线马达包装漏装检测需求，以马达数量和型号为检测目标，进行马达包装检测，基于5G的马达包装智能检测台如图5所示，通过自研发5G工业相机进行实时图片数据采集并传输到远程端AI服务器中智能检测平台进行处理，实现马达型号和数量的端对端的实时检测，并在操作员拿走包装后触发结果输出，利用声光报警装置告知操作员检测结果。

图5 基于5G的智能马达包装检测台

为方便技术人员查看结果，智能视觉检测平台输出的可视化界面如图6所示，应用的平台算法主要是目标检测算法YOLOv5和分类算法VGG-16。

图6 基于5G智能马达包装检测可视化界面

实际生产测试表明系统可实时检测各种型号马达和数量，准确率达99.5%以上，与重量测试检测方法相比，生产效率提高0.5%，误报率降低8%。并且通过该系统的应用和推广，实施成本降低30%，运维成本降低25%，实现了低成本、智能化的工业视觉检测任务。

4 结束语

基于5G的智能机器视觉检测系统是将5G和AI技术相结合，为生产的各种场景实现端对端的检测而打造的平台化、智能化工业视觉检测系统。相较于现有的工业视觉检测成本高、误报率高、功能单一等问题，该系统成本低、功能完善，满足多场景视觉检测需求，适合在工业领域大规模部署。自研发的5G工业相机的采用大大降低了设备端的复杂度，有利于设备端的轻量化和灵活度，模块化的算法设计和标准化的操作流程提高了系统的通用性和可复制性。系统测试表明，通过多测试工位并行接入，大大降低投入成本，有效解决制造业产品视觉检测系统响应慢、误报率高、成本高等痛点和难点问题。