基于5G及人工智能的企业AR实践应用与探索

苏 波（深圳增强现实技术有限公司，广东深圳 518100）

0 前言

由于发动机装配零部件种类繁多、工序复杂、流水线漫长，如果缺乏有效的辅助手段，发动机装配工人在工作过程中出现错误是难免的。将AR工业解决方案应用于某汽车公司的发动机装配，为发动机装配过程开发一套发动机装配AR工作辅助系统（EAPSS），将AR技术应用于工业制造场景，能够帮助企业实现员工技能的快速培训，实现作业过程的零缺陷，减少错装、漏装的发生；在装配生产过程中进行现场数据采集，通过数据整合指导生产，减少劳动力成本，提高整个车间装配生产产能，提高作业效率，提升产品和服务质量。

本文依据笔者过往项目经验，并基于5G及人工智能的企业增强现实（AR）实践应用，以汽车行业为例，深度剖析汽车装配过程中AR的实践应用。

1 企业AR的实践应用

1.1 实践背景

AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息（视觉信息、声音、味道、触觉等），通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。增强现实技术的一项前沿应用，就是利用图像识别和分析技术实现增强现实智能眼镜的工业应用。

增强现实的工业应用将多种人工智能技术信息与现实操作相结合，通过图像、图形、传感器信号分析和交互模拟的应用，在培训、医疗、军事、工业、生产等诸多领域，能够产生巨大的推动作用，正在得到越来越多的关注和重视。增强现实要在现实世界真实场景适当的位置叠加显示适当的虚拟物体，其核心问题是让观察者在真实场景和虚拟场景之间保持视觉一致性。

经济飞速发展的今天，降本增效成为一种责任，更是一种精神，一种境界。某汽车公司的RZ4E发动机装配线是一条完全按照公司IM理念设计的生产线，物料全部KIT化投放，运用光电感应、照相、仿形、计数等各类防错技术70多项，具备行业领先的过程质量控制能力。但要实现产品零缺陷目标，生产线在投料准确性、作业过程指导与监督、下线核验等环节进一步提高技术管控能力。此次企业AR应用，便选择了发动机装配全部工序为应用点。

1.2 企业AR实践应用介绍

防错、防误是发动机装配的行业痛点。这既是发动机装配行业的生产痛点，也是该行业的管理痛点。这是由发动机装配过程的特殊性决定的。发动机装配零部件种类繁多、工序复杂、流水线漫长。

以AR在某汽车公司发动机RZ4E外装的在线检查顺序作业中的运用为例，该在线检查顺序作业的核验项目共35项（见表1）。

汽车发动机装配过程中，需从前、后、左、右、上5个端面进行核检，表1所示核检项目在每个环节都需要标准化操作。如果缺乏有效的辅助手段，发动机装配工人在工作过程中出现错误是难免的。只有每个装配环节做到了防错、防误，才能保证整条装配流水线的稳定性和连续性，才能保证发动机最终装配的装配质量。

1.3 企业AR应用实施概况

1.3.1 应用架构

1.3.1.1 发动机装配AR工作辅助系统功能模块

发动机装配AR工作辅助系统（EA-PSS）包括装配操作监督模块（AMM）、装配操作指导模块（AGM）、零件投料防错模块（PPM）、装配下线核检模块（FCM）。

表1 核验项目

1.3.1.2 系统部署

本期项目建设发动机装配AR工作辅助系统（EAPSS）预留API接口对接MES系统。在发动机装配车间的物理信息系统中，EA-PSS处在发动机装配车间的制造执行系统（MES）和发动机装配物理场景之间，是MES系统的智能触角。

EA-PSS与发动机装配车间MES系统进行数据对接。

a）数据加载：EA-PSS系统从MES系统加载发动机装配过程中涉及到当前工作步骤、零部件型号、规格、库存位置等信息。

b）数据存储：EA-PSS系统将识别的发动机装配场景的状态、结果、操作过程等数据存储到MES系统。

c）MES系统通过EA-PSS系统实现对发动机装配的过程监督和质量控制。

EA-PSS系统对发动机装配物理场景的感知和控制。

a）智能感知：EA-PSS系统通过高清摄像头采集发动机装配场景中的装配零部件、投料零部件，以及工人操作过程的姿态、手势等图像，发给后台服务端进行图像识别，实现当前工作场景语义的自动感知。

b）联动控制：基于当前工作场景语义的自动感知，EA-PSS系统自动记录车间生产情况，生成车间生产报表，并发送相应的刺激信号给发动机装配车间的生产控制系统，实现生产设备的预警、联动。1.3.1.3系统架构EA-PSS分为智能终端和后台服务器端2部分。图1示出的是EA-PSS的整个系统架构。

图1 EA-PSS系统架构

智能终端需完成以下功能。

a）人机交互：触控、语音等手段实现人机的信息交互。

b）图像采集：通过摄像头采集发动机装配场景的图片和视频。

c）信息显示：实现发动机装配场景生产数据的可视化，必要时以增强现实（文本、图片、三维动画等）方式实现数据的可视化。

根据发动机装配场景生产的具体步骤，信息显示可以是当前设备的运行状态或相应的预警信息，也可以是工人的工作结果或指导信息。

后台服务器端需完成以下功能。

a）用户管理：分配用户不同的权限，管理用户登录的身份验证。

b）任务管理：实现任务的工作分解，按照发动机装配实际流水线将工作及其标准推送相应的工人。

c）算法管理：基于图像识别发动机设备及其零部件的状态、装配工人的操作结果，管理图像识别的算法库。

d）数据管理：控制系统数据的流向，处理数据。

当智能终端采集到图像时，后台服务器调用相应算法对图像进行识别，将识别结果交给MES实现生产联动（见图2）。

当工人开始发动机装配的某个环节，与智能终端进行人机交互，后台服务器会从MES加载需要的任务数据，在智能终端显示需要的任务信息（见图3）。

1.4 网络、平台或安全互联架构

图2 图像识别前后的系统角色交互

图3 工人领取某个装配工作所触发的系统角色交互

EA-PSS整个流程为：通过EA-PSS的规范标准数据，装配车间MES系统通过联动控制作业员在操作平台得到指令，进行操作指导。AR眼镜在操作中通过高清摄像头和辅助光源对流程进行图像处理和深度学习，通过网络传送至可视终端，并把有效数据传输至后台服务器或云端进行存储，发送给装配车间MES系统进行操作指导。

图4示出的是深度学习网络架构；图5示出的是网络拓扑图。

1.5 具体应用场景和应用模式

装配过程实时指导：后台系统可根据生产情况生成装配工单，工单由系统进行统一派发，推送到智能终端。作业员通过智能终端领取工单，然后按照步骤提示进行可视化装配。可通过语音、文字、3D动画等对作业员进行操作指引，如流程指引、零件信息、注意事项等。

装配过程全程记录：在作业员运用AR装配工作辅助系统操作过程中，AR眼镜可全程记录整个操作流程并自动存储。

图4 深度学习网络架构

图5 网络拓扑图

装配结果实时反馈：自动记录相关装配过程和结果，最终生成操作报告并提交至服务器，可在后台导出或直接打印，对装配的结果可实时反馈。

产品质量原因溯源：基于AR装配工作辅助系统的装配过程全程记录和装配结果实时反馈功能，如果发动机在出厂后出现质量问题，可通过装配时存储的信息，追溯质量问题。

1.6 安全及可靠性

整个发动机装配AR工作辅助系统分2部分：一是软件为发动机装配工作辅助系统，二是硬件为工业级AR智能眼镜。

发动机装配工作辅助系统：是工业级AR算法，采用本地备份+云备份的模式。云备份功能基于磁盘的备份、压缩、加密、重复数据删除、服务器虚拟化、存储虚拟化、应用优化数据保护等，能够预测并管理容量增长和运营费用。异地云备份模式可避免企业备份设备的采购和部署问题。

工业级AR智能眼镜：是一款有防爆认证的眼镜，最高运行时间长达10 h，能足额保障一个班组的日常操作。

2 5G和AR的人工智能技术的实践及探索

2.1 结合深度学习

2.1.1 深度学习的定义

深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器（MLP）就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示（属性类别或特征），以发现数据的分布式特征表示。

2.1.2 深度学习在工业制造的运用

发动机装配零部件种类繁多、工序复杂、流水线漫长，需要大量成本用于员工的培训以及生产制造环节的管理和监督。在工业制造中应用深度学习，就能检测工序的执行正确与否，降低作业失误率，大大提升效率。图6示出的是深度学习算法。

图6 深度学习算法

2.2 基于三维模型图像的识别算法

为了进一步提高三维模型的识别精度，提出了一种基于深度卷积神经网络的三维模型识别方法。将点云数据通过占用网格规范化计算转化为二值3D体素矩阵，通过附加正则化项的随机梯度下降算法提取体素矩阵的特征，再通过共享权重的旋转增强对训练集进行数据增广并以此对模型标签进行预测。实验结果表明，该算法在公开数据集ModelNet40及悉尼城市模型数据集上的识别精度均达到85%左右。与基于同类机器学习的三维模型识别算法相比，在相同训练数据集上该方法网络训练时间短，在相同测试数据集上模型识别准确率高，检索速度快。提出的体素占用网格模型的深度卷积神经网络，可以实现三维点云模型数据集及规范化体素模型数据集的识别和分类工作。

AR发动机装配辅助系统，利用图像识别算法和深度学习算法，识别装配前发动机的零部件，发动机的型号，装配工人与AR智能终端交互，AR智能终端向装配工人展示正确的装配指引，方式包括语音、图片、视频、3D动画等。

2.2.1 发动机装配防错纠错

深度学习算法智能监测每一个装配工序和步骤，识别发动机装配过程中的漏装与错装操作，实时进行报警提示，并停止流程的进行，直到系统监测装配正确方可进入下一步装配。

2.2.2 业务流程

AR发动机装配辅助系统，利用图像识别算法和人工算法，识别装配前发动机的零部件，发动机的型号，装配工人与AR智能终端交互，AR智能终端向装配工人展示正确的装配指引，方式包括语音、图片、视频、3D动画等。

图7示出的是发动机装配指导模块；图8示出的是远程专家指导模块。

图7 发动机装配指导模块

2.3 操作流程

图8 远程专家指导模块

操作流程结合图像识别、深度学习对端面识别、增强现实叠加操作指引、零部件操作即时反馈、操作结果报表反馈、交互确认、重复当前操作指引、自动跳转至下一工序操作指引、任务完成，一系列智能工序操作指引，提高作业效率。

3 结束语

在经济飞速发展的今天，节能降耗已成为全社会共同关注的话题，也是工业制造企业迈向智能制造4.0必须思考的问题。AR在未来企业中的重度应用和现在的技术特性决定了AR需要更高的带宽和更低的时延，才能达到更好的用户体验。而5G背景下，企业AR应用在人工智能的加持下，可实现智能识别及智能运算，能够解决企业切实问题，提高制造效率，降低出错率，降低生产成本，实现真正的智能制造。