基于工业AR虚拟仿真的卷包装备人机交互应用

沈 毅,周 睿,李 诚,吴 罡

(湖南中烟工业有限责任公司长沙卷烟厂,湖南 长沙 410007)

1 引言

《中国制造2025-重点领域技术路线图》将AR增强现实、可穿戴式装备等技术应用,列为智能制造核心领域的关键任务之一。工信部在“十四五”专项规划中,将VR/AR终端的研发及产品化,作为加强推动5G/XR等关键技术应用的重要抓手,进一步引导企业创新发展。近年来,湖南某工业公司持续推动制造技术向数字化转型,增强核心竞争力。该公司长沙厂面向生产一线人机协作难题,开展增强现实AR、虚拟仿真等前沿创新技术的试点验证。该厂结合易地技改规划建设的先行先试工作,研发出该公司第一款工业AR APP,搭建了面向烟机设备管理与运维的移动化、跨平台和多功能应用,取得了AR技术在卷烟工业生产领域应用场景的交互式体验,能够缓解从业人员老龄化、运行成本增长,以及通过传统的技术方法改进难以获得过去正常的效率增长与效益挖掘等症状。

本文以卷包车间某中速硬盒包装机设备示例,通过虚拟仿真设备的运行状态和零部件运维,感知模型的虚拟装配,打破设备常态管理的思维和流程,在人机设计上引导用户自然领悟到用法,实现多人同步多终端协作的人机交互协调,搭载于安卓触控平板电脑、穿戴式智能眼镜的AR app,提升工厂生产制造流程的有效作业。

2 定义

增强现实技术(Augmented Reality Technique,AR),是在虚拟现实基础上发展起来的新技术,通过计算机系统提供的信息增加用户对现实世界感知的技术,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,实现对现实世界的增强[1]。这种技术将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起。

工业自动化领域将增强现实、混合现实等适用在工业制造及其运营环境的技术应用统一称为“工业AR”,工业AR是工业智能领域的一个前沿研究分支,其落地是工业制造业IoT的运用方式,其特征是人工智能技术的发展趋势[2]。

人机交互(Human-Computer Interaction,HCI)[3],是一门研究系统与用户之间的交互关系的学问。自然人机交互技术是人机交互技术的一个主要研究方向,研究人和计算机之间如何用自然的方式进行交互,包括人到计算机和计算机到人的两部分信息交换,是人工智能领域的一种外围技术,分类包括语音交互、体态语言交互、视觉交互等。用户通过人机交互界面的设计实现系统交流和操作。

人机环境系统工程(MMESE),是研究在人、装备和环境系统之间,实现最优匹配的一个领域,涉及到信息的输入、处理、输出和控制,以及反馈,人机环境系统的整体设计,及其优化等方面的研究,研究的目的,是整个系统的高效、安全、健康和敏捷等[4]。

3 案例分析和问题提出

2022年,美国发布关键和新兴技术“CET清单”将“人机界面技术”主要定义为AR、VR和人机合作。2021年,欧盟委员会发布《面向未来的100项重大创新突破》报告,提出欧洲的AR专业应用是交互式手册,为操作机器的人提供现场指导。2020年,加拿大卡尔加里大学、Adobe Research和美国科罗拉多大学博尔德分校的研究团队,开发了一种实现交互式动态草图的新技术,生成响应性草图、图形和可视化效果的增强现实界面。2021年,宝武钢铁借助与亮风台AR智能运维系统,实现关联设备的数字信息可视化、精准远程协作与高效过程记录管理,完成基于“作业现场”的信息交互能力提升。2021年,华菱湘钢通过亮风台AR眼镜以及AR协作平台HiLeia的冻屏、实时标注,克服疫情影响,与中德奥三地专家进行远程无障碍沟通协作,实现跨国远程装配。但国内目前缺乏在工业AR人机交互领域的关键技术创新,以及跨平台生态的覆盖难以落地等问题。本文通过调研工业AR技术的研发运用实例,分析人机交互适应性情况与制造业应用场景,期望有助于卷包设备的一线技术人员,解决技术应用过程中所诊断出的问题,帮助技术人员传递和沉淀工作场所的知识经验。

4 基于工业AR的卷包装备智能交互虚拟仿真系统

AR可通过多种不同方式来影响到实际使用者,最重要的是考虑满足企业的真实需求。人机交互技术在本例中除了传统的基本交互和图形交互外,主要是语音交互、体感交互及视觉(脑机一体)交互等技术,对交互技术的研究,与工业人工智能的系统进步关联密切。

工业AR 系统规划目标,是确保参与虚拟仿真和增强现实系统研究的人、设备、物料和环境正常运转,员工上机操作,拉通场地、设备和人员、数据的循环,拉通公司MES、ERP系统正式对接,通过智能穿戴(计算机)[5]器材,采用语音、图号、数据推送等输入,发挥移动式便携的作用,对照设备零部件的“三维几何模型”空间数据信息,实现长沙厂设备零部件货位和库存的查询功能,发挥远程“虚拟机台”的领用零部件功能。

开发协同装配[6],实现多维信息的交互操作,打通,获得零部件管理的业务渠道多人同步多终端协作的作业协调,由于设备多维信息资源与人员经验技巧利用率偏低,流程制造业存在着资源与能源利用率偏低、辅导信息失真等痛点,需要定制化功能解决运维的痛点。设备零部件通过PC端进入ERP系统申报,通过有线网络在固定工房现场操作,检索库存数据需要备件图号,查询平面图纸耗时耗力。对于工厂如何选择AR技术路径、如何部署AR应用方式、如何保障AR数据支持等,提出技术方案的设计、实施路径的选点和技术验证的示范。

4.1 系统分析

该厂聚焦的AR技术应用场景,主要集中在包装机设备生产与运行保障的“原理、装配、培训、实操、维修”等辅助工序,以及卷包车间面向其装备零部件的产品生命周期的虚拟化仿真研究。本文中的人机交互实质上是人透过AR辅助工具与设备的程序化之间的融合互通,也是“人机环境系统工程”研究方向的一个重要分支。针对烟机的辅助维修和烟机的日常操作为任务核心进行研发

本文实例创新性的研发了一套基于烟草工业场景化维修辅助的多终端APP系统,通过安卓平板、手机、穿戴式眼镜,实现了WEB、平板、AR、VR眼镜等多渠道展示及交互操作,工业AR APP主要包含智能维修、AR巡检、虚拟维修、VR操作等核心模块,系统设计步骤分析如下:

第一步:将现实世界中的生产设备数字化为3D模型后,对基于物理设备和设备信息现状的运行、管理、维护和操作方式实现系统化的升维,为进一步实现空间虚拟环境和真实工作场景的叠加及智能调用奠定基础[7]。

第二步:完成安卓端平板、眼镜端智能眼镜的二种OS载体和交互介质的端对端APP功能开发,实现AR/VR/MR的智能化应用场景。

第三步:对接MES、ERP生产/管理系统的协议接口,实现“AR/VR/MR”在生产制造的智能辅助,完成数字化和信息化的打通,并形成远程专家、经验库等智能应用的应用对接。

采用Vuforia AR SDK+Uinty3d的技术路线实现一个完整的AR App产品,工业AR APP从零部件拆装上升到了系统总成应用,从AR/VR场景下的零部件辅助拆卸完善到拆装,实现了基于HoloLens智能眼镜的辅助生产维修过程指导、平板基于烟机的切片化智能扫描识别,语音交互、远程专家、虚拟产线、设备维修过程的多种辅助(视频、图纸、说明书)工具支持,摸索了点检、随手拍、知识库、经验库、生产数据的MES系统接口等多项功能。AR多功能端到端,2D/3D零部件的模型构建实现了基于增强现实系统的AR App安卓平板系统辅助、基于车间一线员工培训、设备维护和远程辅助、智能语音等烟机设备AR操作指南等整体效果。本文实例涉及的工业AR技术辅助多功能场景应用。

4.2 仿真建模

设备仿真建模,首先是零部件模型库开发:包括总成及零部件建模,并定义各零部件以及实现零部件之间的关联逻辑;其次是模型优化任务:包括零部件模型的优化、动画和特效制作。面向仿真设备零部件的认知流程,首先是零部件参数库:实现零部件参数库,建立健全相关的模型名称、零部件模型参数关系、功能内容等相关信息,以便业务数据调取识别。其次是零部件认知界面与交互:弹出界面的布局设计与交互设计。

本文“中速机机型模型及关键零部件”的建模,基于双目视觉的三维重建技术[10],针对图像与环境的人眼视物,通过视差来获取被测物体的深度信息,继而实现三维重建,即利用双目相机拍摄的图像,将目标在图像上的二维像素坐标转化为三维世界坐标。双目三维重建的工作流程主要包含4步,即双目标定、图像校正、立体匹配和三维重建,立体匹配是关键步骤[11]。

建模难点:制作衬托氛围的模型引导用户获得高逼真和身临其境的实践感觉;模型设计需配合程序开发在Unity引擎实现动画的制作;模型设计完成以后需要研制匹配模型的VR手势。

4.3 关键技术

4.3.1 核心技术

利用物理模型、运行日志、故障记录、传感器更新等数据,集成多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,促进反映设备相对运行过程中各零部件的维护实现过程,从而完成虚拟仿真的数字孪生[8]。

多机协同的集群化交互与控制技术,具备远程操控端的功能,实施人机交互装置远程遥控,完成任务指派和监控,通过APP实施任务指派和监控,应用移动用户端的AR APP设计。AR APP关键技术实现流程图,如图1所示。

图1 安卓触控平板系统依据图号查厂家源图的对照交互UI设计

图1 AR APP关键技术实现流程图

4.3.2 技术应用

新一代空间定位技术减少虚拟定位识别位置的偏移量,使虚拟坐标和虚拟物体的设定更为精确,因此日常的巡检工作,也可以通过AR技术来实现。管理人员事先在后台设置触发内容,再用AR眼镜实地部署触发点,工作人员再戴上AR眼镜,到达触发点就可以随时可以进行巡检工作。对于巡检结果的日常收集也变得更为简单,出现问题可自行解决,系统也能提供解决方案,如果无法解决可以申请远程技术支持或者通报给更高级的维修人员。

本文实例基于工业AR技术的虚拟仿真应用设计,如表1所示。

表1 基于工业AR技术的虚拟仿真多功能人机交互应用一览表[9]

核心技术应用包括四个主要功能点:

1)设备结构零部件的拆装

①运行展示:展示部件的运行流程效果。

②零部件拆卸装配:展示零部件拆卸装配的顺序以及位置。

③零部件相关联资料:提供原生产厂标准资料。

2)设备故障智能诊断

①通过AR扫描提供定制化分析与故障解决方案。

②通过MR眼镜与Android平板终端引导每一个维修步骤。

3)智能管控

①系统功能语音快速调用。

②数据资料语音快速调用。

4)备件领料

系统打通ERP数据库,开发备件领料查询功能,将传统的进入办公室备件领料查询查询的方式或纸质备件领料查询方式变为移动设备备件领料查询方式。

用户手持移动终端,随时随地完成备件领料查询。并且改进传统备件编号查找对应零部件的查询方式,增加2类新的查询方式:

1)用该机械的任一备件编号查找整张图纸,通过图纸可以获取该机械的所有备件编号;

2)构建三维仿真机械模型,直接点击选择零部件的三维模型可以直接查找对应零部件信息。

本文实例支持一线员工即时应用图号查存档图纸的移动端设计,如图1所示。

4.3.3 交互场景

AR识别虚拟零部件模型,通过Unity编程。用户可以通过手指“拖拉拽”触控屏幕或眼镜观察视野中的相应部分,和模型产生敏捷、精细的交互操作。通过手势指令、手指滑动、语音指令等交互信息的输入,实现模型的各类动作包括旋转、左右、伸缩和翻转等。

多平台开发:Android端适应Android平台,Hololens端适应Hololens2平台,开发专用于Android、Hololens系统的插件以及交互设计;

设备零部件认知:零部件认知界面与交互,输出界面的弹出布局设计与交互设计。

虚拟机台交互手势:A旋转,单指朝上下左右四个方位滑动控制虚拟机台旋转。B平移,单指按下虚拟机台中心点进行拖拽移动虚拟机台。C缩放,双指向内滑动缩小虚拟机台,双指向外滑动放大虚拟机台。本文实例所研发的人机操作模型检索功能,如图2所示。

图2 包装机人机交互操作的模型虚拟仿真认识功能

AR技术应用的实例化,在人与虚拟空间、物理世界之间,员工通过手柄、遥控器、外附手套到体感设备,输入手势、语音、眼神等信号,透过AR APP功能应用的集合,实现在卷包车间现场的虚实操控、工控网的数据交互融合,零部件领料设计如图3、图4所示。

图3 零部件领料检索功能流程

图4 零部件领料检索功能设计框架图

5 系统验证与测评

2020年至今,长沙某厂AR APP系统上线迭代更新,经过二年的试运行,该系统的各个模块应用进行了试运行测试及操作反馈。通过虚拟仿真和人机系统工程新技术的运用,革新工厂设备、工装、工具等传统的操作维护办法,鼓励设备技术人员学习创新,改良维修维护的运行管理机制,设备的虚拟装配得到高质量检验[12],实现状态深度感知、设备保养合理的超前预测维护,提高了学习技能的效率,间接提升了制造的生产效率和产品质量。

从车间一线人员体验运用的直观效果来看,主要针对①图纸查询工作量;②业务办理的人工移动成本;③计算机的操作成本,包括备件查询,标签搜索等,减少了工作时间的消耗,提升了作业效率。增强2维/3维可视化资源的设计制作能力,创建生产线与设备线配套的岗位新员工培训的移动式智能头盔辅助系统。

6 收益

卷烟行业专家评价,认为该系统整体增强了公司在行业内2维/3维可视化资源的设计制作能力,对于湖南中烟工业技术创新数字化转型所需求的新技术、新方法和新路径,提供了预研方案和论证试点。长沙厂一线技术人员调查反馈,该系统促进了生产一线技师的操作反馈能力,可协助车间卷包工序提高人机协同的工作效率。

长沙某厂基于工业AR的卷包设备人机交互仿真系统的实施,为长沙易地技改项目规划的智能制造规划方案,提供了基于工业APP技术应用的探索,获得了宝贵的研发经验以及转化知识,输出了以“虚拟仿真技术融合卷接包装备运维管理的多功能数字应用[13]”、“以混合现实技术研发穿戴式双目智能眼镜的多维一体化感知”、“以虚拟现实技术开发GDX2包装机设备操作训练流程及VR可视化教程”等课题软成果和岗位人才。