基于AR/MR技术的智能穿戴设备在工业巡检中的应用

方维岚 吴奕龙 陈翀

(上海烟草集团有限责任公司,上海 200082)

0 引言

经历历次技改升级,自控数采、物联网、大数据等信息技术正在制造行业供应链中不断的落地延伸,已经具备了深厚的基础。如何应用好这些既有平台和数据,是“高质量发展”和提升智能制造水平总体要求的重要课题,也是智慧园区建设中加强人与园区互动、感知能力的重要方向。其中,设备互联、人机互动是智能制造的重要一环。通过将智能前端设备“武装”运维巡检人员,可以将信息快速高效精准地传递给相关人员,在单位时间内使得个体获取更多的信息量,大幅提高运维人员单兵作战能力。

1 系统需求与总体设计

1.1 智能穿戴设备载体选型、配置及改造

对增强现实、混合现实技术深入研究、对比,并选择一款适合行业生产现场的智能穿戴设备进行改造和利用。

满足MR巡检需要的要素为:支持空间定位、支持环境感知。目前可选最优的MR智能穿戴设备Hololens一代和二代。

1.2 车间工控信息接入整合

梳理目前车间现场工控数采情况、数据结构。并开发特定的接口,将原本相对孤立的工控数据与智能穿戴设备的AR/MR进行数据交互。

车间工控信息通过“DCS服务器”采集并接入OPC服务,我们采用一台“巡检服务器”,将其与“DCS服务器”连接到同一内网局域网,即可实现数据链路的打通,然后通过OPC协议连接DCS服务器和巡检服务器,由巡检服务器作为客户端定时向DCS服务器发起请求,获取数据。然后再通过Wi-Fi路由器转发数据至巡检智能眼镜端(如图1)。

图1 车间工控信息接入整合物理架构图Fig.1 Physical architecture diagram of workshop industrial control information access integration

1.3 室内精准定位技术及空间三维显示、视觉辅助技术

基于视频识别技术及近场通讯技术形成室内的精准定位。并整合场景识别、虚拟成像、空间及姿态精准定位功能,研发视觉算法,实现虚实结合展示。

MR智能穿戴设备HoloLens有4个环境感知摄像头、1个深度摄像头、1个IMU(惯性测量单元)。IMU负责感应设备的方向,环境感知摄像头负责感应设备相对位置的偏移,深度摄像头负责扫描环境还原周围环境。

IMU和4个环境感知摄像头负责解决“我在哪儿”问题,再加上深度摄像头后解决“我周围有什么”问题。深度摄像头和普通摄像头的不同就是能够获得拍摄对象的深度信息,从而获得了环境三维立体数据,这其中涉及到SLAM技术。

HoloLens使用单目SLAM,首先提取图像中的特征,然后根据相邻帧图像的特征去匹配,识别出场景某些特征点位置,并通过图像的变化反向计算出相机的运动,即空间定位。

通过深度图像获得三维点云加上环境感知摄像头计算出相机位置,将二者综合计算得出网格模型,如此循环就可以通过移动相机获取相机不同视角点云,重建完整的场景表面,即环境感知。

这两个功能实现后,在设备运行过程可实时添加锚点,记录当前环境网格信息、空间原点信息、相对于空间原点的锚点坐标信息,并保存这些信息到本地或云端,当二次打开应用,重新加载这些信息,与当前环境信息进行匹配,匹配成功则创建该锚点。另外对锚点进行编号,可对编号绑定其他信息。

1.4 基于AR/MR技术穿戴设备在工业巡检中的应用

选择合适的试点对象,构建应用场景。并根据应用场景设计AR/MR的技术系统架构,完成整套基于AR/MR技术的智能化巡检可穿戴设备的实施展示。

1.4.1 应用场景设计

应用地点:空压机房;

使用对象:培训师、巡检人员;

使用场景:

(1)日常巡检:巡检人员佩戴MR智能穿戴设备,进入空压机房,开启巡检程序,MR设备自动在巡检人员眼前显示巡检路线,以空间虚拟的3D箭头指向,巡检人员按照指示行进,巡检路线上的设备(已配置的)自动以虚拟的3D效果显示设备关联的实时数据。当路线走完或设备数据检查完毕后,巡检人员操作退出程序,完成巡检工作。

(2)设备维修:巡检人员佩戴MR智能穿戴设备,进入空压机房,开启巡检程序。当设备数据出现异常时,MR设备显示屏上出现报警标志并指向该异常设备的位置,巡检人员根据指向,前往设备位置,发现设备具体的异常数据,调取设备相关资料和维修指南,找到异常原因,进行维修,维修完成后,数据恢复正常,报警消失。巡检人员退出程序。

(3)培训:培训师佩戴MR智能穿戴设备,进入空压机房,开启巡检程序。同时另外使用一台便携式笔记本电脑,连接到同一无线网络,开启投屏软件,实时同步MR设备的画面,以供被培训人员(如巡检人员)观看。培训师按照巡检路线行进,以此对设备进行查看、讲解和操作,被培训人员观察学习。培训结束后,退出程序。

1.4.2 技术架构设计

巡检服务平台整体包括数据交互接口、业务组件、支撑组件、标准规范和集成框架,各自承办不同的功能,实现MR巡检所需服务和运营(如图2)。

图2 巡检服务平台技术架构设计图Fig.2 Technical architecture design drawing of inspection service platform

巡检服务与工控系统通过OPC服务及标准数据接口进行数据交互。巡检服务与MR智能穿戴设备通过Wi-Fi网络及标准数据接口进行数据交互,MR智能穿戴设备获取数据,进行数据解析、缓存,再通过SLAM算法对空间信息进行构建,匹配设备数据进行空间定位,支持手势识别进行交互操作。

1.4.3 物理架构设计

“巡检服务器”与“DCS服务器”同部署在IT机房,且与空压机房的控制器机柜在同一局域网内,通过两台交换机连接。另将一台“WI-FI路由器”接入到内网交换机,“WI-FI路由器”同样放置于现场控制机柜内,WI-FI信号需要覆盖整个室内环境。“MR智能穿戴设备”和“投屏笔记本”连接到“WI-FI路由器”,通过无线网络和“巡检服务器”进行数据交换。整个网络都在内网搭建,不接入外网,安全可靠(如图3)。

图3 巡检服务平台物理架构设计图Fig.3 Physical architecture design drawing of the inspection service platform

2 系统功能设计

根据系统需求和总体设计,我们将系统功能划分为以下模块和功能,见表1。

表1 系统功能模块说明Tab.1 System function module description

3 结语

综上所述,本文围绕着基于AR/MR技术的智能穿戴设备在工业巡检中的应用进行了介绍说明,实现了AR/MR技术在工业巡检场景中的落地。在AR/MR技术的支持之下,巡检工作人员可以更高效地进行巡检作业,并因此节省了人工成本和时间。在未来,AR/MR技术将会在更多的行业和场景发挥更大的作用。