张涛 齐晓琳 李彦爽 尤勇 潘杰
虚拟现实技术(VR, Virtual Reality),是指利用电脑产生一个三维空间的虚拟世界,提供使用者关于视觉、听觉、触觉等感官的模拟,以实现身临其境感知的技术。该技术集成了计算机图形(CG)技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果,是一种由计算机技术辅助生成的高技术模拟系统。虚拟现实技术所产生的虚拟实境和真实世界叠加和混合的方式,产生增强现实技术(AR, Augmented Reality)和混合现实技术(MR, Mixed Reality),三项技术统称为XR技术。
近年来随着高新技术,特别是智能硬件和网络并行处理等技术的快速发展,虚拟现实技术在教育、医疗和工业等领域开始得到广泛的应用。B集团早在2014年即开始组建研发团队、购置设备,就虚拟现实技术在燃气系统中的应用展开研究,通过对某燃气场站进行三维系统建模,实现了场站基础建筑、设备设施、地下管网的三维可视化。
经过几年的实践探索,目前XR技术已经在三维资产管理、沉浸式培训、应急演练、辅助巡检和辅助运维等领域展开了多方面的应用,取得了丰硕的成果。本文就虚拟现实技术在燃气生产运营中的应用进行总结和探讨,并展望下一阶段的工作。
(一) 技术平台与设备
本研究采用Unity3D三维引擎为基础开发平台,该引擎主要使用集成IDE进行模型材质导入、布局设计,并通过编写脚本的方式实现功能,底层支持OpenGL和Direct11。 Unity3D内置NVIDIA 强大的物理引擎,以及高质量粒子系统,这些特效均可轻松上手,效果逼真。Unity3D侧重于快速的完成程序的搭建及测试,性能卓越,开发效率出类拔萃,只需一键即可完成作品的多平台开发和部署,极具性价比优势。
AR头显设备主要选用微软开发的HoloLens,其是一款基于Windows 10的獨立设备,主要通过Clicker与语音完成交互,续航2~3小时,待机时间为两周。HoloLens采用微软定制的全息处理单元(HPU)和英特尔32位处理器,拥有2GB内存和64GB闪存。同时,HoloLens还拥有惯性测量单元、环境光传感器、环境感知摄像头、深度感知摄像头、4个麦克风和200 万像素高清摄像头。HoloLens支持蓝牙和wife,重量为579g。
(二) 三维可视化平台
基于三维可视化技术研发的工业设备设施管理平台,用于实现设备的可视化管理和系统数据的可视化展现。区别于传统的2D管理平台,三维立体管理平台可以实现管理人员对实际设备设施的直观认识,而且三维丰富的表现空间,可以给与平台更多、更形象的展示形式,以及更多样的互动操作方法。
本研究采用激光雷达扫描快速建模技术,对燃气场站相关设备设施进行全方位扫描获取点云数据,再使用团队自主研发的点云快速建模平台将点云转换为高精度模型(图1)。在此基础上,通过数据处理与传输技术,将工业运行数据接入系统,可以实现数据与设备设施的深度结合及精准管理,同时还可加入更多的管理功能,例如人员车辆实时位置管理、管网运行管理、生产设施建设与改造验证、风险防控可视化管理等。
集团自2015年开始,先后完成了11个场站的三维建模工作,开发了三维资产管理系统,并已导入企业资产管理(EAM, Enterprise Asset Management)数据,在场站设备的数字化及可视化管理方面取得了成效。三维可视化内容可以分别展现在PC端、VR端和移动端,从而构建出更丰富、更直观、更便捷的展示与管理方式。
基于VR技术研发的工业技能培训产品,包括3D互动培训课件、VR实景教学、VR多人沉浸式训练、跨平台应急演练等系列产品,可用于运维检修培训、生产工艺流程培训、应急演练等培训环节。本研究通过自主构建的可视化阶梯式培训体系,帮助学员高效地学习和理解知识,并安全快速的投入实践操作,同时节省培训成本,规范生产操作流程。
基于场景化培训理论,参考国际前沿理念,结合集团的技术体系,设计了一套阶梯式可视化培训体系:1)理论(实景教学与交互展示);2)流程(操作步骤互动学习);3)技法(VR沉浸式训练);4)实践(MR辅助实操)。
(一) 实景教学
通过全景视频与图片拍摄技术,在实操现场拍摄全景教学内容,并针对局部技术点进行特写展示。学员通过VR设备以沉浸式视角观看教学内容,身临其境地进行知识学习(图2)。基于VR的实景教学不仅适用于常规现场培训,更适用于难以反复模拟以及高风险环境的培训内容学习。
(二) 3D互动课件
本研究通过三维技术,制作用于操作流程培训的互动学习APP,帮助学员反复学习和练习操作步骤,并对其熟练度进行考核,可以为下一阶段培训奠定坚实基础(图3)。
(三) VR沉浸式拆装训练
通过虚拟现实技术,为学员营造出逼真的虚拟工作场景,学员在此环境中,用真实的肢体动作来操作虚拟环境中的设备对象,对设备进行维检修操作,使其达成如实操般的学习经验及肌肉记忆。本研究通过网络培训平台模拟多人协同配合操作,并按标准流程与动作完成指定维检修工作内容,从而达到协同操作训练目的,增加培训真实感、降低培训安全风险、提高互动培训效率(图4)。
(四) 应急演练及决策情景评估
通过虚拟现实与跨平台网络通讯技术,在虚拟环境中仿真模拟燃气应急事故的发生与发展,通过团队协作进行应急处置流程训练。PC端模拟指挥中心,VR端模拟事故现场,使各个应急处置相关部门共同参与,以低成本、低风险、高效率的方式进行如现场实际操作般的演练体验,为企业安全生产运维开启新的篇章(图5)。
除应急演练外,燃气重大事故复盘演练和应急处置预案流程推演是应急培训工作的两个重点方向。基于VR/ AR技术,可以更全面的展示事故发展的全过程,学员可扮演任意角色参与事故处理,可以增加临场感,提高演练仿真度。并且还将在每个步骤让学员自主进行指挥或操作,记录其采取的行动,形成事故演练处理流程清单,由专家进行评判,从而实现在复盘学习的同时对学员进行业务能力考核,从而加深对典型事故的认知,提高类似事故的处置和决策能力。
(五) 安全与科普宣传
在虚拟现实空间中,模拟日常可能会发生在身边的用气隐患及安全事故,跟随提示学习并体验正确的处置方法,提高民众的用气安全意识与应急处置能力(图6)。同时燃气知识宣传,对于提高民众安全用气意识、树立燃气企业公众形象有着重要的意义。通过使用具备高科技含量的VR/AR技术,开发以燃气科普知识与安全知识为主的互动体验程序,可以有效的提高宣传的效果,加深民众对所宣传知识的理解与记忆。
基于AR技术研发的燃气运维辅助可视化产品,将后台关键数据与信息通过AR(增强现实)与MR(混合现实)方式展现给一线人员,助其直观的了解实时生产运维现状,辅助操作信息 ,提高其工作效率以及后台系统数据的实用价值,与此同时,将现场生产运维实况,实时回传给调度系统,使调度人员第一时间了解实际运维情况,从而提高整个系统的管理水平与运行效率。可采用手机、平板,或者AR专用头显设备作为开发平台。
(一) MR辅助巡检
本项研究使用AR头显设备HoloLens,利用北斗精准位置服務进行定位,通过网络获取云端加密数据,实现巡检人员对设备设施信息的实时、精准、全面查询。尤其对于埋地管网的混合现实展现,极大的提高了巡检工作的效率与精度。通过授权,巡检人员还可对所查询的设备设施信息进行标注及编辑,实现信息的及时更新与共享(图7)。
通过AR技术与北斗定位技术的结合,基于已经建立的三维场站可视化系统,可以实现设备数据与设备实体的空间拟合与呈现,使现场实操人员能够更全面的了解设备设施情况,辅助其进行现场决策与实操。这是集团下一阶段的研发工作,基于移动端AR开发。
(二) MR辅助实操与VR辅助维修
MR辅助实操,是指利用MR技术与图像识别技术,在实际工作场景中识别设备型号,根据设备维检修内容,以3D拟合的方式展示设备结构原理,并进行维检修操作步骤引导,辅助工人按照标准操作流程进行实际操作。
现有的VR培训体系,可以通过AR技术自然延伸到实践操作过程,通过AR技术与图像识别技术的结合,实现虚拟设备与真实设备的拟合,实操人员可以通过移动设备以AR形式看到设备内部结构、工作原理及拆装步骤,这样可以更好的帮助实操人员按照标准步骤进行操作,避免操作步骤不规范引发的安全事故及设备损耗。本项工作下一阶段将基于移动端AR开发调压器辅助维修电子手册系统。
经过几年的持续努力,B集团在虚拟化技术应用方面,已经展开了多方位的实践探索,从燃气场站的三维可视化建模,到基于VR技术的技术培训体系构建,再到目前开发中的基于AR/MR技术实现辅助巡检和辅助生产和运维,取得了诸多成果。
下一阶段,将基于数字孪生技术搭建三维可视化生产管理平台,利用虚拟空间和现实世界的深入动态融合,实现燃气场站与数字化管网的全生命周期管理。数字孪生(Digital Twin)是指针对物理世界中的物体,通过数字化的手段来构建一个与数字世界中一模一样的实体,借此来实现对物理实体的了解、分析和优化。
本项目在原有三维可视化平台的基础上,将数据系统打通,引入更多运用数据,提高系统的实用性,目的是实现高A及以上场站的三维可视化管理。导入EAM、SCADA等系统数据,实时反映设备情况,实现虚拟设备与真实设备的数字孪生,提高场站数字化管理水平。并在此基础上与之前研发的诸多应用系统对接,具体的平台架构见图8。
作者单位:张涛、齐晓琳、李彦爽 北京市燃气集团有限责任公司
尤勇、潘杰 北京讯腾智慧科技股份有限公司