基于VR的门座起重机实训平台开发

姚 斌 车宇飞

曹妃甸港集团股份有限公司

1 引言

港口机械大型化、重载化、复杂化发展,使得企业对港口机械操作者的培训要求越来越高。港口机械操作者的培训工作注重实际操作,需提高学员动手实践的能力,但由于实训场地、设备数量、教学安全等因素的限制,目前的培训方法仍以理论教育为主,缺乏沉浸感和交互性,难以实现理论和实践操作相统一,培训效果较差。所以企业急需一种新型教学模式以提高培训质量。

随着计算机图形处理软、硬件技术的不断提高,VR技术(Virtual Reality,虚拟现实)已在各个领域得到广泛的应用,尤其是在需要大量实践操作的职业技能培训领域,VR技术可实现实操设备的虚拟化,避免占用真实设备的工作时间,可通过VR设备为学员提供身临其境的操作感,从而提高人机交互性并充分保证教学安全[1]。

近年来,基于VR技术与培训教育相结合的研究已取得一定成果,如程涛等采用硬件设备与VR技术相结合的方式,研发一套针对港口起重机操作维护的虚拟实验平台,该平台通过操作由西门子S7-200smart系列PLC控制的操作台,实现对港口起重机三维模型的动作控制,使学员掌握设备的工作原理和控制方法[2]。以上VR技术与培训教育相结合的研究,有的仅限于在电脑屏幕上显示VR场景,用户沉浸感体验较低;有的虽然利用VR穿戴设备提供高沉浸性的体验,但系统的操作性较差,人机交互性较低。鉴于以上问题,以某码头门座起重机操作员教学任务为基础,结合《起重机械安全管理人员和作业人员考核大纲》(TSG Q6001-2012),设计开发了一款真实还原港口门座起重机操作环境的VR实训平台。其联动操作台、座椅等硬件均选用设备原件,可操控性强,并选用高精度的VR可穿戴设备,为学员提供高沉浸感体验,并可缩短学员的受训周期,提高培训效率。

2 门座起重机实训平台的开发

2.1 平台结构

2.1.1 硬件组成

本实训平台硬件分为2个终端,分别是驾驶控制终端和监控管理终端。

驾驶控制终端包括司机驾驶联动操作台、VR可穿戴设备、演示观摩液晶屏等。驾驶控制终端1∶1还原某码头现用门座起重机司机室的操作环境,包括司机座椅、操作手柄以及设备控制按钮等,VR可提供逼真的视觉效果,学员可穿戴设备,真实感受现场操作环境,并进行操作训练、接受考核。演示观摩液晶屏可显示学员正在进行的操作、训练或考核的实时图像,供其他学员、老师观摩指导。

监控管理终端可发布训练、考核任务,管理学员账号信息、考试成绩,还能够设置VR环境的相关参数、模型运动参数等,以及多角度监控学员驾驶控制终端操作的情况。

2.1.2 系统软件

平台设计了训练模式和考核模式。

在训练模式中,学员可进行常规操作和作业操作训练。在训练过程中系统提供实时的错误提示,包括文字、语音、声光报警等。

常规操作分为单项操作、综合操作、自由操作3种模式。单项操作主要为升降、变幅、回转、行走等动作的单项运动操作训练,是门座起重机最基础的动作练习。综合训练主要为升降、变幅、回转等动作的联动操作训练,包括2个动作的联动和3个动作的联动的训练。在自由操作模式下,系统取消一切限制和规定,学员可自由熟悉设备的操作方法。

作业操作时,在监控管理终端发布操作任务,完成门座起重机装船卸船的操作过程。作业操作可选择3种典型的吊装货物,包括散货(煤粉)、长条货(型钢)、卷类钢材(钢卷);选择3种典型船型,包括5 000 t级、3万t级、7万t级船型。任务发布后,学员在驾驶控制终端进行操作训练,系统会对学员的操作进行全程录像,便于学员完成任务后复盘研究动作要领。

系统进入考核模式时,由教师在监控管理端设定考核项目,学员在驾驶控制端登录后进行操作考核。考核完成后,系统自动打分,并可导出得分、失分情况,学员考试成绩单以及考试视频。

2.2 开发流程

该平台的系统开发按照建模、动作制作、程序开发、打包发布的流程进行。软件建设部分使用的工具主要有Solidworks、3ds Max建模软件、Unfold3D模型软件、Substance Painter贴图软件和Unity3D开发平台。具体开发流程见图1。

图1 系统开发流程图

(1)根据某码头现场设备、操作环境、堆场等实物参数由Solidworks和3ds Max建模软件制作三维模型。

(2)将三维模型、贴图、音效、动作参数等资源导入Unity3D开发平台,搭建VR场景,借助SteamVR Plugin及VRTK插件设计VR人机交互动作。

(3)使用C#编程语言编写UI界面和系统内部运行逻辑程序。

(4)编写软件通信接口连接平台硬件,完善系统开发。

(5)将工程打包发布。

3 关键技术

3.1 模型创建及优化

门座起重机实训平台是一个结构复杂、数据量庞大的综合系统,拥有多种三维模型组件。设备模型数据库中的模型有:门座起重机、倒运车辆、各式货船、抓斗、吊钩、吊梁、钢丝绳、操作主令、操作按钮等。码头场景模型数据库中的模型有:码头地形、煤粉堆、型钢、钢卷、天空、海洋、各种指示牌等。

系统中的各式三维模型使用Solidworks和3ds Max建模软件依据实际参数建立。三维模型的展现是实训平台的核心,模型的质量直接影响平台的用户体验,而模型的细节面数量则决定模型的质量。模型细节面数量越高,则模型细节表现得越多,真实感越强。但模型细节面数量同样制约着系统的响应速度。细节面数量越高的模型占用的系统内存和GPU的资源越多,从而导致计算机系统响应过慢,用户操作出现卡顿,破坏VR体验的沉浸感。所以,需要对创建的模型进行优化处理,从而实现系统画面真实性与操作流畅性的平衡。

(1)采用分类对待的思想,对重要的模型用较多的细节面数量去展现,如抓斗、吊钩、型钢、卷钢等;对次要的模型用较少的细节面数量展现,如门座起重机外结构、钢丝绳、场地地面等;对不重要的模型采用简单轮廓模糊处理,如天空、大海等。如此可达到展现效果与系统处理速度的优化平衡。

(2)由于设备厂家提供的门座起重机设备及配件模型是由Solidworks软件创建的,在用其.stl格式导入3ds Max软件后,原模型的四边面会被自动转换成三角面,从而造成细节面数量大量增加。这种情况下需使用3ds Max软件自带的工具,实现三角面向四边面的转换。

(3)对需要用较多细节面数量展现的模型,首先,在3ds max中建立细节面数量较高的模型,称为高模;其次,手动删除高模中一些细节线面,形成细节面数量较低的模型,称为低模;再次,将做好的高模、低模导入Unfold3D软件中进行UV拆分,并以fbx格式导出,将导出的高模fbx文件导入Marmoset Toolbag软件进行烘焙制作,即将场景中的灯光信息通过贴图的方式表现出来;最后,将低模fbx文件、贴图信息等素材导入Substance Painter贴图软件中进行基于PBR的贴图处理,从而制作细节面数比高模低的、综合考虑系统操作性和模型细节展现的模型。

3.2 碰撞检测技术

碰撞检测技术是用来检测虚拟现实环境中的2个模型在运动中是否发生碰撞的技术。在现实的工作环境中,门座起重机是不允许与船体发生碰撞的,所以在本平台的虚拟现实环境中,如果学员误操作导致门座起重机与船体发生碰撞,系统应发出提示语音和报警音效。因此对虚拟现实环境中运动的模型进行碰撞检测是一项重要的工作。

Unity3D开发平台为每一个模型对象都默认配置一个碰撞组件,用来检测模型对象之间是否发生碰撞。碰撞组件检测模型对象发生碰撞的工具有碰撞器和触发器。碰撞器是一群组件,包括箱体碰撞体、胶囊碰撞体等,用来满足不同场景的模型碰撞需求,必须添加到模型对象身上。当采用碰撞器方式检测模型对象碰撞时,如果发生碰撞,模型对象会出现相应的碰撞物理现象,如产生位移、爆炸等。触发器是碰撞器组件上的一个属性,当采用触发器方式检测碰撞时,如果模型对象发生碰撞则不会产生任何物理现象。由于本平台是用于教学目的,旨在规范学员的操作动作,只需在发生碰撞时提醒学员操作有误,故选择触发器方式进行碰撞检测,当门座起重机与船体发生碰撞时系统发出提示语音和报警音效。

3.3 用户界面设计设计

UI(User Interface,用户界面)设计遵循简单明了、便于操作的人性化设计理念,对界面整体进行优化。由于平台功能较多,系统共设置了三级菜单,通过鼠标点击或操作手柄选择加脚踏板确定的方式可进入相应功能模块。

4 实际应用

4.1 驾驶控制终端应用

在驾驶控制终端通过账号密码登录驾驶员控制系统,登录后学员可用左侧操作手柄选择训练模式,训练模式包括启停训练、单项训练、综合训练和自由训练。学员选定模式后踩左侧脚踏板确认进入该模式,此时VR头盔的镜片屏幕会根据学员头部位姿以第一视角显示VR环境。在启停训练、单项训练、综合训练模式下,系统会用语音提示加画面提示的方式指导学员完成操作动作。如在启停训练中,系统会以高亮色在操作面板的启停按钮模型上做出提示,指导学员完成操作(见图2)。

图2 驾驶控制终端操作界面图

4.2 监控管理终端应用

在监控管理系统界面上方布置有任务设置、参数设置、成绩管理选项,教师可以选择要进行的操作。在任务设置中可进一步选择训练任务和考核任务类型。训练任务包括煤粉、型钢、钢卷的装船、卸船操作;考核任务包括初级工、中级工、高级工、初级技师、高级技师5个等级,每个等级又细分几个不同科目的考试任务。在学员训练、考核操作过程中,教师可选择第一或第三视角观察学员的操作情况(见图3)。参数设置选型中可设置设备运行参数,如空载起升最大速度、回转最大速度、行车最大速度等。成绩管理选项中可通过学员的账号查询其考试成绩,具体到每个动作的得分情况,方便学员改正自己的错误操作。

图3 监控管理终端操作界面图

5 结语

基于VR技术的门座起重机实训平台可使学员在高度仿真的模拟环境下进行起重机技能的高效训练,让学员能够感受到真实的吊装过程,在模拟训练机上反复熟悉操作要领,使其能够完全投入到培训当中。这种培训模式能在不受现实中场地、气象条件的限制环境下,提高学员的学习积极性。