刘蕴樟, 陈丽丹, 陈荣彬, 温晓东, 张 哲
(华南理工大学 广州学院 电气工程学院,广东 广州 510800)
虚拟现实VR(Virtual Reality)技术是通过计算机,综合运用图形渲染技术、多媒体技术、仿真技术、传感技术、屏显技术和定位技术等,构造一个具备真实模拟现场的三维交互沉浸式环境[1]。与传统新媒体的界面相比,沉浸式、交互性是VR技术的最大亮点,能够让体验者深处于一个由计算机生成的虚拟的环境中,产生一种身临其境的感觉。VR技术已成为当前计算机科学的研究热点,受到各个行业的青睐,被应用到军事、医学、石油、航空、建筑、房地产、影视等诸多领域中[2~3]。文献[4]探讨了虚拟现实技术在电力系统中的典型应用,文献[5]则针对虚拟现实技术在电力系统运行维护和工程设计过程中的应用进行探讨。根据美国电科院相关研究,VR、增强现实AR(Augmented Reality)技术将使电力整体工作效率提升25%,电力设备运行时间延长20%,误操作减少30%,并降低电力作业风险[6]。美国电科院还将智能头盔与数据建模技术结合应用到变压器检修业务中[7]。
本文是在我们开展基于VR技术在电力教学、电力公司培训等方面的应用研究与探索中,设计并开发了一套虚拟实训系统,该系统实现用户通过VR设备进入建立的虚拟场景中,身临其境地进行模拟操作、训练。主要创新点有:
(1)考虑电力系统设备数量多、类型复杂的特点,提出基于Solidworks和3ds Max软件的协同建模方法,以快速有效实现虚拟现实电力设备和场景的构建,为系统开发奠定基础;
(2)实现用户与虚拟场景的人机交互,重点针对电力设备的碰撞检测技术和虚拟操作实现展开研究;
(3)采用Unity3d配合HTC Vive提供的Steam VR开发库。
(4)系统功能包括设备认知、作业场景学习、技能培训和自主考核四个模块。
电力专业在校生专业技能训练和动手实践能力一直是培养的重点,然而目前高校电力专业实训主要采用理论集中讲解再实际动手操作的方式,这种方式主要呈现出如下问题:
1)实训教学重复性大,实训效果不佳
限于实训设备数量有限,参与人数较多的因素,学生往往被分为多个小组参与,导致每个实训项目指导教师教学重复量很大,学生动手机会少,操作时间少,实训效果不理想。
2)电力设备昂贵,设备损坏率高
电力实训教学中存在电力设备相对昂贵,无法及时更新换代等问题,特别是操作类实训项目的实训设备经过反复操作容易损坏,以跌落式熔断器的拉合操作训练项目为例,每批次的实训过程中,由于学生反复操练,熔断器损坏率高,需更换数次,使用维护成本高。
3)缺乏应用型训练的电力环境
在校内投建电厂、电网并不现实。高校一般采用校企共建实训基地模式,或将实训安排至电力生产现场。但因电力系统安全、可靠运行要求很高,学生很难有机会到现场接触真实电网,更不可能有机会操作实际设备,学生技能得不到训练。
4)已有电力虚拟仿真系统交互性不够
近年来,一些科研院所、高校开发的仿真实训、虚拟现实技术等在电力行业的培训和高校电力教学中得到了较多的应用,但使用方便、功能健全、涵盖知识和实验全面的软件比较少见,已经研发出的大多为桌面式虚拟实验软件、基于Web页面的仿真,在交互技术上以利用键盘鼠标、实体台盘为主,也有部分采用数据手套、体感等设备以“虚拟人”等方式实现操作模拟训练,交互性较差,用户体会不到实际操作的感觉,印象不深刻,达不到真正培训目的[9~11]。
本文开发的基于虚拟现实技术的电力实训系统(以10 kV配电变压器断送电实训为例),建立一个可交互三维虚拟场景,不但能形象地反映开关设备的闭合、跌落动作过程,还能支持用户在虚拟场景中对设备进行沉浸式操作。用户通过佩戴智能设备沉浸到虚拟场景中,可感知物体碰撞情况,通过声音感知操作效果,“触动”虚拟场景中的电力设备,设备能以3D动画形式进行展示;用户能在虚拟场景中观看提前录制的真人示范操作视频;并通过建立题库,完成知识考核。
系统功能主要包括:
(1)自动讲解:模拟真实环境,配合信息资料,讲解相关理论知识,包括实训目的、注意事项、操作要点。让受训人员能很好地了解电力操作规范。
(2)设备演示:以1:1比例的3D结构拆解,介绍设备模型结构,真人演示正确操作。动态的电力设备各部件结构展示过程和真人示范操作画面都附有提示性的文字和语音向用户展示。
(3)虚拟操作:在虚拟环境,受训者模拟在无风及有风场景下,进行“断电”(拉闸)、“送电”(合闸)操作。
(4)自主考核:受训人员通过交互的形式完成预设题目的作答,当回答错误时,会有题目解析,帮助受训者快速理解,掌握,复习理论知识。
虚拟实训系统硬件框架为如图1所示。
图1 虚拟现实系统框架
显示设备采用头戴显示器,将用户视觉封闭在虚拟环境中,用于显示具有立体沉浸感的电力实训场景,用户通过头戴显示器观察并体验虚拟实训内容。辅助设备里有中控系统、定位器、手柄等,将用户与虚拟物体间的交互进行实时采集。
开发过程中首先需建立三维场景,然后进行交互系统开发,再进行仿真测试。系统具体开发流程如图2所示。
图2 虚拟现实电力实训系统的开发流程
其中,设备参数、现场数据主要由设计院、厂家和运行单位提供,电力设备和三维场景采用Solidworks和3dsMax协同建模。虚拟现实设备选用HTC Vive套装(头盔、手柄、定位器),主机采用配置Nvidia GeForce GTX 1070显卡的计算机,采用Unity3d配合HTC Vive提供的Stream VR开发库(SteamVR Plugin库和VRTK-Virtual Reality Toolkit插件)作为开发工具,开发语言采用C#语言。
1)Solidworks和3dsMax协同建模
三维模型的构建是虚拟现实系统开发的前提基础和沉浸感体验的关键技术,之后将已建成的模型生成三维场景(虚拟世界),进而再进行人机交互系统实现。常用的三维建模软件有Maya、3dsMax、Solidworks等,其中3dsMax软件所建三维模型以.fbx格式文件能方便导入Unity3d中。但3dsMax在建立一些复杂机械结构的设备模型(如变压器等)时,使用不够便捷,不具备优势。而具备这方面优势的Solidworks和Maya软件所建模型又无法直接导入到Unity3d软件使用。因此,本次系统开发时通过比较Solidworks和3dsMax软件的建模优缺点、格式兼容性等,决定选用前者进行电力设备、辅材的零部件建模以及整体装配,采用后者进行渲染,格式转换后导入Unity3d软件中的协同建模技术。
首先,根据所需构建的目标模型的参数以及实际测量数据,将设备整体划分为单位零部件。其次,利用Solidworks对各零部件进行三维建模,重点是绘制其轮廓,以及必要的零件特征。再利用Solidworks的虚拟装配功能对零件进行装配,完成对模型基础制作。接着,再将装配好的目标模型导入到3dsMax软件中,对目标零件进行渲染、贴图,根据预设互动效果制作动画。最后,将生成的.fbx格式完整模型由Unity3d呈现在虚拟场景中。图1是所建电力设备三维模型,图2是某户外10 kV配电变压器台区现场图及使用Solidworks和3dsMax 软件协同搭建的三维场景在Unity3d中的效果图。
(a)避雷器 (b)抱箍 (c)隔离开关图1 Solidworks/3dsMax协同建模的电力设备
图2 电力现场图和三维场景模型
2)虚拟交互功能实现
交互实现按四个模块分别进行:①渲染模块,用于将虚拟场景渲染至HTC vive的头盔中,追踪用户头部的位姿并及时地更新虚拟摄像机的位姿。②交互模块,主要功能为获取手柄的位姿以及为手柄的各个按键中添加各种功能。③控制模块,包含系统除虚拟操作外的所有其他操作,包括一二三级菜单的切换、声音的播放、视频的播放、定点传送、显示问题以及回答问题等部分。④操作模块,指碰撞检测及连杆运动,主要为实现开关设备的开合操作及其跌落式运动,分为断电操作和送电操作两种。图3为虚拟场景中操作“操作示范”二级菜单观看视频景象。
图3 虚拟场景中观看真人示范操作视频
具体,渲染模块和交互模块使用SteamVR Plugin中的预制体并编辑脚本实现,渲染模块是把SteamVR Plugin中Prefabs中的[CameraRig]组件拖曳至场景中,并将场景的主摄像机删除,即可实现渲染以及自动跟踪位姿,并使用脚本“VRTK_Height Adjust Teleport”让摄像机获得自适应高度的能力。控制模块则使用“audio source”存放以及播放音频,使用“MovieTexture”存放以及播放视频,编辑脚本并绑定各按钮,以实现控制操作。脚本编辑以虚拟操作时合闸成功HTC右手柄震动提示为例,振幅设置为2000,震动启动、关闭函数“StartCoroutine”交由开关运动碰撞检测相关脚本使用,脚本如图4所示。
图4 手柄震动提示的脚本
VR技术应用于电力实训、培训,能有效降低培训成本,改善培训环境,做到零污染零排放,从源头上节约物质资源,减少物质排放,经济环保。基于虚拟现实技术的电力实训系统具有理论研究和实际应用现实意义:
1)创新教学手段
实训教学是培养大学生创新能力的重要载体。针对高危险、高成本的电力实训,利用VR设备结合计算机图形学、传感技术、显示技术和人机交互技术开展沉浸式的虚拟操作培训,在创新实验环境方面显示出独特优势,是对传统实验实训教学手段的改革创新。
2)提高学生学习兴趣
通过虚拟现实技术,开创了全新的“自主学习”环境,用户可身临其境进入虚拟的电厂、变电站内部等电力现场场景,并通过VR技术模拟出电力设备的可拆解三维结构,通过传感设备进行交互操作,使用户在虚拟世界中获取和现实世界中具有的视觉感知、听觉感知、触觉感知、运动感知,该种教学模式具有直观性,产生的印象深刻,极大提高用户学习兴趣和效果。
3)节省实训教学成本
可交互、沉浸式的电力实训系统,为用户创设接近真实的三维实训环境,一定程度上弥补了实训设备的不足,降低了实训设备的消耗,有效扩展了实训时间、空间,摆脱了实训场地对学生的限制,同时,虚拟操作系统的开发可减少使原实训教师队伍人工成本。
以10 kV变压器断送电实训为例,培训现场需要搭建有10 kV标准规模的变压器、台架、配电箱、熔断器、隔离开关、横担、抱箍、角钢、避雷器、卡盘等设备,需约6万元建设成本,另外还需考虑设备定期维护、占地面积等因素。采用虚拟现实技术进行同样的电力实训现场场景搭建,除能实现比现场更多的实训功能外,成本仅需约17000元(HTC VIVE头盔显示器套装1套+符合VR运行的电脑1台)。
4)优化考核方式
传统的实训项目考核主观性较大,开发智能系统考核方式能根据原先设定的“规程库”判断出人员的操作准确性,并理性给出对应分值。
我们开发的融合仿真技术、计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术于一体的基于VR设备的虚拟电力实训系统具有如下显著的优点:①仿真性,展现出与现实物体一模一样的电力实操环境,且受训者在虚拟环境下可以达到相同的培训效果;②沉浸性,采用Unity3d配合HTC Vive开发的系统更为真实逼真、沉浸感很强;③开放性,虚拟实操打破了时空限制,学生可以随时进入虚拟场景进行实操、演练;④安全性,虚拟环境中可尝试各种操作而不会造成真实电力现场发生的危险事故,安全性高。开发的系统可节省训练设备的投入,消除或降低设备损耗,节约实训、培训费用,具有节能环保效益,经济性显著,具有实际应用意义。