集成AR和Kinect技术的电力培训系统研究

宋力王 刘晨

摘 要：电力行业技术密集、安全风险高，电力培训是提高作业人员素质，保证电力系统安全稳定运行的重要手段之一。提出一种集成AR和Kinect技术的电力培训系统，采用Kinect与裸眼3D显示结合的交互方式。通过Kinect识别受训人员的操作手势和声音命令，形成良好的人际互动AR环境，实现受训人员的学习、操作培训和操作考核；充分利用裸眼3D实时渲染技术，突破了传统裸眼3D只能播放视频的局限性，实现电力培训系统实操体验、模拟危险、事故分析等。

关键词：裸眼AR；Kinect交互；实时渲染；电力培训

1 引言

由于电力行业的结构复杂、技术密集、安全风险高等特点，实操培训具有一定的风险，对学员的专业技术技能要求高，可能造成难以挽回的损失。因此，一种安全高效的实操仿真培训方法是电力部门关注的重点。

鲁强等[1]在电力仿真培训系统中引入虚拟现实技术（Virtual Reality，VR）降低了硬件投資，增强了培训效果。朱红青等[2]开发了矿井火灾救援VR培训系统，提高救护队的井下应急救灾处理能力。增强现实技术（Augmented Reality，AR）避免对现实世界大量重构和渲染的复杂过程，可以实现虚拟环境与现实世界互相嵌入，并进行人机互动[3，4]。

然而，目前的AR培训系统中，大部分都不具备相应的体感交互，未能实现完善和真实的虚拟现实体验[5，6]。因此本文提出一种基于AR技术的电力场景培训系统，借助AR技术和Kinect技术自动识别操作者动作，并智能监督操作人员按规程、按步骤完成工作，提高电力技术人员的业务水平。

2 AR技术概述

AR技术由1990年左右提出，包括3个主要特征：虚实结合、即时互动和三维匹配。AR技术为工业维修培训的可视化等诸多领域提供一种新的“沉浸”学习工具，具有很大的发展空间。

输入图像经过处理建立实景模型，依照几何一致性将生成的虚拟对象嵌入实景环境中，形成虚实融合的增强现实环境；显示系统显示实景环境，操作者通过交互设备与实景环境进行人机互动。

2.1 场景建模

传统AR培训系统需要佩戴专业的眼镜才能够使用，而长时间佩戴容易让人产生恶心、头晕等症状，特别是对于戴有近视镜的观众使用起来更不方便，本系统采用裸眼3D技术实现场景建模显示[7]。

真空断路器是切合电路的主要设备。正常工作时根据电网运行需要，将一部分电气设备或线路投入或退出运行，当电气设备或线路发生故障时，通过保护装置作用于断路器，将故障部分从电网中切除，使电网无故障部分正常运行。

2.2 Kinect体感交互

基于深度图的体感交互，以视频图像和深度图作为输入数据，研究体感手势特征、手势跟踪等。其中微软公司推出了Kinect体感设备成果最为显著。Kinect不需要使用任何控制器，它依靠相机捕捉三维空间中人体的运动。

骨骼是摄像头采集到用户肢体当前动作形态的计算机表达，人体骨骼由多个关节组成，每个关节点都包含了位置、旋转及其它信息。在培训系统中的互动设计中利用了Kinect设置的骨骼节点，对培训人员的动作信息进行描述。

该断路器带上PT电源，在杆上安装简易控制器，控制器上有分合闸信号等，实现就地操作。Kinect体感设备通过骨骼关节点识别操作者的操作行为，并输入到反馈系统中。

3 人机交互技术

体感技术，简单来说就是使人能与机器交互，人们可以很直接地使用肢体动作，无需使用额外的操作设备，便可让其与周围环境进行互动。

（1）激光定位技术。优势在于定位精度高，反应速度极快，但稳定性和耐用性较差。

（2）红外光学定位技术。具有高定位精度，低延迟率，但成本较高，需要安装足够数量的摄像头。

（3）基于惯性的定位技术。受环境影响较小，，但需要穿戴，可能会影响操作者正常工作。

（4）可见光定位技术。相比上述3种技术，可见光定位技术成本低，灵敏度高，稳定性和耐用性强，是最容易普及的一种定位方案。

4 电力仿真培训典型案例

“沉浸式真空断路器操作AR仿真实操培训系统”紧密结合电力部门培训需求，通过研究基于Unity3D的高压设备场景仿真技术、Kinect体感交互技术和电力仿真技术等，从视觉、听觉和交互方式等方面构建高度逼真的沉浸式操作环节。

培训系统包括培训系统包括中央处理模块、三维建模模块、渲染模块、操作工艺模块、Kinect交互模块，如图1所示。中央处理模块负责各模块间的数据信息和指令传递；操作工艺模块存储操作工艺，可向电力技术人员展示相关元件工艺标准；考核模式按对考生的操作步骤进行评分。三维建模模块实现真空断路器建模；渲染模块对三维模型渲染和裸眼3D显示；Kinect交互模块采集并处理操作者的手臂和手指动作。

5 反馈设计

AR+电力培训中还可以设置考核模式，可以将学员的操作按照标准化的规则进行考核（图2）。对于检修人员，系统会通过设置某一设备故障，让操作者针对该故障进行检修操作，按标准化检修流程对考生的操作步骤进行评分。

6 结论

提出一种基于AR和Kinect技术的电力培训系统，不但可以实现真空断路器设备的三维重建，形象地反应设备的事故状态及其动作过程，还支持在虚拟场景中操作、巡视、事故训练等，增强了培训的趣味性和实效性，具备广阔的应用前景。

参考文献：

[1] 鲁强，孔英会，贾俊敏. VR技术及其在电力仿真培训系统中的应用[J]. 湖南电力，2004（1）：36～39.

[2] 朱红青，秦晓峰，杨成轶等.基于Virtools的矿井火灾救援VR培训系统开发[J].矿业研究与开发，2014（4）：95～98.

[3] 冯晓伟.增强现实工业培训系统研究[D].华东师范大学，2012.

[4] 谢维兵，敬勇，刘敏等.增强现实（AR）技术在电网培训中的运用[J]. 重庆电力高等专科学校学报，2018（1）.

[5] 邓丽，鲁琛瑶，邵宇鹰等.增强现实技术在电力系统故障源标识中的应用[C].中国仿真大会，2014.

[6] 薛江，李军锋，何双伯等.增强现实在电网仿真培训和工作辅助的应用[J].科技与创新，2017（21）：149～150.

[7] 欧阳俊林.裸眼3D显示技术研究[J].计算机光盘软件与应用，2012（19）：86～87.