混合现实技术的运检作业支持系统的研究

国网湖北省电力有限公司检修公司 赵 然 汪杨凯 李云越 曾宏宇 叶 雷

设备的维护及检修方法通常以电子文档的形式进行存储和记录，在检修过程中，运检人员需提前打印标准化作业指导卡，按照作业指导卡的内容开展检修工作，然而由于运检人员的技能水平参差不齐、作业指导卡的内容很难体现和指导现场检修工艺的实际过程，导致现场运检效率较低，本文提出采用一种基于混合现实技术的运检作业支持系统，该系统不仅能够使运检人员直观的了解维护及检修工作内容，也可以作为维护及检修过程优化的参考依据。

目前，变电站运检人员对设备的培训学习主要通过图纸、培训课件、检修期间设备的解体检修或者进入设备制造厂来了解设备的结构原理，学习周期较长；在对设备进行检修或者操作时，运检人员需对设备结构比较了解，按照标准化作业指导卡上的流程进行作业，每完成一项内容进行打勾确认，然而由于编制标准化作业指导卡的人员素质不一、运检人员技能水平参差不齐，导致标准化作业指导卡的可参考性较低，工作效率较低。

1 混合现实技术（MR）

混合现实技术（MR）通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。通过 HoloLens 创建并呈现全息图（Hologram），全息图可包含声音，并且可以从 Hologram 所处空间的真实位置发出，通过扬声器实现。全息图不仅可以用手势交互，当你发出语音指令时，也会收到相应的回复，实现交互。如图1所示。

2 在变电站中的应用设想

利用混合现实技术（MR）的技术特点，通过MR技术在实际设备上实现标准化操作和作业，再把实操实训和逼真的事故预演结合起来，使运检人员在知道怎么做的情况下，同时知道什么不能做，积极主动的掌握知识点和技能，以达到技能和安全水平同步提高的目的。

以400V开关和1000kV HGIS开关间隔为例，对复杂的盘柜进行虚拟再现，对盘柜的各个零件进行三维建模，再程序编写生成一个可以与实际盘柜1:1还原的虚拟盘柜，实现设备内部物理结构仿真，以及设备的虚拟装备和拆解，正确反映不同状态。

图1 混合现实显示设备图示

3 实现的预期功能

二维码识别：通过二维码的获取来实现相关应用指令的切换。

设备虚拟拆装：通过虚拟仿真形式的拆装来帮助运检人员全面了解设备形状、尺寸、内部结构以及装配关系等。

实时数据三维可视化：对于运检数据提供出三维可视化功能，帮助运检人员对相应情况做到更加直观的了解。

远程专家辅助：通过专家远程介入的方式帮助运检人员解决无法自主解决的问题。

4 系统中各个功能模块的设计及其实现分析

4.1 二维码识别模块

在这一系统中，主要的人工识别形式就是二维码，以此来对URL地址以及电力设备进行识别。具体识别过程中，借助于HoloLens眼镜对二维码进行扫描，以此来实现二维码信息的获取，并根据获取到的信息完成相关应用指令的切换。在该系统中，二维码识别被用作每一项功能的入口，它有着正确性、实时性等的性能优势，可以为用户带来更好的应用体验。

系统应用中，该技术主要是把原本已经十分成熟的条形码识别技术ZXing作为基础来实现的一种先进技术。之所以不直接采用ZXing技术来识别，是由于该技术需要对多种情况进行综合考虑，并兼顾多种条形码以及低端手机的识别，所以其扫描程序的实现速度就非常慢，有时甚至会出现无法识别的情况。基于此，该系统对这一技术进行了优化，让二维码识别速度和识别精度都实现了进一步的提升。同时，该系统也可以通过Air tao手势来实现识别程序的激活，并根据不同的提示音来判断是否识别成功。

4.2 设备虚拟拆装功能

在该系统中，设备虚拟拆装功能属于一项核心功能，通过该功能的实现，可以对一线运检工作人员了解变电站各个设备的形状、尺寸、结构以及装配关系等的这些信息起到至关重要的辅助作用。

在该系统的具体应用中，通过语音识别的形式来操作和转换各个设备的三维模型。但是由于系统中应用的HoloLens并没有识别中文的能力，所以系统的语音识别为英文形式。在“move model”这一语音指令输入到系统之后，用户可以借助于拖拽手势将对模型进行位置移动；在“rotate model”这一语音指令输入到系统之后，用户可拖拽模型实现旋转，这样就可以对模型的各个角度进行细致观察；在“expand model”这一语音指令输入到系统之后，设备会自动将三维模型中的各个部件拆分开来，以此来为用户的观察提供足够便利，在此过程中，用户也可以对设备中的各个部件进行装配等的相关操作。在“reste model”这一语音指令被系统接收之后，原本拆解的三维设备模型将会自动复原。

4.3 数据的实时三维可视化

在进行变电站的运行检查中，工作人员最关注的内容就是各个设备具体的运行状况，所以在该系统的设计中，就引入了数据的实时三维可视化模块设计。

具体设计中，系统后端主要通过KEP-Server来实现OPC形式的服务器建设，通过这样的方式，就可以让OPC形式的数据得到实时接收，然后用JAVA来编写相应的接口程序，并对OPC形式的数据做打包处理，最后将打包好的JSON格式数据传递给系统前端，使其在WebSocket这一技术的支撑作用下为客户端建立起全双工形式的实时通信。对于接收到的OPC数据，该系统将WebGL技术作为基础，对Three js引擎进行开发，这样就实现了OPC数据的三维可视化功能。借助于这个三维可视化引擎，可以将OPC数据显示在一个三维形式的场景内，在颜色、形状数据的实时变化过程中，这个三维场景内的模型也会随之变化，并提供了实时报警等的诸多功能。

在具体应用中，首先借助于HoloLens这一混合现实设备来进行二维码扫描，进而将制定的Web页面打开，这样就可以实现对实时数据以及三维模型的访问。为了让三维场景具有更强的沉浸感，页面背景设置为透明形式，并支持全屏显示。在系统测试中，主要是借助于OPC模拟数据的形式进行测试。

4.4 远程专家辅助功能

在具体的变电站运检工作中，如果一线运检工作人员遇到了十分复杂的问题，不能自主进行解决，此时就需要通过专家的指导和帮助来解决相应的问题。在这样的情况下，远程专家的实时介入就变得至关重要。基于此，在该系统中，就为运检工作人员提供了远程专家辅助功能。该功能的实现主要是将云平台作为基础，以此来实现专家的远程辅助，并通过该平台提供出相应的方案来解决为题。

此系统主要通过Ubuntu这一云平台系统内的Nginx实现Web服务器建设，然后借助于WebRTC（网页实时通信）技术来进行远程专家辅助系统的开发。在该系统的具体应用中，如果一线运检工作人员遇到了无法自主解决的问题，可以请专家进入系统为其提供的虚拟会议室，通过HoloLens将相应的信息以第一视角音视频形式发给专家，在接收到相应的信息之后，专家便可按实际情况和现场工作人员进行沟通，以此来为一线运检工作人员提供专业性的指导。通过这样的方式，就可以帮助一线运检工作人员及时有效地解决遇到的难题。

结语：综上所述，在当今的变电站运检工作中，传统的运检方式已经难以满足变电站实际的运检需求，所以就需要应用到更加科学、先进的运检技术和运检系统。通过利用混合现实技术（MR）对复杂盘柜进行虚拟再现，可以与真实设备结合，更加准确真实的对设备虚拟装备和拆解，使运检人员能够直观的了解设备内部结构，提高工作和培训学习效率。因此，在具体的变电站运检中，电力企业一定要注重混合现实技术的合理应用，并通过相应系统的建立来提升该技术的应用效果，以此来全面提升运检质量，保障电力供应效果。