基于MR技术的配电房运检系统研究设计

张珊茹， 刘彬博， 秦方博， 许舒婷， 曾繁， 郑筱莹

(广州城市理工学院，电气工程学院，广东，广州 510800)

0 引言

随着时代的发展，室内工作人员较好地享受到了手机、电脑等二维产品带来的赋能。在这场信息工业革命中，那些在外办公、用手组装、维护、修理、检查和操作对象的户外工作者却鲜少受益，一线工作者寻求解放双手、随身移动的AI产品的需求也日渐突出。在配电房的业务中，巡检人员缺乏统一的评判标准、数据的整合调用；维修人员无法及时接收维修指令，维修故障类型众多，专业师傅的培训无法全方位照顾到被培训者；传统技术手册不够直观，技术人员无法解放双手，难以将现场情况实时反馈至专家以寻求帮助等问题与人们新时代下信息化、智能化、物联化的需求相悖[1]。因此，本系统利用MR技术结合电力运维，设计符合时代发展的操作系统以解决配电房运检工作及培训中存在的问题。本系统使用HoloLens混合现实设备进行作业，人们无须携带手持设备或低头紧盯屏幕，除了呈现二维信息外，更能在三维空间与使用者进行交互，从而帮助用户实现轻松的阅读、查看、调用、操作、联系处理等功能以提高配电房运维作业和实操培训的效率，真正实现轻装作业、智能化运维[2]。

1 研究设计

1.1 系统功能

围绕配电房3种业务模式设置巡检流程、检修项目以及辅助安装3种业务场景。图1为功能设计图。

图1 功能设计图

巡检流程：根据HoloLens头显的指示按照一定顺序执行，巡检人员必须按照巡检要求对设备进行细致的检查，并通过语音或者文字交互的方式录入具体故障情况。巡检人员可以查看以往巡检记录了解本配电房的巡检状况和设备的台账信息，还可以查看内置的标准化机柜参数来甄别故障并防止误导性的目视检查。

检修项目：接收到检修任务的运维人员针对故障问题进行维保。通过浏览指导操作视频或查找相关技术手册了解具体的步骤，如遇维修困难也可远程联系专家进行指导。专家可以通过电脑屏幕截图画面并画笔标注传回到眼镜的显示界面中，有利于维修人员更好地判断故障问题。

辅助安装：即在开关柜等设备投运前进行接线的相关操作。安装人员可以根据视频及辅助安装的3D动画明确2个接线端口之间的接线情况，必要时还可查看安装技术规范。

1.2 系统架构

系统架构主要分为基础层、技术层、应用层、功能层。基础层即设备实现的基本软硬件环境；技术层即本系统运用到的相关技术；应用层即本系统针对配电房运维业务中的3种人员设计的应用模式；功能层即本系统能够实现的功能需求，本系统架构设计如图2所示。

图2 本系统架构设计图

1.3 巡检设计要求

巡检人员在检查配电房的运行状况时，需要保证配电房温度、湿度适宜，无小动物入侵，记录电压、电流、功率因数、温度、湿度等参数，并确认线路、套管、指示灯、显示屏、保护等元件是否一切正常，有无异味气体、异常声音、氧化变色或放电现象导致的开关触头灼烧等问题。由于设备长年累月运行，必然会造成一定的老化和磨损，巡检人员在进行正常的巡检流程后需要填写巡检表单并上报故障问题，待维修人员处理故障情况，重新投入运行。图3为巡检表单设计。

图3 巡检表单设计

2 关键技术

2.1 软硬件开发环境

基于市面上最优秀的混合现实设备HoloLens(见图4)和Unity3D引擎平台进行开发。硬件环境方面：使用HoloLens一代头显设备、GTX1070以上的独立显卡或神经计算加速设备。

图4 HoloLens一代头显设备

软件环境方面：使用C#编程语言控制客户端并作为开发语言，编译环境以Visual Studio 2019编写各种脚本运行，服务器使用的核心软件环境包括JRE、Python、TensorFlow、Keras。使用的笔记本搭载Windows 10作为操作系统，基于Unity中的跨平台功能，可以轻松地将项目部署到HoloLens和移动设备。结合Microsoft正式发布推出的面向混合现实应用程序的工具，一个开源跨平台开发工具MRTK v2，将Unity3D与MRTK v2相结合快速构建原型，使其成为集合模型、脚本及控制模块的综合软件平台。利用官方提供的HoloToolkit包，将Unity3D中的程序发布到HoloLens混合现实端，该开发包可以在Unity3D的操作界面里模拟混合现实端的视野以及人机交互的功能。

2.2 人机交互技术

2.2.1 人机交互方式

人机交互功能包括Gaze交互、Gesture交互、Voice交互。其中，Gesture交互作为最常使用也是最主要的交互方式之一，在实际的交互中不会只有一种交互方式，一般是两种以上相结合形成交互，将其结合凝视交互，并使用语音交互作为辅助。凝视交互相当于光标，而手势交互相当于鼠标左键[3]。

2.2.2 人机交互设计

共设计了4种人机交互功能。

(1)设备信息状态查看功能设计。巡检人员带上HoloLens头显，即可显示配电房开关柜的详细信息和实际运行状态参数。

(2)巡检、维保指引功能设计。技术人员在本系统根据自动提示逐一核对操作内容，巡检人员可以将设备的运行状态和参数通过语音或内置键盘方式记录。通过Gesture交互方式勾选确认今天已完成并且无问题的选项，维保安装人员可以根据视频、语音、3D动画完成相关指令。

(3)表单上传调用功能设计。在巡检过程中可以调用以往数据辅助判断，当发现有不达标或者故障设备时填写表单，将故障指令上传回终端。

(4)远程协作功能设计。当检修安装人员需要帮助时，远程专家通过Mesh可以在任何地方出现，专家可以叠加情景数据帮助一线人员更快速有效地解决问题[4]。

2.3 全息可视化虚拟协作技术

利用Microsoft Mesh，一个混合现实平台，使用户具有身临其境的临场协同感受，用户可以在各种平台设备与3D内容进行交互式体验[5]。

通过采用Dynamics 365 Remote Assist + HoloLens的解决方案，即使专家不在场也能帮助身处异地的一线工作者与其进行沟通，查看对方现场的情况。Azure的云端架构可以与企业现有生产管理系统相结合，帮助企业更好地实现跨地区、跨部门的全息可视化沟通与协同。

2.4 空间锚点技术

为了防止混合现实应用中的数字信息在现实物理世界中发生漂移，必须利用空间锚点技术保证物体的定位和方向对现实世界进行视觉锚定。在眼镜中的全息图通过用户的凝视和空间锚技术被移动固定到现实世界的某一个位置，其能够保持该物体在原来的位置，还能将空间中这些地图信息和所在点的数据信息保存在本地存储并在后续不断更新[6]。

本项目利用空间锚点技术在云中对真实物理世界中的设备进行数据化表示，实现设备数据的展示，对设备的相关信息内容进行数字化展示，即戴上HoloLens头显可以看到相关的信息，根据用户及设备之间的定位，将设备虚拟信息在现实设备上叠加显现。

2.5 视频播放的实现

新建一个plane用来放置播放的视频，如技术指导视频；再创建一个Render Texture渲染器和一个Material材质球，在材质球上添加渲染器，材质球的着色器选择UI/default，并将倒闸操作的视频放入Video Clip；再将创建好的Render Texture渲染器放入Render Mode渲染模式；最后将材质球拖曳到我们的平面即可。

2.6 上传调用的实现

巡检人员针对巡检过程中的事件进行记录，并将记录结果上传到后台服务器，再由后台服务器进行转储操作等相关处理。事件记录上传处理技术基于WebAPI技术实现，后台服务器响应事件记录请求处理，由SpringBoot框架技术、MySQL实现进行数据的接收和存储。大致流程是：用户完成对巡检事件状态值的设定后进行提交，应用逻辑会处理表单数据，基于HTTP协议把表单数据上传到后台服务器，由后台服务器接受来自用户应用的请求，对用户应用请求中携带的数据参数进行处理，并把数据更新到MySQL数据库中，整个事件记录的过程就完成了。

用户查看上传到后台的事件记录，可以在前端页面进行操作，后台服务器会对操作进行处理，从MySQL数据库中读取事件记录数据，而后在前端用户界面渲染输出事件记录数据。

3 应用效果

当用户佩戴上Microsoft HoloLens头显并打开设备后，它将自动扫描以获取空间Mesh网格数据，并使用法线确定空间平面的类型。在用户走动时HoloLens将会自动扫描和更新空间数据，并在用户当前环境中集成叠加配电房的1∶1全息图像。

本系统包括巡检流程、检修项目、辅助安装项目三大部分。

第一部分为巡检流程。被分配到任务的巡检人员登录进入菜单栏，根据不同配电房的要求完成不同的巡检指令，并记录运检结果。当发现有不达标或者设备故障时填写表单，说明故障问题，故障指令上传回系统，实现效果如图5、图6所示。

图5 安全制度及巡检路线

图6 巡检表单后台传回数据

第二部分为检修项目。检修人员根据巡检人员发现的故障问题及时办理工作票并开展检修工作。通过查看操作规范视频或技术手册资料实时指引维修人员了解操作要点(见图7)。

图7 三维指导维修操作

第三部分为辅助安装项目。安装人员在配电房投产之前都需对配电柜进行接线。根据本系统的辅助安装教程和相关图纸进行接线(见图8)，在完成各个配电柜的安装并经过检测人员调试并验收合格后，即可投产到实际运行中。

图8 配电柜辅助安装指导操作

4 总结

结合新时代下人们对于信息化、智能化、物联网化的需求，通过Unity3D进行业务开发，针对3种业务模式设计本系统的应用满足配电房运维业务以及一线工作者寻求高效、轻装作业的产品需求，使配电房运检工作管理更趋近智能化和现代化，从而进一步提高检查和维护效率，推动电力运检工作的标准化、管理科学智能化和设备监视自动化，提高供配电设备的稳定性和可靠性，具有一定的市场应用价值。