基于HoloLens的变电站巡检系统

吴 迪，潘建乔，余方召，潘白浪，龚雁峰

(1.国网浙江平湖市供电有限公司，浙江 平湖 314200； 2.平湖市通用电气安装有限公司，浙江 平湖 314200；3.华北电力大学电气与电子工程学院，北京 102206)

0 引 言

随着虚拟现实仿真技术和人工智能技术的发展，在人工智能环境下进行变电站巡检，可提高变电站巡检和监测的自动化水平。变电站巡检系统的设计是建立在混合现实技术和虚拟现实仿真技术的基础上，在变电站智能巡检过程中，采用传感器设备进行信息采样，采用智能眼镜(如HoloLens)进行输出转换控制，可提高变电站的输出控制能力和智能巡检能力[1]。在变电站巡检过程中，需要采用图像三维重建技术进行虚拟现实仿真，建立变电站巡检的三维特征分布式图像重构模型，结合头戴式装置(Head-Mounted Display)进行虚拟成像处理。本文设计的变电站智能巡检系统功能主要是通过虚拟穿戴设备进行变电站的远程监测，提高变电站的输出稳定性和远程监管能力。相关的变电站巡检系统设计方法在变电站的建设和运维管理中具有重要作用[2-3]。

文献[4]采用了最新的检索和结构运动(sfm)方法获得三维模型，对cnn进行微调，以完全自动化的方式从大量无序数据中进行虚拟场景图像检索，用于指导cnn微调训练远程信息数据的选择，验证了硬正反例和硬负反例都能提高压缩码在特定对象检索中的最终性能。文献[5]深入研究了w.r.t.这类表示的可转移性，它包括训练远程信息的参数，如网络结构和特征提取参数，不同的视觉识别任务根据它们与变电站的特征进行分类排序，结果表明变电站的性能与输出工具之间的距离存在明显的相关性。

但以上研究重点放在是否能输出有效图像上，忽视了与变电站的关联性，因此本文提出基于HoloLens的变电站巡检系统设计方法，首先对系统的总体设计架构进行分析，然后对变电站智能巡检系统的开发环境进行分析和功能模块设计，最后进行仿真测试，得出有效性结论。

1 系统总体架构和开发环境分析

1.1 系统总体设计架构

为了实现变电站巡检系统的优化设计，首先对变电站巡检系统的总体设计构架进行分析，构建变电站巡检数据库，结合三维图像重构和视景信息采样方法进行系统的子模块开发和信息转换控制，变电站巡检系统的网络结构体系采用物联网下的ZigBee组网体系设计，在嵌入式的BS总线调度下进行变电站巡检的数据库体系设计，采用虚拟现实系统与AR系统相结合的方式进行巡检系统的输出总线设计和接口转换，建立变电站巡检系统的多媒体信息采集模型，得到系统的总体设计如图1所示。

图1 系统的总体设计构架

根据图1的变电站巡检系统的总体设计构架分析得知，变电站巡检系统的主要功能是实现对变电站的远程巡检虚拟现实仿真，该系统采用视景重构技术进行变电站巡检过程中的周边环境信息采样和三维信息重构，采用HoloLens穿戴设备进行VR成像，将变电站巡检的3D图像融合于变电站的真实工况环境和周边环境中，结合数据信息加工和虚拟视景仿真技术，进行变电站巡检的全息图像处理，在现实场景中采用可穿戴AR/MR设备进行变电站巡检过程中的人机交互和远程信息采集，采用视觉传感和生物电信号测量传感技术进行变电站巡检过程中的图像信息分析，通过显示全息图像的设备进行视觉成像，基于混合现实(MR)的可穿戴设备进行变电站巡检系统的开发设计。

1.2 系统的功能模块分析

在上述变电站巡检系统总体设计分析的基础上，进行系统的功能模块设计和开发环境描述。变电站巡检系统建立在嵌入式的Visual C+开发软件技术上，结合Vega Prime进行变电站巡检系统的实体模型构造。构建的变电站巡检系统主要包括信息采集模块、全息影像模块、显示模块、智能辅助巡视模块和人机交互接口模块。在虚拟的变电站巡检环境中，使用空间视觉采样的方法，进行变电站巡检系统可视化构建。采用虚拟视景的Unity3D开发软件，进行系统的软件开发设计[6-9]。在变电站巡检系统的视景仿真软件开发过程中，分为应用(APP)、剔除(CULL)和绘制(DRAW)3个主要过程，如图2所示。

图2 巡检系统的视景仿真软件开发过程

在图2所示的仿真环境中，根据显示列表中存储的变电站巡检场景状态信息进行空间信息重构。将场景数据库进行变电站巡检的三维视觉成像，在HoloLens中，通过全息影像和手势控制的方法进行变电站巡检过程中的视觉信息采集。变电站巡检场景分为230万光点分辨率，以2D应用或者3D模型的形式展现巡检的效果。巡检系统的工程文件分为高程数据文件、特征数据文件、设置文件以及调板文件[10-12]。根据上述分析，得到变电站巡检系统的工程文件配置如图3所示。

图3 电站巡检系统的工程文件配置

2 变电站巡检系统的优化实现

2.1 视觉信息采集模块设计

采用视觉传感和生物电信号测量传感技术进行变电站巡检过程中的图像信息采样分析，通过Gaze、Gesture、Voice(GGV)与虚拟的数字内容进行交互，将变电站巡检过程中的信息采集和3D信息相融合，通过Gesture和Voice来实现人机交互和语音信息交互。变电站巡检的视觉信息采集实现示意图如图4所示。

图4 变电站巡检的视觉信息采集实现示意图

根据图4的信息采集模块进行变电站巡检的空间视觉信息采样。系统的视觉图像处理软件主要有环境增强式软件、环境融合式软件和虚拟空间式软件这3类，由此将Holographic apps分为3类。采用VIX总线控制技术实现变电站巡检系统的总线集成控制和信息调度，构建变电站巡检系统的集成信息处理器。采用程序加载过程控制方法进行监测系统的指令设计。采用近场无线通信进行变电站巡检过程中的组网设计[13-15]，结合RFID、WIFI、蓝牙(BT)、组网技术系统的无线通信和上位机信息交互，通过Gaze、Gesture、Voice(GGV)与虚拟的数字内容进行信息交互，实现视觉信息采集模块设计，基于可穿戴设备进行智能辅助巡检。

2.2 系统的网络组网设计

采用近场无线通信进行变电站巡检过程中的组网设计，结合RFID、WIFI、蓝牙(BT)、组网技术系统的无线通信和上位机信息交互[16-18]，进行系统的网络组网设计。采用视景仿真技术进行变电站巡检系统的视景模拟，系统主要包括变电站巡检的信息采集模块、数据库模型、变电站巡检3D重构模块、视景仿真模块等。采用VR程序加载方法进行变电站巡检系统的VR设计和网络组网设计，通过预定义的手势进行操作[19-20]，开始识别设备，创建模型数据库。基于IEEE488.2标准下Bus总线，进行变电站巡检集成智能控制，使用Vega Prime编辑器进行变电站巡检过程的交叉编译和程序加载。为了更好地增强现实环境，提升巡检人员的工作效率，需要对巡检系统进行可视化操作，在识别出电力设备后，相关的操作按钮会被投影到设备的正确位置上，如图5所示。

2.3 系统的人机交互和数据存储设计

通过预定义的手势进行操作，开始识别设备，识别成功后，设计虚拟场景生成器、头盔显示器、虚拟场景与真实场景对准仪等，实现对变电站巡检过程中的用户观察视线跟踪观测。设定缺陷按钮[21-22]，让巡检人员在整个作业过程中全程佩戴HoloLens，当设备存在检修记录时，可以点击“缺陷”按钮，此时会出现缺陷记录(包括描述信息、时间、记录人员)，如图6所示。

在此基础上，采用ADSP21160作为核心处理器，用ISA/EISA/Micro Channel扩充总线进行变电站巡检系统的总线收发控制；采用ARM作为核心控制单元，结合物联网技术和嵌入式技术对变电站巡检系统的照片、视频等信息进行存储和记录[23-24]，得到设备的缺陷记录过程如图7所示。

图7 设备的缺陷记录过程

根据系统的人机交互及数据存储结构设计[25-26]，选择调用历史照片进行现场巡检，基于HoloLens提高变电站智能辅助巡视能力。

3 实验测试分析

为了测试本文设计的系统在实现变电站巡检中的应用性能，巡检人员在系统测试的整个作业过程中全程佩戴HoloLens设备，设定变电站巡检的图像采集的频率为1200 kHz，分辨率为200×400，三维虚拟重建的迭代次数为400次。根据上述参数设定，得到变电站巡检系统的初始信息采集如图8所示。

图8 变电站巡检系统的初始信息采集

根据图8的信息采集结果，进行变电站巡检，得到油位巡检和温度等信息，巡检结果示例如图9所示。

(a) 油位巡检结果

(b) 温度巡检结果

表1 检查项目总计

将图9的输出示例与表1的检查项目结合，验证本文方法的巡检的准确性，将其与文献[3]及文献[4]进行对比测试，测试结果如表2所示。

表2 变电站巡检的准确性测试

分析表1与表2可知，在对表1检查项目进行400次检查时，使用本文方法检查的准确率分别在100次、200次、300次、400次这4个记录阶段皆高于文献[3]与文献[4]的准确率，表明采用本文设计的系统进行变电站巡检，能可视化地检测出变电站的各种物理信息，输出结果可靠准确，在产生故障时可以及时发现并反应故障、处理故障，说明本文方法进行变电站巡检的保障安全性能较高。

为了体现较好的人机交互性能，以路短器为例进行实时巡检路线设置与调整测试。首先导入全部的巡检路线路短器设备编码、设备位置与设备名称，建立数据库，进行变电站巡检。巡检结果如表3所示。

表3 路短器数据一次巡检结果

一次巡检后对智能辅助系统实行人工调整路线，调整后进行二次巡检，巡检结果如表4所示。

表4 路短器数据二次巡检结果

由表4可知，对智能辅助系统实行人工调整路线后，可以正确显示出巡检状态并智能显示，说明智能辅助系统的信息交互能力较强，具有很好的人机交互性。

4 结束语

变电站现场作业因设备繁多、专业性强、安全风险大，为了实现变电站的智能巡检，本文提出了基于HoloLens的变电站巡检系统设计方法，采用可穿戴AR/MR设备进行变电站巡检过程中的人机交互和远程信息采集，通过HoloLens设备为现场人员实时提供高度融合现场环境的引导与辅助信息分析，采用视觉传感和生物电信号测量传感技术进行变电站巡检过程中的图像信息采样分析。采用多媒体虚拟现实增强技术进行变电站巡检输出的3D展示，实现对变电站巡检过程中的用户观察视线跟踪观测，在可穿戴的HoloLens智能产品基础上实现变电站巡检系统的优化设计。分析得知，设计的变电站巡检系统检测结果准确，可正确及时地反应故障，保证安全，具有很好的人机交互性，在变电站巡检中具有很好的应用前景。