基于增强现实技术的电力管廊运维系统研究及应用

刘 颖 陈 佳 冯振新*

1(武汉工程科技学院 湖北 武汉 430000) 2(国网电力科学研究院武汉南瑞有限责任公司 湖北 武汉 430000)

0 引 言

城市综合管廊，即在城市地下建造的一个隧道空间，将电力、通信，燃气、供热、给排水等各种工程管线集于一体。2013年至今，以电力管廊为代表的城市地下综合管廊建设如火如荼。正是由于城市综合管廊具有统一管理、统一维护和美化城市景观等突出优点，2015年，国务院先后印发了《国务院关于加强城市基础设施建设的意见》(国发[2013]36号)《国务院办公厅关于加强城市地下管线建设管理的指导意见》(国办发[2014]27号)《国务院办公厅关于推进城市地下综合管廊建设的指导意见》(国办发[2015]61号)等一系列政策文件。财政部、住建部部署开展了城市地下综合管廊建设试点工作，全面推进地下综合管廊建设。仅以武汉市为例，计划至2030年底，综合管廊建设长度将达到566.5公里[1]。

电力管廊是城市综合管廊的主要应用之一。较传统电缆直埋、电缆沟敷设等方式，电力管廊为电力电缆的运维提供了便利。它不仅使运维人员能够近距离接近待检测电缆和设备进行检测试验，同时，为保证国家电网对输电设备的精益化管理要求，电力管廊的建设也为加装不间断监测仪器提供了空间。常见的监测仪器包括：各类气体传感器，如氧气、二氧化碳、甲烷等，电缆环流，局部放电，电缆表面温度传感器等。新投入运行的武汉市滨江商务区管廊和舵落口-宗关管廊安装的针对电缆运维的监控装置种类多达10种。

电缆敷设方式的改变和监测设备数量的激增导致了针对电力管廊内电缆及各类监测设备的运行维护工作也相应发生了改变。在电力管廊运检人员的实际工作中，主要存在如下几点问题与挑战。

1) 工作环境封闭，形成信息孤岛。由于位处地下，多数管廊也并未做到网络覆盖，使得巡检人员对管廊内环境、设备的信息、路线等信息无法得到信息支撑，凭经验、靠记忆的情况经常发生。更严重的是，由于缺乏对工作周遭环境的感知和提示，一旦出现危险，由于空间封闭、狭窄，人员逃生困难，这对在管廊中进行运维作业的人员安全提出了挑战，需要一种在人员巡检过程中能够提供工作环境安全数据的机制。

2) 管廊运维工作量大。一条管廊通常有1公里以上，至少包括一条线路的三回电缆，而1公里电缆需要安装的各类传感器就超过500个，若逐一检查，工作量巨大，需要一种能够减轻巡检人员工作强度的辅助手段。

3) 对监控设备的检查工作繁琐且容易疏漏。当管廊规模较大时，存在分支和拐角，对于不熟悉管廊内部结构及电缆架设走向的运维人员，光查找和比对的工作时间就可能在3 h以上，需要一种辅助设备来指导管廊内的巡检工作。

4) 管廊内运维工作难度大。电力设备的运维工作主要是根据检测仪器的读数，评估设备的运行状态，及时处理出现故障或存在故障隐患的设备，这项工作通常需要综合分析几类监测仪器的读数进行判断，需要有丰富的工作经验，因此，正确判断设备的运行状态难度较高，最好能提供具有专家系统的辅助分析设备。

针对以上问题，本文提出一种基于增强现实技术的电力管廊运维系统。该系统包括管廊内巡检线路指引、设备读数复核、自动分析异常数据、针对设备故障智能分析、设备健康状态评估等功能。

1 研究背景

增强现实技术(AR)也称为混合现实技术[2]，它是通过计算机图像处理基础、三维建模技术和信号处理技术，将虚拟信息与真实场景实时叠加到显示输出设备。相较在裸眼观看的情况下，AR技术使用户能够获得更丰富的信息，它是对现实世界信息量的一种补充和提升，因此而得名。

自2017年以来，随着增强现实技术的不断完善和成熟，铁路、通信和电力行业也逐渐将该技术应用于特定的业务以提升工作效率。针对AR技术研究和应用主要集中于辅助设计、电力设备巡检应用及培训、增强现实软件实现架构等方面的工作。例如，周哲峰等[3]研究了增强现实技术应用在隧道运维的实现方法和效果，为增强现实技术在运维方向的应用指明了可行性。该文重点在于隧道建设，特别是隧道整体建设中，如何利用AR技术保证施工管理和后期隧道运营降低运维费用，并不只针对电力管廊，也不包括具体运维工作如何使用AR技术。

在针对电力设备运维工作中，研究集中在AR技术在变电站的运维工作中的应用，其中包括AR运维系统具体实现方法和部署效果。例如，在文献[4]中的AR系统是针对变电站的电力设备运维工作而定制开发，符合电力设备运维的特点，满足一般电力设备运维的要求，具有一定的专业性。该系统重点关注设备台账、设备类型和历史数据等静态数据管理和远程通信功能的实现，对电力设备运维工作起到辅助作用，而不能完全取代巡检设备。另外，该运维系统采用BS架构，需要在使用过程中连接服务器。考虑到管廊特殊的地理位置，该系统应用在管廊运维的效果有一定的局限性。常润[5]利用AR技术开发了电力运维人员的培训系统，并详细介绍了实现过程。

山东省济宁电力公司设计开发了基于智能交互终端的变电巡检管理系统[6]。该系统针对现场作业安全监督检查、远程在线会诊和指挥管理、运维信息管理等功能做了详细介绍，该系统的应用提升了现场设备的信息化管理手段，优化了设备管理流程，具有较好的应用效果。但该系统重点关注管理类数据，而非现场实时运维数据的采集和分析。

从开发及系统实现的角度看，按照移动设备iOS和Android两大主流移动设备操作系统分，主要有ARCore[7]和ARKit[8]两大阵营。

1) ARCore-Google公司的增强现实体验构建平台。它利用不同的API让移动设备能够感知其环境、理解现实世界并与信息进行交互。ARCore使用的三个主要功能模块将虚拟内容与现实世界整合：(1) 运动跟踪模块让手机可以理解和跟踪它相对于现实世界的位置；(2) 环境理解模块让手机可以检测各类物体表面的大小和位置；(3) 光估测模块让手机可以估测环境当前的光照条件。

2) ARKit-苹果公司2017年为iOS系统所新增框架,ARKit框架提供了两种AR技术，一种是基于3D场景(SceneKit)实现的增强现实，一种是基于2D场景(SpriktKit)实现的增强现实。ARKit主要有三层核心技术：(1) 快速稳定的世界定位模块，它包括实时运算、运动定位、无须预设(软硬件)；(2) 平面和边界感知碰撞测试和光线估算模块，它让虚拟内容和现实环境无缝衔接；(3) 渲染模块支持各种渲染制作工具。

从目前研究情况看，针对地下管廊这种特殊环境，尤其是针对电力管廊中设备运维业务的AR系统的研究相对较少。本文介绍一套基于AR技术的适用于城市电力管廊这一特殊业务场景和环境的巡检系统。不同于现存的巡检系统，该系统为巡检人员在弱光条件下找寻待检测设备测点和传感器提供了可视化引导。同时，利用手势感应模块，使巡检人员能够更方便迅速地召回传感器实时数据和历史数据，提高了巡检工作效率。

2 系统介绍

基于AR技术的电力管廊运维系统的建设目标是将巡检任务生成、任务下发、巡检路径规划、实时巡检数据回传与分析相结合，提高管廊巡检的工作水平和效率。

该系统采用服务器-客户端模式设计，将现场工作的数据处理与后端数据存储、分析分开。服务器与客户端的通信由于受到网络覆盖和网络连接等方面的影响，可以采取分布、分时传输。同时，由于客户端还承担着诸如设备运行状态及故障类型研判这类计算量较高的任务，因此，系统对客户端的运算能力提出了较高要求，能够支持本系统的最低硬件配置要求详见表1。本系统在实际应用中，采用的客户端硬件是微软公司开发的HoLoLens[9]，并将其作为现场支持边缘计算的节点。

表1 硬件配置表

从软件架构上，本系统在ARCore架构的基础上，增加了针对管廊内电力设备和传感器的三维模型以及针对业务需求的分析模块，是满足管廊巡检要求的专业增强现实系统。

2.1 总体框架

本系统总体上由两部分组成，通过实时4G通信或分时传输方式连接管廊现场AR巡检仪和管廊巡检综合管控系统。同时，本系统也可以作为业务数据中台，支持向电力系统的其他信息系统，如生产管理系统(PMS)，提供信息及服务。总体系统架构如图1所示。

图1 包括中心管理系统的AR管廊巡检系统总体框架

管廊巡检综合管理系统包括基础数据，如工作班组管辖内管廊内设备的台账信息、统计信息，如管廊内设备故障率、任务安排及工作人员信息。如图2所示，这些信息作为管理工作的依据和基础，将集中反映在系统页面，方便管理人员下达任务以及全面掌握设备运行情况。在网络覆盖和连接情况较好时，综合管理系统可以实时接收巡检人员发回的现场试验数据并体现在图3的页面中。

图2 管廊巡检综合管理系统统计分析页面

图3 管廊巡检综合管理系统全景展示页面

管廊现场AR巡检仪由现场工作人员佩戴。管理平台与巡检仪的数据交换主要通过电力专用网络。由于受到管廊网络信号弱的影响，在任务下发时，工作管廊的设备信息、管廊三维模型等数据通过管理平台发送到巡检仪，作为管廊基础数据。人员下到管廊后，AR模块中的视频采集、图像处理及3D模型加载子模块将预存的管廊信息、模型和实时设备信息融合后再由视频展示模块显示。

2.2 硬件架构

AR巡检仪硬件主要由视频采集模块、AR融合成像模块、数据传输模块、存储和信号处理模块组成。AR融合成像模块利用光学反射投影原理，即微型投影仪先是将光投到棱镜反射屏上，而后通过棱镜反射到眼球，达到成像最清晰的效果。视频采集模块包括3D深度摄像头、2D主摄像头及视频处理芯片，主要负责现场图像的采集，由于管廊内光线较弱，视频处理芯片需根据现场光线情况自动调节镜头和视频参数以达到最优成像效果。数据传输模块包括用于连接电力APN的4G通信模块、与现场传感器交互的RFID模块、连接外接设备的蓝牙和Wi-Fi模块；存储模块的主控芯片采用联芸科技MAP100X SSD主控芯片[10]。

信号处理芯片包括陀螺仪芯片、水平仪芯片等，将巡检人员的姿态和位置数据传输给中央处理单元进行融合处理。数据处理单元包括图像处理单元GPU和中央处理单元CPU。

2.3 软件架构

软件是融合业务与数据的核心，也是利用预制模型和AR技术开展巡检工作的突破口。如图4所示，管廊现场AR巡检仪的软件架构包括五层，分别为：

1) 输入动作层。最上层软件模块，包括处理不同动作、场景和组件的子模块，例如预制动作是将视频中出现的特定手势或身体姿势作为调用接口或数据的触发器。

2) 数据提供层。为AR融合提供内置或实时数据，包括提供实时数据的输入提供方，以及调用内外部数据的数据访问观察方。

3) 服务层。提供调用不同功能组件的接口，包括调用2D主摄像头、3D深度摄像头的摄像头服务接口、感知模型在空间中绑定位置的空间感知服务接口、感知移动和物体边界的相应服务接口。

4) 运行时。处理实时数据的开发包，是混合现实视频和虚拟模型的核心模块。

5) 配置层。根据用户需求调用不同可视化组件，完成增强现实功能，调用的组件以及渲染的程度自由设置及修改。

除此之外，为支持巡检业务，其他软件模块还包括业务算法，例如设备健康状况评估算法模块、任务管理模块、AR融合成像软件模块，以及基础软件模块，如基础用户接口等。

图4 软件架构

2.4 跟踪算法

将虚拟物体实现在3D场景中是由SceneKit框架来完成：每一个虚拟的物体都是一个节点(SCNNode),每一个节点构成了一个场景(SCNScene),无数个场景构成了3D世界。该系统采用基于自然特征点的跟踪注册算法进行增强现实功能实现如下：由摄像头捕捉的画面首先送入ARCore的ARSession模块构建3D场景，在3D场景中，每个点都有一个注册在虚拟场景的位置坐标，物体在3D场景中都是一个节点。假设相同物体的特征量相同，则在连续两帧画面中就能识别哪些物体是同一个物体。本系统的虚拟场景构建就是通过特征点追踪算法在视频中对虚拟场景进行重构的。

本系统的虚拟场景构建步骤如图5所示。从功能划分来看，可主要分为两步，包括：(1) 预处理阶段；(2) 实时处理阶段。

图5 构建虚拟场景流程

在预处理阶段，当系统调用摄像头接口开始视频传输后，Java本地接口(JNI)触发系统功能，开始处理视频中的物体特征值。本文采用ORB算法，将传感器和电缆的形状、颜色作为特征，并将结果存入特征数据库。由于在管廊中，电缆的特征如颜色和形状不如传感器明显，从效果上看，基于传感器的场景重构要由于基于电缆的场景重构。

在实时处理阶段，系统主要判断与匹配现场环境和特征数据库，最终实现真实场景的三维注册过程，本系统采用基于KLT(Kanade-Lucas-Tomasi Tracking)算法进行图像特征点追踪。它通过预测估计来确定下一帧特征点的粗略位置。在KLT算法中，假设特征点目标对象在视频流中仅发生具有空间一致性的较小移动，而目标对象的灰度值几乎不变。表2是基于KLT在管廊内的特征点追踪测试结果。可以看出，在正常步速情况下，KLT算法的渲染时间低于50 ms/帧，满足管廊巡检要求。

表2 KLT算法性能表

当追踪的特征点数目大于设定阈值时，算法则根据时间相邻的前后两帧的对比评估摄像头姿态，进一步估算重构的模型在重构场景中的位置，从而调用设备相关信息，渲染虚拟模型并完成模型在场景中的注册。

2.5 功能设计

为满足实际管廊巡检需求，系统的功能模块可分为：

1) 任务管理，包括对任务数据基础管理，如任务的接收与完结等基础功能。

2) 巡检支撑，重点解决巡检人员在工作过程中遇到的各种问题，包括设备安装位置提示、巡检线路引导、设备状态提示。

3) 数据处理与分析，主要处理巡检过程中实时接收到的传感器数据，并利用各类不同的设备运行状态分析算法分析设备的运行状态，具体包括监测数据召回、检修指导、历史数据查询等功能。

(1) 设备安装位置提示。通过对管廊进行三维建模和对人员在实际管廊中位置追踪和图像比对，巡检仪将目视范围内的传感器显示在巡检仪上。这样，人员在巡检过程中，不会漏检任何监测设备，保证了巡检的效率和数据的完备性。如图6所示，监测电缆电流卡钳悬浮显示在巡检人员的视野中，提示任务中需对此设备进行检查。

图6 通过AR技术提示监测设备安装位置

(2) 巡检路线引导。通过将人员位置信息与预设的巡检路线进行对比，巡检仪能够判断巡检人员是否在正确的巡检路线上。另外，预设的巡检路线也能够直接显示在巡检仪上。巡检路线可由需检测的设备自动生成，所生成的路线通过最短路径算法，串联起所有待检设备，对规划巡检工作起到提升作用。如图7所示，当巡检人员靠近待检设备时，巡检仪屏幕会弹出提示，并在完成任务后指示前往下一个监测设备的路线。

图7 基于AR技术的任务提示

(3) 设备状态提示。巡检仪能够自动获取待检测设备的异常数据，并通过智能评估诊断算法判断设备的运行状态。当运行状态异常时，巡检仪显式地标注异常设备，提示巡检人员关注。通常，根据异常类型，巡检仪会进一步提示可能的故障类型及可以采取的检测建议和检修建议。如图8所示，设备的缺陷信息会通过悬浮窗口显示。

图8 基于AR的设备缺陷提示

(4) 检测数据召回。巡检仪具有近场通信功能，能够自动连接通信范围内的传感器并将传感器的实时数据及历史数据保存到巡检仪，以便后期分析使用。

(5) 历史数据查询。历史数据查询往往是巡检工作的痛点。由于历史数据量大，同时又与设备相关，因此即使巡检中遇到异常设备，也会将数据对比工作退后至巡检工作完成后。通过AR巡检仪，与检测设备绑定的所保存的历史数据会根据巡检设备自动关联，方便查询。如图9所示，巡检人员不仅可以查看历史数据，同时能够通过数据可视化效果查看数据变化趋势。在图中，该传感器显示隧道内的CH4浓度出现了两次上升，提示巡检人员注意安全，并上报综合管理系统。

图9 通过手势召回气体传感器的历史数据

(6) 检修指导。根据接收到的传感器数据，巡检仪内置的评估诊断算法会根据结果自动推送检修建议。检修建议的生成是通过当次实时数据与历史数据和历史检修记录的对比生成，如图10所示。

图10 通过AR向巡检人员推送设备检修任务指导

2.6 工作流程

本文系统具有良好的可移植性，当需要在新建管廊部署时，通过建模-绑定设备-数据同步-导入特定设备分析算法的步骤，即可完成部署。

1) 建模。构造与现场环境一致的三维模型是开展管廊AR巡检的前提条件。采用点云技术[11]构建管廊内部结构，并与视频比对。为增加现场感和真实效果，对点云扫描的模型进行贴图，并将监测设备按照现场安装位置加入三维模型中。监测设备的模型作为用户接口与用户交互。

2) 与现场设备绑定。AR巡检设备是否能够真实反映管廊内设备的运行状态和历史数据是巡检工作最关心的问题。管廊3D模型构造好以后，需要三维模型中的监测设备与现场安装的监测设备一一对应。这种对应关系需要结合设备的PMS台账，将AR巡检系统与内网中的设备信息关联。一种方法是实时读取内网设备信息，并将现场实时数据通过安全隔离装置回传至内网。这种方法实时性较好，但往往考虑到现场网络环境和信息安全等因素，实时回传到内网的可行性较低。另一种方法是在巡检工作开始之前，将此次工作相关的设备台账信息传入AR巡检仪，现场人员在巡检过程中手动选择监测数据来源。这种方法具有良好的数据安全性，但人员工作过程较为繁琐。

3) 数据同步。根据巡检工作中涉及的不同数据种类，数据同步过程分为两个阶段：(1) 静态数据同步；(2) 现场监测数据同步。静态数据同步是指在开展巡检工作之前，将管廊内的设备台账信息、历史监测数据、故障消缺信息等数据从内网服务器同步至巡检人员配备的AR巡检仪。现场监测数据同步是指在人员巡检的过程中，现场的监测设备将保存的监测数据同步至AR巡检仪，便于进一步分析数据。

4) 数据分析。根据管廊内安装的监测设备类型及数据类型，为了开展设备运行状态评价及故障诊断，AR巡检仪需下载相匹配的智能评估诊断算法。

2.7 适用场景

基于AR技术的电力管廊运维系统不仅能够用于日常电力管廊巡检工作，提高现场运维工作效率，同时也可作为管廊巡检人员上岗培训的工具。培训学员并不需要实际进入管廊，而是在三维重构的管廊中进行操作，重构的管廊按照真实管廊1∶1建模。学员通过在虚拟构建的管廊中进行设备巡检技能训练，能够快速熟悉管廊环境，提升对管廊中监控设备操作的熟练度。

3 应用效果

2019年下半年，该系统应用于武汉黄家湖电力管廊及滨江商务区管廊的日常巡检工作，如图11所示。为验证系统的有效性，两条管廊的巡检工作同时采用传统巡检方式与基于AR的巡检方式工作。

图11 系统在武汉市黄家湖隧道中自动读取传感器数据

1) 2019年6月至7月间，武汉南瑞运维人员针对武汉市黄家湖隧道开展巡检工作。巡检工作主要包括检查电缆局部放电传感器及管廊内气体传感器的工作情况。工作人员通过增强现实巡检仪检查过程中发现局部放电情况，并查询了该局部放电传感器的历史数据，通过AR巡检仪内置的评估诊断算法，对实时数据及历史数据综合评估，发现一处安全隐患。该故障的研判仅用时30 min，就完成了故障定位、分析及上报工作，极大地提高了工作效率。

2) 2019年10月至11月间，武汉南瑞运维人员开展军运会保障用电工作，对武汉市江岸区滨江商务区管廊进行运维巡检保电工作。工作人员佩戴AR巡检仪对该管廊开展巡检工作。采用AR巡检仪后，巡检人员检查全管廊3公里约500个各类传感器仅用时3 h，提高了工作效率并提升了专业水平。

4 结 语

本文介绍了利用增强现实技术进行管廊内巡检工作，并介绍了基于增强现实技术的管廊巡检仪的软硬件架构、使用算法、应用情况。结果表明，针对管廊巡检工作难度大、专业性强及工作强度高的问题，基于增强现实技术的巡检仪能够快速识别管廊内传感器，并能迅速将实时数据召回，基于内置分析算法及历史信息，能够快速判断故障和缺陷类型，提高了管廊巡检的工作效率，解决了现场人员的技术痛点。

同时，现场工作中也发现了可进一步提高之处：

1) 由于管廊内光线条件限制，需完善跟踪算法在弱光条件下的效率。

2) 基于局域网条件的空间定位能够使巡检仪在无外网条件下，利用三点定位确定人员在管廊内的具体位置，这也是下一步研究的重点。

3) 增强现实技术的应用属于强数据支撑应用环境，诸如模型加载速度、数据召回延时和地理位置数据等参数均与应用效果有密切关联，因此，如何在管廊环境下利用延时小、带宽大的5G网络也是需要进一步探讨的课题。