四足机器人在综合管廊电力舱巡检中的应用

刘海峰池威威李志雷贾志辉张继超

(国网河北省电力有限公司雄安新区供电公司,河北 雄安新区 071000)

随着我国经济的快速发展,城市地下综合管廊得到越来越多的推广应用。地下综合管廊可以将城市中各种管线,如电力、通信、燃气、供热、给排水等进行统一规划、统一设计、统一建设和管理,从而优化配置和合理利用地下空间。以雄安新区为例,预计到2035年入廊220 kV 电缆将达到190 km,入廊110 kV 电缆将达到731 km。面对地下电力设备设施的飞速增长,目前以人工巡检为主的运维模式已很难适应新的形势。为解决上述问题,国内一些大城市已经开始探索综合管廊电力舱机器人巡检技术。

1 综合管廊电力巡检存在的问题

综合管廊作为保障城市运行的重要基础设施和“生命线”,一般距离较长,且地形复杂,人工巡检强度高,存在一定作业风险[1]。同时,综合管廊电力舱担负着城市电力供应的重任,需要通过巡检及时掌握电缆运行状态和环境变化。

1.1 巡检设备

目前综合管廊电力舱巡检一般依托固定摄像头、挂轨机器人、轮式巡检机器人等。监控摄像头安装位置固定,视野有限,若对管廊环境全程覆盖,需要大量部署,成本较高;挂轨机器人可在轨道上运动,对管廊内大部分区域可以进行有效巡检,但其视野受限于轨道,无法360°全覆盖;轮式巡检机器人无视野限制,但轮式机器运动执行机构为车轮,要求地面平坦,并且通过坡度一般小于15°。通常管廊空间狭窄,地形环境复杂,存在坡道、障碍等,轮式机器人很难适应。

1.2 缺陷识别算法

缺陷识别算法可分为基于模式识别与基于学习两大类。基于模式识别的方法主要有灰度共生矩阵、直方图统计等。基于学习的方法分为监督和无监督两类。有监督的深度学习缺陷检测模型,如Fast RCNN、Yolo系列等,在缺陷类别明确的场景识别率较高,网络实现相对简单,但是需要了解缺陷详细类别,且需要较大的缺陷样本库[2]。在管廊中,各位置的环境是固定并已知的,但缺陷是未知、位置不固定(如渗漏水)的,通常缺陷样本的形状、颜色都没有稳定的统计规律,无法穷举所有的缺陷种类(如电缆的破损),而且由于缺陷样本难以收集、数量极少,直接使用监督学习会导致训练集高度不平衡。

2 构建基于四足机器人的自主巡检体系

2.1 巡检设备

四足机器人凭借优越的越障能力和自适应能力,对地面条件的要求较轮式机器人大幅降低,在管廊环境中应用前景广阔。四足机器人从典型四足动物的运动特点出发,采用运动捕捉等手段,对四足动物运动进行抽象和提炼。本文利用仿生设计思想,对机构、驱动和传动等环节进行设计,重点分析典型四足动物的骨骼结构、主被动柔顺运动机理以及柔性足底结构等生理特征。通过运动捕捉技术,采用红外运动捕捉仪、陀螺仪、三维测力平台、道格拉斯气袋、气体分析仪等设备,可采集典型腿足式动物在不同速度、路面和扰动情况下的关节及全身运动数据、地面作用力、压力中心和能量消耗等大量数据、信息。采用基于虚拟力控制的方法规划Trot步态行走,根据机器人期望的运动速度和身体姿态,结合地形适应控制和抗外力扰动控制,结合虚拟力控制生成机器人Trot步态,使其具有较强的路面适应性和抗扰动恢复能力,四足虚拟模型控制系统和Trot步态规划框,见图1、图2。

图1 四足虚拟模型控制系统

图2 Trot步态规划框示意

2.2 缺陷识别算法

相较于有监督学习缺陷检测模型,无监督学习仅需要正样本,如基于图像修复的方法、基于深度自编码器的方法、基于生成对抗网络的方法。传统无监督学习通常依赖生成模型,精确重建正常区域,无法直接异常定位,需要进行复杂的后处理步骤,增加了应用难度,限制了无监督方法的推广。

应用基于正样本的缺陷检测算法DRAEM,并在算法原有网络基础上优化重构损失函数GMSD-DRAEM。以端到端的方式对生成的非分布模式进行鉴别训练,不需要真实地表示目标域缺陷。该网络由一个重构子网络和一个判别子网络组成,重构子网络通过训练来学习无缺陷重构,判别子网络则在原始图像和重构图像的联合外观上学习,从而生成高保真像素级别缺陷检测图。本文根据管廊缺陷特点优化重构了损失函数,在原模型基础上提升了缺陷识别准确率,提升了算法的适用性[3]。

如图3所示,第1个缺陷区域(地面渗漏水)由重构子网络隐式检测和重构,然后将重构子网络的输出和输入图像连接起来并送到判别子网络,使用焦点损失训练分割网络定位缺陷区域并生成缺陷图,最后从缺陷分数图中获取图像级缺陷分数。

图3 缺陷检测原理示意

2.2.1 重构子网络

重构子网络被表述为一种编码-解码器架构,将输入待测缺陷区域的局部模式转换为更接近正常样本分布的模式。网络经过训练可以利用模拟器获得从人为损坏样本Ia中重构的原始图像Ir。使用梯度幅相似偏差(Gradient Magnitude Similarity Deviation,GMSD)优化重构子网络中的损失函数。Ir损失通常用于基于重构的缺陷检测方法,但现实中相邻像素之间并非独立,因此,额外采用基于图像相似度亮度、对比度和结构的结构相似性(Structural Similarity Index,SSIM)[4]损失,取值范围为0 到1,越大表示越相似。SSIM(I,Ir)为原始图像与重构图像的结构相似性,定义为

式中:μI、μIr分别为I、Ir的平均值;δ、δIr分别为I、Ir的标准差;δIIr为I、Ir的协方差;c1、c2分 别为常数,避免分母为0带来的系统误差。因此重构子网络的SSIM 损失定义为

式中:h和w分别为图像I的高度和宽度;Np为I中的像素数;Ir为网络输出的重构图像;SSIM(I,Ir)i,j为I、Ir块以图像坐标(i,j)为中心的SSIM 值。

由于管廊场景下图像有着丰富的局部结构,不同的结构有不同的梯度幅值退化损失,因而增加基于梯度幅值的损失GMSD[5],定义为

式中:h、w、Np、Ir含义同式(2);GMSD(I,Ir)(i,j)为I、Ir以图像坐标(i,j)为中心的GMSD值。

因此,重构子网络整体损失为

式中:λ1、λ2为重构损失平衡超参数。

2.2.2 判别子网络

以往基于重构的缺陷检测方法,通常将原始图像与其重构图进行比较得到缺陷图,但是人工很难定义缺陷检测的相似性度量方法。因此本文使用一种判别子网络自动学习适当的距离函数,然后输出与输入图像尺寸一致的缺陷分数图。其中判别子网络使用类似U-Net的架构,并融入跳跃连接操作,提升了网络多尺度捕获图像空间细节和生成高质量的缺陷区域掩码的能力。同时使用焦点损失函数,以提高对困难示例进行准确分割的鲁棒性。

将重构子网络输出Ir和原始输入待测缺陷区域图像I的通道连接,作为判别子网络的输入Ic。由于重构子网络对正常样本具有恢复特性,因此当输入图像存在缺陷时I和Ir的联合外观差异较大,这一点为缺陷区域分割提供了必要的信息。

焦点损失函数定义为

式中:Ma、M分别为ground truth和异常分割掩码。综合上述重构和判别子网络,基于正样本学习的缺陷检测模型用于训练的总损失函数为

式中:Ma、M、I、Ir含义 同上。

2.2.3 缺陷定位和检测

判别子网络的输出为像素级缺陷区域检测掩码Mo,可直接判别缺陷位置。同时通过均值滤波器卷积层对Mo进行平滑处理,聚合局部缺陷响应信息,用平滑缺陷分数图的最大值η作为图像级别缺陷概率,可判别图像中是否存在缺陷,η定义为,

式中:fsf×sf为sf×sf的均值滤波器;*为卷积算子。

3 自主巡检方法测试与应用

3.1 图像采集

在综合管廊场景下,四足机器人采用定点巡检方式进行巡检。首先四足机器人按照计划任务定点拍摄待检测的点位图片,作为模板图片;然后四足机器人开始巡检,同样按照计划任务巡检到待检测的巡检点位,采用拍摄模板图片时相同的距离、角度、变倍系数拍摄待测图片,待测图片与模板图片具有一致的分辨率和相似的视野。

由于四足机器人定点拍摄过程中,导航与云台存在定位偏差,待测图像与模板图像存在一定的偏移,为了消除偏移对后续缺陷检测造成的影响,将待测图像与模板图像进行配准,使得待测图像与模板图像对应位置的像素点进一步对齐,配准成功之后,提取待测图像与模板图像中缺陷待测区域所对应区域,作为待测图像的缺陷待检区域。

3.2 模拟缺陷生成

在综合管廊场景下,基于正样本学习的缺陷检测模型,不需要模拟生成目标域中真实的缺陷外观,而是生成刚刚超出正常分布的外观,然后学习适当的距离函数以通过偏离正常分布来识别缺陷[6]。模拟缺陷生成过程见图4。缺陷模拟器遵循下述规则。

图4 模拟缺陷生成过程

使用柏林噪声生成器生成噪声图P,可捕获各种形态缺陷,并通过随机均匀采样的阈值将噪声二值化为缺陷图Ma。然后从与输入图像分布无关的缺陷源图像数据集中采样,得到缺陷纹理源图像A。采用类似Rand Augment随机增强采样方法,从集合(后处理、锐度、均衡、亮度变化、颜色变化、自动对比度)中随机选择3种操作对图像纹理A进行增强。增强的纹理图像A与缺陷图Ma进行图像运算,并与I混合用来生成刚刚超出正常分布的缺陷图,从而有助于收紧训练网络中的决策边界[7]。增强后用于训练的图像Ia定义为

式中:为Ma图像取反;☉为元素乘法运算;β为不透明度参数,从[0.1,1.0]区间中均匀采样。通过随机混合和增强,一个单一的纹理可生成不同的缺陷图像。

3.3 训练集

收集四足机器人巡检过程中不同时间段云台相机拍摄的管廊环境的4个点位图像进行训练,为了提高模型鲁棒性,减少过拟合程度,将图像经过平移、旋转、缩放、光照增强等变换[8]。该数据集命名为管廊环境正样本训练集,包含原始1 000张图像,其中每个类别250张图像,增强8 000张,每个类别2 000张。使用copy-paste数据增强方法,利用VOC2012数据集和破损、漏水缺陷图像,制作管廊环境缺陷测试数据集,命名为管廊缺陷测试数据集,包含1 000张正常图像与3 000张缺陷图像,缺陷图像中包含300张管廊破损样本和300张渗漏水样本。测试中,GMSD-DRAEM 在管廊缺陷训练集上训练了100个epoch,学习率设置为10-4,并在40和60个epoch之后学习率变为原来的0.1倍。在-45°～45°内的图像旋转用作训练期间无缺陷图像的数据增强方法,以减轻由于较小的无缺陷训练集而导致过度拟合。可描述纹理数据集用作缺陷模拟生成器缺陷源数据集。训练损失函数曲线见图5。

图5 训练损失函数曲线

从图5可以看出,模型的损失曲线下降平滑,表明模型在缺陷训练集上的有效性。

4 结论

构建基于四足机器人的综合管廊电力舱巡检系统,由机器人巡视替代人工巡视,减少管廊人工巡检频次,节省运维成本,规避运检人员作业风险;通过搭载多种传感器,实现缺陷自主识别,提高巡检作业效率。通过采集综合管廊环境、安防、电缆运行状态等数据,接入后台监控系统进行分析诊断和风险预警,实现“数据集成、业务协同、管理集中、资源共享”。