基于深度学习的变电站表计智能识别方法

张世琦 苗俊杰 李峻宇 陈辰辰 龙 彬

(1.国网河北省电力有限公司衡水供电分公司,河北 衡水 053000;2.国网河北省电力有限公司,河北 石家庄 050021;3.西安交通大学,陕西 西安 710049;4.武汉康普常青软件技术股份有限公司,湖北 武汉 430073)

0 引言

过去考虑到数字仪表对变电站电磁环境的敏感,使用了大量的模拟仪表用于监视变电站设备的规则状态[1-2]。而模拟仪表的数据读取通常是人工完成的,这带来了效率低、精度低和耗时长等一系列问题。目前,很多变电站通过传感器将模拟仪表的指针位置转换为数字信号并传输到网络的方式,进行变电站的相关改造,但改造过程中一些新技术标准也会带来新的问题,同时也存在大量老旧变电站受制于投资过大、周期过长而无法进行此类改造,因此需要探索一种稳定可靠的新型模拟仪表智能识别方法。随着视频技术和网络的发展,基于机器视觉的图像识别技术已逐渐应用于该类电表的自动识别[3-4],该技术以一种视频辅助的形式完成了模拟仪表的智能读取,投资少,改造周期短,且大大提高了全站的工作效率,具有重要的应用价值。近些年,许多学者对模拟仪表检测和识别做出了贡献。文献[5]为了实现基于机器视觉的指针识别系统,提出了一种通过搜索指针区域的最小边界矩形来定位指针的算法。考虑机器视觉识别指针式仪表读数的准确性常受到图像亮度、背景复杂度、图像清晰度等影响,文献[6]提出了一种新的鲁棒的指针读数识别方法。文献[7]提出了一种基于卷积神经网络的识别模型,该模型采用虚拟样本生成技术,从少量的真实仪器图像中生成大量的图像,以训练识别模型。文献[8]设计了一种基于卷积神经网络的指针式仪表智能读数系统,该系统使用特征识别算法YOLOv3来检测和捕获图像中的面板区域,并采用卷积神经网络读取和预测特征图像。文献[9]提出了一种基于反透视图的机器视觉测量多指针仪表的方法,该方法通过旋转变换矩阵和外部参数将获取的仪表图像变换到既平行于仪表平面又靠近主点的位置,从而消除了获取图像的透视效果。文献[10]提出了一种新的自适应检测不同指针仪表的算法,引入了深度学习以检测和识别仪表盘中的刻度值文本。文献[11]提出了一种基于机器视觉的自动检测指针仪表读数的新方法。文献[12]对现有的Mask-RCNN 网络进行了改进,提出了一种新的基于深度学习的指针仪表的读数识别算法,该方法对电表盘和指针区域进行分段,然后在拟合指针的同时对电表类型进行分类和识别。

据此本文提出了一种基于深度学习的变电站表计智能识别方法。先后使用模糊局部信息C均值(Fuzzy Local Informoction C-Means,FLICM)聚类算法、Faster R-CNN 检测、霍夫变换检测来实现。

1 变电站表计识别方案设计

指针式仪表读数识别方法通常为了消除干扰,需要使用传统的图像处理方法进行复杂且耗时长的预处理,对图像的清晰度也有相当高的要求,且繁杂的分析步骤会导致累计误差逐步增加,直接影响最后的识别效果,不能满足当前对稳定性和准确性的要求。因此,有必要开发一种稳定可靠的指针式仪表智能识别方法。鉴于卷积神经网络在许多领域的应用中都有不俗的表现[13],其优点在于无需复杂的预处理,对各类图片具有较高的鲁棒性,可直接实现端到端的识别效果[14]。深度学习计算平台的出现解决了过去因算力不足而无法大规模数据训练的问题[15],诸如Faster RCNN 等新模型的提出也为实时目标检测提供了更为快速和有效的方法[16-17]。对于变电站中表计的检测和识别方案,具体流程如图1所示。

图1 表计的检测和识别方案

1.1 变电站表计识别图像分类

本文采用FLICM 聚类方法实现不同场景下的表计图像分类。对不同图像进行分类后,可以减少不同场景下的检测难度。同一场景下进行表计表盘检测可提高检测准确性。文献[18]提出了一种利用图像局部空间信息的模糊局部C均值聚类算法,其是一种具有约束的模糊C 均值聚类的改进。具有约束的模糊C均值聚类的目标函数为

式中:N是样本数;c是给定的聚类数;uij是样本xj属于聚类中心vi的隶属度;m是模糊系数;dij是像素xj和聚类中心vi的空间欧式距离;NR是xj领域像素数;并且Nj表示xj的领域像素集;dir表示xj的邻近像素与聚类中心vi之间的空间欧式距离;α是相邻像素对调整中心像素的影响因子。参数α直接影响最终的聚类性能,从而平衡了噪声的鲁棒性并保留了图像细节的有效性。然而,当没有关于噪声的先验知识时,很难选择α。此外,对于整个图像的所有相邻窗口,α都是固定的,很容易导致忽略局部灰度和空间信息。

为了克服上述问题,FLICM 引入了一种模糊因子Gki作为局部相似性度量,以同时消除噪声并保留图像细节。Gki表示为

引入Gki后,FLICM 的目标函数可描述为

Jm达到最小的2个必要的条件为

1.2 变电站表计检测与定位分析

在FLICM 聚类算法实现图像分类后,在不同类别下基于Faster R-CNN 方法检测目标仪表的位置,并根据检测框调整图像位置。

在表计目标监测阶段,本文选择Faster RCNN 方法检测目标仪表的位置。在计算机视觉领域,目标检测主要解决2个问题:图像上多个目标的位置以及每个目标的类别。Faster R-CNN引入了基于Fast R-CNN 的区域提议网络(Regional Proposal Network,RPN),取代了慢速搜索选择性搜索算法。区域提议网络使用图像中的纹理,边缘和颜色等信息来预先确定道路上目标可能出现的位置,并可以通过选择较少的窗口来确保更高的召回率。这大大降低了后续操作的时间复杂度,并且比更高质量的滑动窗口获得了候选窗口。考虑到目标检测是基于图像的纹理,边缘并确定目标。本文认为,与背景相比,从Faster RCNN 中选择的对象更有助于隐藏信息。

十八届三中全会以来，不仅进入了“扫黑除恶”的元年，也进入了司法保护企业产权的元年。在全面铲除黑恶势力的经济基础的工作中，一定要做好区分“关联性企业”和合法企业、“涉黑”财产和企业合法经营财产的界限，严格规范涉案财产的法律程序，坚持审慎把握处理产权和经济纠纷的司法政策，提高扫黑除恶工作的规范性、公正性与合理性。

Faster R-CNN 网络模型的检测流程如图2所示。主要分为4个内容。

图2 表计检测流程

(1)卷积层:包括卷积层和池化层,用于提取图像特征图。后续的RPN 层和全连接层共享特征图。

(2)区域提案网络:用于生成区域提案。RPN网络首先通过3×3卷积层,分别生成前景锚点和检测框回归偏移,然后计算提案。通过Softmax函数确定锚点属于前景或背景。

(3)关注区池化:此层根据特征图和区域提案将提案特征图提取到后续的全连接层中。

(4)分类和检测框回归:使用提案特征图来计算提案的类型,然后使用检测框回归获得检测框的最终精确位置。

在RPN 训练期间,Faster R-CNN 为每个候选框分配一个二进制标签以进行网络训练。图像的损失函数定义为

式中:i是批处理中锚点i的索引;而pi是锚点i在目标表计的概率。如果锚点是目标表计,则标记为1,如果不是,则为0。ti={tx,ty,tw,th}是代表候选框的4个坐标的向量是与目标对象关联的坐标向量,表示为

式中:w、h、x和y分别表示框的宽度、高度、x坐标和y坐标;wa、w*分别定义为检测框和真实框的相应参数。定义分类的对数损失函数为

其中R是

另外,对于表计位置调整方面,当检测到表计在当前视野中后,需要从复杂的背景中提取表计表盘。根据第一部分提取的结果调整图像的位置和比例,然后获得放大并居中的表计表盘,如图3所示。当检测位置偏离视场中心时,调整表计表盘的位置,以使图像的中心点与边框的中心点对齐,可表示为

图3 表计位置调整

式中:W×H是中心点坐标为(Xc,Yc)的拍摄图像的尺寸;w×h是检测框的尺寸,其中心点坐标为(xc,yc),左上角的坐标为(wc,hc)。根据上述的位置描述就可以调整摄像机使图像处于视野中间。

1.3 变电站表计刻度校正及读数

通常,当肉眼识别表计读数时,如果视线垂直于表计平面,则捕获的表计就是前视图图像。但是,如果在使用摄像机捕获图像时相机平面不平行于表计平面,则将获得的表计成像为椭圆形。因此,本文应用透视变换来校准图像以获得正视图图像。

式中:(U,V)是原始图像中一个点的坐标;(X,Y)是正视图图像中相应点的坐标;(u,v,w)是(U,V)在齐次空间的坐标;(x,y,w′)是(X,Y)在齐次空间的坐标。椭圆的长轴和短轴的端点用作变换矩阵的计算基础,以实现视角校正,原始视图和新视图之间的传递矩阵,如图4所示。

图4 透视变换

考虑到环境中的亮度水平会影响识别结果,首先使用带色彩恢复的多尺度Retinex算法[19]来增强恶劣条件下的图像。为了减少复杂背景对识别的影响,将仪表的圆形轮廓内的区域定义为关注区域。为了促进指针识别,在确定关注区域之后,将输入彩色图像转换为二值化图像。

首先,对图像进行灰度处理。然后,本文采用自适应阈值算法获得适当的二值化图像。该算法的基本原理是将图像中的每个像素与周围像素的平均值进行比较,将小于平均值的像素设置为黑色,否则将其设置为白色。最后,应用细化算法将指针变成直线段。该算法将使图像骨骼化,但是原始线条不会被破坏。在预处理之后,使用霍夫变换获得指针的位置。

读数是通过角度法获得的,读数R可表示为

式中:α1是指针与零刻度之间的角度;α2是零刻度与最大刻度之间的角度;range是测量表计的范围。表计的量程数据以及零位和最大刻度的位置是由技术人员事先输入的,然后就可以获得表计的读数。

2 试验与结果分析

本文提出的识别方法的目的是使用机器视觉来准确识别指针式表计的读数,需要进行一系列试验,并分析了测试结果以及评估所提出方法的有效性。以上海变电站获得的9 218个指针仪表图像为数据集,其中7 218个图像为训练样本,其余2 000个图像为测试样本。不同尺寸的原始图像被统一裁剪为1 680×1 200。为了分析检测的质量,计算了召回率和平均精度作为评估标准。

经过试验,所提出的方法在表计检测上的最终精度达到90.71%,召回率达到91.64%,证明了该方法可以准确地检测变电站中的表计。表计检测的测试效果如图5所示。

图5 表计检测效果

除了使用数据集进行测试,本文还选择了某变电站内18个不同角度位置的压力表作为实际测试对象,并复现了现有算法中两种效果最为优秀的识别方法进行测试对比。表1显示了通过人类视觉、其他方法和本文所提方法获得的读数的比较(为了减少人与人之间读数的不确定性,人工读数结果取自站内10 名熟练工人读数的平均值)。从表1数据可以看出,本文提出的识别方法获得了与人工读数几乎相同的结果。相对误差大多保持在1.000%以下,最大相对误差为1.333%。同时,平均相对误差低于其他两种方法,这证明所提的识别方法更加稳定和准确,可以满足实际应用。

表1 读数识别结果对比

3 结论

随着数字电网的推行,许多变电站需要进行不同程度的改造,但有大量老旧变电站受制于投资过大、周期过长等原因无法进行此类大型改造。本文提出了一种基于深度学习的变电站表计智能识别方法,以图像识别的辅助方式对无智能接口的模拟仪表自动识别读数,总结如下:采用FLICM 聚类方法实现不同场景下的表计图像分类,该方法鲁棒性强,极大降低了输入图像清晰度的门槛,对不同清晰度的表计图像均可进行正常的识别分类。使用Faster R-CNN 方法检测目标表计表盘的位置,并根据检测框调整图像位置,该方法在检测效率和识别稳定性上都具有明显的优势。利用霍夫变换检测指针位置进而获得读数,该方法将环境亮度也纳入考虑范围,增强了风霜雨露等非常规条件下的识别效果。

在前期构建的内部数据测试集及后期进行的实际测试的横向对比中,本方法的准确性与稳定性都得到了验证。本方法在应用上具有投资少、改造周期短等特点,可协助大量变电站以最小的代价完成变电站的智能化改造,在数字电网推行中具有十分重要的应用价值。