基于OpenCV+SSD深度学习模型的变电站压板状态智能识别

王伟，张彦龙，翟登辉，刘力卿，许丹，张旭

(1. 国网天津市电力公司电力科学研究院， 天津 300384； 2. 许继电气股份有限公司， 河南 许昌 461000)

0 引 言

随着电网规模的扩大以及调控一体化的发展，调度运行管理的信息化、智能化水平得到大幅提高[1-3]，但在变电站保护硬压板信息管理方面，仍处于完全依赖于人工巡检的状态，技术手段已经不能满足现场运行管理自动化的需求，硬压板状态采集监视成为制约调度自动化程度提升和规范调控运行一体化工作的重点。在实际工作中，为了加强运维现场管理，防止压板投切错误引发设备事故，会在压板下方贴上状态标签和保护名称标签，这些措施一定程度上减少误操作次数，但其效果具有一定局限性，人为误操作仍然存在。

为解决该问题，国内各研究机构都在积极探索智能化的压板状态识别方法。有机构提出在压板上安装压板状态识别传感器[4-5]，通过压板辅控点判断压板投退状态，该方法需要进行设备改造，增加设备的复杂性。由于压板投退状态具有不同的形态，因此可以通过计算机对图像处理、分析，进而识别压板状态。文献[6-7]提出通过图像去噪处理、目标边缘检测、布局排列分析、状态特征判别等技术智能识别压板投退状态；文献[8]提出一种通过HOG+SVM的目标检测算法确定压板位置并准确识别状态的方法。

现有变电站硬压板状态识别方法大多仅采用OpenCV进行图像处理，辅助以简单的机器学习手段，识别准确率较低。为此，文中提出一种基于OpenCV+SSD深度学习模型的压板状态识别方法，利用OpenCV视觉库中透视变换等图像预处理算法，解决因拍摄角度改变造成的识别准确率下降，进而利用模板匹配及图像分割增加SSD网络的小目标检测能力，通过深度学习优化SSD网络结构参数，提高压板状态识别效果。

1 图像预处理技术

1.1 二值化处理

系统拍摄的压板图像是具有256个灰度级的彩色图像，二值图像是指只有黑白灰度级的图像，图像二值化有利于增强图像轮廓特征，较少图像数字信息，便于提取图像边缘信息进行直线检测[9-11]。图像二值化基本过程包括：

(1)对原始图像做低通滤波，对图像预处理从而降低噪声；

(2)使用特定算法确定最佳阈值T；

(3)凡是像素灰度值大于阈值的设置成255，小于阈值的设置成0，这样处理完后便将灰度范围划分成目标和背景两类，实现了图像的二值化。

其中选取合适阈值是图像二值化的关键步骤，阈值过高会导致真实边缘丢失，过低会造成一些虚假边缘。采用Otsu法得到最佳阈值，其基本思想是先假设一个灰度阈值T，将图像灰度分为两组，当两组类间方差最大时，此灰度值T就是图像二值化的最佳阈值。

假设图像有M个灰度值，选取一个灰度阈值T，将图像分成两组L1和L2，则L1包含的灰度值在0～T，L2包含的灰度值在T+1～M-1，用N表示图像像素总数，Ni表示灰度值为i的像素个数。假设Pi表示灰度值i出现的概率，L1与L2两组像素的个数在图像中所占比例为ω1和ω2，灰度平均值为U1和U2，则：

概率：

(1)

ω2=1-ω1

(2)

平均灰度值：

(3)

(4)

图像的总平均灰度：

U=ω1U1+ω2U2

(5)

间类方差：

S(T)=ω1(U1-U)2+ω2(U2-U)2=ω1ω2(U1-U2)2

(6)

最佳阈值：

T=argmax(S(T))

(7)

阈值T将图像分成背景和前景两部分，当方差越大，表示构成两部分的差别越大，分类的效果越好。

1.2 高斯滤波

高斯滤波是一种线性平滑滤波，适用于消除区域性的呈正态分布的噪声，与均值滤波、中值滤波广泛存在于图像处理领域。高斯滤波使用卷积扫描图像中每个像素点，用卷积核覆盖的邻域内像素的加权平均灰度值替代其中心点像素值，图像邻域内不同位置像素具有不同权值，保证在对图像噪声处理的同时，更多保留图像整体特征。卷积核中的参数由式(8)得到：

(8)

式中(x0,y0)表示中心像素点；(x,y)表示邻域内其他像素点。

1.3 边缘检测

为便于对压板图像做透视变换，图像二值化处理后需要通过边缘检测提取边缘信息进而确定角点位置。采用Canny算子，利用边缘的突变来检测边缘[12]。针对1.2中高斯滤波的结果，首先根据式(9)和式(10)计算每个像素点梯度G和方向θ；然后利用非极大值抑制消除过多的边缘响应；利用双阈值检测区分强边缘与弱边缘；最后通过抑制孤立的弱边缘得到最终边缘检测结果。

(9)

θ=arctan(Gy/Gx)

(10)

式中Gx、Gy为水平和垂直方向的一阶导数值；θ为梯度方向。

1.4 透视变换

透视变换是将图片从一个平面投射到一个新的视平面，它是先将二维图片变换到三维空间，然后从三维空间投射到二维空间的映射[13-15]。相对于仿射变换，其具有更大的灵活性，通过矩阵乘法，不仅实现了线性变换和平移，还可以进行透视性的坐标变换。图片中任一点P(X，Y，1)，经透视变换映射到新的视平面中向量P′(X′，Y′，Z′)，X=X′/Z′，Y=Y′/Z′，其透视变换矩阵如下:

(11)

(12)

透视变换主要应用在图像的平移、缩放、翻转、旋转、剪切和透视变换等，可进行图像的预处理，将拍摄歪曲的图像矫正，便于识别、分割等操作[16]。

2 SSD目标检测模型

SSD算法融合了YOLO的无显式候选框提取和Faster R-CNN中的Anchor机制，并在特征空间中融合了不同卷积层的特征进行预测[17-18]。模型结构主要包括三部分，VGG_16用于提取多层图像特征，一组级联CNN进一步提取出在不同尺寸条件下的特征信息，多级特征同时输入检测器，进行回归计算和极大值抑制[19-22]。SSD整体框架如图1所示。

假设输入图像为300×300，经过VGG_16前4层卷积及池化运算后形成38×38像素图像，利用Conv4_3即第4层卷积层的第3个featuremap作为第一个特征提取层，之后的5个特征层依次为：Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2。

图1 SSD目标检测框架Fig.1 SSD target detection framework

SSD利用多尺度特征综合检测，充分体现各层特征图优点，浅层分辨率大的特征图检测小目标，深层感受域大的特征图检测大目标[23-25]。如图2所示，SSD在基础网络之后的多尺度特征图检测方法，会在不同尺度特征图上设置不同大小的区域候选框。

假设多尺度特征图具有M层，则第K个特征图上默认框占图像尺寸的比例为：

(13)

式中Smin一般取0.2，Smax一般取0.9。

图2 候选框选取图Fig.2 Bounding box selection diagram

(14)

(15)

(16)

(17)

式中wk，hk分别代表第k个特征图的宽和高。

在实际操作中，一般特征层Conv4_3及Conv10_2中每个featuremapcell取4个boundingbox，每个boundingbox的预测信息包括4个位置信息(X,Y,W,H)和n个类别信息。对于单类别目标检测，SSD深度学习网络总的预选框数量为：

V=m1×n1×k1+m2×n2×k2+m3×n3×k3+m4×n4×k4+m5×n5×k5+m6×n6×k6

(18)

式中m和n分别表示特征层宽和高;k表示每个featuremapcell取的boundingbox个数。根据图1网络结构及boundingbox选取规则，V的计算结果为8 732。

SSD模型训练时定义的损失函数包括位置损失和置信损失，其计算公式如下:

(19)

式中N为区域候选框与真实框匹配系数大于置信度的个数；X表示候选框与真实框是否匹配，若匹配则X=1，否则X=0，C表示类别置信度的预测值；l表示预测框位置信息；g表示候选框相对于真实框的偏移量；α一般设为1。

3 实验例证及分析

3.1 图像预处理

使用某智能变电站拍摄的压板图像1 000张。其中800张作为训练集， 200张作为测试集。数据集包含了不同屏柜、不同颜色、不同开合状态、不同排列方式等多种情况，每张图片中只出现一个屏柜的压板。典型压板图像如图3所示。

为凸显图像轮廓特征，减少图像数字信息，基于Otsu自动阈值分割法对压板图像二值化处理，结果如图4所示；实验过程发现，二值化处理后的图像在直线检测时更容易调整阈值。然后采用高斯滤波法对二值化图像进行平滑处理，增加图像线性信息，处理结果如图5所示。

图5 高斯滤波结果Fig.5 Gauss filtering results

对图像进行边缘检测，提取图像边缘信息，然后基于边缘信息利用霍夫直线检测方法进行图像角点检测。通过霍夫直线检测得到边缘直线，然后求出直线交点得到屏柜的四个角点信息，为提高角点坐标定位准确性，反复调整参数，将霍夫直线检测的minLineLength设置为10，maxLineGap设置为10，threshold设置为200，既保证检测直线的准确性，也适当增加直线的密集性。直线检测结果如图6所示。

图6 直线检测结果Fig.6 Straight line detection results

对图3压板图像进行高斯噪声处理后，利用得到的角点坐标对其进行透视变化，解决拍摄角度问题。透视变换结果如图7所示。

图7 透视变换结果Fig.7 Perspective transformation results

选中模板图像，对其进行标定。采用特征匹配算法将获取的压板图像与模板图像匹配，根据标定结果实现自动分割，分割结果如图8所示。

图8 压板图像分割结果Fig.8 Image segmentation results of pressure plate

3.2 SSD目标检测

训练平台采用NVIDIA RTX2080TI型GPU、至强 E5-2603 CPU处理器，操作系统为Linux Ubuntu 16.04。使用的目标检测网络，初始训练时学习率设为0.001，在迭代次数为10 000次时，让学习率减小10倍，超参数momentum_optimizer和decay_factor分别设置为0.9和0.95，训练批量大小为32。训练过程中，采用正则化方法增加模型的泛化能力，通过样本增强手段，将训练样本由800张扩充到1 600张，并保证各类型压板数量的均衡。损失函数随迭代次数变化趋势如图9所示，压板状态识别结果如图10所示。

图9 Totalloss随step变化图Fig.9 Totalloss curve varies with step

图10 压板图像测试结果Fig.10 Test results of pressure plate image

3.3 结果分析

采用精确率和召回率作为衡量各模型优劣的标准。如表1所示，其中TP表示预测为正样本，实际也为正样本的特征数，TN表示预测为负样本，实际也为负样本的特征数，FP表示预测为正样本，实际为负样本的特征数，FN表示预测为负样本，实际为正样本的特征数。

表1 TP/TN/FP/FN指标含义Tab.1 Meaning of TP/TN/FP/FN index

精确率：

(20)

召回率：

(21)

可知，精确率是针对预测结果，表示预测为正的样本中有多少实际也为正的样本；召回率是针对实际样本，表示实际为正的样本中有多少预测也为正的样本。

在测试集中，分别对Opencv+SSD深度学习模型、传统OpenCV方法以及采用Hog+SVM的分类方法进行测试，统计其识别精确率、召回率和识别速度见表2。

表2 不同方法识别结果性能对比Tab.2 Performance comparison of recognition results by different methods

由表2可知，采用OpenCV+SSD深度学习模型检测结果明显高于仅采用传统OpenCV和采用Hog+SVM的方法，但由于深度学习模型的复杂性增加了其运行时间，导致该方法在计算时间上略慢于其他两种方法。综合考虑智能变电站实际运维情况，采用的方法可有效减轻运维人员负担，提高变电站运维效率。

4 结束语

为解决传统OpenCV在图像处理方面的局限性，提出的OpenCV+SSD深度学习模型，通过对压板图像进行二值化、角点检测、透视变换及图像分割等预处理操作，基于TensorFlow搭建SSD深度神经网络并训练模型。

与传统方法相比，在图像预处理的基础上采用了深度神经网络对压板状态进行识别，在配置相应深度学习网络推演加速卡的条件下，该方法的检测速度不会损失很多，但识别准确度大大提高。测试不同类型保护屏柜中的压板，其识别精确率和召回率均达到95%以上。在电力系统安全稳定性要求比较高的应用场景下，该改进方法具有重要意义。