周 凯 罗朝丰 胡志坚 严利雄 毕如玉 邓 科 李煜磊
(1.国网湖北省电力有限公司检修公司 武汉 430050;2.国网浙江省电力有限公司湖州供电公司 湖州 313000;3.武汉大学电气与自动化学院 武汉 430072)
随着智能变电站的不断发展,现场巡检机器人承载的任务越来越多,数据分析越来越繁琐,对功能需求也越来越强大[1]。对于变电站的众多保护压板实时识别是巡检机器人一项必不可少的工作[2]。
目前对于扭角式压板的研究比较深入。文献[3]运用聚类分割扭角式压板图像,构造压板状态指标作为证据,将多个状态指标依据证据理论进行融合识别扭角式压板状态,所提方法在光照不好的情况下仍能较好地识别压板。文献[4]提出了一种利用颜色模板对压板的位置和颜色进行匹配的方法来识别压板状态,该方法对扭角式压板识别率很高。文献[5]提出先进行边缘细化,再通过Houch 方法检测圆弧、直线、斜线判断压板类型,最后确定状态。文献[6]也提出了一种RGB 颜色提取分割算法,通过形态特征分析识别扭脚式压板。
对于插拔式压板状态识别,目前国内外主要是通过图像处理技术和深度学习的方法来识别。文献[7]对压板图像使用RGB 颜色聚类算法来分割压板图像,定位出压板的位置,最后对压板做最小外接矩形处理,检测出压板的开关状态。文献[8]使用边缘检测的方法找出图片中每个开关的位置,然后使用Hough 变换来检测开关的角度,判断压板开关的关合。文献[9]中通过对压板图像的特征点进行提取,获取足够多的样本,然后使用卷积神经网络对压板开和关的样本进行训练,识别压板的状态。
对于插拔式压板状态识别还可以进一步优化,这些识别方法还没有充分考虑到环境的复杂性和巡检机器人识别压板的实时性以及计算机的硬件水平。例如,采用边缘检测的方法对于压板图片的质量要求极高,且需要图像正面垂直拍摄,对于一些有阴影或者是光照强度不够的图片无法识别;采用颜色模板虽然方法很新颖,但是对于一些因为拍摄角度问题带来的畸变图片识别率不高;采用RGB颜色聚类的方法对于图像的分割处理速度影响很大,效率不高且图像分割出来的效果不好;采用效果比较理想的机器学习来识别压板状态的方法对计算机的硬件要求很高,巡检机器人承载任务重,硬件水平有限,而且有些特殊环境下的样本无法完全获取,遇到特殊环境压板的状态识别率很低,而事故又往往多发于环境特殊的情况下。
为了进一步提高巡检机器人对现场压板识别的一般性、高效性和准确性,本文提出了一种基于YCbCr颜色分割与特征分析的变电站压板状态识别方法。基本步骤是先对采集到压板图像进预处理;然后将图片转换至YCbCr颜色空间中进行颜色特征分割,获得二值化图片,接着进行形态学处理,提取连通域、形态特征分析以及最小外接矩形定位;最后根据矩形的长高比和偏转角度结合判断出压板的投退状态。通过试验测试表明,所提方法对变电站继电保护室中的插拔式压板识别快、识别率高。
现场采集到的大多不是正面垂直拍摄的压板图像,而是更加符合实际情况的带有一定光线差和角度畸变的图像,因此有必要对采集到的图像进行预处理,对其进行图像边缘锐化、畸变矫正以及简化图像的数据[10]。
对于保护柜上压板,同一种类型压板的颜色基本相同,但受到光照以及反射光的影响,使得不同区域压板以及背景颜色差异较大;为了消除这种光照给图像分割带来的影响,同时也为了锐化图像的轮廓特征,对图像进行高斯高通滤波处理。该算法通过增强反射函数的频谱成分,同时削弱照明函数成分,可以使图像中的目标区域轮廓更加鲜明,不同区域对比度增强,图像亮度更加均匀[11]。图1 为滤波处理后的对比结果图。
图1 高斯高通滤波增强前后图像对比图
对于巡检机器人采集到的畸变图像,直接进行压板定位识别,会因畸变程度不同导致识别困难,因此采用透视变换的方法对畸变图像进行矫正。该方法先在保护屏柜压板区域4 个顶点贴上辅助标签,并确定4 个顶点的像素坐标,然后获取畸变图像中辅助标签的像素坐标,接着将8 个像素点坐标代入式(1)、(2),求出透视变换矩阵,最后经过反透视变换得到矫正后的仅包含开关图像的正视图[9]。将压板图像的非目标部分切除后,最终定位到压板区域。图2 为原图和矫正后图。
图2 保护压板的矫正前后图
式中,(u,v) 为变换前顶点像素坐标,(x,y) 为经过校正变换后的顶点像素坐标a11、a12、a13、a21、a22、a23、a31、a32、a33为变换矩阵系数。
为便于提取出压板在“开”与“闭”状态下的特征,实现对压板状态的识别,本文通过引入YCbCr颜色空间分离法对图像的有效色块进行分割,图像分割后进行形态学处理,最后提取图像的连通域。
压板图像有着极为明显的颜色特征,可以用色彩空间来表示不同颜色之间的关系,常见的颜色空间有RGB 颜色空间和HSV 颜色空间。RGB 颜色空间模型中,色彩由色调、亮度和饱和度混合描述,R、G、B 三分量之间具有很强的关联性,对于一种颜色属性,在光照强度不同的情形下,R、G、B 的数值变化很大,因此受光照条件的影响,特定的颜色难以根据确定的阈值在RGB 颜色空间模型中进行分割[12]。HSV 颜色模型中H、S、V 分别表示色调、色饱和度和亮度,此模型能够实现亮度分离,但HSV 颜色空间中S、V 两个分量为R、G、B 三个分量的非线性变换,导致计算量较大;且在特殊点处受R、G、B 三个分量的变化影响非常大,在亮度值和饱和度低的情况下依据R、G、B 三个分量计算出来的H 分量可靠性不高[13]。
YCbCr颜色空间是国际无线电咨询委员会提出的一种颜色空间模型,在该模型中亮度信息独立于色度信息,颜色空间由Y、Cb、Cr三个分量组成,其中Y、Cb、Cr三个分量分别代表亮度分量、蓝色色度分量和红色色度分量,使用此种颜色模型能够有效避免亮度因数对色彩特征的影响,且Y、Cb、Cr三个分量都是R、G、B 三个分量的线性变换,计算较为简便[14]。因此本文选择基于YCbCr颜色空间模型对压板的颜色特征区域进行分割。其中YCbCr颜色空间的转换如式(3)所示
根据国家电网公司的相关规定,在原则上跳闸压板采用红色标识,保护功能压板采用黄色标识,备用压板采用浅驼色,压板下方标识牌与压板对应同色,因此可以基于YCbCr颜色空间对巡检机器人采集到的真彩色压板图像进行颜色特征提取[15],获取只含有压板和标识牌的图像,提取的流程如下所示。
步骤1:读取输入图片像素点g(x,y) 的R、G、B 分量数值。
步骤2:通过式(3)转换公式,由R、G、B 三分量的值获取像素点g(x,y) 的Y、Cb、Cr分量数值。
步骤3:若g(x,y) 满足式(4)中红色gr(x,y) 和黄色gy(x,y) 中Cb、Cr范围,则令像素点g(x,y) 的灰度值为255;若都不满足,令其灰度值为0。
步骤4:按从左到右从上到下的顺序依次进行步骤1~3 直至扫描结束,获取包含压板和标识牌的二值化图像,图2 的提取结果如图3 所示。
图3 提取有效压板的结果图
如图4~7 所示,本文通过大量试验数据获得红色压板在YCbCr颜色空间中Cb的范围为(100, 120),Cr的范围为(0, 20);黄色压板在YCbCr颜色空间中Cb的范围为(59, 95),Cr的范围为(-5, 4)。
图4 红色压板Cb 分布直方图
图5 红色压板Cr 分布直方图
图6 黄色压板Cb 分布直方图
图7 黄色压板Cr 分布直方图
图像分割处理后不可避免会存在一些干扰域,如图8 所示,正方形框内为外部孤立点,圆形框内为内部小缺口。这些干扰域,特别是外部孤立点,将会对后续的压板识别带来很大的影响。为解决此问题,采用形态学滤波的方法对分割结果图进行开运算和闭运算处理[16]。
图8 含干扰域的压板图
开运算是指先对图像进行腐蚀处理,再对图像进行膨胀处理。采用开运算的作用是消除小的外部孤立点,断开相邻连通域之间的粘连,平滑压板标识牌的形状边界,且基本不改变其面积。形态学开运算的定义为
式中,f◦b表示通过结构元素b对图像f进行开运算,f bΘ 表示通过腐蚀算子b对f进行腐蚀运算,f⊕b表示通过结构元素b对f进行膨胀运算。
闭运算是指先对图像进行膨胀处理,再对图像进行腐蚀处理。采用闭运算的作用是可以填充压板标识牌内部的小空洞,连接其内部断开的缝隙,平滑目标物的边界,且基本不改变其面积。形态学闭运算的定义为
式中,f·b表示通过结构元素b对图像f进行闭运算。图8 经开运算闭运算后的结果如图9 所示。
图9 形态学处理后的结果图
采用8 连通的种子填充算法对压板的连通域进行提取,同时也是对连通域进行标记的过程[17]。8连通域是指对于一个像素点A,如果在它的上、下、左、右、左上、左下、右上或者右下时,右下有一个相同的像素点B,则认为A、B是连通的。以图10 为例进行说明,提取步骤如下所示。
图10 连通区域提取结果图
步骤1:按照从上到下、从左到右的顺序扫描压板图像,直到扫描到像素为1 的点A(x,y)。
步骤2:以点A(x,y)作为种子,并且赋予一个一个标签1。
步骤3:将以A(x,y)8 连通相连的所有像素点赋予为与A相同的标签1。
步骤4:对赋予标签1 的所有像素点重复步骤3,直到所有的像素点都不存在8 连通相连的点结束。
步骤5:重复步骤1~4,但跳过已经标签过的像素点,且每次结束重新扫描时标签数加1,直到扫描结束。扫描结束后可提取到图像中的所有连通域。
二值化图像中标识牌区域不是本文研究重点,还会增加压板识别的工作量。考虑到环境的复杂性,如拍摄时反光导致的出现部分较大的伪目标光斑,以及拍摄距离太远导致的压板图像粘连和模糊等问题,本文将通过对压板连通域的面积和边界信息等多个维度的形态特征进行分析,从众多连通域中剔除非目标区域,准确提取出有效压板区域。
对经过颜色提取的压板和标识牌的二值图进行分析后发现,压板连通域和标识牌连通域在边界长度和宽度上有很大的不同,体现在压板连通域的边界长度明显比其边界宽度要小很多,而标识牌的边界长度明显比其边界宽度大很多,以此特征可对二值图像中的标识牌区域进行剔除。具体如下
式中,ΔXi表示第i个连通域的边界长度,ΔiY表示第i个连通域的边界宽度。因压板和标识牌的边界长度与边界宽度信息差异较为明显,以2 作为判断压板和标识牌的阈值。按式(7)对图像进行处理,当连通域的边界大于阈值2 时,则为标识牌区域,将其置为背景区域;当小于阈值2,则为压板区域,将其保留。标识牌剔除后的结果如图11 所示。
图11 标识牌剔除后图
由于拍摄时反光或者其他干扰物造成的图片中含有一些较大的光斑,当对图片进行颜色提取时无法杜绝这些有色干扰光斑,形态学处理只能剔除很小的孤立点。因此可采用面积特征分析判断是否为干扰光斑。干扰光斑一般比压板有效区域小很多,且图像中大部分应为有效压板区域,可通过对每个连通域区域的面积与平均面积进行比较分析进行筛选。具体如下
式中,S i为提取压板图像中每一个连通域的面积。n表示该二值图像中连通域的个数。S(re-max3andmin3)i表示排除掉三个最大面积的连通域和三个最小连通域后的剩下每一个连通域面积。之所以要排除三个最大面积的连通域和三个最小面积的连通域,是因为考虑到可能会出现标识牌相连造成单个连通域面积过大和单个干扰光斑连通域面积过小,对求取平均面积造成影响。乘以70%作为判断的裕度,最后当连通域的像素面积小于阈值平均面积的70%时,即可视为干扰光斑,大于等于阈值时视为有效压板区域。处理的结果如图12 所示。
图12 含干扰光斑处理结果图
由于环境的复杂性,当拍摄距离较远、拍摄角度偏移较大时,使得获取的压板图像形状产生一定的畸变,以及由于极度光照条件造成拍摄的图片质量不高,导致通过颜色提取分割出来的压板以及标识牌出现连通域粘连的情况,通过第4.1 节和第4.2节的方法,只能剔除掉标识牌与标识牌相连的情况,对于压板与标识牌粘连、压板与压板粘连的连通域,通过对连通域的边界长度与边界宽度的比值分类,无法做到有效剔除。针对此种情形,本文提出一种基于极限腐蚀算法对粘连连通域进行分割的方法,有利于对质量不好的图像进行分割。
4.3.1 粘连连通域的初步判定
由于粘连连通域的面积为两个相邻连通域的面积之和,一般比正常单个连通域的面积大得多,且粘连连通域大多出现在分割较大的两个单独连通域之间。因此可以通过对连通域的面积信息分析,初步判断出为相连连通域的区域。具体如下
式中,Si为提取压板图像中每一个连通域的面积。S(re-max3andmin3)i表示排除掉三个最大面积的连通域和三个最小连通域后的剩下每一个连通域面积,目的是减少极小值和极大值对平均面积的过度影响。k表示该二值图像中连通域的个数。乘以1.5 作为判断的阈值。当连通域的面积小于平均面积的1.5倍时,判断为压板区域保留,当连通域面积大于平均面积的1.5 倍时,初步判断为粘连连通域。
4.3.2 极限腐蚀算法再判定
极限腐蚀算法最初运用于细胞粘连分割的情形,实现对粘连细胞的分割,由极限腐蚀后获取粘连连通域的种子点,如图13 所示[18]。考虑到质量较差的图片分割出来的连通域面积参差不齐,因此只依据面积信息初步判断出来的粘连连通域,也有可能是个别分割效果不理想的较大单独连通域,为此进行极限腐蚀算法再判定,再判定的流程如图14所示。
图13 粘连细胞种子点获取图
图14 极限腐蚀算法再判定流程图
获取初步判断的粘连连通域,以半径为2 的圆形结构元素对目标连通域不断进行腐蚀,单独连通域经极限腐蚀处理后不会发生裂解,只出现一个种子点,而粘连连通域经极限腐蚀处理后会发生裂解出现两个种子点,由此可判断出是较大单独连通域还是粘连连通域。对于单独连通域判定为压板进行保留;对于确定为粘连连通域的连通域,进行分割处理,步骤如下所示。
步骤1:对连通域进行极限腐蚀,在此过程中,粘连连通域L会逐渐裂解为两个连通域L1、L2。
步骤2:继续对这两个连通域进行腐蚀,面积较小的连通域会被率先腐蚀为一个种子点,保留种子点。
步骤3:继续对较大的连通域进行腐蚀,直到此连通域最终只剩下两个种子点。
步骤4:获取种子点的像素坐标(x1,y1),(x2,y2),通过种子点的坐标判断粘连连通域的类型。
步骤5:当(x1-x2)2-(y1-y2)2> 0时,种子点呈现左右分布,判断为压板与压板粘连,则保存裂解后产生的连通域L1、L2;当(x1-x2)2-(y1-y2)2<0时,种子点呈现上下分布,判断为压板与标识牌粘连,此时再对y1、y2的大小进行判定。
步骤6:当y1>y2时,判定L1为处在下方的连通域,L2为标识牌,则剔除L1保留L2;当y1 图15 压板标识牌粘连处理结果图 本文采用简单最小外接矩形和面积最小外接矩形对图像中连通域处理,获取每个外接矩形的顶点坐标[19]。简单外接矩形的边界平行于x轴和y轴,可以精确得出连通域的长宽比[20]。面积最小外接矩形可以方便获取压板的偏转角度。两种外接矩形定位结果如图16 所示。 图16 最小外接矩形定位结果图 从压板的定位结果中发现,简单最小外接矩形框有两种,分别对应着压板的“开”和“关”两种状态,如图17a 所示。面积最小外接矩形框有两种,对应压板的两种状态,如图17b 所示。 图17 压板及标识牌的外接矩形类型 结合两种外接矩形的四种类型对压板的状态进行识别。简单外接矩形对外接矩形的长和宽做比,采用阈值对比值分类;面积最小外接矩形计算外接矩形与竖直方向的倾角,采用阈值对倾角分类。最后结合两种方法的分类结果综合判断出保护压板的投退状态。具体步骤如下所示。 步骤1:利用式(10)按从左到右从上到下的顺序求出每个简单最小外接矩形的长宽比Bi 式中,Xj1、Yj1为简单外接矩形框左上角顶点的横纵坐标;Xj4、Yj4为简单外接矩形框右下角的横纵坐标。 步骤2:利用式(11)按从左到右从上到下的顺序依次计算每个面积最小外接矩形的倾角αi。 式中,X1m、1mY表示面积最小外接矩形框左上角顶点的横纵坐标;Xm3、Ym3表示面积最小外接矩形框左下角顶点的横纵坐标。 步骤3:结合步骤1 和步骤2 求得的Bi和αi,通过对数据进行分析,获得有关Bi的散点图和αi的散点图,如图18、19 所示。当Bi的阈值设为0.6 时,分类效果较好,αi阈值设为10°时,分类效果较好。 图18 长宽比的散点分布图 图19 偏转角的散点分布图 步骤4:设立阈值进行分类。综合阈值分类的结果,按式(12)对压板的投退状态进行识别。 式(12)中第一种情况:Bi<0.6且αi< 10°和第三种情况Bi>0.6且αi> 10°,是典型的压板为闭合和打开状态的特征。 第三种情况:Bi<0.6且αi> 10°,即简单外接矩形的长宽比很小,但面积最小外接矩形的倾角较大,判定为开状态。这是因为现场工作人员拧压板时,操作不规范,导致压板已经打开,但是压板偏移程度不够。第四种情况:Bi>0.6且αi< 10°,即简单外接矩形的长宽比很大,但面积最小外接矩形的倾角较小,判定为闭状态。这是因为当两个压板连通域粘连时,采用极限腐蚀算法将两个压板分割开,但分隔开的连通域依然存在向两边衍生的部分,同时经过腐蚀处理会使简单外接矩形宽度减小,导致长宽比变大。对图16 进行外接矩形的识别结果如表1 所示。 表1 压板状态识别结果 为了充分证明本文所提方法识别压板状态的准确性、高效性和一般性,本文进行了试验,采用的硬件平台为Intel Core i7-10700CPU。软件平台采用Matlab2019 语言实现。 将本文方法与传统RGB 聚类分割方法的识别结果作对比,体现本文方法识别压板状态的准确性和一般性。现使用两张压板图像,一张清晰的图像和一张模糊的图像。识别结果如表2 所示。分割结果如表3 所示。 表2 不同方法压板识别结果 表3 压板分割结果评价 针对表2 中四张图片进行分割效果评估。评估的标准分为两种:一种为分割正确率Ti,计算分割出正确的连通域数Li与总有效目标连通域数Ni的百分比,如式(13)所示;一种为分割错误率Fi,计算分割出的错误连通域数Ei与总有效目标连通域Ni的比值,如式(14)所示。 各参数的求取原则如下所示。 分割正确连通域数Li为分割图像中与压板和标识牌相关联的连通域个数,当出现多个标识牌连接在一起形成一个连通域时,归为一个正确连通域数;当出现一个压板或标识牌被分割为多个连通域时,归为一个正确连通域数;因有后续的形态学处理,若为外部孤立点则不计数。 总有效目标连通域数Ni为分割前原图中有效压板的个数和分割后标识牌连通域个数的和。标识牌间距离较近,容易出现多个标识牌连通域粘连,但粘连标识牌后续剔除较为简单,为了统计方便,所以统计分割后标识牌连通域的个数。 错误连通域数Ei为分割图像中与标识牌和压板位置无关的连通域。当出现两个有效压板被分割为一个连通域时,记为一个错误连通域;当出现一个压板被分割为m个连通域时,错误连通域数为m- 1;当出现与压板和标识牌区域无关的连通域时,记为错误连通域;若为外部孤立点则不计数。 从表3 的分割结果可以看出,当为清晰图片时,本文方法和RGB 聚类分割的方法分割结果都较好,但本文方法分割出来的噪声更少。当为模糊的图片时,本文方法分割正确率可达94.1%,分割错误率为0%;而RGB 聚类分割正确率仅有88.2%,且分割错误率高达29.4%。可以得出本文方法分割压板区域更加精确,而RGB 聚类方法容易分割出很多非目标区域,这是因为当采用RGB 聚类分割方法时容易受到光照因数的影响。由此可体现出本文方法受光照因数的影响较小。 本文采用简单外接矩形的长高比和面积最小外接矩形融合的方法对压板状态识别。为体现本文识别方法的一般性,与传统直接使用简单外接矩形长宽比的方法作对比。试验的压板为更符合一些现场实际情况下,由于操作的人为性导致某些压板打开时偏转程度较小。试验压板的简单最小外接矩形和面积最小外接矩形如图20 所示。最小外接矩形的长宽比iB结果如表4 所示。最小外接矩形的倾角iα如表5 所示。不同识别方法结果对比如表6 所示。 表4 压板简单最小外接矩形的长宽比Bi 表5 压板面积最小外接矩形的偏转角度αi 表6 不同识别方法结果对比 图20 最小外接矩形定位图 从表6 的对比结果中可知,对于3 号压板,两种方法的识别结果不同。由于3 号压板的偏移程度比较小,导致只使用长宽比的方法识别错误,但本文方法考虑到偏移程度小的原因,对此情况加入倾角识别。通过本试验体现出本文识别方法更符合复杂的环境,更具有一般性。 为进一步讨论本文所用方法识别的准确性,对采集到的50 张保护柜上压板状态图像进行识别。考虑到会出现将压板状态识别错误和非压板连通域出现,以及两个压板区域识别为一个压板的情况。本文从识别正确率Pi和识别错误率Qi两个方面进行识别评估,正确率和错误率计算公式如式(15)、(16)所示。最终获取的压板识别率结果如表7 所示。 表7 压板识别率和平均运行时间 式中,Di为识别正确的外接矩形的个数;Zi为有效压板的个数;Vi为识别错误的压板数与非压板区域的最小外接矩形数之和。 由表7 可得出,对于一般采集的大量图像,本文识别正确率高达99.8%,错误率0.5%;而RGB聚类分割正确率只有94.2%,错误率1.1%。因此本文采用的方法比传统RGB 聚类分割压板图片方法的识别更准确、效率更高。 针对复杂光照环境变电站压板状态识别率不高的情形,本文改进了一般的RGB 颜色分割算法,降低了光照因素的干扰,并通过形态特征分析,实现了压板状态识别,重要创新点和相关技术总结如下。 (1) 提出了一种基于YCbCr颜色空间的颜色提取技术,将亮度信息与颜色信息分离开来,相比传统RGB 颜色提取方法,能够避免光照因素对图像分割的影响,使得本文分割方法对复杂光照环境的适应性更强。 (2) 采用颜色特征分离技术分割压板,能够直接提取有效压板,剔除备用压板,大大减小了压板识别的工作量,提高了压板识别的效率。 (3) 利用压板和标识牌的面积特征,直接去除了图像中的标识牌,简化了图像中的信息,提高了识别的效率。利用压板和干扰光斑的面积特征,去除了图像中的干扰小光斑,提高了压板定位的精确性,为压板识别准确性奠定了基础。 (4) 针对模糊图片容易分割出粘连连通域,本文提出了一种极限腐蚀算法。通过极限腐蚀算法获得的种子点个数判断出是否为粘连连通域,依据种子点像素坐标判断出粘连连通域的类型,并完成对粘连连通域的分割,实现了对模糊图像的分割处理,提高对模糊图像压板状态的识别率。 (5) 针对现场实际中,某些压板由于工作人员操作不标准,导致开关打开,但压板的偏转程度较小的情况,此时采用一般外接矩形长宽比方式容易判断错误。本文在长宽比判别的基础上,采用长宽比与压板倾角相结合的方法识别压板,提高了压板识别的一般性。5 压板定位与状态识别
5.1 基于连通域最小外接矩形处理的压板定位
5.2 压板状态识别
6 试验分析
6.1 不同分割方法对比分析
6.2 不同识别方法对比试验
6.3 识别率和识别效率试验
7 结论