刘 赫,赵天成,刘俊博,矫立新,袁小翠,许志浩
电力线电晕放电紫外图像精确分割方法
刘 赫1,赵天成1,刘俊博1,矫立新1,袁小翠2,许志浩2
(1. 国网吉林省电力有限公司电力科学研究院,吉林 长春 130021;2. 南昌工程学院 电气工程学院,江西 南昌 330099)
受拍摄环境及局部放电程度影响,夜间型紫外相机拍摄电晕放电图像不清晰、放电区域的颜色不仅接近背景颜色且与背景交叉重叠等导致难以自动分割局部放电,针对该问题提出一种新的电力线紫外图像局部放电区域精确分割方法。首先,构建基于Unet深度学习语义分割模型,利用已训练Unet网络对紫外图像语义分割获得电晕放电区域粗分割结果;其次,将放电区域紫外图像转换为灰度图像,基于前景加权的Otsu阈值分割法对粗分割结果进行精确分割。对426个样本进行测试,本文方法全部分割出了样本图像中的局部放电区域,且分割出的放电区域与真值之间的误差接近0,所提出的电晕放电分割方法能为局部放电大小量化和评估提供准确的数据源。
电晕放电;紫外成像;语义分割;Otsu阈值
电力线等输电设施受各种内外部因素影响,长期工作后会出现老化、断股、散股、缺陷、污秽等问题,并产生局部放电现象。局部放电会进一步加速设备绝缘劣化,导致电气设备故障。据统计,局部放电导致的绝缘故障约占总电力故障的80%,局部放电检测已成为发现设备故障和潜在危险的最重要方法[1]。目前,针对放电的检测方法有红外、超声波、脉冲电流、超高频和紫外放电检测,紫外放电检测是一种光学检测手段,与其他检测方法相比,紫外成像法具有准确度更高、抗干扰能力强等优势,被广泛应用于电力设备的局部放电检测。
目前在电力系统中所应用的紫外成像仪类型主要有两种:一类是夜间型紫外相机,这类相机利用全波段的紫外光成像拍摄局部放电,以前苏联的Filin-6型紫外探测仪为例,这类紫外探测相机在白天无法使用;另一类是“日盲”型紫外相机,对放电产生的240~280nm的“日盲”紫外光进行成像,如OFIL公司的Luminar紫外成像仪,这类相机不受太阳光的干扰,在白天也能使用[2]。
为了能够对电力设备的故障进行自动诊断,学者们研究将各类探测相机安装在巡检机器人或者无人机上拍摄变电站设备和高压输变电线路绝缘子及电力线图像[3],利用算法自动检测及识别设备与电力线的局部放电。基于紫外图像电力设备局部放电检测方法一般包括3步[4]:①将紫外视频流帧图像进行变换,将RGB紫外图像转换为灰度图像或者HSV图像;②对紫外图像进行分割获取局部放电目标区域;③计算目标区域的面积,周长等参数对放电区域进行量化和修正,从而判断放电严重程度[5-6]。其中,放电区域准确分割是关键环节,分割准确性直接影响放电区域量化及评价准确性。
文献[7]在实验室环境下模拟电晕绝缘子放电实验,拍摄其局部放电紫外图像,直接对紫外图像阈值分割,利用阈值滤波去除噪声获得局部放电区域精确分割结果。文献[8]利用高斯函数对紫外图像的光斑区域像素与非光斑区域图像进行对比度增强,再利用阈值分割法分割放电区域。文献[9]等引入Chan-Vese水平集模型对紫外图像进行分割处理,根据放电区域的光斑面积、边界周长、长轴、短轴等参数来评估放电状态。文献[10]基于泊松分布建立紫外放电目标检测模型,构建紫外图像的泊松概率映射图,基于概率映射图利用改进Otsu阈值分割法分割图像得到放电区域。如文献[11]建立改进SSD模型对紫外放电视频流进行训练,自动识别紫外图像中的放电区域,并对放电严重程度进行评估。以上基于紫外图像的局部放电检测方法对日盲型紫外相机拍摄的紫外图像处理效果较好,但是不适用于夜间型紫外相机拍摄的紫外图像。
“日盲”紫外相机拍摄的图像与夜间型紫外相机拍摄的放电图像完全不同,“日盲”紫外相机拍摄的局部放电区域光斑非常清晰,与背景的对比度明显,如图1所示,白色斑块为局部放电区域,其颜色与其背景完全不同,将图像转换为灰度图,利用阈值分割法可以直接准确分割出放电区域,或者将“日盲”紫外图像转HSV空间,无需经过任何处理,利用颜色阈值能直接分割出放电区域,分割结果如图1(b)所示,采用传统的阈值分割法对“日盲”紫外图像可以比较准确地分割出放电区域。然而,这些方法并不适合于夜间型紫外相机拍摄的图像。夜间型紫外相机能拍摄到放电区域,成像质量受相机参数和环境影响,局部放电区域图像与其背景对比度不明显,光斑图像与电气设备颜色或者亮度相接近,如图2所示,图2中红色矩形框内的灰度图像放大如图蓝色和红色矩形框所示,放电区域矩形框内的灰度值与电力线的灰度值基本一致,两个区域的灰度均值约197,因此通过阈值分割法难以直接将放电区域精确分割出来。
因此,本文提出了一种夜间型紫外图像局部放电精确分割方法,先基于Unet深度学习语义分割模型对紫外图像放电区域粗分割,得到大致放电区域,再利用前景方差加权Otsu阈值分割法对放电区域精确分割,从而实现对放电区域的精确分割。
图像语义分割是对每一个像素点进行分类,根据每个点的所属类别实现区域划分。目前,语义分割已被广泛应用于自动驾驶、医学图像等场景。近年来,卷积神经网络(convolutional neural networks, CNN)已经在图像语义分割中广泛应用,比较经典的网络模型有全卷积神经网络(fully convolutional neural networks, FNN)、Segnet、DeepLab和UNet系列等。UNet网络最早应用在医学图像分割中,相比于FCN,Segnet,Deeplab等系列的经典图像分割模型,UNet网络在训练样本较少的情况下能获得更准确的分割结果。对夜间型紫外图像,局部放电区域呈电火花形态,其形态与电力设备完全不同,因此,可以通过语义分割方法将放电区域粗略分割出来。在紫外图像电气设备故障检测中,缺少公开数据集,属于小样本的目标分割,因此,本文利用UNet网络对电气设备紫外放电图进行特征分割。
1.1.1 UNet网络
UNet网络结构简单,整个网络可以分为编码和解码,或者主干特征提取网络和加强特征提取网络[12],网络结构如图3所示,在主干特征提取网络(编码)中利用3×3卷积模板进行5层卷积,卷积模板数分别是64、128、256、512和1024,2×2最大池化对卷积后的特征图下采样,使图像特征图尺寸减小,且采用relu作为激活函数。
在加强特征提取(解码)网络中对特征图逐步上采样和卷积来恢复图像尺寸和特征图通道数,解码器和编码器之间通过跳跃连接进行特征图融合,融合后继续卷积,最后通过1×1×卷积输出分割图像结果,其中为通道数或图像分割类别。
图3 UNet网络结构
1.1.2 数据来源及标注
数据集来源于某网省公司利用FiLin-6夜间型紫外探测仪现场采集的高压输变电线路上的电力线紫外视频图像,视频单帧图像的大小是640×368。每一个紫外视频图像中包含了近1 000帧图像,随机选取2个视频流作为训练样本,将视频流转换成图像帧,对每一帧图像进行样本标记。
若电力线存在绝缘故障导致局部放电,其放电紫外图像呈电火花形状,跟电力线的形状完全不一样。但受拍摄角度及距离影响,有些电火花区域与电力线完全分离、电火花区域覆在电力线或者电力设备上、放电区域图像大小不一,形态各异。为了精确量化放电量,需要分割出放电区域,建立统一的标注规范是保证训练模型精度的基础,标注时遵循以下3点原则:①标注时尽量全部标注出放电光子图像,标注区域大于实际放电区域;②尽量不要将非放电区域的电力线或者电力设备标注在放电区域范围内;③多个电火花交叉时,尽量独立标注每个放电区域。本文使用Labelme工具对放电区域进行标注,对放电区域形成分割图像的标签(真值),并生成json文件,标签图像示例如图4所示。
图4 样本标签
1.1.3 网络训练
模型训练平台操作系统Ubuntu 18.04,采用了tensorflow深度学习框架搭建UNet网络。将已标注的1874张红外图片作为训练样本,以4:1的比例随机分配训练集与测试集,两者的样本图数量分别是1406和468,UNet网络采用交叉熵作为损失函数,损失函数定义如下:
式中:wc为类别c的损失权重;pc(zi)为像素zi属于真实类别c的概率;C表示总的类别数,本文中C=2。训练得到的损失函数如图5所示,模型在epoch为50左右达到收敛,且其损失值loss接近0。
将测试样本输入已训练的Unet网络中测试网络分割效果,电力线放电区域语义分割结果如图6所示,图6第一行是高压电力线拍摄的4段不同电力线视频帧截图,其中红色椭圆圈内存在局部放电,各图对应的语义分割结果如图6第二行所示,利用Unet模型能够粗略地分割出放电区域,但是还包含了一些非放电背景区域。
图6 电晕放电图像语义分割
通过对紫外图像进行语义分割可以粗略分割出放电区域,为了精确计算光子数,需要在粗分割的基础上对放电区域精确分割。因此,本文对语义分割出的放电区域图像进行灰度变换,将RGB图像转换成灰度图像,再利用阈值分割法进一步精确分割。
常用的阈值分割方法有Otsu[13]、最大熵[14]和最小错误率[15]等,当图像直方图呈双峰分布时许多阈值分割方法均能取得较好的分割结果。分析语义分割结果发现,放电区域中包含了全部的放电图像,也包含了少部分的非放电图像,紫外图像中放电区域比非放电区域图像更亮,即非放电区域的灰度图像的像素值更低,放电区域对应的灰度图像的像素值更高,且非放电区域的像素点更少,放电区域的像素点数量更多。对放电区域统计其直方图,分析放电区域直方图,其图像直方图双峰不明显,如图7所示。为了更好地描述,此处将低灰度区域的非放电区域当作前景,高灰度区域的放电区域图像当作背景。文献[16]指出,当低灰度的前景区域大小和高灰度背景区域的大小不一致时,Otsu阈值分割方法的分割阈值更靠近高灰度级,将部分背景图像划分为前景,使前景和背景的大小尽可能接近。如果直接用Otsu阈值分割法对放电区域图像分割,会将部分放电区域分割成前景区域,分割结果不准确。因此,本文提出改进Otsu阈值分割方法对放电图像精确分割。
图7 放电区域灰度直方图
改进的Otsu阈值分割方法如下:设图像大小为×,图像灰度级范围为[0,-1],n为图像灰度级的像素点数,灰度级出现的概率为:P=n(×),设图像中灰度级低于的像素点构成0类,灰度级高于的像素点构成1类,若0(),1()表示0类和1类的出现的概率;0(),1()表示0类和1类的平均灰度级[17]。则有:
图像的类间方差b()表示为:
当内间方差达到最大时该灰度级为最优阈值,即Otsu阈值:
文献[16]证明,Otsu阈值可通过公式(8)计算得到:
Ostu=(0(Ostu)+1(Ostu)/2 (8)
Otsu阈值偏向于方差较大的一类,将大部分的背景区域分割成目标,使得两类图像的大小相似[17]。由于前景区域比较小,背景区域比较大,需要使前景方差小,背景方差更大才能使分割结果接近理想阈值。为了使分割结果更接近最佳分割结果,对前景方差加权,使加权后的前景方差小于原始目标方差。因此,改进Otsu分割法表示为:
最优阈值:
式中:为权重,其值范围为[0,1]。本文令=0(),0()表示前景出现的概率,当图像中前景比较多,0()值较大,赋予前景方差的权重较大,当前景小,前景的方差应该更小,权重也更小,从而自适应实现对前景方差加权。
图8(a)为电力线局部放电语义分割结果,对语义分割得到的放电区域计算图像的类间方差,其类间方差曲线及得到的分割阈值如图8(b)所示,分割结果如图8(c)、(d),可见本文方法分割结果更准确,误分割像素少,几乎完整的将放电区域精确分割。
为了评价本文方法对紫外图像电力线放电局部区域检测及分割效果,从两个层次对算法进行评价,一是在粗分割层面,通过对放电区域语义分割评价分割准确性;二是精分割层面,通过错误分类误差评价本文方法对放电区域分割的精确性。
对紫外图像语义分割是电晕放电分割的粗分割,语义分割中通常采用平均交并比(mean intersection over union,MIoU)来评价分割的准确性,MIoU是语义分割效果的度量标准之一,通过计算两个集合的交集和并集的比例来反映分割结果与真实值之间的重合程度,在图像语义分割中,这两个集合分别是标签和预测值[18]。MIoU的值范围为[0,1],其值越大表示分割效果越好。对二分类,MIOU的定义如下:
式中:参数TP(真正例像素个数);TN(真反例像素个数);FP(伪正例像素个数);FN(伪反例像素个数)为混淆矩阵参数[19]。
错误分类误差(mis-classification error,MCE)来评价实际分割结果与真值(真是放电区域)之间的误差。MCE表示前景像素错分为背景,背景像素错分为前景的比例,用MCE值来评价单帧紫外图像的局部放电区域分割准确性[17]。
MCE定义为:
粗分割结果:语义分割是像素级别的分类任务,样本数即为该类别样本的像素点个数之和。对246张大小为640×368样本进行测试,样本集总像素点为57937920,其中放电区域像素点个数为148408,背景像素点个数是57789512,且包含的局部放电区域个数为518个,全部分割出放电区域,部分测试图像语义分割结果如图9所示,对测试图像的语义分割得到的混淆矩阵如表1所示。
表1 全部测试图像语义分割混淆矩阵
Unet网络分割出放电区域像素为147864个,背景像素为57790056个,各类别平均真实标签和预测结果的交并比MIOU为0.834590,可见,根据样本标签,Unet网络能够比较准确地从整个紫外图像中分割出放电区域,从每张图像中分割出所有的放电区域。
精确分割:为了准确评价放电区域放电情况,需要精确获得放电光子数,因此需要对放电区域进行精确分割。利用MCE来定量衡量本文方法精确分割结果,对测试样本人工手动分割获得放电真值图像。将Unet语义粗分割出来的放电区域用本文改进的Otsu和原始的Otus阈值分割方法对放电区域精分割,并对两种方法的放电精确分割效果进行比较,本文改进Otsu和Otsu阈值分割方法对测试样本的平均MCE值分别是0.0223,0.2194。图9是4个不同样本电力线电晕放电情况放电区域分割情况,其中图11(a)~(e)分别是紫外放电原图、放电区域真值、Unet分割结果、Otsu和本文改进Otsu方法精确分割结果。Unet网络粗分割、Otsu和本文改进Otsu方法精确分割与真值图像之间的差异用MCE量化,量化结果见表2所示。从图9及表2数据可知,本文精确分割得到的放电区域与真值几乎完全相同,MCE值接近0,远小于其他两种分割结果。
图9 不同方法对电晕放电分割结果比较:(a) 原图;(b) 放电区域真值;(c) Unet分割结果;(d) Otsu分割结果;(e) 本文分割结果
表2 部分图像分割的MCE值
综上实验结果可知,通过对放电区域语义分割可以将全部放电区域标记出来,但是标记的放电区域包含许多背景,与真实放电区域存在较大差异;通过对语义分割结果进一步利用阈值分割可以去除部分背景,本文提出的精确分割方法比Otsu阈值分割结果更准确,分割出的放电区域与真实值之间的误差小,误差接近0。
本文研究了一种夜间型紫外图像局部放电检测方法,深度学习语义分割模型对紫外图像粗分割得到大致放电区域,再利用前景加权Otsu阈值分割方法对粗分割结果进行阈值分割得到放电区域精确分割结果。本文方法全部准确检测出测试样本中的每一个局部放电区域,无误检测,且分割出的放电区域与真实值之间的误差接近0,分割出的放电区域为放电大小量化和评估提供精确的数据源。限于篇幅,本文没有对放电大小进行量化和修正,后续将在次基础上展开局部放电量化及评估方法研究。
[1] 王胜辉. 基于紫外成像的污秽悬式绝缘子放电检测及评估[D]. 北京: 华北电力大学, 2011.
WANG Shenghui. Detection and Assessment of Contaminated Suspension Insulator Discharge Based on Ultraviolet Imaging[D]. Beijing: North China Electric Power University, 2021.
[2] 张显. 基于紫外检测技术的绝缘子电晕放电特性研究[D]. 长沙: 长沙理工大学, 2016.
ZHANG Xian. Research the Characteristics of Insulator Corona Discharge based on UV Imaging Technology[D]. Changsha: Changsha University of Science & Technology, 2016.
[3] 赵太飞, 李晗辰, 张港, 等. 无人机巡线的紫外放电检测研究[J]. 电子测量与仪器学报, 2020, 34(12): 36-42.
ZHAO Taifei, LI Hanchen, ZHANG Gang, et al. Ultraviolet discharge detection research for UAV patrol[J]., 2020, 34(12): 36-42 .
[4] WANG S, LV F, LIU Y. Estimation of discharge magnitude of composite insulator surface corona discharge based on ultraviolet imaging method[J]., 2014, 21(4): 1697-1704.
[5] ZHANG Z, WEI Z, ZHANG D, et al. Comparison of different characteristic parameters acquired by UV imager in detecting corona discharge[J]., 2016, 23(3): 1597-1604.
[6] LIN Y, CHEN Y, ZHOU J, et al. Gray Standard deviation based ultraviolet image segmentation for electrical equipment[C]//:, 2019, 1169(1): 012051.
[7] 艾建勇, 金立军. 基于紫外图像的接触网棒瓷绝缘子污秽状态检测[J]. 电工技术学报, 2016, 31(10): 112-118.
AI Jianyong, JIN Lijun. Rod porcelain insulator filth state detection of catenary based on ultraviolet image[J]., 2016, 31(10): 112-118.
[8] 刘云鹏, 李泳霖, 裴少通, 等. 基于紫外成像技术的彩色光斑映射识别算法研究[J].华北电力大学学报: 自然科学版, 2022(4): 1-9 .
LIU Yunpeng, LI Yonglin, PEI Shaotong, et al. Research on color spot mapping recognition algorithm based on ultraviolet imaging technology[J].:, 2022(4): 1-9.
[9] 李勋, 张宏钊, 胡元潮, 等. 基于C-V模型的电晕放电紫外成像分割及特征量研究[J]. 高压电器, 2017, 53(8): 123-128.
LI Xun, ZHANG Hongzhao, HU Yuanchao, et al. Ultraviolet image segmentation and characteristic quantities of corona discharge based on C-V model[J]., 2017, 53(8): 123-128.
[10] 闵超波, 顾燕, 杨锋. 基于泊松分布的日盲紫外电晕检测[J]. 红外技术, 2020, 42(8): 715-721.
MIN Chaobo, GU Yan, YANG Feng. Corona detection of solar-blind ultraviolet via Poisson distribution[J]., 2020, 42(8): 715-721.
[11] 王胜辉, 董兴浩, 王玺铭, 等. 基于改进SSD算法和紫外成像的悬式绝缘子放电严重程度评估[J]. 华北电力大学学报: 自然科学版, 2022(4): 1-10.
WANG Shenghui, DONG Xinghao, WANG Xuming et.al. Suspension insulator based on improved SSD algorithm and UV imaging discharge severity assessment[J].(), 2022(4): 1-10.
[12] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//–MICCAI , 2015: 234-241
[13] Otsu N. A threshold selection method from gray-level Histograms[J]., 2007, 9(1): 62-66.
[14] Kapur J, Sahoo P K, Wong A. A new method for gray-level picture thresholding using the entropy of the histogram[J].,, 1985, 29(3): 273-285.
[15] Kittler J, Illingworth J. Minimum error thresholding[J]., 1986, 19(1): 41-47.
[16] XU X, XU S, JIN L, et.al. Characteristic analysis of Otsu threshold and its applications[J]., 2011, 32(7): 956-961.
[17] 袁小翠, 吴禄慎, 陈华伟. 基于Otsu方法的钢轨图像分割[J]. 光学精密工程, 2016, 24(7): 1772-1781.
YUAN Xiaocui, WU Lushen, CHEN Huawei. Rail image segmentation based on Otsu threshold method[J]., 2006, 24(7): 1772-1781.
[18] 袁刚, 许志浩, 康兵, 等. 基于DeepLabv3+网络的电流互感器红外图像分割方法[J]. 红外技术, 2021, 43(11): 1127-1134.
YUAN Gang, XU Zhihao, KANG Bing. Deep Labv3+ network-based infrared image segmentation method for current transformer[J]., 2021, 43(11): 1127-1134.
[19] 张开放, 苏华友, 窦勇. 一种基于混淆矩阵的多分类任务准确率评估新方法[J]. 计算机工程与科学, 2021, 43(11): 1910-1919.
ZHANG Kaifang, SU Huayou, DOU Yong. A new multi-classification task accuracy evaluation method based on confusion matrix[J]., 2021, 43(11): 1910-1919.
New Corona Discharge Segmentation Method for Power Line Based on Ultraviolet Image
LIU He1,ZHAO Tiancheng1,LIU Junbo1,QIAO Lixin1,YUAN Xiaocui2,XU Zhihao2
(1.,,130021,;2.,,330099,)
Corona discharge images collected with night-type ultraviolet cameras are affected by the photographer’s environment and the degree of partial discharge, and the color of the discharge area is not only close to the background but also overlaps with the background, which makes it difficult to automatically segment corona discharge. This paper proposes a coarse-to-fine corona discharge ultraviolet (UV) image segmentation method. First, a deep-learning semantic segmentation model was constructed, and rough segmentation results of the corona discharge were obtained using a trained Unet network. Second, the UV image of the discharge region was converted into a gray image, and the rough segmentation result was accurately segmented based on the Otsu threshold segmentation method with foreground weighting. A total of 426 samples were tested, and all the corona discharge regions in the sample images were segmented using the proposed method. The error between the segmented discharge regions and the true value was close to 0. The proposed corona discharge segmentation method provides accurate data sources for the quantification and evaluation of corona discharges.
corona discharge,ultraviolet imaging,semantic segmentation,Otsu threshold
TN219;TM452
A
1001-8891(2023)12-1322-08
2022-05-11;
2022-05-17.
刘赫(1984-),男,吉林长春人,工程师,硕士,研究方向为电力设备故障检测与诊断。E-mail:liuhehe1984@163.com。
袁小翠(1988-),女,博士,副教授,研究方向为图像处理及视觉检测。E-mail:yuanxc2012@163.com.
国网吉林省电力有限公司2022年揭榜挂帅项目(JL2237874846)。