佘世洲,宋 凯,刘 辉,谭守标,张 骥
(1.国网铜陵供电公司运维检修部,安徽 铜陵 244000;2.安徽大学 计算智能与信号处理教育部重点实验室,安徽 合肥 230039;3.安徽南瑞继远电网技术有限公司,安徽 合肥 230088)
在电气电力行业的变电站设施中,很多设备配置了电流表、功率表、避雷器泄露电压表、油温表等指针型仪表。这些指针型仪表通常由指针、刻度线和数字组成。目前对这些仪表数据的记录主要依靠变电站人员的肉眼观测,这种检测方式效率低下且误差较大,并且无法长时间观测,实时性不高。另外还存在一些如高原、雪山等人工不便进行观测的场合。因此基于电力设备自动化巡检的需求,提出了一种电力指针式仪表示数自动识别的鲁棒方法。
目前,国内外很多学者针对指针式仪表的自动识读进行了大量研究[1-6]。例如,Correa Alegria等给出了一种使用差影法和霍夫变换对指针式仪表进行识别的方法[7],何智杰等[8]提出利用条件霍夫变换和中心投影分析法实现高精度指针式仪表自动读数识别。但是上述研究都是在室内光照均匀无阴影且摄像机镜头与仪表盘在同一水平面下无视角变化的情况下进行的自动读数识别,而变电站仪表设备多安装于室外,光照条件复杂多变且因照片由巡检机器人采集,摄像头需要满足多视角、多距离的安装,这就对指针式仪表自动读数识别系统提出了更高要求。
针对刻度均匀分布的圆形或方形指针式仪表,提出了一种新颖的能适应非均匀光照环境的电力指针式仪表自动识别方法。该方法利用表盘的颜色直方图分布特征和亮度梯度特征定位出表盘区域作为感兴趣区域,并且对获取的表盘区域图像进行光照均衡以消除阴影。利用基于定向二进制简单描述符(ORB[9]:oriented FAST[10]和rotated BRIEF[11])算法,计算表盘模板图像与测试图像之间的透视变换矩阵,以对表盘区域进行倾斜校正。接着进行表盘区域图像的其他预处理,包括二值化、连通域特征计算和指针连通域提取,最后通过改进的霍夫变换检测并识别指针角度,从而得到仪表示数。
在所建系统中,电力指针式仪表图像由巡检机器人的图像采集系统获取,然后输入到计算机中进行预处理和示数识别。系统整体流程包括:表盘定位、图像预处理、指针检测和示数识别。
电力指针式仪表的表盘的结构特征大多是以表盘中心为圆心、以指针长度为半径、指针在一个圆形或扇形区域内旋转。关于颜色特征,仪表指针多为红色或白色,表盘多为黑色或白色,所以指针和表盘区域的颜色差异较为显著。根据表盘的颜色直方图分布特征和亮度梯度特征[12]定位出表盘区域作为感兴趣区域,如图1所示。
在仪表图像采集过程中,由于变电站背景环境复杂,且许多仪表设备安装在室外,所以采集到的图像易受光照、阴影、天气等因素的影响,给后续分割、识别带来了一定的困难。所以为了提高图像质量,便于后续的分割处理,首先应该对采集到的仪表图像进行光照均衡处理,其次为了读数精准,对图像进行倾斜校正,然后进行二值化变换,最后从二值化图像中提取指针区域进行示数识别。
图1 表盘区域定位
当一个物体遮挡光源时阴影即会出现,这是一个去除不掉的视觉体验。表盘上的阴影导致表盘表面光照不均匀,严重影响了后续的二值化分割。
采用局部匹配对单幅照片进行阴影检测和移除的方法。基于区域的阴影检测[13]能够将阴影移除作为一个消光问题,与Wu等[14]提出的方法类似。然而,Wu等提出的方法依赖于用户对阴影和非阴影区域的输入,是在一个统一框架上自动对阴影进行检测和移除。特别地,当阴影检测后,借鉴Levin等[15]提出的消光技术,将影子像素作为前景,非影子像素视为背景。使用阴影恢复系数,计算直接光照和环境光照的比率,并对每个像素进行直接光照和环境光照混合的二次光照处理,从而产生复原图像。新像素值由式(1)给定:
(1)
其中,r为直射光与环境光的比率;Ii为原始图像中第i个像素点的强度。
光照均衡前后的效果如图2所示。
图2 光照均衡前后的表盘
ORB算法是一种结合快速兴趣点检测算子FAST与兴趣点描述算子BRIEF的局部特征提取算法[9]。与众所周知的SIFT和SUFT相比,ORB算法的执行速度更快,效率更高,在图像噪声、光照、旋转变换等方面都具有优越的性能[16]。
对于测试图像,为精准地矫正测试图像,采用基于ORB的图像配准程序。首先使用FAST-9算法提取图像的特征点,使用BRIEF算法将特征点描述为一个二进制的字符串,其对平面旋转非常敏感,然后进行特征匹配,最后计算透视变换矩阵。透视变换是表示两个图像间关系的普通投影变换模型,利用的是匹配点的坐标位置信息,其变换公式为:
(2)
其中,x,y,x',y'为模板图像和检测图像的行、列坐标;H(线性变换矩阵)是3*3的单应性矩阵。
为了提高计算效率、减少储存空间和方便后续的图像处理,对输入的彩色图像进行了二值化变换[17]。常见的图像分割方法主要有基于阈值选取的灰度阈值分割、最大熵阈值分割、全局或局部阈值分割、二维直方图阈值分割、最大类间方差法,区域生长、区域分裂-合并方法,基于边缘检测的图像分割等。
实验过程中尝试了多种图像分割方法。由于光照均衡之后的表盘图像目标和背景之间的灰度差异减小,并且在测试过程中很多有污染的表盘图像存在指针和表盘的颜色对比度在每幅图像中各异的情况,无法用一个统一的阈值对其进行分割,所以选用了最大类间方差法对图像进行分割[18]。实验证明通过其自适应的阈值确定方法,对待测的仪表图像都能进行正确的分割。图像二值化的步骤如下:
(1)计算待测图像的灰度直方图,用p(i)表示。
(2)计算平均灰度μ。
(3)
(3)计算p(i)的零阶累加矩ω(k)和一阶累加矩μ(k)。
(4)
(4)计算类间方差。
(5)
(5)将σ2(k)(k=0,1,…,255)最大值时所对应的k值作为阈值T。
(6)对分割后的图像进行二值化处理,设输入图像为f(x,y),二值化后的图像为g(x,y),则
(6)
由于电力指针式仪表盘多为扇形和圆形的构造,所以表盘的刻度线和指针所在的直线都是经过同一个圆心点的,所以根据连通域的矩形特征将表盘的刻度线提取出来就可以找到表盘的圆心,进而找到所要识别的指针。
首先按照连通标准对二值化后的表盘图像进行连通域提取,然后对所有连通域按面积、长度、宽度、长宽比做统计处理,根据数量多少依次判断每一类连通域是否符合刻度线区域特征,最后由表盘的刻度线的向心性确定仪表盘中心,并依据表盘中心搜索指针区域。提出了新的仪表指针搜索算法,以表盘中心为圆心构造一个同心圆与指针相交,以交点为起点对指针区域进行搜索,这样可以避免其他直线或噪声的干扰,鲁棒性更强。确定的表盘中心如图3(a)所示,搜索到的指针区域如图3(b)所示。
(a)表盘中心定位 (b)指针区域搜索
在已知表盘指针区域的基础上,仪表的示数可以用指针的偏转角度来描述。霍夫变换(Hough transform)[19]是现今直线检测比较成熟的研究方法,其运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值,其中直线y=kx+b检测的极坐标形式为:
ρ=xcosθ+ysinθ
(7)
该方法的一个突出优点是,分割结果对数据的不完全或噪声不是十分敏感。所以用于电力指针式仪表图像中指针的检测时,当指针边缘因为噪声干扰或其他原因出现间断的情况下仍能进行良好的分割。对上一节提取出来的图像进行边缘化处理,利用改进的霍夫变换将检测到的断续的短直线进行迭代拟合,即在同一方向上且大致坐落于同一直线的小线段拟合,得到的长线段即为指针所在直线y=kx+b。知道斜率k,通过θ=tan-1k计算出指针的倾斜角度。指针的示数N由下式得出。
(8)
其中,A为仪表盘总量程;θmin,θmax分别表示零刻度与满刻度指针的角度。
基于改进的霍夫变换的指针检测效果如图4所示。
(a)Hough直线检测 (b)直线拟合
图4 表针提取
在非均匀光照条件下,对不同电力指针式仪表进行了不同位置的拍摄,采用所提出方法进行自动识别,处理结果见图5,检测数据见表1。
图5 识别结果
从图5和表1中可见,该方法能适应不同类型的表盘,自动识别出指针读数;同时,识别读数相对误差较少。由于设备运行状态巡检的目的主要是与电力设备自身读数进行对比确定设备是否运行异常,因此该方法的识别误差能够满足巡检需求。
表1 检测数据
为提高指针式仪表读数自动识别的精度和准确性,针对指针图像的特点,提出了指针式仪表读数自动识别算法。该算法对输入的仪表图像进行表盘区域提取,对表盘图像进行特定预处理,并基于预处理所确定的仪表盘中心进行仪表指针的定位,根据指针的角度、零刻度线角度和满刻度线角度计算得到指针读数。该算法对仪表已知信息依赖少,通用性好,鲁棒性强;同时对仪表的旋转、平移、噪声干扰等情况均有较强的自适应性,能比较准确地得到指针的读数。
参考文献:
[1] YANG Z,NIU W,PENG X,et al.An image-based intelligent system for pointer instrument reading[C]//2014 4th IEEE international conference on information science and technology.[s.l.]:IEEE,2014:780-783.
[2] 王 瑞,李 琦,方彦军.一种基于改进角度法的指针式仪表图像自动读数方法[J].电测与仪表,2013,50(11):115-118.
[3] 刘 迪,毕笃彦,李权合,等.非均匀光照下指针式仪表自动判读算法设计[J].计算机应用与软件, 2013, 30(9):47-48.
[4] 陶冰洁,韩佳乐,李 恩.一种实用的指针式仪表读数识别方法[J].光电工程,2011,38(4):145-150.
[5] 陈 彬,金连文.一种仪表指针位置检测的中心投影法[J].计算机应用研究,2005,22(1):246-248.
[6] KIM K H,CHEN S L,LEE Y B,et al.A study on analog and digital meter recognition based on image processing technique[J].Journal of the Korean Institute of Telematics and Eleatronics,1995,9(32):79-94.
[7] ALEGRIAE C,SERRA A C.Automatic calibration of analog and digital measuring instruments using computer vision[J].IEEE Transactions on Instrumentation and Measurement,2000,49(1):94-99.
[8] 何智杰,张 彬,金连文.高精度指针仪表自动读数识别方法[J].计算机辅助工程,2006,15(3):9-12.
[9] RUBLEE E,RABAUD V,KONOLIGE K,et al.ORB:an ef-
ficient alternative to SIFT or SURF[C]//Proceedings of 2011 international conference on computer vision.Washington,DC,USA:IEEE Computer Society,2011:2564-2571.
[10] ROSTEN E, DRUMMOND T. Fusing points and lines for high performance tracking[C]//Proceedings of tenth IEEE international conference on computer vision.Washington,DC,USA:IEEE Computer Society,2005:1508-1515.
[11] CALONDER M,LEPETIT V,STRECHA C,et al.BRIEF:binary robust independent elementary features[C]//Proceedings of 11th European conference on computer vision.Berlin:Springer,2010:778-792.
[12] 陈再良,邹北骥,黄敏之,等.图像亮度特征对ROI提取的影响[J].中南大学学报:自然科学版,2012,43(1):208-214.
[13] GUO R,DAI Q,HOIEM D.Single-image shadow detection and removal using paired regions[C]//Proceedings of 2011 IEEE conference on computer vision and pattern recognition.Washington,DC,USA:IEEE Computer Society,2011:2033-2040.
[14] WU T P,TANG C K,BROWN M S,et al.Natural shadow matting[J].ACM Transactions on Graphics,2007,26(2):377-388.
[15] LEVIN A,LISCHINSKI D,WEISS Y.A closed-form solution to natural image matting[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2008,30(2):228-242.
[16] 杨志娟,袁纵横,乔 宇,等.基于图像处理的指针式仪表智能识别方法研究[J].计算机测量与控制,2015,23(5):1717-1720.
[17] 郭 佳.基于光照不均匀图像的自适应二值化方法研究[D].武汉:武汉科技大学,2013.
[18] OTSU N.A threshold selection method from gray-level histograms[J].IEEE Transactions on Systems Man & Cybernetics,1979,9(1):62-66.
[19] LING Y.Fast Hough transform straight line detection based on classification[J].Microcomputer Information,2007,23(11):206-208.