基于图像配准的电力设备缺陷定位算法

杨鼎革，迟清，左坤，万康鸿，尚宇，吴经锋

（1.国网陕西省电力公司电力科学研究院，陕西 西安 710100；2.国网陕西省电力公司，陕西 西安 710048）

随着国家经济的快速发展，用电需求随之激增，电力系统规模不断扩大，电力设备的数量也日益庞大。电力设备的故障不仅会造成供电系统意外停电而导致电力企业经济效益减少，而且有可能造成用户的重大经济损失，因此电力设备的可靠性及运行情况直接决定了整个电力系统的安全和稳定运行。

目前，电力设备的巡检主要靠人工完成。人工巡检方式具有工作模式艰苦、劳动强度大、安全性低、巡检效率低及缺陷发现不及时不全面的缺点。除此之外，电力设备所在的特殊环境也给巡检人员带来了一定的危险性。随着无人机、机器人等技术的逐渐成熟，结合此类移动平台的半人工巡检方式也逐渐推广开来，但是依旧止步于电力设备图像的采集工作，无法对图像进行智能化分析。

对电力设备的缺陷进行智能识别与分析，并借助各种先进的算法判断电力设备故障的类型，以便及时发现设备的故障隐患，采取相应措施，实现科学的设备故障诊断和检修，对电力系统运行的可靠性、安全性具有重要意义。

在电力设备缺陷智能检测方面，计算机视觉技术逐渐应用到各个方面，如利用计算机视觉进行电容器铝壳端面缺陷检测[1]、光纤端面检测[2]、仓储管理[3]、无人机清障[4]等，主要为利用红外线[5-8]、紫外线[9]图片进行检测，获取图像的成本较高，算法能够检测的缺陷也较为单一。可见光图片的获取成本较低，但是在无人机或机器人巡检的过程中，存在由于拍摄时间、角度引起的图像光照变化、旋转畸变问题，使得缺陷检测的难度较高。利用可见光图片处理的方式，主要包括两种，一种为利用传统的人工特征进行处理[10-11]，但是由于图片拍摄过程中的光照变化、旋转畸变，给识别带来了难度；另一种为利用深度神经网络对图片进行识别[12]，但存在识别效果对数据集质量依赖强，且实际可用数据集不足的问题，导致识别效果不佳。

针对巡检机器人或无人机拍摄的时间、天气状况不同引起的光照变化问题，本文利用直方图均衡法使图像的光照度均匀化，减弱光照变化对识别率的影响。针对巡检机器人或无人机在巡检过程中，拍摄角度的变化引起固定场景下所拍摄的图片存在旋转、畸变问题，本文通过特征点的提取、匹配以及特征点对的筛选，计算出两幅图像的投射变换矩阵，矫正两幅图像的相对旋转和畸变。最后，本文对两幅图像进行差分，利用边界去噪和形态学去噪的混合去噪方法降低差分图中的噪声，完成缺陷定位。相比于深度学习的方法，本文提出的方法不依赖于数据集、计算成本低、消耗时间少，且对硬件要求也不高，有利于在嵌入式平台部署。

1 图像照度均匀化

灰度直方图是多种图像空间域处理技术的基础，且在软件中计算简单，已成为实时图像处理的流行工具。

对于灰度级范围为[0，L-1]的数字图像（L为灰度阶数），其直方图是离散函数，可表示为

式中：rk为第k级灰度值；nk为图像中灰度为rk的像素个数。

归一化后的直方图函数表示为

式中：p（rk）为灰度级rk在图像中出现的概率；M，N分别为数字图像像素点的行数和列数。

对于输入图像中每个具有灰度值r的像素产生一个输出灰度值s，其灰度映射关系如下：

在图像处理中，一种特别重要的变换函数有如下形式：

式中：pr（ω）为输入图像灰度值ω的概率密度函数。由公式（4）可推导出下式：

由概率论可知，输出图像灰度值s的概率密度函数与输入图像灰度值r的概率密度函数有如下关系：

由式（5）、式（6）可推出：

由此可知，ps（s）是一个均匀概率密度函数，输入图像灰度值r经过T（r）灰度映射后，输出图像灰度值s的概率密度函数是均匀的，可减弱光照变换对实验结果的影响。

2 图像配准

图像配准是众多计算机视觉任务中的基础，为了比较固定场景下，样本图和测试图的不同之处，并以此定位缺陷的位置，需要对两幅图像进行配准。

2.1 特征点提取

特征点提取方法有很多，较为常用的有尺度不变换特征[13]（scale-invariant feature transform，SIFT）、加速稳健特征[14]（speeded up robust feature，SURF）、方向旋转不变性特征[15]（oriented FAST and rotated BRIEF，ORB）、快速提取特征器（features from accelerated segment test，FAST）、二进制鲁棒独立的基本特征（binary robust independent elementary features，BRIEF）等等。SIFT特征提取算法具有旋转不变性和尺度不变性特性，对两幅图像在相对旋转和尺度变换的情况下，能稳定地提取出相似的特征点，但是其计算成本很高，不适合实时性高的任务。SURF特征提取算法是对SIFT的一种改进，加快了其计算过程，在有多个图形处理单元（graphics processing unit，GPU）的硬件设备上有着良好的表现，但却对设备的要求有着相应的提高，同时多个GPU也必然造成设备的体积有所增大。相比之下，ORB特征提取算法，计算成本较低，可应用于构造较为简单的硬件上，同时速度高于SIFT算法两个数量级，可以满足实时运算的要求，且其特征提取的性能在大部分应用场景下不逊色于SIFT与SURF算法。所以本文使用ORB特征提取算法用于提取样本图和测试图的特征点。

SIFT，SURF及ORB特征提取器的效果如图1所示。

图1 不同特征提取器效果Fig.1 Effects of different feature extractors

图1a为原始图片，图1b为原始图片的SIFT特征图，图1c为原始图片的SURF特征图，图1d为原始图片的ORB特征图。以上三种特征图，初始特征都非常多且杂乱，需要进一步进行筛选。

2.2 特征点匹配

常用的特征点匹配算法有暴力特征匹配器（brute force matcher，BFMatcher）及基于快速临近算法的特征匹配器（fast library for approximate nearestneighbors based matcher，FlannBased-Matcher）。BFMatcher总是尝试所有可能的匹配，从而总能够找到最佳匹配，而FlannBased-Matcher更快但找到的是最近邻近似匹配。为了提高图像配准的精度，本文选择了BFMatcher，用于样本图特征点和测试图特征点之间的匹配。同时，FlannBasedMatcher由于数据格式与ORB特征提取器的数据格式不兼容，也是选择BFMatcher的原因。BFMatcher特征匹配器的效果如图2所示。

图2 BFMatcher特征匹配器效果Fig.2 Effects of BFMatcher feature matcher

2.3 特征点筛选

经过特征点匹配，会产生一系列的特征点对，但是这些特征点对中会存在一些误匹配。为了去除误匹配的特征点对，使用随机抽样一致算法（random sample consensus，RANSAC）寻找最佳单应性矩阵H。利用单应性矩阵H，完成测试图到样本图的透射变换，矫正测试图相对样本图的旋转和畸变。单应性矩阵H的定义如下：

式中：s为尺度因子；fx，fy，μ0，v0，γ为由于制造误差产生的偏斜参数，通常很小；M为整个相机内部参数；最后一项为相机外部参数。

3 缺陷检测

3.1 图像差分

使用矫正后的测试图，与样本图进行差分，相对异常的位置会产生较为明显的灰度变化，即为缺陷的大体位置。然后使用最大类间方差法，对差分图进行二值化，为下一步的去噪工作作准备。样本图与测试图的差分图及其差分图的二值图如图3所示。

图3 样本图与测试图的差分图及其差分图的二值图Fig.3 The diagram of the difference between sample picture and test picture and its binary

图3a为开关柜异常状态的灰度图，图3b为开关柜正常状态的灰度图，图3c为两图的差值图，图3d为差值图的二值图。可见二值图中主体目标较为清晰，但还存在较多的噪点，需要进一步去除。

3.2 混合去噪

3.2.1 边界去噪

由于拍摄习惯，缺陷一般位于图像较为中心的位置，所以可以认为边界的区域为噪点，首先去除边界的噪点，如图4所示。

图4 去除边界噪声Fig.4 Cut off edge noise

图4a为开关柜正常状态与异常状态的差值图经过二值化操作，得到的二值图；图4b为二值图去除边界噪声后的图片。由图4b可见边界去噪有效地去除了二值图边界噪声，但是图内部还存在细小的噪声需要进一步去除。

3.2.2 形态学去噪

去除边界的噪声后，差分图的内部、在缺陷周围仍有一些细小的噪点，会对缺陷的定位产生干扰。通过形态学腐蚀可以去除这些细小的噪点，但同时缺陷区域也会被腐蚀变小，使得定位区域会小于缺陷区域。通过形态学膨胀，可以在去除内部细小噪点后，还原缺陷区域。其效果如图5所示。

中国共产党领导人民在长期的历史实践中衍生出了井岗山精神、苏区精神、长征精神、延安精神、西柏坡精神等新型道德规范，党不仅倡导人民树立正确的价值观，而且认真践行正确的价值观。随着社会主义市场经济的深入发展，社会意识也出现了多样化的趋势，人民在道德判断和实践行为方面出现了许多矛盾，甚至出现道德失范的情况，比如“路人跌倒扶不扶”的问题，引发了人们对价值观实践的困境的思考。因此，要以社会主义道德规范为基础，把公民道德建设推向纵深发展的轨道，激励人们爱国守法、明理诚信、尊老爱幼、互帮互助。

图5 形态学方法去除内部细小噪声Fig.5 Cut off inside noise by morphological operations

图5a为二值图去除边界噪声后的图，图中仍存在大量的细小噪声；图5b为对图5a进行形态学腐蚀操作后的腐蚀图，可见图中的细小噪声已经被消除，但是目标也被腐蚀，导致检测目标范围变小；图5c为图5b经过形态学膨胀后的膨胀图，由图可见有效地还原了目标范围，为目标的定位做好了准备。

3.3 缺陷定位

对差分图进行混合去噪后，差分图中只剩缺陷部分，框选差分图剩余的部分，即可完成缺陷定位的任务。其效果如图6所示。

图6 缺陷定位Fig.6 Location of defects

图6a为开关柜异常状态图；图6b为开关柜异常状态与正常状态的差值图的二值图，然后去除边界噪声之后的效果；图6c为图6b经过形态学腐蚀膨胀之后的效果；图6d为缺陷位置在原图的定位，由图可见目标款较为完整的包括了缺陷的位置。

4 实验结果

实验样本库中包含10类场景，各类场景包含1张样本图片，共10张样本图片。测试库中包含与样本库10类场景对应的30张测试图片，每种场景下各有3张测试图片。为了增加测试样本数量，以增强实验结果的可靠性，将30张测试图片分别以36°每次的速度旋转10次，增加到300张测试样本。

此类预测问题只判断测试库中的图片是否异常，是典型的二分类问题。二分类问题的评价标准，一般包含正确率、精确率、召回率、虚警率及漏警率，其定义分别如下。

1）正确率（accuracy）表示所有测试图片中，被正确分类的比例：

式中：NTP为测试图片异常且预测结果也为异常的测试图片数量；NTN为测试图片异常但预测结果正常的测试图片数量；NFP为测试图片正常但预测结果异常的测试图片数量；NFN为测试图片正常且预测结果正常的测试图片数量。

2）精确率（precision）表示所有预测为异常的样本图片中，预测正确的比例：

3）召回率（recall）表示所有预测正确的测试图片中，异常样本图片的比例：

4）虚警率（false alarm）表示所有预测错误的测试图片中，正常图片被预测为异常图片的比例：

5）漏警率（missing alarm）表示所有预测正确的测试图片中，正常样本的比例：

实验分别测试了SIFT，SURF，ORB三种特征点提取方式，结合BFMacher特征点匹配及RANSAC特征点对筛选方法，完成图像配准及缺陷检测的实际效果。测试结果如表1所示。

表1 SIFT，SURF，ORB不同特征测试结果Tab.1 Results of SIFT，SURF，ORB feature extractor

实验结果表明，SIFT，SURF，ORB特征点提取算法在此实验中正确率、精确率、召回率、虚警率及漏警率基本无差别，考虑到实验样本较少及SIFT，SURF，ORB特征点算法提取的原理，SIFT及SURF的特征描述子非常复杂，占用了大量的计算时间，但是相对精确一些，而ORB的特征描述子较为简单，计算速度较快，同时精度并未下降很多，更为适合实际应用。

5 结论

本文针对固定场景下电力设备的缺陷定位，提出了一种有效的缺陷定位方法，即利用直方图均衡法弱化光照变化对结果的影响；利用ORB特征点提取算法、BFMatcher匹配器及RANSAC特征点对筛选法完成样本图与测试图之间的配准，矫正旋转畸变；利用混合去噪的方法，完成缺陷的定位。

经过实验证明，本文所提方法的正确率在80%以上，且所需的时间成本也小，对硬件的要求也不高，适合对实时性要求较高的任务，同时也可搭载于移动设备，如巡检机器人、无人机上，对采集的图片做初步判断。