基于特征匹配与深度学习呼吸器缺陷检测方法

项新建， 潘 磊， 吴海腾

（浙江科技学院电气工程及其自动化学院，杭州 310023）

0 引 言

随着我国变电站的大力建设，维护电力变压器的稳定运行是提供居民优质电力的重要保证［1］。呼吸器在变压器中往往是易受忽略的器件，但是它对于变压器的长久运行起到关键的作用。变压器呼吸器的作用是隔绝外部空气中的水汽，也称干燥剂与吸湿器，当变压器油温变化时，它能够过滤外部空气水汽，以免变压器受潮，使变压器中水含量达标，保证变压器油的绝缘强度。由此，为了保证变压器的稳定运行，时刻检查变压器呼吸器是必不可少的。随着人工智能的发展，机器巡检慢慢出现在变电站中，如室外的巡检机器人，室内的挂轨机器人，高压线的无人机等［2～5］。由于人工检测电力设备缺陷时效率低、成本高，并且还要考虑人身安全等因素，因此，高效利用巡检机器人检测缺陷将成为趋势。

缺陷检测主要分为目标定位与缺陷识别，早期人们往往都是利用传统机器视觉的技术。赵永俊等［6］使用模板匹配定位变压器，然后根据灰色图的直方图信息来保证定位图效果；翟永杰等［7］改进了模板匹配，先通过AdaBoost算法初步识别变压器来减少背景的影响，再用模板匹配来精确定位，以达到减少误检率的效果；唐芳莉等［8］则采用特征匹配机器学习等算法来定位电力行业的检测设备。但是，由于模板匹配运算速度较慢，易受到背景与光照的影响，往往不具有适应性与泛化性。Hu等［9］利用矩形检测法来提取呼吸器区域，然后在该区域中进行颜色直方图统计，根据蓝色与粉色的比例来判定是否异常；辛明勇等［10］利用二值分割提取呼吸器区域，在HSV彩色空间上进行H和S的二维统计来判定异常。但在图像分割和颜色直方图的统计上，还是无法解决环境带来的影响。

近年来，随着深度学习的发展，且卷积神经网络在目标检测上具有速度快，泛化性较好的特点。李瑞生等［11］提出了SSD卷积神经网络来检测呼吸器区域，通过计算HSV颜色分量总面积的占比来判定异常；黄锐勇等［12］提出了新型无框CenterNet检测模型来定位电力设备；Zhao等［13］在判定呼吸器异常时，将所测RGB参数带入公式中，和给定阈值相比较判定异常。然而，利用传统方法来判定呼吸器异常，总会受到光照与背景的影响，泛化性差，并且变电站中呼吸器不仅仅有颜色异常，还有外观异常比如破损、污渍等，都影响着变压器的稳定运行。

本文提出了一种特征匹配与深度学习相结合的呼吸器缺陷检测方法，首先在巡检机器人拍得图片上做SURF特征匹配，能够得到背景少的高质量大图，同时还起到了呼吸器初步定位的效果，然后从变电站收集异常数据，利用改进得SSD目标检测算法直接检测异常种类。该方法使得巡检机器人能够成功检测变压器呼吸器的多种异常，提高了检测准确率。

1 SURF特征匹配和SSD目标检测算法

1.1 SURF特征匹配算法

SURF（Speeded Up Robust Features）［14］算法作为SIFT（Scale-Invariant Feature Transform）算法的优化版本，它主要优化的是计算速度，体现在特征点检测的部分。SURF构建了Hessian矩阵，利用Hessian矩阵的行列式来确定特征点的位置。同时为了考虑尺度不变性，在构建Hessian矩阵时，先对图片进行了高斯滤波。Hessian矩阵表达式如下：

当Hessian矩阵的行列式达到最大值，就是需要测得的特征点的位置，为了简化行列式的计算过程，SURF算法将盒式滤波器来近似代替了高斯滤波器，如图1所示。图1（a）是高斯滤波器分别在y方向和xy方向二阶偏导数，由图可见，原本的高斯核是服从正态分布，从中心往外，系数越来越低，所以将黑色的部分近似为－2，白色的部分近似为1，灰色的部分为0，最后就得出了盒式滤波器（见图1（b）），而9×9的盒式滤波器近似于σ＝1.2的高斯滤波器，这样就得出了Hessian矩阵的行列式的近似式：

图1 高斯滤波器和盒式滤波器转化图

式中：Dxx、Dyy分别表示盒式滤波器在x、y方向的二阶偏导；ω表示由于将盒式滤波器代替了高斯滤波器的近似误差，这里取0.9。

在构建特征点描述符时，SURF算法利用Haar小波特性，在16个子区域中，分别统计水平、垂直方向的Haar小波特征之和，水平、垂直方向的Haar小波特征绝对值之和4个特征向量，一共有64维特征向量作为SURF特征点描述符，而SIFT算法是统计子区域8个方向，共有128维特征向量，可以看出SURF算法大大地减少了计算量。

1.2 SSD网络模型

SSD（Single Shot MultiBox Detector）［15］作为一种端到端的网络结构，虽然在精度上没有以Rcnn［16］为代表的二阶段网络结构高，但是其具有实时检测的性能，在工业领域广泛应用。相比同类型的端到端网络，SSD具有更多的特征层进行采用，每个特征层拥有较多的先验框，所以预测结果较为准确。

SSD网络结构主要分为三部分：①首先是主干特征提取网络结构，利用了经典的VGG16网络，同时对VGG16网络结构做了点改变，将第6和第7层的全连接网络改为了3×3和1×1的卷积神经网络。②接着4组1×1和3×3的卷积神经网络，得到4个不同尺度的特征层。③预测层。在提取的6层不同尺度的特征层上做两次卷积神经网络，分别得到先验框的位置预测和种类预测，最后经过非极大值处理，得到最终的预测框。如图2所示SSD网络结构模型，其中Conv4＿3是表示第4层的第3次卷积网络，fc6和fc7代表原本VGG16结构中的第6和第7层的全连接层，现改变为卷积层。其中传到检测层的6个特征层分别是Conv4＿3卷积层、fc7卷积层、Conv6第二次卷积层、Conv7第二次卷积层、Conv8第二次卷积层和Conv9第二次卷积层。

图2 SSD网络结构模型

由于本次实验处理的图片是目标大图，选取SSD300模型，上述步骤的6个特征层每个像素中默认的先验框数量分别为4、6、6、6、4、4，SSD300最后预测的先验框一共有8 732个，可以看出SSD是密集采样模型。

2 变压器呼吸器的识别

2.1 呼吸器缺陷识别流程

根据目前的国家电网规定，呼吸器里的硅胶变色程度到达2／3时需要人员更换，但是真实情况中呼吸器硅胶变色状态并不是整齐的粉红变色，也可能是斑点状的白色，并且呼吸器外观破碎也会导致安全隐患，以往基于颜色特性的检测方法在此并不适用，所以本文提出了基于特征匹配与深度学习结合的呼吸器缺陷检测方法。

首先，利用脚本图片与巡检机器人上传的原图做特征匹配，得到背景较少的定位大图，然后使用目标检测算法直接回归预测该呼吸器状态，呼吸器缺陷识别流程如图3所示，呼吸器缺陷识别具体步骤如下：

图3 呼吸器缺陷识别流程

（1）特征匹配。将相机拍摄的原图与脚本图片做SURF算法特征提取，然后利用最近邻算法匹配特征点，当匹配的特征点数量满足阈值时，裁剪出匹配的区域，最后得到定位大图。其中特征匹配结果见图4，图4（a）是制作的脚本图，将上传巡检机器人云台；图4（b）是巡检机器人拍摄的原图；图4（c）是经过特征匹配后的定位放大图。

图4 匹配脚本和效果图

（2）目标检测。保存SSD目标检测训练后的模型，在定位放大图上做目标检测，回归预测该目标三种状态：变色、破损和正常。

2.2 特征匹配流程

根据上文SURF特征匹配算法找出的特征点，需要从其特征点中裁剪出呼吸器定位大图，裁剪的具体步骤如下：

（1）FLANN快速最近邻匹配算法。FLANN主要分为建立K-D树和K-means树算法，本文选择了运算速度较快的建立K-D树算法。同时，提取匹配同一点的最近的两个关键点，若最近的距离除以次近的距离的比率小于0.7，则保留最近关键点最为最佳匹配点；反之，该点没有最佳匹配点。

（2）计算变换矩阵。上一步骤中，得到脚本图和机器人拍摄图对应的匹配点坐标，若匹配点的坐标数量大于阈值时，计算该脚本和拍摄图片之间的变换矩阵。

（3）透视变换。根据脚本图的长宽坐标信息和上一步所求的变换矩阵，经过透视变换得到拍摄图的定位坐标，根据坐标裁剪出并放大该图。裁剪过程如图5所示，脚本图片和拍摄图能生成较多的匹配点，从而较容易裁剪出脚本相似区域。

图5 匹配裁剪效果图

2.3 改进的SSD网络模型

虽然经过特征匹配的定位放大，变压器呼吸器更容易识别，但是实际环境中复杂设施的特征仍然被放大，带来了一定的干扰，因此增强图像中呼吸器中的特征是有效的方法之一。

本文引入了通道注意力机制SE网络模型，通过特征层的通道信息，提取并增强呼吸器的特征，同时抑制背景环境特征信息，在多次迭代学习中，使得深度学习网络更加注意到呼吸器目标的特征，从而提高缺陷识别率。

SE通道注意力机制网络具体设计如图6所示，注意力机制在图6的右端，该网络分为两个阶段：压缩和激励阶段，在压缩阶段将特征层全局池化为实数，通道数保持不变；在激励阶段使用两层全连接网络，通过网络迭代学习，使用归一化函数得到每个通道的权重系数，将通道的权重系数分别与特征层相乘，以达到增强抑制特征层的目的。

图6 SENet网络结构图

由于SSD网络的检测模块由6个有效特征层构成，本文改进的SSD网络将在这6个有效特征层改动，具体改动如图7所示。本文将在6个有效特征层中分别加入了SE通道注意力机制网络，由于该6个有效特征层有着不同的分辨率，SE通道注意力机制起到了对大中小不同目标做到了增强和抑制的效果。

图7 改进的SSD网络结构

SSD是密集采样模型，对于特征层的每一个像素都要生成预选框，就会产生正负样本数量极其不平衡的缺点，不仅使得在训练时负样本Loss值很大，而且降低了预测精度。本文收集的数据都是单一的变压器呼吸器缺陷数据，导致了正负不平衡的问题愈劣。如图2所示，SSD300模型在经过Conv4＿3层时，产生的38×38的特征层上存在5 776个预选框，但是其中大部分是负样本。为了加快训练速度，取随机四倍正样本的数量的负样本用于训练。

3 实验与结果分析

3.1 SSD模型训练

本文的数据集来源于巡检机器人现场拍摄和自己拍照收集完成，一共1 181张图片，通过了旋转、裁剪、拼接、高斯滤波等数据增广到2 760张，分为1 960张训练集和800张验证集。

训练平台采用NVIDIA GTX1660TI型GPU、英特尔Core（TM）i7-9750H CPU处理器，操作系统为Linux Ubuntu 16.04，并搭建了Opencv4.4和CUDA10.0常用环境，深度网络框架使用Pytorch框架。为了加快损失函数的收敛，开始先冻结一部分参数，将学习率设为0.000 5，当迭代次数到达500时，学习率设为0.000 1，解冻训练至迭代次数为3 000结束。

3.2 实验结果分析

本次实验从收集到的数据集中随机抽取了800张图片作为验证集，其中硅胶变色有524张样本，正常的呼吸器有132张样本，外观破损有144张样本。对此测试集主要统计缺陷检测情况，结果如表1所示，本实验的识别准确率在98%左右。因为缺陷检测主要应用在巡检机器人上，对于缺陷检测的精确度要求较高，而检测方法是拍照检测，并不要求做到视频实时检测。

表1 不同模型缺陷检测结果

精确度是目标检测算法中常用的指标，表示预测为正的样本中实际也为正的样本比例，反映着目标检测的精度，精确率公式如下：

式中：Ntp表示检测为正样本在实际正样本中的个数；Nfp表示检测为正样本在实际负样本中的个数。由于现在工业巡检机器人是拍照检测，所以本实验时间指标是单张图片检测的处理时间。

为了体现本实验的优势，将近年来比较常用端到端的不同算法做对比，如表1所示，在没有使用SURF特征匹配算法时，Centernet无框检测算法在变色状态准确率到达最高的91.3%，但是破损的准确率较低；Yolov3在变色和破损状态上取得较稳定的准确率，但是单张图片处理速度上是其他两种算法近乎2倍；而SSD算法在变色和破损状态的准确率很稳定，最突出的是处理时间最快的。

本实验在SSD缺陷检测的基础上，增加了SE注意力机制模块，在缺陷检测上均增加了5%的准确率；再使用了SURF特征匹配来定位大图检测，通过特征点匹配来定位和脚本相似的位置，本次实验方法在变色状态识别精确率上到达98.5%，在外观破损识别精确率上到达98.0%，均达到最高精确度，单张图片所用时间为0.46 s，由于实验应用在机器人定点拍照检测，所以基本满足。

图8是本实验预测效果图，图8（a）是正常状态下检测图，图8（b）是斑点式变色检测图，图8（c）是常见的自下而上的变色的检测图，图8（d）是表面污秽检测图，图8（e）是硅胶完全失效检测图，图8（f）是外观破裂检测图。图8（b、c、d）用一般彩色空间检测识别率会比较低，尤其是斑点式变色，白色斑点较难识别。图8（f）外观破裂，可以看出其中硅胶也开始变色了，所以有必要识别更换。综上，本实验方法比较成功的识别了变电站中较多的呼吸器缺陷问题。

图8 实验测试效果图

4 结 语

针对巡检机器人拍摄图片背景复杂，呼吸器占图片比例太小问题，提出了使用SURF快速特征匹配算法，经过制作脚本图片，从机器人拍摄的图片得到背景少的定位大图，来提高呼吸器缺陷识别率。由于检测图片是呼吸器定位大图，使用SSD300目标检测模型，这样能快速获得缺陷目标，同时深度学习目标检测和现有颜色空间检测对比，能够检测出更多种类的缺陷问题。根据本文的实验对比，SSD模型是几种深度模型速度较快且识别率稳定的算法模型，结合SURF特征匹配算法，能够在实际场景中快速且稳定的识别出呼吸器缺陷。本文提供了呼吸器检测的一种新思路，但是仍有些不足：①由于变电站呼吸器较多，制作脚本图片耗费大量人力资源，每当换一个变电站时，又必须重复工作。②特征匹配在室内效果较好，但在室外光照影响较大。所以如何能够快速且稳定地定位呼吸器，是后面科研的主要问题。