基于深度学习的电力巡检图像实时处理与识别算法研究

石志彬，罗望春，莫兵兵，张福

（中国南方电网超高压输电公司检修试验中心，广东 广州 510663）

对输电线路的状态进行监控，是电力行业的常态化工作，应用无人机或直升机对输电线路进行航拍巡检是目前的主要工作方式，拍摄得到的大量图片需要人工判断是否发生缺陷故障，而通过肉眼去判断则需要消耗大量的人工成本，且工作效率与精准度均不理想[1-3]。随着深度学习与计算机视觉技术的不断发展，应用人工智能技术对航拍巡检图像进行目标检测和缺陷识别成为了电力巡检领域的发展趋势[4-5]。其研究热点主要集中于两点：一是对航拍巡检图像进行目标检测，识别出目标的位置与类型；二是识别航拍巡检图像是否存在故障或缺陷[6]。自动化人工智能识别方法的提出，有效提高了输电线路故障巡检的效率，降低了人工成本，具有广阔的应用前景[7]。自2013 年至今，基于神经网络的深度学习算法在输电线路目标缺陷识别方面展现出了良好的应用潜力，国内学者王永利通过改进卷积神经网络的识别异常图片特征，可以准确、有效地判定出故障的位置[8]。同时，一些国外学者应用SSD 网络对输电线路绝缘子进行缺陷识别，提出了经典目标检测模型，从而提升了训练图片的效率[9]。现有研究成果大多针对数据模型展开，侧重于模型的训练技巧，而在深度学习技术的改进以及数据集特征库的建立等方面的研究仍不够深入[10-12]。

针对上述问题，该文提出使用基于深度学习的改进Faster-RCNN 模型和HSI 颜色特征相结合的目标检测方法，实现了对电网巡检线路的图像数据集进行各类常规缺陷目标的智能识别。

1 图像识别处理技术

1.1 图像归一化

由于输电线路目标检测模型的训练需要相同格式的数据集，为了便于数据处理，首先需要对图像进行归一化预处理。该方法的原则是尽可能少地改变样本图像的特征，根据归一化处理和损失函数处理，减少在转换与处理时产生较大误差，从而尽可能完整地保留图像特征[13]。图像归一化的目的是在不改变像素值的情况下，统一图像的格式和大小。

对无人机拍摄的图像进行缩放归一化处理的手段通常是线性插值技术，其采用的是一种将目标图像的坐标值（像素值）映射到原图坐标的方式来实现，也即后向映射[14-15]。

双线性插值又称为一阶插值，但其本身并不是线性的，只是将常规的线性插值拓展到了二维数据的一种应用，该插值方法会将其中的4 个坐标像素值进行加权求和[16]，然后再利用原图中真实存在的像素值最终决定缩小后图像的像素值。

1.2 基于HIS颜色模型的特征提取

HSI 颜色模型用H、S、I三个参数来描述颜色特性。其中，H定义为颜色的波长，称为色调，是对纯色定义的属性，可以反映HSI 色彩空间中颜色的类别；S表示颜色的深浅程度以及鲜艳程度，称为饱和度，反映了纯色被白光稀释的度量；I表示亮度，是一种主观描述，在数值上无法测量，但其反映了无色的强度，是一种感觉参数。相较于颜色浓度的变化，人类的视觉系统对于亮度变化的反映程度更强。为了便于色彩的处理及识别，人们通常习惯于用色调、饱和度、亮度来描述物体的颜色。

由于HSI 颜色模型的三个分量可以分开处理且相互独立，所以这就使得HSI 模型成为了开发基于彩色描述的图像处理方法的理想工具，可以应用图像处理与计算机视觉技术相关的大量算法，从而大幅简化图像分析及处理时的工作量。

由于强度分量不会对图像色调产生明显的影响，因此可以不用加以限制。但是，实际提取出的电网故障区域的HSI 分量范围仍需要根据转换结果进行调整。

电网巡检中常见的锈蚀类故障，通常由图像的颜色特征进行识别。这就需要首先将图像由RGB 颜色空间转换为HSI颜色空间，并提取各个像素点的H、S、I分量值，其中，S和I分量归一化为[0,1]值。然后通过判断转换后图像每个像素点的HSI 分量锈蚀颜色特征，将锈蚀像素点与非锈蚀像素点分割开来，并将非锈蚀像素点变为白色，使得经过处理过后的图像只存在锈蚀区域，从而达到目标区域与背景分离的目的。颜色空间转换的流程，如图1 所示。

图1 颜色空间转换流程

2 基于深度学习的缺陷识别

2.1 Faster-RCNN算法改进

Faster-RCNN 算法是在传统FR-CNN 算法的基础上，为了适应小目标场景，在特征层赋予高层语义而实现的。该文为了实现高精度的输电线路的故障缺陷检测，在Faster-RCNN 模型网络中嵌入了密集的连接结构，以RoI Aligin 代替RoI Pooling 的方式建立了改进的Faster-RCNN 输电线路缺陷检测算法，从而提高识别精度、增加应用场景范围。

构建改进Faster-RCNN 模型的关键在于有效连接压缩激励密集与数据特征结构，然后在此基础上建立Dense Net 网络。根据检测目标特征的空间信息，形成连接两个激励层之间的依赖关系。为防止特征层参数过多，需要将通道缩减因子进行压缩，从C 层压缩至C/r 层，直至恢复到原有特征参数的数据量水平。

在池化层的调整过程中，首先需要关联预测层；然后将RoI Align 层与预测层连接；最终建立改进的Faster-RCNN 算法模型。

2.2 缺陷目标识别

采用改进Faster-RCNN 算法对输电线路缺陷进行识别，对于存在故障的图片首先利用卷积神经网络进行处理，并对图像中的锈蚀部分进行识别，提取图片中例如销钉缺失或存在鸟巢等常见故障的特征块，建立策略网络（Region Proposal Network，RPN）。然后利用Softmax 激活函数计算映射图中的每个特征点属于具体哪一种故障的概率，再将初始图片拆分成不同的等待区域，选择一部分区域进入池化层，剩余部分上传到网络RPN 层。最终，达到识别图片中存在故障缺陷的目的。

1）CNN 特征提取

卷积神经网络是目标检测的核心技术，Faster-RCNN 采用一组基础的卷积神经网络来进行特征的提取，因此该CNN 需要进行数据初始化。Res-101网络是目前识别精度较高的网络，其特征提取采用了残差结构，因此选用其作为输电线路缺陷识别模型训练的初始化网络。

输入线路特征图像作为原始的输入量，卷积神经网络对输入信息进行运算，若第一层为卷积层，则该卷积层的输出向量为：

若第n层为池化层，则该池化层的输出可表示为：

2）基于RPN 的候选域生成

RPN 有两个功能：一是在分类层用于生成区域建议目标，判断候选区域的类别；二是利用边界框的回归预测故障缺陷特征的中心目标和区域范围，并修正检测框的位置，从而获得精确的区域划分方案。

在RPN 模型中，图片特征可被看作有256 通道的图像。通过利用卷积核滑窗遍历整个特征图，对于图像中的每个像素点，采用9 种可能的候选窗口以及3 种不同的面积和比例进行处理。分类层输出每一个位置中属于前景与背景的概率，回归层输出4个平移缩放参数。在回归层中，该文使用交互比Z作为衡量候选区域框定的准确度：

式中，X、Y表示特征层中不同候选区域的面积。

3）池化层特征维度的归一化

由于在进行卷积操作时，输入目标图片被缩放至统一维度时，难免会损失部分有效信息，这虽然不会在卷积操作和池化操作中产生明显的影响，但对全连接层的连接会造成改变，并会因此影响最终的识别效果。该文采用空间金字塔池化算法SPP，在使故障缺陷特征部分有效保留的情况下，完成输入的向量维数归一化。对每一张输入的图像进行三次卷积操作，即采用4×4、2×2、1×1 三种变换因子对特征图进行池化，取各自区域元素的最大值对该目标区域进行特征表征，并将任意维度的候选域转换为16+4+1=21 个特征向量，从而解决特征图大小不一的状况。

2.3 常规故障缺陷检测

在获取到输电线路巡检图像后，进行故障缺陷定位。为了节省特征提取所需要的时间，该文参考YOLOv1 结构，采用SSD 算法进行常规故障检测。

该算法的关键步骤包括：

1）电网巡检图像深度特征的提取；

2）不同尺度的特征层融合；

3）采用SSD 损失函数进行多目标处理。

为了克服单步骤模型的缺陷，采用MFIDN 模型进行骨干网络设计，使用非线性激活函数来提高模型的泛化能力。由于巡检得到图像的大部分区域并不含有故障和缺陷，因此为了提高检测精度，选用平滑L1 损失函数进行回归分析。当出现故障缺陷时，设计两组特征提取巡检图像的结构，从而提高受检测图片的检测范围，并对图像进行卷积操作。具体处理方法是：当航拍图片的特征图维度为28×128时，首先对求和计算之后的特征图进行筛选，然后再进行去噪处理。

3 实验结果及分析

以南方电网某公司的航拍巡检图像数据集为例，进行实验测试。在图片数据集中，应尽可能多地涵盖各种具体情况，例如常见的销钉缺失故障包括水平、竖直等正常情形，还包括各种不规则排列的销钉。此外，由于拍摄图片的环境不同，图片的效果受到天气、地点、光线等因素影响。因此在建立图片样本集时，充分考虑不同环境因素的影响，选取具有代表性的不同类别图片进行实验分析。覆盖不同角度、光线的销钉缺失类型，以提高线路缺陷检测的精度。

采用深度学习算法进行目标检测，首先需要对样本数据集进行标注，标记故障的位置信息，此次实验共标记7 985 张无人机航拍巡检图片。随机选取其中的6 000 张作为训练集，2 000 张作为测试集，将所有信息汇总至CSV 文件。完成数据标记之后，对图片进行预处理，基于HIS 颜色模型对所有图片进行特征提取，增强图片质量。

基于改进Faster-RCNN 算法对缺陷目标进行识别，并对巡检图像数据集进行训练和实验。使用Pytorch 深度学习框架初始化模型权重，连接分类器和融合结构并对实验结果进行分析。与传统的MFIDN 目标识别算法相同，该文虽然也采用了HOG、SURF 特征，但凭借所提出的改进Faster-RCNN 算法，使得所提方案具备了更为理想检测能力。应用该文方法对巡检图像中的常见故障缺陷检测结果，如图2 所示。

图2 航拍巡检图像实时检测结果

为了验证该文所提方法的有效性，分别使用不同的损失函数对改进的Faster-RCNN 算法进行训练。表1 列出了不同组别下的AP 值。从表中可以看出，在L1 损失函数和Logistic 条件下的AP 值最高，且模型性能最优。

表1 MFIDN损失函数验证

当定位损失采用平滑L1 损失函数、类别损失使用Logistic 交叉熵损失函数时，对输电巡检图片进行目标检测，判断所提算法的有效性。表2 为几种基于深度学习的目标缺陷检测对比结果。从表中可以看出，随着网络模型的优化与改进，图片的识别精度不断提高。与其他类似的方法相比，该文提出的改进深度学习算法在测试数据集上实现了较为理想的目标检测效果，实时处理时间最短，且故障缺陷的识别精确率可达92.54%。

表2 故障缺陷识别精度对比

4 结束语

针对深度学习算法实时性差、精度低等问题，该文提出采用基于深度学习的改进Faster-RCNN 模型和HSI 颜色特征相结合的目标检测方法，对电力巡检图像进行实时处理与识别，并通过实际实验分析验证了文中所述方法的有效性。但该文所述算法采用了多个网络提取特征，通过特征融合解决识别精度问题，并增加模型的冗余度。在下一步工作中，应研究更简化的网络特征提取模型，实现端对端的训练。