基于Faster RCNN的红外热图像热斑缺陷检测研究①

郭梦浩，徐红伟

(中国计量大学 机电工程学院，杭州 310018)

可持续发展是二十一世纪的一个重要命题，核心思想是经济发展与资源、生态环境协调一致，其中最重要就是寻找一种环保干净型能源系统.太阳能不仅清洁无污染，而且来源广泛，成为新能源发展的宠儿[1].但是光伏组件由于其工作特性长期裸晒在自然环境下，环境比较恶劣.在户外，不仅要遭受风吹雨打，而且表面容易沾染沙尘与飞禽粪便等异物.面对以上这些情况，如果不能及时对光伏组件进行有效的日常维护，就会使光伏组件产生各种各样的故障，热斑就是其中一种典型故障.

热斑问题不仅影响光伏组件的发电效益，严重时甚至可引发火灾，因此实现对热斑的实时定位检测对光伏电站的维护工作有着重要应用价值.王培珍等[2]发现光伏组件会在不同的状态下存在明显的温差，针对这一特性提出基于红外图像分析的故障检测方法.王亚丽[3]提出一种改进传统OSTU 算法来自动识别最优分割阈值的方法对光伏组件上产生的缺陷进行检测定位与分类.王宪宝[4]提出以深度置信网络为基础，通过学习大量样本，得到训练样本与无缺陷模板之间的映射关系，从而实现样本的缺陷检测.车曦[5]提出对光伏电池片状态进行分类编码，再结合图像的预处理与神经网络实现对热斑缺陷的变化趋势做出预测.这些方法虽然取得了一定的检测成果，但这些研究多数是针对光伏组件的制作工艺中发生的缺陷，对实际运行维护的缺陷检测研究较少，并且存在泛化能力差、准确率不足等问题.

由于深度学习相关技术的快速突破，使得越来越多的科研人员在图像分类、目标识别、图像分割和检测等问题上采用深度学习的方法解决，并且取得了不错的效果.本文所研究的热斑缺陷检测即可看作是一个物体检测问题.目前主流的深度学习的目标检测算法包括两类：一类是基于区域的目标检测算法如Fast RCNN[6]、Faster RCNN[7]与RFCN 等，其特点是检测精度高，但速度相对较慢；另一类是将检测问题转变为回归问题求解如YOLO[8]，其特点是虽提高了网络的检测效率，但是目标定位的准确率有所降低.而热斑缺陷检测问题对其检测模型的准确率有较高的要求，选用Faster RCNN 模型比较符合实际需求.但是已有实验证明Faster RCNN 对中大型的目标具有良好的检测效果，但对小目标的检测效果不佳[9]，如果直接套用原始的Faster RCNN 模型，可能会造成小型的热斑缺陷的漏检.综上所述，本文采用Faster RCNN 为基础模型，在此基础上结合图像预处理、迁移学习、改进特征提取网络模型以及改进锚框选区方案，得到了热斑缺陷检测模型.

1 Faster RCNN 简介

Faster RCNN 是在RCNN、Fast RCNN 研究的基础上提出的，主要改进是在Fast RCNN 上引入了RPN.用RPN 来提取候选框可以消除使用选择性搜索而导致的分离问题.Faster RCNN 先通过特征提取网络获得图片的特征图，然后通过RPN 网络提取候选框，最后Fast RCNN 根据RPN 网络提供的候选框实现目标检测.并且RPN 网络和Fast RCNN 通过交替训练实现参数贡献，使得目标检测更加高效.

1.1 RPN 网络

RPN 网络的作用是类似目标检测网络中的选择性搜索，是Faster RCNN 的核心.RPN 网络使用的滑动窗口机制，并且可以实现多个候选区的同时预测.每个滑动窗口在滑动后，随后会产生一个短特征向量；紧接着将产生的短特征向量输入到全连接层中进行位置和类别的判断.RPN 网络结构如图1所示，图中右侧为RPN 网络的k个锚框，由于待测目标的尺寸、高宽比的差异，需要设定多种形态的锚框；左侧图中可以看出每个待测区域会将会产生k个预测候选区域；RPN 网络的输出层是一个多任务模型，一是通过SOFTMAX来去区分候选框属于前景类或背景类，二是通过边界回归预测候选框的偏移量，降低定位的误.

图1 RPN 网络结构

1.2 区域建议网络的损失函数

RPN 网络在训练时，获得候选窗口太多，因此需要对候选窗口进行筛选，依据如下：

(1)将超过输入原始图像的候选窗口筛掉；

(2)通过非极大值抑制，设置重叠区域高于0.7 的窗口标定为前景区，低于0.3 的窗口标定为背景.

RPN 网络的整体损失函数定义为公式：

式中，i为最小批次种锚框的索引，pi为锚框所属目标的预测概率ti代 表预测候选框的坐标，ti∗为真实候选框坐标，Lcls为 分类结果对数损失，Lreg为回归损失，R为鲁棒损失函数，定义式为：

p∗i Lreg表示当p∗i=1时才有回归损失，分类层和回归层的输出分别由 {ti} 和 {ti} 组成.{pi} 和 {ti} 分 别对Ncls和Nreg以及λ进行归一化.获取回归过程的坐标的公式如下：

2 热斑缺陷检测模型设计

综上所述，为填补目前对光伏组件实际中产生缺陷检测算法的空白，解决不同大小、不同形状的热斑缺陷提取困难的问题.本文提出在原始Faster RCNN的基础上结合图像预处理、迁移学习、改进特征提取网络模型以及改进锚框选区方案，得到热斑缺陷检测模型.本文热斑检测系统框架图以及热斑缺陷检测模型框架图分别如图2、图3所示.

图2 热斑缺陷检测模型框架图

图3 热斑缺陷检测模型框架图

2.1 图像预处理

热像仪使用时受自身干扰与所测时自然环境影响，不可避免的会使所采集的红外热图像存在低对比、高噪声等问题.而样本的好坏决定了后续实验的效果，为了避免样本集对本文模型检测效果的影响，因此对采集到的红外热图像进行预处理操作尤为重要.

所采集的红外热图像对比度较低，本文选用直方图均衡化的方法.另外采集的红外热图像包含由自身设备导致的高斯噪声以及光伏组件表面异物形成的椒盐噪声与微小斑点.对于这种情况下的复杂噪声问题，仅通过单个滤波器难以有效的滤除噪声.综上所述，为了降低噪声对实验的影响，本文采用的图像预处理流程具体如图4所示.第一步，使用直方图均衡化，用以获得合适对比度的红外热图像；第二步，对第一步获得的图片先进行一次方形结构闭运算，在进行一次方形结构开运算，用来滤除椒盐噪声和微小斑点；第三步，对得到的图片使用高斯滤波，完成图像预处理.

图4 图像预处理流程图

2.2 锚框方案调整

由于热斑缺陷的形成受建筑物遮荫、树叶、鸟粪以及积尘等多种自然因素影响，导致热斑缺陷的尺寸差异较大，其长宽比更加多样化.原始的Faster RCNN包含9 种锚框，其长宽比为0.5，1，2，尺寸为8，16，32.如果使用原始Faster RCNN 的锚框，原始图像在经过池化后，所有特征图各点对应得到的感受野尺寸为16×16.使用最小尺度映射的锚框尺寸都达到128，而实际中存在一些较小的热斑缺陷，在检测过程中不可避免会出现定位偏差，进而造成误检.因此，根据热斑缺陷尺寸差异较大、长宽比更加多样化的特点调整原始RPN 网络的锚框尺寸和比率.调整后锚框的种类共有16 种，将锚框尺寸改成2、4、8、16，有助于增强对小型热斑缺陷的检测；长宽比额外增加4 的比例，有助于提高对鸟粪引起的长条状热斑缺陷的检测.实验证明本文调整后的锚框可以提高检测精度，锚框选择方案对比如表1所示.

表1 锚框选择方案

2.3 改进特征提取网络模型

在深度学习算法中，用CNN 网络作为整个模型的特征提取网络.这是至关重要的一步.特征网络提取的特征将直接影响最终的特征提取结果，从而对目标检测效果造成影响.一般来说，特征提取网络的层数越深其获得的特征效果更高，但是网络选择过深会加大训练过程的难度.本文选用VGG16 网络作为特征提取网络的基础网络.VGG16 网络的深度适中，并且使用了多层小卷积.多层小卷积核的叠加在保证感受野大小不变的情况下引入了更多的非线性映射.这样不仅提高了整个网络的学习能力，并且有效的减少了对网络参数的计算量.VGG16 网络结构图如图5所示.

图5 VGG16 网络结构

根据本文的研究对象的复杂度与实际需要的时效性，在保证深层网络在高层特征抽象上的优势，又要减少网络模型的复杂度.文中涉及的热斑缺陷检测问题暂只是一个二分类问题，且不属于复杂的物体检测问题.直接使用VGG16 模型略显大材小用，也会造成额外的计算量或产生过拟合问题.由于全连接层的参数量占整个VGG16 网络参数量的一大部分，故本文将VGG 模型中的后两层全连接层剔去，用一层包含1024 个神经元的全连接层进行替代，其他部分不变.此外，本文选用迁移学习的方法避免过拟合问题，本文的改进后特征提取网络没有选择随机参数初始化的方式，而是选择在Image Net 数据库上获取模型的初始化参数，最后在训练过程中对其进行微调.

3 实验分析

在户外，使用热像仪采集大量含有不同尺寸和不同形状的热斑缺陷的大量红外热图像，以形成图像数据集，并加入样本标签；然后将获得的数据集在本文热斑缺陷检测模型上进行训练：最后在测试集上进行测试，观察本文热斑缺陷模型平均检测准确率、平均漏检率与平均误检率.另外还对比了Faster RCNN、去除预处理的本文模型以及本文模型对热斑缺陷检测在平均检测准确率、平均检测时间与平均加速比上的差别.

3.1 实验系统组成

本文实验系统由Ti25 红外热像仪与计算机构成，实验对象为我校太阳能光伏示范工程中的光伏组件，如图6所示.Ti25 红外热像仪是一款手持式的外热像仪，可拍摄可见光图像或红外热图像，检测灵敏度高、测温精准，满足实验需求.Ti25 在实验过程种主要用于红外热图像的采集、读取温度数据.须注意的是由于热像仪自身在拍摄过程中会引起自反射，在采集数据集时视角应尽可能接近光伏组件法向量，另外热像仪应保持在与光伏组件法向量成0°～40°的夹角.

图6 光伏组件与热像仪

在进行热斑缺陷采集的过程中，采集到的自然状态下光伏组件产生的热斑缺陷样本不足，另人为模拟热斑缺陷实现对样本集的扩充.自然热斑和模拟热斑的热斑均包含不同尺寸、不同的形状.如图7所示：分别为自然热斑与模拟热斑缺陷图像.

图7 自然热斑与模拟热斑

3.2 样本集制作

为了使样本保持多样性和训练出来的热斑缺陷检测模型的鲁棒性更强，在多种自然条件情况下进行数据的采集.之后LAMBELING 对采集到的红外热图像中的热斑大小和位置信息进行标注，标签名称Hot spot，用做本文热斑缺陷检测模型的训练与测试.采集的红外热图像共有1167 张，选取其中1000 张原始图像随机进行镜像翻转、旋转和颜色光照变换等操作将数据集扩增至3000 张图像，部分样本集示例如图8所示.剩余的167 张红外热图像用作模型的测试与评估，测试样本中一张图片包含1 至3 个热斑缺陷，其中自然热斑缺陷数量为115 个，模拟热斑缺陷为108 个.

图8 部分样本集

3.3 实验软件与硬件

实验软件与硬件如表2所示.本文使用Python作为编程语言，使用Tensorflow 搭建模型框架，使用GPU 加速，开发工具为SPYDER.

表2 硬件环境与软件环境

3.4 模型训练方式与参数设定

本文模型采用交替式训练，其过程涉及四个阶段：

第一阶段：特征提取层初始化参数使用在Image Net 上训练的VGG16 模型参数.随后对RPN 网络进行训练，获取候选框，通过随机梯度下降法迭代30 000次.学习率大小设置为0.0001，动量设置为0.9，权重衰减设置0.0005.

第二阶段：先用原始VGG16 对Fast RCNN 进行初始化，然后使用第一阶段获取的候选框和Ground Truth 共同训练Fast RCNN.同样随机梯度下降法，迭代次数为10 000 次，学习率的大小设置为0.001，动量设置为0.9，权重衰减设置为0.0005.

第三阶段：利用第二阶段获得的Fast RCNN 网络参数初始化网络模型，并且保持特征提取层参数不变，然后再次训练RPN 网络，进一步调整RPN 网络的参数.同样使用随机梯度下降法，迭代次数为20 000 次，学习率的大小设置为0.0001，动量设置为0.9，权重衰减设置为0.005.

第四步：使用第三阶段调整后的RPN 网络获取的候选框和Ground Truth 对Fast RCNN 网络进行第二次训练.同样采用随机梯度下降法，迭代次数为10 000次，学习率的大小设置为0.001，动量设置为0.9，权重衰减设置为0.005.

3.5 热斑缺陷检测实验结果分析

在测试过程中，使用本文的热斑缺陷检测模型在167 张测试图片上进行测试，其中自然热斑缺陷数量为115 个，模拟热斑缺陷为108 个.对模拟热斑、自然热斑的实际数量、正确检测个数、漏检个数、误检个数统计结果如表3所示.可以看出，对模拟热斑的检测效果相对自然热斑的检测效果要好，模拟热斑的漏检个数为2，误检个数为0；自然热斑的漏检个数为4，漏检个数为2.

本文热斑缺陷检测模型在测试集上的测试统计比率表4所示.可以看出本文热斑缺陷检测模型在测试集上的平均准确率、平均漏检率、平均误检率分别达到了97.34%、2.67%、0.87%，该实验说明，使用深度学习方法对光伏组件的热斑缺陷检测是可行的，并从本文测试集上获得了良好的效果.

表3 本文热斑检测模型测试结果统计

表4 本文热斑检测模型测试比率统计(%)

另外，分别对原始Faster RCNN、去除预处理的本文模型与本文热斑缺陷检测模在测试集上进行测试，计算三者平均检测准确率、平均检测时间与平均加速比.3 种模型对比结果如表5所示.

表5 算法对比结果统计

通过表5可以看出，去除图像预处理的本文模型在测试集上的平均检测准确率为96.27%，相比原始Faster RCNN 模型提高了3.44%.由于本文的热斑缺陷检测模型加入了图像预处理，相比去除预处理的本文模型的检测准确率进一步提升了1.07%，最终在测试集上的检测准确率达到97.34%.可以看出对红外热图像进行预处理是提高热斑缺陷检测准确率的重要性.由于本文的热斑缺陷检测模型是通过离线学习训练得到的，对实际中的检测时间没有影响，故本文只统计了3 种模型的平均加速比，由表5可以看出使用GPU 加速可以有效降低模型的检测时间，提高系统的检测效率.另外，从平均检测时间与平均加速比两方面看上，本文的热斑缺陷检测模型虽然尽管不是最优，但对实际检测影响较小，可以忽略.

本文热斑缺陷检测模型测试效果示例如图9所示.

4 结论与展望

本文模型是结合图像预处理、改进特征提取网络模型以及调整锚框选区方案的在原始的Faster RCNN模型上进行了略微的优化.然后将自己制作的红外热图像数据集在本文模型上训练，提取出热斑缺陷.实验证明，本文模型在测试集上的平均检测准确率可达97.34%，效果良好.但是本文所涉及到的光伏组件缺陷只是针对热斑缺陷，实际运维中光伏组件还会产生其它类型的缺陷，这是接下来研究的重点问题.

图9 本文热斑缺陷检测模型测试效果示例