一种改进YOLOv5 算法的光伏热斑检测方法∗

蒋成晨 何坚强 陆 群 王江峰 殷宇翔 骆 杨

（盐城工学院电气工程学院 盐城 224000）

1 引言

随着光伏电站的日常运维压力日益增加，针对光伏电站面积大、人工检测效率低、传感器检测成本高昂等问题，选择使用性比价较高的无人机智能巡检方法。通过无人机搭载红外模组采集光伏电站的热斑数据，配合使用卷积神经网络算法进行图像数据处理。为了提高对光伏电站的智能化巡检对热斑的识别能力，使用改进的YOLOv5 算法对光伏组件运行过程中产生的热斑进行识别，设计技术路线如图1所示。

图1 技术路线

使用深度学习算法对热斑的检测有很多学者对此有很多研究，浙江大学之江实验室的夏杰峰［1］、唐武覃等改进Canny 算法和深度学习算法结合，实现了多形态热斑的识别。荣黎明［2］设计一种改进YOLOv5s 的集成轻量化ECA 注意力机制，用对圆形热斑和矩形热斑的识别。孙海蓉［3］、李号等设计出一种基于深度迁移学习的方法，提取并处理热斑的红外特征来进行对热斑的检测。王道累等［4］将SpotFPN 应用在二阶段目标检测网络中提高模型的检测热斑的精度。徐小奇等［5］利用卷积神经玩过对光伏阵列红外热成像图进行识别编码，实现了对热斑故障的精确定位。潘子杰等［6］设计除了一种卷积自编码网络针对较小的热斑数据集，提取出更多的样本特征。华北电力大学的姚慧［7］提出了包括Canny 边缘检测和Hough 直线检测的方法，预处理含有光伏热斑的图像，提高卷积神经网络的学习能力。张一鸣等［8］设计出一种地面移动机器人，可在自动巡检光伏组串，检查热斑是否存在。刘海波等［9］使用脉冲神经网络实现了对光伏热斑的故障预测，针对不同状态样式、大小的热斑，判断出光伏组串的异常原因和故障状态。樊涛等［10］在卷积神经网络中引入注意力机智，提高网络模型对小目标热斑的特征学习能力，提高算法的运行效率。

2 YOLOv5算法结构

YOLOv5 属于单阶段目标检测算法，具有较快的推理速度和实时检测能力，能够更好地满足现实场景的应用需求。YOLOv5 算法按照网络深度、大小、特征图宽度分为s、m、l、x这4个模型分支，本文使用的是s 模型。YOLOv5s 是同时兼备鲁棒性、轻量化、实时性，因为其识别速度很快，在视觉检测领域应用范围非常广阔。该算法使用Pytorch 框架，支持Windows 和Linux 系统环境下运行。YOLOv5的网络模型中包括Mosaic数据增强方法、自适应图片缩放、锚框子自适应计算等多个两点功能。

YOLOv5s 模型网络的结构如图2 所示，由输入端（Input）、主干网络（Backbone）、特征融合网络（Neck）、输出端（Prediction）四个部分组成。输入端和主干网络由Focus、Conv、BottleneckCSP、SPP等模块组成。NECK 和输出端由BottleneckCSP1、BottleneckCSP2、Conv、Upsample、Concat 等模块组成，使用sigmoid 激活函数。模型含有三中损失函数，包括分类损失（cls_loss）、定位损失（box_loss）、置信度损失（obj_loss）。其作用分别是计算锚框和标定分类名称是否吻合、预测框和标定框之间的误差、目标检测的置信度。定位损失使用的是GIOU损失函数。

图2 YOLOv5s结构图

3 算法改进

3.1 PuzzleMix图像数据增广

光伏组串的部分位置会被周围其他杂物所遮挡或覆盖，造成局部阴影，就会导致局部电池发热，产生所谓“热斑”现象如图3，热斑本身属于小目标。原算法网络使用了Mosaic 数据增强方式，Mosaic 增强的主要作用是将四张输入的图片进行左右的翻转、大小的缩放、色域变化（对原始图片的明亮度、饱和度、色调进行改变）等操作后拼接到一起成为一个新的图片作为训练数据。这种方式的优点是丰富检测物体的背景的同时增加了数据多样性，间接性的提高了batch_size。但是这种方式应用在对光伏热斑数据集的训练时，如果数据集的图像数据中本身就有很多小目标，Mosaic处理之后会导致小目标变得更小，模型泛化能力变差并且精度降低，导致神经网络的训练效果大打折扣。

图3 热斑

使用PuzzleMix［11］增强代替Mosaic 增强，这种方式加强了显著性分析的能力。PuzzleMix 在对数据集进行处理时会计算各个图片的显著区域，之后剪裁显著性区域进行图像拼接移位、旋转、调节明暗、添加噪点等一系列操作，相比于原算法中的Mosaic 增强，这种方式不会使得小目标失真，反而使模型更加关注这些显著性区域。热斑在光伏组串上对比于其背景色非常明显，因此PuzzleMix算法很容易筛选出热斑显著的区域，并将其裁剪出来。

3.2 SimAM模块

YOLOv5 网络在进行特征传递的时候，会遗漏一些小目标部位的特征要素信息，同时训练过程中也会受到复杂背景信息的干扰。为了解决这个问题，在YOLOv5 网络结构中Backbone 中引入3D 无参SimAM 注意力机制。SimAM［12］（A Simple，Parameter-Free Attention Module for Convolutional Neural Networks）是我国中山大学于2021 年提出的一种全新的、概念简单且非常有效的注意力模块。SimAM 是基于神经科学理论，优化一个能量函数，通过找到每一个神经元的重要性后计算其最小能量，使用操作符来细化特征。与现有的其他通道、空域注意力模块不同之处在于该模块无需额外参数，便可以为特征图推导出3D 注意力权值。与SENet 注意力模块相比，SimAM 不会引入额外参数量，而SE则会引入额外的参数量。

SimAM模块的引入，帮助模型提高了全面评估特征权重的能力，增强其对有热斑特征部位的关注，减弱数据集中复杂红外背景的干扰。它优化了模型整体的干扰抑制能力，可以更好地聚焦主体目标。处理模型所提取出带热斑部位的这些小目标关键信息时，减少噪声干扰，赋予其更大的权重。

3.3 CIOU损失函数

原始代码中使用的是GIoU 来作边界框的回归损失函数，使用二进制交叉熵和Logits 计算目标得分的损失，公式如式（1）、（2）、（3）所示。GIOU的缺点是在两个个预测框有包含关系时，会有和IOU一样的缺陷，边界框预测值不准确。其本身收敛速度缓慢，只考虑到重叠面积关系，效果不佳。

式（1）、（2）、（3）中Losscoord 含义是目标位置损失函数；是单元格i 产生的先验框j 包含目标；J是边框交集的面积，U是边框并集的面积；A代表边框最小外界矩形的面积；wi和wi分别是预测框的长与宽。

CIOU 损失函数增加ρ和ν两个因素，使神经网络模型在预测时产生的回归框定位更精确。并且CIOU 增加了检测框尺度的loss，增加了长和宽的loss，这样预测框就会更加的符合真实框，CIOU损失函数被定义为式（4）。式（4）中α为平衡比例参数；b是anchor框的中心点；bgt是目标框的中心点；ρ是两个中心点的欧式距离；c1是覆盖anchor和目标框的最小矩形的对角线长度。

4 实验

4.1 实验环境配置

在Windows10 操作系统下，配置如表1 的深度学习下卷积神经网络运行环境，使用同等配置对YOLOv5 及其改进版本进行对比实验。计划对卷积神经网络模型进行300轮次的训练。

表1 环境配置

4.2 自制热斑数据集

为了保证卷积神经网络的训练效果，均使用DJI-M30T无人机搭配红外相机模组在大型光伏电站进行拍摄，图片的大小控制在9.4MB～17.5MB 之间高清图像。照片内容是在各种不同背景下的光伏组串因各种异常原因造成的热斑现象的红外图，包含单个热斑和多热斑且密集排布，数据集训练数据图总数为1500 张，验证集图数量为100 张，确保数据集蕴含的特征内容广泛。使用Label Img 软件对数据集内图像的特征目标进行手动标注，生成txt文本保存标签数据。

4.3 实验数据

通过在自制光伏热斑数据集上的训练，选取最佳的训练权重，对YOLOv5 原始算法和改进后的算法在相同图像上进行识别对比。如图4 所示，图（a）、（c）是改进后算法识别得出，图（b）、（d）是原始算法识别得出。图（a）、（b）是对含有单个热斑的图像进行时别，原始YOLO 算法的置信度是0.6，改进后的YOLO 算法置信度是0.71。图（c）、（d）是对含有多个热斑且目标密集的图像进行识别，改进后的算法识别平均置信度为0.579，原始算法的平均置信度为0.523，并且原始算法有两个误检。

图4 识别对比图

为了客观全面的判断改进模型的识别能力和网络性能，使用训练损失函数稳态值L（Loss）、精确率P（Precision）、召回率R（Recall）、精度均值mAP这几个主要指标来衡量。具体公式如式（5）、（6）、（7）：

式（5）、（6）、（7）中，TP 表示被正确地划分为正例的个数，即样本为正，预测结果为正；FP 表示被错误地划分为正例的个数，既样本为负，预测结果为正；FN表示被错误地划分为负例的个数，即样本为正，预测结果为负。准确率代表评估捕获的成果中目标成果所占得比例，召回率代表从预测正确目标中占所有正例的比例。根据Precision 与Recall 绘制P-R 曲线，AP 就是该曲线下的面积，mAP 就是所有类AP的平均值，它是能够反映全局性能的指标。

表2 是本次实验结果数据对比。名称A、B、C、D 分别代表SSD 算法、YOLOv5 原始算法、YOLOv4-tiny算法、YOLOv5改进算法。

表2 实验数据

通过实验数据的对比，改进后的算法相较于改进后的算法对光伏热斑数据集中的小目标热斑和密集目标的检测能力较强的分辨能力，综合性能有所提高。改进后的YOLOv5 算法召回率提升了1.02%，说明算法的漏检目标有所减少。准确率从75.58%提升到了77.93%，说明算法对目标区域的错误检测次数降低。mAP 值提升了1.5%，说明了虽然网络结构的嵌入了更多的负载模块变得更大，但是其综合性能相较于原始版本的算法得到了一定程度的优化与改善。图5 是改进后算法训练后的的Percision、Recall、mAP曲线。

图5 训练数据统计

改进后的算法稳态损失函数值（图6）降低了约1%，这说明在算法在使用了数据增强模块Puzzlemix 的显著性分析能力后，使用裁剪特征部位并拼接处理后的数据，使得网络的学习能力更强，速度更快。

图6 训练损失函数

5 结语

针对光伏组串上的热斑检测任务的检测精度低的问题，使用PuzzleMix 算法对数据集进行数据增强，并通过在YOLOv5-s 网络模型中嵌入3D 无参SimAM 注意力机制和调整损失函数为CIOU 得到改进YOLOv5 算法。该算法具备更强的特征感知能力和目标检测精度。根据多次实验，改进后的算法针对自制光伏热斑数据集的识别平均置信度达到了71%，实时检测最高达到了35fps/s，可以应用于实际巡检场景。该方法可以为光伏电站的巡检提供技术参考，下一步的工作的进一步改进网络结构，降低网络模型的大小，提升检测精度。