基于无人机巡检的光伏缺陷检测与定位

兰金江 曾学仁 方亮 田楠 王志强 刘继江

摘  要：光伏发电是一种清洁和可再生的能源形式，然而，光伏组件在实际运行过程中可能出现各种缺陷，如裂纹、漏电等问题，这些缺陷会影响光伏系统的能量损失和安全性。随着太阳能光伏发电的广泛应用，光伏组件的可靠性和性能监测变得尤为重要。为了提高光伏组件的检测效率和准确性，该文针对无人机巡检中缺陷光伏组件缺陷检测及定位技术展开研究，提出一种深度学习分割技术和传统图像处理方法相结合的技术，可以快速、准确地检测光伏的缺陷，并确定该缺陷所在其组件位置的归属。

关键词：光伏发电；无人机巡检；红外图像；缺陷检测；分割；组件定位；高效检测

中图分类号：TP751.1      文献标志码：A          文章编号：2095-2945（2024）18-0014-06

Abstract： Photovoltaic power generation is a clean and renewable form of energy， however， photovoltaic modules in the actual operation process may have a variety of defects， such as cracks， leakage and other problems， these defects will affect the energy loss and safety of the photovoltaic system. With the wide application of solar photovoltaic power generation， the reliability and performance monitoring of photovoltaic modules become particularly important. In order to improve the detection efficiency and accuracy of photovoltaic module， this paper studies the defect detection and location technology of photovoltaic module in UAV patrol inspection， and puts forward a technology which combines deep learning segmentation technology with traditional image processing method. The defect of photovoltaic can be detected quickly and accurately， and the location of the defect can be determined.

Keywords： photovoltaic power generation; UAV patrol inspection; infrared image; defect detection; segmentation; component positioning; efficient detection

光伏组件是太阳能光伏发电系统的核心部件，其正常运行对于保证系统发电效率和可靠性至关重要。然而，由于光伏组件的大面积分布以及复杂的工作环境，传统的人工巡检在效率和准确度上存在诸多问题。利用无人机进行光伏组件的巡检方式具有高效、快速、全面的特点，成为解决这一问题的理想选择[1-2]。

通常，在无人机巡检过程中将无人机采集到的图像、热成像数据等进行处理和分析，利用图像处理算法、机器学习等技术，自动识别和分类光伏板上的缺陷。这种方法可以提高检测效率和准确性。将高分辨率的相机装载在无人机上，通过航拍光伏板区域的图像，对光伏板表面进行拍摄和记录。利用图像处理技术，可以检测出光伏板上的缺陷如裂纹、断路、阴影覆盖等。在无人机上安装红外热像仪，通过获取光伏板表面的红外图像，检测光伏板的温度分布。异常的温度分布可能意味着电池片故障、接触问题或局部遮挡等缺陷[3]。

此外，缺陷组件定位指的是在巡检过程中，对光伏电池板进行拍摄过程中，一旦发现缺陷或异常情况，就需要对缺陷所属组件进行定位。定位的目的是将缺陷的位置信息准确分割记录下来，以便后续结合建立无人机相机坐标系和无人机GPS地球坐标系之间的转换关系得到缺陷的地理位置，同时方便维护人员能够高效查找，及时处理缺陷[4]。

利用无人机进行光伏巡检具有高效、快速、全面的优势，然而，准确地识别和定位光伏组件的缺陷仍然是一个挑战。本文提出的方法研究旨在探索基于深度学习分割算法在无人机红外图像中的组串和组件的分割，并结合传统图像算法通过连通域检测对组串的平均温度进行计算，来识别潜在的缺陷及其所属组件。

1  相关技术

1.1  组件与组串

光伏组件是光伏发电系统的基本单元，由光伏电池和电路组成，具有将太阳能转化为直流电的功能。而组串则是由多个光伏组件以串联方式连接在一起，形成一个更大的直流电输出单元。

具体来说，光伏组件是组串的基本单元，每个光伏组件都有一个独立的电路，可以单独进行工作。多个光伏组件可以串联起来，组成一个更大的输出电压和电流的直流电单元，即组串。组串的输出电压等于各个光伏组件输出电压的总和，而输出电流则等于各个光伏组件输出电流的最小值。组串通常作为光伏发电系统中的基本输出单元，将电能输送到逆变器等设备进行转换后，再并入电网或供其他设备使用[5-7]。

本文提出的方法也是依赖上述组件及组串的关系和特性，用于缺陷的组件归属定位。

1.2  图像分割

深度学习图像分割技术发展经历了多个阶段。初期，基于全卷积神经网络（FCN）的图像分割方法主要集中在跳跃连接和反卷积的使用上，以实现像素级别的分类。此后，多种改进的深度学习图像分割模型被提出，包括SegNet、U-Net、DeepLab系列、PSPNet和GCN等。这些模型不断引入新的技术，如空洞卷积、多尺度池化、金字塔池化和全局卷积等，以增强特征的表达能力，提高图像分割的精度。这些深度学习图像分割技术在语义分割、实例分割和边缘检测等任务中都取得了很好的性能[8-13]。

SegNet是一种基于卷积神经网络的图像分割模型，其主要优势在于能够保留更多的空间信息，并且能够实现端到端的训练。然而，SegNet的计算量相对较大，需要更多的训练时间和计算资源。U-Net是一种常用的图像分割模型，其结构相对简单，能够实现较快的训练和推断速度。但是，U-Net的分割精度相对较低，对于复杂图像的分割效果不够理想。DeepLab系列模型是深度学习图像分割中的一种重要方法，其采用了空洞卷积和全局卷积等技术，提高了特征提取的能力和分割精度。但是，DeepLab模型的计算量也相对较大，需要更多的训练时间和计算资源。PSPNet是一种基于金字塔池化模块的图像分割模型，其优势在于能够捕捉不同尺度上的上下文信息，提高了对图像语义的理解和分割准确性。但是，PSPNet的结构相对复杂，需要更多的训练时间和计算资源。GCN是一种基于图卷积神经网络的图像分割模型，其优势在于能够更好地利用图像中的空间信息，提高了分割精度。但是，GCN模型需要更多的先验知识，对于不同类型和场景的图像分割需要进行特定的训练和调整。

在本文提出的方法的应用场景中，巡检数据是海量的，分析需要是实时的。因此，我们选择对Unet改进，达到高效高精度的分割。

2  研究方法

2.1  方法流程

本研究的目标是提供一种有效的算法，可以全自动化且高效地分割和定位红外图像中可能存在的缺陷，明确其所归属的组件。算法流程如下。

1）图像采集：使用无人机红外相机对目标区域采集图像，并确保图像的清晰度和质量。

2）图像分割：使用改进的Unet分割算法对预处理后的红外图像进行分割，将图像中的组串和组件目标从背景中区分出来。该算法可以自动学习分割目标的特征，提高分割准确性，属于分割模型中运算高效的模型。

3）连通域检测：对分割图像二值化，使用连通域检测算法计算各组串和组件区域。

4）缺陷检测：计算各组串及组件均值，根据设定的阈值，将平均温度差值与阈值进行比较，识别出疑似存在缺陷的组件。如果差值高于阈值，则认为该组件可能存在问题。

5）结果输出：将检测到的疑似缺陷组件的信息输出，包括像素位置坐标、温度值等，以便进一步分析和处理。

2.2  缺陷检测及定位

2.2.1  组串及组件分割

无人机巡检在高空应用中，通常会选择搭载较高分辨率相机的无人机。高分辨率的相机可以提供更清晰、细节更丰富的图像，从而增加无人机在巡检任务中的观察和识别能力。例如，大疆无人机搭载的红外相机，最高可达640×480像素。Unet网络模型在计算效率方面具有较高的性能，它通常用于图像分割任务。相对于其他复杂的深度学习模型，Unet具有较快的计算速度和较低的存储开销。Unet网络采用编码器-解码器的结构对图像进行降采样和上采样操作，实现了多尺度的特征提取和重建，使得Unet在保留较高分辨率信息的同时，能够有效地减少参数数量和计算复杂度。

但是，在原始的Unet模型中输入图像大小是固定的，通常为572×572像素，且模型输出图像尺寸与输入不同。这是因为Unet网络结构中的编码器和解码器都依赖于特定的层间连接，这些连接的形状是基于固定大小的输入图像设计的。

本研究分割组串与组件是为了提供光伏缺陷的像素位置坐标，用于后续相机坐标系和无人机GPS地球坐标系之间，服务运维人员的定位到达和缺陷维护，同时考虑缩放对图像细节的损失。在本文的研究中，将Unet模型进行变体，将图像输入大小变为640×640像素，图像输入大小等于图像输出大小。

具体修改方式如下。

1）在U-Net的编码器部分，将输入张量的大小设置为可变的，使用自适应平均池化以使模型能够适应不同尺寸的输入图像。在U-Net的编码器部分使用自适应平均池化和可变大小的输入张量，有利于提高模型的灵活性和通用性，使其能够适应不同尺寸的输入图像，同时减少内存占用，从而提高模型的泛化能力和效率。

2）在U-Net的解码器部分，将上采样层替换为可变大小的上采样层双线性插值，可以根据输入图像的大小来调整输出图像的尺寸，从而提高模型的适应性和通用性。这种修改可以有效减少信息丢失，并帮助模型更好地还原细节信息，有利于改善分割结果的空间准确性和语义连贯性。修改后的Unet网络示意图如1所示。

2.2.2  缺陷检测

在光伏发电系统中，光伏板的正常运行对光能的高效转换至关重要。然而，由于各种原因，光伏板可能会有如裂纹、污染、局部损坏和遮挡等问题。这些缺陷会导致光伏板的电流密度不均匀分布，进而引起热耗散不平衡。研究表明，光伏板一旦发生缺陷，局部区域的温度将显著增加，形成温度异常现象[14]。因此，通过监测光伏板表面温度变化，可以迅速检测到光伏板是否存在缺陷，并及时采取措施修复或替换[15]，以保证光伏发电系统的正常运行和发电效率。因此，监测光伏板温度异常成为实现光伏系统安全稳定工作的重要手段之一[16-19]。

本研究在使用分割模型对图像进行处理后，得到含组串和组件的区域信息。同时，将图像进行预处理分别得到组件和组串的二值图，即将非组件区域进行黑色填充，组件区域置为白色。基于深度优先搜索遍历的方法对组件和组串求解连通域，得到组件和组串的像素集合。

缺陷检测的具体流程如下。

1）对所有组串的平均温度进行排序取中值，设组串与均值之间的温差阈值为？驻T1。

2）遍历所有组串，将各组串与组串中值作差，得到？驻Ts，当？驻Ts≤？驻T1时，可认为当前组串为大面积正常组串，反之认为该组串是大面积发生缺陷的异常组串。

3）依次遍历各组串的组件，若当前遍历的为正常组串，则使用该组件的温度均值与该组串的各组件作差；若当前遍历的为异常组串，则使用组串中值与该组串的各组件作差，差值为？驻Tp。

4）设组件温差阈值为？驻T2，当？驻Tp≤？驻T2时，认为当前组件为正常组件，反之认为该组件为异常组件。

5）对无人机巡检的红外图重复步骤1—4，直到没有新的缺陷组件被判定为止，输出所有被判定为缺陷的组件以及其所在的组串。

3  实列分析

本研究的目标是提供一种有效且高效的无人机热斑缺陷识别及定位的方法。因此，本文采集了甘肃某山地光伏场数据，验证本文所提出方法的可行性。

山地光伏场站是指建在山区或丘陵等地势较高的光伏发电场站。与平原地区的光伏场站相比，地形复杂且气象条件严峻，使得光伏缺陷高发。同时，在山地条件下，道路崎岖不平，交通不便，给维护和物资运输增加了一定的难度，巡检人员需要面对复杂的地形和恶劣的气象条件，备足装备和工具，丰富的专业知识和技能。因此，对于山地光伏场站，不仅需要进行高效的巡检及时发现并排查光伏板的缺陷和故障，还需要正确定位缺陷的发生点，实现有效提高运维效率。本研究的实验从光伏红外图对组串及组件分割的有效性和时效性、缺陷识别及定位的正确性两部分进行分别论证。

3.1  组串及组件分割

通过论证，通过对Unet网络输入的优化，保留图像细节，能够对组串及组件完成更好的分割，实验结果示意如图2所示。

从图2可以看到，原Unet在分割的时候组件和组件之间的分割出现了粘连，这不利于后续完成缺陷识别后的组件归属计算。而优化后的Unet，由于网络输入保持了原有图像分辨率大小，组件分割明晰无粘连。

3.2  缺陷检测及定位

针对缺陷检测及定位的验证，首先，本研究将该场站的光伏红外巡检图交由经验丰富的运维人员用矩形框标注出缺陷及所属的组件编号。然后将缺陷检测算法计算的缺陷连通域，基于最小外接矩方法得到本文算法所检测的缺陷矩形框及其组件归属编号，缺陷检测及定位示意如图3所示。其中，图3示例中的缺陷检测？驻T1的值设置为10，？驻T2的值设置为4。

3.3  全站实测

同时，针对分割任务，批量测试同时关注了其效率和正确率，以分割验证方法的有效性和实时性。其中正确率使用Jaccard系数作为评估指标，批量标注和测试该山地光伏站的红外图像。批量测试结果见表1。针对缺陷检测及定位的验证，缺陷检测批量测试采用目标检测的测评标准AP判断其正确率，用编号一一对比判断定位的正确性并用正确率Acc（Accuracy）表示。

Jaccard系数是一个用于比较样本之间相似性的指标，常用于图像分割评估分割算法的性能。在图像分割的情况下，一个样本可以是一幅图像，另一个样本是该图像的分割结果。Jaccard系数越大，表示分割结果与原始图像的相似度越高，即分割性能越好。计算公式如下

Jassard=（A∩B）/（A∪B），

设A和B分别代表原始图像和分割结果的像素集合，A和B的交集记作C，Jaccard系数定义为C的面积除以A和B并集的面积。

AP（Average Precision）是目标检测评估性能的重要指标之一，是用于评估目标检测算法在不同置信度下预测结果准确率的一种指标，计算公式如下

式中：R表示真实的目标总数，P（i）表示在前i个预测中的准确率，rel（i）表示第i个预测是否为真实目标（1表示是，0表示否）。换而言之，rel（i）和P（i）构成了一个点（P（i），rel（i）），那么AP就是这些点在准确率维度上的平均值。

本文的山地光伏全站实例论证中，选取了部分路段的巡检红外图5 000张进行了标注和方法测试，测试结果见表1。Unet的改进使得缺陷检测有效，通过统计平均计算得到，一张640×640大小红外图，在该方法中平均计算耗时为0.08 s。

分析表1，无论是原始Unet结合的缺陷检测方法或者改进的Unet结合的缺陷检测方法，在正确分割得到的组件中缺陷检测正确率（APjacc）和识别定位正确率（Accap）最高可达96.1%和95.9%，由此可证明缺陷检测和定位的正确性。另外，APall和Accall分别表示在5 000张总数据中缺陷检测的识别率，差距较大，由此可以论证，本文提出的缺陷检测方法依赖分割获得组串和组串的正确性。而通过改进Unet的分割使得缺陷检测的全站正确率从78.8%提升到91.6%。

4结束语

本文探讨了算法设计实现缺陷检测的重要性及其在工业中的应用。通过使用Unet改进结合传统图像算法，本文验证了如何提高缺陷检测的准确率，并在实验结果和分析中证明了本文提出的方法在检测正确率和效率方面的优越性。未来，我们计划继续探索和改进算法设计实现缺陷检测技术优化，以实现更高的检测准确率和更低的漏检率。还将探索如何将其他先进的深度学习技术应用于缺陷检测任务中，以进一步优化检测性能。

总之，本文的研究为算法设计实现缺陷检测提供了一种有效的解决方案，并有望在未来的研究和工业应用中发挥更大的作用。我们期待更多的研究者和工程师能够关注并投入到这个领域的研究中来，共同推动缺陷检测技术的发展和应用。

参考文献：

[1] 邓拥正，杨健.浅谈无人机在光伏电站巡检中的应用[J].红水河，2023，42（4）：69-72.

[2] 王家万.无人机巡检在荒漠光伏电站中的应用研究[J].太阳能，2023（5）：24-28.

[3] 于祥跃.基于红外图像处理的无人机光伏组件故障检测[D].长春：吉林大学，2023.

[4] 白玉龙，孙茹洁，哈永华.光伏电站自主巡检中的无人机视觉定位算法研究[J].电子元器件与信息技术，2023，7（5）：72-75.

[5] 郭丽虹.大规模光伏发电对电力系统影响综述[J].南方农机，2019，50（23）：228.

[6] 王兆麟，鲁宝春，熊辉，等.光伏发电系统及其在电力系统稳定中的应用研究综述[J].黑龙江电力，2016，38（1）：89-94.

[7] 董娴，金叶义，王宏磊，等.光伏组件在不同运行模式下的性能研究[J].顺德职业技术学院学报，2014，12（4）：5-9.

[8] 黄雯珂，滕飞，王子丹，等.基于深度学习的图像分割综述[J].计算机科学，2024，51（2）：107-116.

[9] 唐璐，赵英.基于深度学习的图像分割技术研究综述[J].电脑知识与技术，2023，19（23）：30-32.

[10] 王敏，王培东.基于深度学习的高分辨率遥感图像语义分割方法综述[J].广州城市职业学院学报，2023，17（2）：96-100.

[11] 黄涛，李华，周桂，等.实例分割方法研究综述[J].计算机科学与探索，2023，17（4）：810-825.

[12] 李梦怡，朱定局.基于全卷积网络的图像语义分割方法综述[J].计算机系统应用，2021，30（9）：41-52.

[13] 曾文献，马月，丁宇，等.基于深度学习的图像语义分割方法研究综述[J].现代计算机，2021（21）：115-122.

[14] 刘成，冯斌，李昉.无人机智能巡检技术在光伏电站的应用[J].电力勘测设计，2023（8）：71-75，95.

[15] 韩虎虎，祁鑫，王鹤飞，等.基于无人机巡检的光伏面板缺陷识别方法[J].电子设计工程，2023，31（6）：176-179，184.

[16] 向罗巧.光伏电站缺陷组件定位若干关键技术研究和系统设计[D].杭州：杭州电子科技大学，2023.

[17] 李德维.光伏电站组件诊断中无人机智能巡检的应用[J].光源与照明，2023（1）：102-105.

[18] 韩虎虎，胡诚.基于激光雷达点云高精度定位的光伏电厂智能化巡检[J].仪器仪表用户，2022，29（11）：98-101.

[19] 王浩，闫号，叶海瑞，等.基于无人机的光伏电站智能巡检[J].红外技术，2022，44（5）：537-542.