基于ARGAN表面阴影预处理与迁移学习风电机组叶片故障识别

李 姣， 郭 鹏

(华北电力大学 控制与计算机工程学院，北京 102206)

0 引 言

风电机组叶片将风能转换成机械能进而转为电能，是风电机组获取风能的关键部件，因为风电机组长期运行在自然条件极其恶劣的环境中，叶片表面极易产生裂纹、腐蚀、剥落等故障，常采用无人机拍摄风机图像作为数据来源[1]，由于无人机拍摄需要与叶片角度保持一致，而叶片要及时调整对风角度，无法时刻与光照直射角度垂直，常会出现光照条件不佳、故障被阴影遮挡的图像数据。常规计算机视觉算法无法分辨阴影边缘和风电机组叶片边缘，导致识别准确率低下。若对其及时准确识别分类，能极大的降低经济损失，确保叶片良好运行，消除安全隐患。

阴影检测主要分为两类，一类是基于某些先验知识的传统方法[2，3]。文献[4]利用适应Gamma校正预处理优化算法对处于光照不均环境的图像进行处理，通过Gamma校正对光照分量进行校正处理，但这种所需样本较多，若实际样本数据量少则效果不佳。文献[5]利用了将直方图均衡化与同态滤波两种方法融合的图像增强算法，但其算法运行时间较慢，实时性差。

另一种是深度学习方法，采用监督数据来建立鲁棒模型[6-8]。然而，当模型结构不佳时，这种深度学习方法往往会在阴影去除结果中出现颜色失真或其他问题。文献[9]通过小波变换对光照不均图像进行增强处理，利用卷积和循环深度神经网络使光照不均的文本图像改善。但该种方法仅适合研究对象为黑白文本图像，对于其他非黑白图像数据效果不佳。文献[10]利用改进的生成对抗网络算法训练了雾霾图像生成像素与像素之间的映射关系， 实现无雾图像与有雾图像之间的转换，但该模型的算法存在参数不确定性和应用场景局限性，对其他场景适应性差。Nguyen和Wang等人基于一个新的堆叠条件产生式对抗网路进行检测阴影区域和去除阴影重建场景[11，12]。

对于图像分类领域，近几年CNN应用十分广泛，文献[13]利用三维多通道卷积神经网络以提取高光谱图像的空谱联合信息,并挖掘深层特征实现分类。文献[14]利用改进的卷积神经网络，通过多尺度压缩激励模块将卷积层中得特征进行重新标定以提高分类准确率。但该类方法并未考虑工业实际图像具有光照不均得情况，针对复杂光照背景的图像没有做出合理的处理。

本文使用专注递归生成对抗网络(Attentive Recurrent Generative Adversarial Network，ARGAN)来检测阴影区域以及减弱阴影对故障分类识别的影响。专注递归生成对抗网络包括生成器和判别器，在生成器中的每一个渐进步骤中，都会使用阴影处理检测器来生成处理图，并在生成器中使用专注重复单元，以实现更好的阴影去除效果。利用阴影去除编码器，将先前的阴影去除图像和当前检测到的阴影结合，以获得负残差用于生成无阴影或弱阴影图像。将生成的图像再通过卷积神经网络训练学习，从而得到识别概率较高的图像分类结果。

1 风电机组叶片表面基本故障

风电机组叶片的缺陷或损坏不仅会降低风电机组的使用寿命和发电效率，也会增加监控失误、安全风险和维护成本，因此及时识别叶片故障对机组安全运行十分重要。叶片故障损伤类型有多种，包括运输过程中的损伤以及运行过程中的损伤。本文主要研究风机叶片运行中的故障。

1.1 剥落

风电机组叶片剥落主要发生在与空气摩擦碰撞的表面，由于风机常处于环境恶劣地区，剥落是频繁出现并且危害风机运维安全的故障。如图1所示，现场采集到的图像数据中又出现了故障被阴影所遮挡导致识别概率不佳的情况。故而本文着重针对风电机组叶片剥落的图像数据作为分析对象。

图1 风电机组叶片剥落图像Fig.1 Diagram of wind turbine spalling

1.2 裂纹

风电机组叶片由于考虑成本效益和重量因素，一般采用性价比高、重量轻的纤维材料制造。如图2所示，由于叶片长期处于阵风、恶劣天气、不可预测的空气动力、雷击和重力荷载等极端条件下，纤维材料会受到损坏，从而导致叶片表面出现裂纹。

图2 风电机组叶片裂纹图像Fig.2 Diagram of wind turbine cracking

1.3 腐蚀

风电机组叶片腐蚀常发生于沿海风场，如图3所示，由于海水蒸发盐分和空气中的污垢混合形成盐雾，被盐雾附着的叶片直接暴露在恶劣的环境中，承受着不断变化的载荷和自重引起的循环疲劳载荷，经历极端的温度和湿度变化，导致叶片表面材料固性下降，逐渐被腐蚀。

图3 风电机组叶片腐蚀图像Fig.3 Diagram of wind turbine corrosion

2 叶片表面阴影检测与消除

本文采取专注递归生成对抗网络(ARGAN)用于阴影的检验和减弱，得到经过处理的图像输入卷积神经网络进行分类处理。如图4所示，详细展示了ARGAN预处理与迁移学习故障识别的流程。

图4 ARGAN预处理与迁移学习叶片故障识别流程图Fig.4 Flow chart of blade fault identification based on ARGAN preprocessing and transfer learning

其中，专注递归生成对抗网络用来找到有阴影的图像和与之相对应的无阴影的图像之间的映射关系。专注递归生成对抗网络包含一个生成器和一个判别器，其中生成器包含用于阴影检测和去除的多个渐进步骤，对于在生成器的最后一步生成的阴影去除图像，利用判别器进行分类。与其他生成对抗网络不同的是，ARGAN包含包含多个渐进步骤，并在生成器中使用专注重复单元，以实现更好的阴影去除效果。图5为专注递归生成对抗网络结构图，其中生成器由n个阴影注意检测器和n个阴影图像编码器组成，用来生成一个没有阴影或弱阴影的图像，判别器由5个卷积层和全连接层构成，用来判断最终输出图像是否真实。

图5 专注递归生成网络结构图Fig.5 Structure diagram of ARGAN

2.1 生成网络

生成网络不需要严格的生成数据的表达式，这就避免了如果数据非常复杂时，复杂度过度增长导致的计算量突增而无法计算[15]。

如图5所示，生成网络由N个渐进步骤组成，每个步骤有一个阴影处理检测器用来检测到阴影区域，一个通过长、短期记忆(LSTM)形成的循环单元可以形成循环网络，其中LSTM可以充分利用循环网络中前一步的中间输出作为前一步，生成后一步阴影区域的处理图。

通过不同形式的专题性质的内容学习，学生可以更全面、更深入地认识和体会课内单篇文本。为了实现教学的有效性，教师应根据教学目标或者学生情况的不同，在教学内容设计时，或选择单篇教学，或选择不同形式的专题教学，这样也会形成同课异构中“异构”的不同精彩。

图6 生成网络原理示意图 Fig.6 Schematic diagram of generative network principle

其中阴影检测器设计为10个卷积层，通道数为64，LSTM层和卷积层各一个，具有批处理规范化和泄漏ReLU激活函数(Conv+BN+LRelu)，可从输入图像中提取特征。所有阴影检测器具有相同的结构，每个输出都是一个矩阵，矩阵的值在0到1之间，值越大则该区域被标记为阴影区域概率更高，通过赋予不同的值可以有效区分图像中的阴影区域和其他区域。

阴影去除编码器是为了去除或减弱图像中的阴影，利用了负残差的思想。阴影去除编码器将图像与阴影结合起来，并且将检测到的阴影区域生成负残差，以恢复阴影较淡的图像。

阴影消除编码器原理公式如下：

(1)

(2)

式中：I为输入图像；Ai为阴影注意图；Gdet为阴影注意检测器；Grem为阴影去除编码器；Qi为输出图像。

如图7所示，编码器使用Conv+BN+LReLU从图像中提取特征，再利用批处理归一化的反卷积层和ReLU激活函数生成具有特定分布特征数据的图像。

图7 判别网络原理示意图Fig.7 Schematic diagram of discriminant network principle

2.2 判别网络

判别器相当于一个二进制分类器，用来预测发生器的最终输出图像是真是假。经过生成器处理后能减弱阴影部分，最后判别器判别照片为真实。为了使ARGAN更加稳定，采用谱归一化方法。判别网络结构包含五个Conv+BN+LRelu函数和一个全连接层，全连接层输出输入图像的概率值，通过计算伪图像和真实图像的交叉熵损失来区分伪图像和真实图像。

3 风电机组叶片故障识别

卷积神经网络可以直接对二维图像进行处理，因此在图像处理方面得到了广泛的应用，并取得了较多的研究成果，该网络通过简单的非线性模型从原始图像中提取出更加抽象的特征，并且在整个过程中只需少量的人工参与[16]。

3.1 卷积神经网络

卷积神经网络引入三个核心思想：局部感知(local field)，权值共享(shared weights)，下采样(subsampling)，局部感知即卷积神经网络提出每个神经元不需要感知图像中的全部像素，只对图像的局部像素进行感知，然后在更高层将这些局部的信息进行合并，从而得到图像的全部表征信息[17]。如图8所示，卷积神经网络不同层的神经单元采用局部连接的方式，即每一层的神经单元只与前一层部分神经单元相连，每个神经单元只响应感受野内的区域，这样的局部连接模式保证了学习到的卷积核对输入的空间局部模式具有最强的响应，权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量[18]。

图8 卷积神经网络原理示意图 Fig.8 Schematic diagram of convolution neural network

卷积层主要模拟生物感受器官中的刺激区域—感受野，利用不同大小的卷积核(常见有1×1，3×3，5×5)与前一层输入数据卷积来提取特征。卷积层与池化层交替出现，一方面有助于降低模型参数，另一方面可以减小过拟合。池化层卷积核通常大小为2×3。卷积层卷积核深度都与当前层深度一致，只需要在长、宽两维度移动，池化层卷积核还需要在深度上移动。

全连接层全连接主要用于综合特征，经过卷积池化后，对于输入数据来说已经提取到更高层的特征，全连接层将这些特征综合起来，将结果传输给下一层，从而做分类。

在训练过程中，需要对权值偏置进一步调整，调整参考值参考交叉熵代价函数，之所以选择使用交叉熵，是因为当误差越大时，权值和偏置调整的幅度就越大，当误差变小时，权值和偏置调整的幅度也会变小。如果交叉熵值越小则模型效果越好。而过拟合的存在会影响模型对新数据的判断，通常表现为模型太复杂、数据量小，对已存在数据有接近 100%的准确率，而对于新数据判断能力不足，因为网络在训练过程中已经记住存在的数据，为了避免过拟合，采用 Dropout 的方法暂时摘除部分节点。

3.2 迁移学习思想

迁移学习是将一个问题上训练好的模型通过简单的调整使其适应一个新的问题，被迁移的模型往往是使用大量样本训练出来的，例如Google提供的Inception-v3网络模型使用ImageNet数据集训练，而ImageNet中有120万标注图片[20]。然而在实际应用中，很难收集到如此多的风电机组叶片样本数据，由于风电机组叶片图像数据不足，若直接识别则会造成过拟合，为此本文利用了迁移学习的思想。

Inception-v3属于卷积神经网络的一种，该模型参考AlexNet，将AlexNet中的全连接层替换为平均池化层，极大地降低了模型参数数量，同时使用非对称卷积核提高多样性[21]。Inception-v3模型可以对1 000种图片进行图像分类，训练好的模型的倒数第二层已经过训练，可以输出一组足够好的值，以便分类器用来区分要求识别的所有类,重新训练最后一层就可以完成风电机组叶片的分类任务[22]。

该模型深度达到46层，由11个Inception模块组成，Inception模块示意图如图9所示, Inception的结构为不同大小卷积核按照并联的方式连在一起，共同作用于输入，利用不同大小的卷积核提取不同的特征，然后组合在一起共同输出。

图9 Inception-v3模型流程示意图Fig.9 Schematic diagram of Inception-v3 model

3.3 风电机组叶片识别结果

为了研究经过ARGAN算法的叶片图像处理效果，采用同态滤波算法，直方图均衡化两种传统的光照不均处理方法以及两种生成对抗网络的变体方法作为对比。

如图10，图10(a)为原始图像数据识别结果，图10(b)为经过同态滤波处理后的图像数据识别结果，图10(c)为经过直方图均衡化处理的图像数据识别结果，图10(d)为经过条件生成对抗网络(CGAN)处理后的图像数据识别结果，图10(e)为经过深度卷积生成对抗网络(DCGAN)处理的图像数据识别结果，图10(d)为经过ARGAN处理的数据识别结果。

由图10可以明显的看出，虽然传统的处理方法对于光照不均的图像相比原始数据有一定的优化程度，但同时也弱化了叶片故障区域的特征，导致虽然能分类正确，但概率并不高。对于两种生成对抗网络的方法，即条件式生成对抗网络和深度卷积生成对抗网络都在生成对抗网络本体做了一定程度的优化改进，但针对风电机组故障叶片这个复杂场景应用却不如ARGAN效果好。本文所采用的方法在真实保留叶片故障区域特征的同时，降低了阴影区域对模型识别分类的干扰，较大程度的提高了识别精度，可使识别概率由原始数据的54%提高到89%。

图10 风机故障叶片图像识别结果Fig.10 Image recognition results of fan fault blade

本实验用RMSE进行阴影去除的定量比较，可以由图10和表1中各种方法准确率、训练时间以及RSME值的对比得到，算法越复杂训练时间相对越长，相比其他几种方法，经过专注递归生成对抗网络对光照不均的图像处理后，再由卷积神经网络训练学习分类的风电机组叶片识别概率最高，可接近90%，并且降低了均方根误差。

表1 阴影处理叶片识别结果对比

由ARGAN处理后的模型识别损失函数如图11，由图11可以看出随着模型训练次数不断增加，损失函数逐渐减小，最终稳定在[0～0.1]区间内。

图11 叶片识别损失函数变化曲线Fig.11 Variation curve of blade identification loss function

由阴影处理叶片识别对比结果和损失函数变化曲线验证了相比于其他的图像处理方法，经过专注递归生成对抗网络对光照不均的图像处理后，再由卷积神经网络训练学习分类的风电机组叶片识别概率最高，这种方法对于有阴影遮挡的风电机组叶片故障有较好的分类识别效果。

4 结 论

本文针对光照不均，故障被阴影遮挡的风电机组叶片先进行专注递归生成对抗网络预处理，处理后的图片再经过卷积神经网络进行分类识别，通过与两种传统的阴影处理方法以及其他GAN方法对比，可看出由ARGAN处理后的图像分类识别效果最佳。因此得出以下结论：

(1) 利用专注递归生成对抗网络对光照不均，有阴影遮挡故障的风电机组叶片图像进行处理，可为后续叶片分类减少干扰，突出故障特征，有利于后期分类识别。

(2) 基于迁移学习的思想，利用卷积神经网络可以使样本数据不足的风电机组叶片有较好的识别分类结果。