基于循环互相关系数的CGAN温度值图像扩增

王凯旋，任福继，倪红军，吕帅帅，汪兴兴

（1.南通大学 机械工程学院, 江苏 南通 226019; 2.德岛大学 智能信息工学部, 日本 德岛 7708501）

变电设备是电能输送的重要组成部分，由于长期暴露在复杂的环境中，容易产生裂缝、老化、腐蚀等缺陷，引起变电设备温度异常，影响电力系统的稳定性[1-2]。基于红外图像的缺陷检测技术能够根据变电设备的热效应特点判断是否存在缺陷，具有操作简单、检测时间快、灵敏度高等优点[3]。因此，通过识别红外图像中的温度值，能够快速筛选出缺陷，并方便统计和记录。在实际巡检过程中，由于变电设备检测的周期较长、温度变化不确定性高，采集的红外图像温度值样本较少，存在数据集不平衡问题，无法满足模型的训练要求[4-5]。

针对此问题，图像扩增技术通过增加训练集数量，可以有效缓解训练时产生的过拟合和梯度下降现象[6-7]。近年来，研究学者们对基于机器学习技术的图像扩增方法进行了大量研究[8-10]。Goodfellow等[11]受博弈论思想的影响率先提出了生成对抗网络(generative adversarial network, GAN)，通过生成器和判别器的对抗训练，不断学习样本的数据分布。Han等[12]提出了一种基于改进GAN的遥感图像生成方法，采用沃瑟斯坦距离测量生成分布与真实分布间的差异，解决了训练过程中梯度消失等问题。Song等[13]将GAN输入噪声限制为二进制，并且采用多任务和无监督方式将图像转换成二进制编码同时进行图像压缩和检索。Guo等[14]在判别器中加入对比度增强操作，并将原始GAN的多层感知层替换为深度卷积神经网络，增强了图像细节和特征提取能力。这些方法虽然能够有效地增加样本数量，但是针对真实场景中的复杂背景图像缺乏特征分析，无法保证生成图像的质量。

为扩增变电设备温度值图像并提高生成图像质量，本文提出了基于循环互相关系数的CGAN温度值图像扩增方法。提出了一种循环互相关系数改进原始CGAN模型的损失函数，实现了数据集的扩增，在提高生成图像质量的同时解决了原始CGAN模型训练过程不稳定和过拟合的问题；在此基础上，通过对比实验验证了模型的有效性，实现了红外图像中温度值的高效准确识别，为后期的性能分析和故障诊断提供大量的红外温度值数据。

1 条件生成对抗网络

条件生成对抗网络(conditional generative adversarial network, CGAN)通过输入随机噪声和标签信息来引导数据的生成过程[15-16]，由生成器(generator, G)和判别器(discriminator, D)组成。生成器G生成具有标签特征的样本，判别器D用于区分生成样本与真实样本[17]。

CGAN模型的损失函数包括生成器和判别器两部分，如式(1)所示，目标函数如式(2)所示，在样本数据小的情况下，CGAN采用随机噪声作为基础生成的图像会存在若干畸形图像，这会直接影响损伤函数的计算结果，使得CGAN无法收敛，模型的稳定性较差[18]。

式中：m，n分别表示真实图像和生成图像数量；Zi表示第i张噪声；GZi,y表示标签为y的第i张生成图像；Rj,y表示标签为y的第j张真实图像，表示标签为y的生成图像；Ry表示标签为y的真实图像；PR、PG分别表示真实图像集和生成图像集；D表示判别网络的判别结果。

2 基于改进CGAN的图像扩增方法

2.1 基于循环互相关系数的改进损失函数

2.1.1 循环互相关系数

相关系数反映两张图像间的相关程度，相关系数越大，表明两张图像越相似[19]。相关系数的计算如式(3)所示。由于两张图像间的相关系数存在较大的偶然性，本文提出一种循环互相关系数δ，用于表征不同标签图像间的相关性，提高生成图像质量和多样性。其中，δ取值范围为[0,1]，数值越大表明图像之间越相似，其计算过程如图1所示。

图1 循环互相关系数计算流程Fig.1 Flowchart of cyclic cross-correlation coefficient

式中：i，j表示像素点的位置；m，n是图像长和宽。

设标签A图像为VA1，VA2，…，VAn，标签B图像为VB1，VB2，…，VBm，当计算标签A和标签B的循环互相关系数 δA1,B1时，其计算过程为：从标签A中取出图像VA1，分别计算VA1与标签B中图像VB1，VB2，…，VBm的相关系数，即 δA1,Bm，δA2,B，…， δA1,B，将其平均值作为图像VA1与标签B的相关系数 δA2,B；以此类推，分别计算VA2，VA3，…，VAn与标签B的相关系数 δAn,B， δAn−1,B，…，δA,B；最后计算所有标签A图像与标签B中相关系数的平均值，得到最终的循环互相关系数，如式(4)：

式中：n、m分别是标签A和标签B图像的数量。

2.1.2 改进的损失函数

为了提高生成图像质量，基于循环互相关系数改进生成器和判别器的损失函数，如式(5)，目标函数如式(6)：

式中： δRj,y,y表示标签y的第i张生成图像与各标签图像的最大循环互相关系数； δV1,y表示标签y的第j张真实图像与各标签图像的最大循环互相关系数。

当图像V1输入到判别器D后，计算此图像与各标签图像（y1,y2, …,y11）的循环互相关系数，取其最大值。当此图像实际为真实标签的图像时，则 δV1,y趋于1；当此图像实际为假标签的图像时，则 δv1,y趋于0，从而纠正了判别器将假判断为真和将真判断为假的情况。此外，为了减少判别器D的识别效果对生成器G的影响，更好地平衡生成器G和判别器D的训练过程，随机将一定比例的真实图像判别结果进行随机翻转操作，从而降低判别器的准确率并提升生成器的训练效果，解决过拟合现象。

2.2 网络设计

本文的生成器网络和判别器网络结构如图2所示，训练过程如下。

图2 网络框架Fig.2 Network framework

1) 将随机噪声和标签输入到生成器G中得到生成图像，固定判别器D，分别计算生成图像与11种标签图像的循环互相关系数，选取上述循环互相关系数的最大值改进损失函数，优化生成器G参数；

2) 接着固定生成器G，同时将生成图像、真实图像和标签输入到判别器D中，判断图像的真假，并根据图像与11种标签图像的循环互相关系数最大值改进损失函数；

3) 将结果反馈到生成器G和判别器D中，更新参数，反复执行上述步骤，使两者损失函数达到平衡，减少了生成图像与标签不匹配的情况。

在图像扩增时，将原始数据集中各标签内的循环互相关系数的平均值作为阈值，当生成图像与对应标签图像之间的循环互相关系数超过此阈值时输出图像，确保生成图像的质量，进而搭建新的数据集。

2.3 算法流程

本文提出的基于循环互相关系数的CGAN温度值图像扩增方法流程如图3所示，由4个部分组成。

图3 本文方法流程Fig.3 Flowchart of the proposed method

1)图像采集。采用红外热成像仪采集不同类型的变电设备图像，如绝缘子、高压套管、避雷器和转换开关等。

2) 构建原始温度值图像数据集。首先对采集的图像进行预处理，并基于轮廓和位置信息准确定位温度值区域并进行分割，最终得到包含数字“0~9”和符号“-”共11种标签的原始温度值图像数据集。

3) 训练改进的CGAN网络。将随机噪声和标签同时输入到生成器网络中得到生成图像，将原始数据集和生成图像输入到判别器网络中，结合循环相关系数判别图像真假，经过一定比例随机翻转后进行对抗训练，更新网络参数，直至达到平衡。

4) 构建新温度值图像数据集。利用训练好的改进CGAN网络生成图像，结合循环相关系数提高生成图像质量，最终建立新的温度值图像数据集。

3 实验环境与原始数据集

变电设备红外图像采用FLIR红外成像仪拍摄，像素为 320×240。硬件配置为 Intel（R）Core（TM）i5-10400F@2.90 GHz，16.0 GB RAM，NVIDIA GTX 2 060，软件为 MATLAB 2020b。实验中设置学习率为0.000 2、梯度衰减系数为0.5、平方梯度衰减因子为0.999、运行200×27代，激活函数(leaky rectified linear units, Leaky ReLU)斜率为0.2，采用自适应矩估计优化器(adaptive moment estimation, Adam)更新网络参数，单次批量处理32张图像。网络结构参数设置见表1。

表1 网络参数设置Table 1 Network parameter setting

续表1

由于红外图像中通常包含设备水印、树木、建筑物等复杂背景[20]，直接对红外图像识别容易检测错误，因此需要进行图像预处理，包括二值化处理、图像分割、温度值提取等。预处理结果如图4所示。随机选取150张变电设备红外图像进行预处理，一共得到876张温度值图像，根据温度值特点将图像分成11个标签，分别是数字“0~9”和符号“-”，并建立原始温度值图像数据集，如表2所示。分析可知原数据集存在样本数量小、分配不均衡特点。

图4 红外图像预处理Fig.4 Infrared image preprocessing

表2 原始温度值图像数据集Table 2 Original temperature image data set

4 分析与讨论

4.1 生成图像结果

采用改进的CGAN模型能够根据标签生成对应的图像，扩增后的变电设备温度值数据集共有2 200 张，数字“0~9”和符号“-”各有 200张。为了验证改进CGAN模型的有效性，与原始CGAN模型损失函数曲线和生成图像进行对比，结果如图5所示。可以看出，原始CGAN的损失函数在初期震荡较大，表明初期生成的样本质量较差，随着训练次数的增加，生成器和判别器网络相互对抗，图像质量不断上升，在2 000次训练后开始达到平衡，但生成图像存在较大的偶然性，部分数据不清晰、边缘模糊，存在异常结果，从而导致生成数据集的质量较差。改进的CGAN结合了循环互相关系数，在1 800次迭代后达到了平衡，训练过程较稳定，波动较小，且生成图像比较清晰、无异常结果，轮廓细节更清晰，整体图像质量较好。

图5 训练过程及生成图像Fig.5 Training process and generated images

为了验证循环互相关系数的有效性，计算上述数据集中各标签图像间的循环互相关系数，结果如表3所示。可以看出，相同标签图像的循环相关系数超过0.90，而不同标签之间的循环相关系数比较小，因此循环相关系数能够区分各标签图像，进而提高生成图像的质量。

4.2 客观质量评价

为了评价生成图像的质量，结合客观质量评价方法进行分析。客观质量评价方法主要包括全参考指标、部分参考指标和无参考指标[21-22]。本文选取峰值信噪比(peak-signal to noise ratio, PSNR)和结构相似度(structure similarity, SSIM)两种全参考指标对生成图像进行质量评价。PSNR是基于图像像素统计的指标，通过计算图像之间的像素误差的全局大小来评价图像质量，PSNR值越大表明图像生成效果越好[23]。SSIM是基于结构信息的指标，从亮度、对比度、结构综合评价图像相似性，更符合人眼视觉系统特性[24]，SSIM值越大，生成图像质量越好。

为了验证改进的CGAN模型的有效性，将本文算法与传统的图像扩增方法和原始的CGAN模型进行对比。传统的图像扩增方法包括图像旋转、缩放、翻转等[25]。分别计算3种方法生成图像的PSNR和SSIM值，得到11种标签客观评价指标，结果如表4所示。

表4 不同图像扩增方法的客观评价指标Table 4 Objective evaluation index of different methods

续表4

从表4可以看出，基于改进CGAN模型的图像扩增方法在PSNR和SSIM指标上数值最大，生成图像质量更好，证明了改进CGAN模型的有效性。原始CGAN模型在加入循环互相关系数改进损失函数后，生成图像质量得到明显提升。例如，相比于原始的CGAN模型，数字“5”的PSNR值提高了11.1%，SSIM值提高20.5%，改进后的CGAN模型更能有效地控制生成图像的质量，与原始图像像素分布更接近，图像失真更小。

4.3 温度值识别对比

为了验证温度值图像扩增质量对识别准确率的影响，将上述3种方法生成的2 200张图像按照7:3的比例随机分配为训练集和测试集，采用卷积神经网络(convolution neural network, CNN)进行温度值识别，并采用10倍交叉检验法进行验证，结果如图6所示。此外，为了验证图像扩增数量对识别准确率的影响，分析识别准确率随样本数量变化的情况，结果如图7所示。

图6 不同方法的识别准确率Fig.6 Recognition accuracy of different methods

图7 不同数量图像的识别准确率Fig.7 Recognition accuracy of different number of images

从图6可以看出，与传统的图像扩增方法相比，基于改进CGAN的图像扩增方法识别效果更好，11种标签的准确率均有大幅度提升。相比于原始的CGAN模型，对于容易识别错误的标签“0”、“3”、“6”、“−”等，识别的准确率分别为87.12%、87.22%、94.41%和93.62%，表明扩增后的温度值图像数据集能够提高温度值识别的准确率，满足训练和测试的样本要求。

从图7可以看出，随着生成样本数量的不断增加，3种方法的识别准确率均得到有效提升，当样本数量达到2 200张时，本文方法的准确率达到了99.4%，表明数据集的大小会影响识别的准确率，扩增温度值图像数据集具有重要意义。

5 结束语

本文针对变电设备红外图像中温度值图像数据集样本少、分布不均衡的问题，在分析温度值图像特征的基础上，提出了一种基于循环互相关系数的CGAN温度值图像扩增方法，通过计算循环互相关系数改进损失函数，提高生成图像的质量。经过生成器网络和判别器网络之间的对抗训练，生成图像清晰、细节信息丰富的温度值图像。本文方法在迭代次数达到1 800次时更快地达到纳什平衡，训练过程平稳。与传统方法和原始CGAN模型相比，本文方法生成图像的PSNR和SSIM值均达到最大，有效提高了生成图像的质量，图像轮廓清晰，与原始图像之间有更高的相似性；采用CNN模型对扩增后的数据集进行温度识别，本文方法的准确率最高，达到99.4%。此外，随着生成图像样本数量的增加，模型识别的准确率得到有效提升，对小样本数据集扩增具有重要意义，提高了图像之间的匹配度，为后续的缺陷检测做充分准备。