基于改进CNN 和ViT 网络的复合工况示功图诊断技术研究

钱帅康，陈夕松，姜 磊，邵志良，李绪信，史敦禹

（1.东南大学自动化学院，江苏南京 210096；2.南京富岛信息工程有限公司，江苏南京 210061；3.中策橡胶（建德）有限公司，浙江杭州 311600）

抽油机是原油开采的主要设备，研究抽油机故障诊断对维护安全生产，节能增效具有重要价值。目前抽油机故障诊断领域较为常用且有效的手段是基于示功图的分析与识别[1]。但传统基于人工分析的示功图诊断方法存在实时性差、诊断精度严重依赖专家经验等问题。近年来，卷积神经网络（Convolutional neural network，CNN）由于具有模型参数量较少，能够通过训练卷积核自动地提取图像特征的特点，已开始用于抽油机故障诊断。刘宝军[2]提出了基于卷积神经网络的示功图诊断技术，对供液不足、气体影响等常见工况的诊断识别正确率达到89.3%。何岩峰等[3]提出了使用CNN模型对抽油机进行故障诊断的方法，在识别精度进一步提高的同时还提升了运算效率。

然而，基于CNN 的方法目前多集中于单一工况示功图的诊断，针对复合工况研究较少。实际上，采油企业不仅希望能了解到抽油机的单一工况，更希望掌握到更精细的复合工况，使企业能够更精细化地管理抽油机生产，以达到节能增产的目的。但由于CNN 本身结构的特性导致其全局建模能力较弱，对于复合工况示功图的诊断精度仍有待提高。近年来，Transformer 已开始应用于图像识别并取得了良好效果，形成了新的图像识别网络-视觉Transformer（Vision Transformer，ViT）。由于ViT 使用自注意力机制进行计算，天然具有较好的全局建模能力。因此，本文研究了改进CNN 和ViT的复合工况示功图诊断方法，以弥补传统CNN 在复合工况下诊断效果不佳的不足。

1 基于改进CNN 和视觉Transformer 网络的诊断模型

1.1 改进的卷积神经网络

典型卷积神经网络通常由卷积层、池化层、全连接层组成。卷积层用于提取输入图像的特征图，其方形卷积核结构（如3×3，5×5 等）在图像矩阵上进行滑动窗口计算，能保证图像中的每个位置都进行了特征提取。池化层用于减小特征图的分辨率，以达到减少网络参数的目的。全连接层用于将提取出的所有特征图进行整合并映射为特征向量，以实现图像表征或分类。由于ResNet[4]具有残差块结构，即使层数很深的网络也能够很好的训练，不会出现模型退化问题，且其网络结构简单，可扩展性高，所以选择ResNet-50 网络作为本论文的基线模型。

通过分析示功图，发现其存在颜色单一、图形仅为封闭曲线的特点。目前CNN 都采用小的方形卷积核来提取图像特征，这种卷积核无法很好地提取整体曲线特征，导致难以达到较高的诊断精度。而想要更好地提取整体线条特征一般需要更大的卷积核，但随着卷积核的增大，网络参数也会急剧增加，导致模型训练时间延长，存储空间增加。论文设计了非方的n×m 和m×n卷积核，包括7×3 和3×7 卷积核，并以此构建如图1 所示的，A、B 两种残差块。通过两种残差块交替堆叠的方式，在仅增加少量参数量的前提下，提升了网络提取示功图特征的能力。

图1 具有非方卷积核的两种残差块

1.2 混合网络结构模型

改进的CNN 虽能较好的提取示功图局部特征，但复合工况示功图无法仅通过局部特征去识别，而是要从整体上去观察，才能获得准确的诊断结果，故研究通过增加ViT 网络来获得更好的诊断精度。ViT 首次将Transformer 用在图像识别领域，由于其独特的多头注意力机制，具有良好的全局建模能力，可以更有效提取复合工况示功图整体曲线特征。但直接训练ViT，往往需要百万甚至千万级别带标签数据集，才能表现出超越CNN 的性能，否则会出现严重过拟合现象。而获取如此量级的带标签示功图数据集是很昂贵的，需要消耗大量的人力和物力。论文设计了融合改进CNN 和ViT 的混合结构，在利用自注意力机制的同时，减小了对大量数据的依赖，其结构体参数（见表1）。

表1 中，O_C 代表输出通道数，k 代表卷积核尺寸，s 代表卷积步幅，Act 代表激活函数，In 和Out 分别代表全连接层的输入和输出。混合神经网络具有17 层卷积层，第一个卷积层为具有7×7 卷积核的普通卷积层，后接一个最大池化层用来降低特征图尺寸，减少网络参数。然后交替堆叠残差块A 和残差块B，更有效地提取示功图局部特征。为了简化工程实现，用单个具有14×14 卷积核的卷积层作为图像块嵌入层，卷积核大小即为图像块大小，卷积步幅为14×14，可以实现无重叠的分块功能。实验发现，对卷积层提取的特征图先进行取平均，再进行嵌入，不仅能大幅减少网络参数量，减少过拟合风险，而且能达到更好的精度。混合网络一方面能获得CNN 有效提取局部特征，在少量数据下仍能有效训练的优点，另一方面能获得ViT 对全局特征提取的能力，为复合工况示功图诊断提供了有力且高效的模型（见图2）。

图2 混合神经网络结构

表1 混合网络架构具体参数

2 示功图诊断流程

单一工况示功图类别多达数十种，而复合工况更是高达成百上千种。若采用一般的图像识别分类方法进行复合工况示功图诊断，需要为每个复合工况给定一个标签，则网络最终的输出维度会达到上百维甚至上千维，会导致预测效果不佳。且一些非典型复合工况只有很小的概率会出现，所以无法获取到所有类别的复合示功图数据。而基于相似识别的方法，可以通过比较图片之间的差异，提取出不同类别图像的特征向量，计算特征向量之间的相似度，从而进行图像的细粒度分类。不会出现全连接层输出维度过高，从而导致精度下降的问题。且对于样本数量较少，甚至没有出现在训练集中的复合工况，也可以借助检索库，正确实现诊断。基于以上原因，本文采用基于相似度识别的示功图诊断方案[5]，具体流程图（见图3）。

图3 复合工况示功图诊断流程图

2.1 数据预处理

将采集到的原始示功图数据进行异常值剔除，仅保留正常示功图二维数据。对过滤后的示功图二维载荷数据a=［a1，a2，…，ai］和位移数据b=［b1，b2，…，bi］

式中：i-每个示功图数据的采样点数；amax-抽油机的最大载荷；bmax-抽油机的最大冲程。为了得到W×H大小的示功图图像，需要将归一化后的数据点映射到二维图像坐标上，并以图像左下角为原点。数据点乘以图像宽高后，向下取整，即为归一化数据点在图像中对应的坐标值。将所有坐标绘制在图像中后，使用曲线将所有数据点进行连接，形成首尾相连的封闭曲线，所绘制示功图（见图4）。本论文中示功图尺寸选择W=H=224。

图4 绘制的示功图

2.2 数据集划分与模型训练

将采集的所有示功图数据绘制成示功图图像，并根据示功图图形相似度划分成不同类别。将分类后的数据集以8:1:1 的比例进行训练集、验证集和测试集的划分，从训练集中在线选取三元组进行上述混合神经网络模型的训练，三元组的选取步骤如下：

（1）随机从训练集中选取属于同一个类别的子集，并随机选择该子集中的某个样本作为锚点样本xA。从同一个子集中，再随机选取与锚点样本不同的另一个样本作为正样本x+。随机从训练集中选取与锚点样本不同类别的另一类子集，并随机选择该子集中的某个样本作为锚点样本x-。

（2）将xA、x+和x-组成一个三元组（xA，x+，x-），重复步骤（1）、（2）、（3），直到所有数据都组成三元组。

（3）对每个三元组中的图像使用混合神经网络进行特征提取，得到三个特征向量，使用三元组损失对混合神经网络进行训练，三元组损失公式如下：

式中：h+-正样本和锚样本向量之间的欧式距离；h--负样本和锚样本向量之间的欧式距离；m-固定间距。

2.3 实时复合工况示功图诊断

由工艺专家标定数据集中的典型故障工况，并使用训练完成的混合神经网络模型对典型故障示功图进进行归一化处理，归一化公式如下：行特征提取，建立故障工况特征检索库。对实时采集的示功图数据进行实时工况诊断的步骤如下：

（1）对实时采集的示功图数据使用混合网络模型提取特征向量xnew，并与工况特征检索库中的特征向量进行余弦相似度计算，得到相似度向量V。

（2）判断V 中最大值Vmax是否超过主工况阈值T1，是则将该最大值对应的类别作为示功图的主工况K，否则将此示功图类别标记为未知，由专家标定后加入工况特征检索库中。

（3）将V 中除Vmax外的值定义为复合工况隶属度t，判断t 是否超过复合工况阈值T2，是则判定此示功图为复合工况，包含次要工况Ki，否则为单一工况示功图。

（4）判断K 是否为故障工况，如果为平稳工况，则不报警，如果为故障工况，判断是否包含Ki，是则进行复合故障工况报警，否则进行单一故障工况报警。

3 应用研究

本文选取某采油企业2021 年7 月至9 月的示功图数据进行实验，分析本文方法对复合工况示功图诊断的有效性。根据采集到的示功图数据，进行数据预处理，绘制得到共45 429 张示功图图像。以相似度为依据分类数据集后，将数据集划分为训练集36 343 张、验证集4 543 张和测试集4 543 张。从训练集中采样三元组，使用三元组损失对混合神经网络进行训练，得到的损失值曲线（见图5）。使用混合神经网络对测试集示功图提取特征，根据与故障特征检索库中的特征向量进行相似度计算，以完成示功图诊断，诊断精度（见表2）。

表2 混合神经网络在测试集上的诊断精度

图5 混合神经网络损失曲线图

为了验证本文模型的泛化能力以及相较原始模型的有效性，从产油企业2021 年10 月数据中选取2 000张未出现在训练集中的单一和复合工况示功图数据，以相同的方式进行诊断，得到多模型对比结果（见表3）。

根据表3 分析，原始ResNet50 网络对复合工况的诊断精度较低，仅为81.50%，改进的ResNet 虽有提升，诊断精度仍达不到要求，仅为85.25%，而混合结构神经网络复合工况诊断精度取得了较大的提升，达到了92.75%。三种网络在单一工况示功图下都取得了较高的诊断精度，而混合结构神经网络仍达到了最高的96.5%。由上述分析可知，本文设计的混合结构神经网络具有较好的示功图特征提取能力，不仅能提升整体诊断精度，而且对复合工况示功图诊断精度具有很大提升，为抽油机故障诊断提供了更准确和有效的手段。

表3 多模型在新测试集上的诊断精度对比结果

4 结论

本文提出了一种基于改进CNN 和ViT 网络的复合工况示功图诊断技术，设计的混合神经网络模型能够较好地提取复合工况示功图特征，对实时采集的示功图使用混合网络进行特征提取，根据提取的特征与特征检索库中的特征向量进行相似度计算，得到相似度向量。通过相似度向量，判定示功图类型，并进行单一或复合工况故障诊断。实验结果表明，该方法提出的混合网络结构在测试集上诊断精度达到95%以上，能显著提升复合工况示功图的诊断精度，使企业能够更加精细化、集约化地管理抽油机生产，建立更为合适的抽油机工作制度，以达到节能增产的目的。