基于小样本不均衡数据的供水管道泄漏智能检测算法

孙宗康，饶睦敏，曹裕灵，史艳丽

基于小样本不均衡数据的供水管道泄漏智能检测算法

孙宗康1，饶睦敏2，曹裕灵1，史艳丽3

(1. 广东电力发展股份有限公司，广东 广州 510630；2. 广东能源集团科学技术研究院有限公司，广东 广州 510630；3. 华南农业大学图书馆，广东 广州 510642)

针对能源电厂供水管道泄漏视觉检测存在数据样本少、不均衡等问题，提出一种基于小样本不均衡数据的供水管道泄漏智能检测算法。首先，提出一种基于多掩码混合Multi-mask mix的数据增强方法，通过随机生成掩码层对原始图像进行区域提取与混合，在Multi-mask mix中引入支持向量机(SVM)获取管道正常和泄漏特征，为混合掩码块提供更准确的先验标签；其次，提出一种均衡化策略并应用于图像层面和掩码层面，以实现数据均衡化；最后，基于深度学习的Resnet18网络模型实现管道泄漏检测与识别。实验结果表明，该算法处理图像数据后可使Resnet18模型对管道泄漏识别准确率提升1.1% ～ 4.4%，说明深度学习模型能有效提升管道泄漏检测的分类精度，优于现有其他算法。此外，该算法现已成功应用于能源电厂供水管道泄漏检测。

小样本；多掩码混合；数据增强；数据均衡化；管道泄漏检测

能源电厂供水管道主要承担配水、输水等功能，由于水中存在腐蚀性杂质，对大型机器机械振动易产生腐蚀，同时设备也存在老化等问题，从而引起供水泄漏。长期的泄漏将加剧供水管道腐蚀与老化，严重情况可导致安全事故。因此，及时发现管道泄漏对保障能源电厂安全运行具有重要意义。早期的管道泄漏检测主要依赖人工巡检，由于管路多、空间狭窄，巡检效率低且容易发生漏检[1]。为此，负压力波检漏法[2]、声信号分析法[3]、流量平衡检漏法[4]、机器视觉检测等方法逐步应用于管道泄漏检测。其中，基于机器视觉的检测方法通过面阵相机动态采集管道图片数据，并与含有泄漏特征图片模板对比实现长时间不间断管路监测，安装容易且成本低，已成为主要方法，但复杂光照以及环境背景条件下泄漏识别率仍有待提升[5]。

近年来，以多层深度人工神经网络为架构，通过对大量数据隐含特征学习与表征，深度学习技术已成功应用于语音识别、计算机视觉等领域并取得了很好的效果[6]。利用管道图片数据实现泄漏检测本质上是图像分类[7]识别问题，基于深度神经网络技术可为能源电厂管道高精度泄漏检测提供可能。但其训练通常需大量图像数据样本支撑，而能源电厂采集图像主要来源于未泄漏的特征数据，易导致泄漏与无泄漏特征图像数据出现不均衡特点，并使训练网络过于关注无泄漏特征数据，而忽视了少量含有泄漏特征类图像数据，以致泄漏特征识别分类性能提升有限。

为尽可能增加包含更多泄漏特征的图像数据，且分布更为均衡，数据增强方法较为有效，且能增加训练数据集，让数据集尽可能多样化，使得训练模型具有更强泛化能力。其中，有部分学者针对单张图像提出Cutout[8-9]，RandErasing[10]，HideAndSeek[11]和GridMask[12]等数据增强方法；也有对多张图像进行混合增强的Mixup[13]和Cutmix[14]等方法，但存在过度删除区域等问题，可能造成泄漏的关键特征信息缺失，使增强数据成为噪声数据；或因保留过多区域，忽略了主要泄漏特征，使整体数据失去增强目的。

本文针对管道泄漏数据集中存在的数据量少、数据不均衡的情况，提出了一种多掩码混合(Multi-mask mix)数据增强策略，该策略主要包括4个方面的内容：①通过掩码的线性插值产生新图像，使其更多地包含泄漏特征，并采用了多个掩码混合的方法；②使用人工剪切的少量泄漏特征数据和少量正常管道特征数据，训练支持向量机(support vector machine，SVM)，通过SVM判别为混合掩码提供更为准确的先验标签；③针对泄漏图像较少、正常图像较多的问题，从图像层面和掩码层面上提出了均衡化策略；④结合原图像和混合掩码的标签，提出适用于Multi-mask mix的分类损失函数。将该数据增强策略用于训练Resnet18[15]和VGG16[16]模型，并与若干流行的数据增强方法进行比较，实验结果表明，该方法能有效提升深度学习模型对管道泄漏检测的分类精度。

1 Multi-mask mix数据增强策略

1.1 多掩码混合

Multi-mask mix算法通过一系列步骤对初始图片进行处理，进而实现数据的增强，流程如图1所示。首先从数据集中随机选取2张图片，利用随机生成的掩码层将两者进行混合并组成新样本，新的样本包含2种特征，一是原始背景图像的特征；二是经混合后的掩码块的特征。前者的特征标签与背景图像的标签一致，后者的标签由SVM判别得到，通过以上步骤可以获取新样本及其标签。

然后，通过线性插值得到混合掩码为

其中，用于控制插值程度，～(0,1)。

最后，使用x和x得到x，即

图1 多掩码混合生成新图像

Fig. 1 Multi-mask blending generates new image

1.2 基于SVM的混合掩码标签

经处理后，新样本包含原始背景图像和混合掩码块两部分特征。前者的特征标签与背景图像的标签一致，后者的标签需要重新判别。为了判断混合掩码的标签，本文引入了SVM作为该部分特征的判别器。

首先从收集到的管道泄漏数据集中人工截图部分泄漏特征图像和正常管道图像构建泄漏特征分类数据集，如图2所示。使用该数据集训练SVM模型，并通过sigmoid-fitting方法输出分类概率。由于SVM分类算法较为常见，其实施细节不再赘述，具体见文献[17]。

图2 特征分类数据集((a)泄露特征；(b)正常特征)

假设得到的分类概率函数为()，通过式(3)和式(4)得到混合掩码的标签为

其中，x和x分别为图像x和x所对应的第块掩码图像；为对图像缩放至固定大小，由p可确定混合掩码的标签y。

1.3 数据均衡化策略

由于管道图片样本中正常的居多，泄漏偏少，若直接输入到神经网络模型中进行训练，则使得网络模型在训练过程中遇到正负样本不均衡的问题。如果直接使用Multi-mask mix进行随机采样，则会加剧不平衡现象，这不仅会导致模型在训练中提取的泄漏数据特征较少，也易导致过拟合并使预测结果更倾向于正常类别，进而造成识别准确率下降。

目前处理类别不平衡的采样方法主要有上采样、下采样、加权损失函数等[18]。若采用下采样，则原本数量就少的管道正常图片也无法充分利用到，故不适用。传统的上采样方法由于样本本身数量少，而出现较多样本重复采样的情况，易导致严重过拟合。

针对管道泄漏图像数据集中存在的数据不均衡现象，本文在Multi-mask mix数据增强策略中设计了2种数据均衡化策略：

(1) 在图像层面上。对于背景图像为正常的情况采用“一对一”的方法，即一幅正常的背景图片仅与一幅前景图像进行混合；对于背景图像为泄漏的情况采用“一对多”的策略，即一幅泄漏的背景图像分别与不同的前景图像进行混合，生成多幅新的样本图像，通过该策略能够提高多掩码混合过程中保留泄漏特征的概率，从而产生更多的泄漏数据，其中，前景图像数量设×幅，和均为手动设置的超参数，如图3所示；

图3 图像层面的数据均衡化

(2) 在掩码层面上。掩码块的大小及位置是在一定范围内随机生成，见1.1节，当前景图像为正常图像时，使用个掩码块生成新图像；当前景图像为泄漏图像时，使用×个掩码块生成新图像，其中>1，且为正整数。该策略可提高前景图像中的泄漏区域被掩码块提取的概率，从而使新图像中更有可能包含泄漏特征，如图4所示，图中=1，=4。

图4 掩码层面的数据均衡化

1.4 损失函数

2 基于小样本不均衡数据的管道泄漏检测

2.1 数据收集

目前没有现成的管道泄漏数据集，因此需要自己收集原始图片并进行处理。本文主要从以下3个渠道进行收集：①在能源电厂现场和生活场景中进行收集；②在互联网上进行检索收集；③使用修图工具对图片进行调整，使其具备泄漏特征，人为制造图片数据。将以上收集得到的原始数据集进行分类标签，分为正常和泄漏，如图5所示，每种类别数据数量见表1。

图5 管道泄漏检测图像数据集

表1 管道泄漏初始数据集

2.2 深度学习模型

本文选取VGG16和Resnet18两种深度学习模型进行对比实验，根据其在管道泄漏数据集的识别表现，选取效果最好的网络模型。

VGG16网络结构如图6所示，包括13个卷积层和3个全连接层。并使用具有小卷积核的架构对深度不断增加的网络进行评估，表明将深度推至16权重层时，可以实现对现有技术配置的显著改进。此外，VGG16可以很好地推广到其他图像识别数据集，其具有良好的适应性和准确性。国内外学者对VGG16也有着深入地研究和应用，陈英义等[19]将VGG16与迁移学习相结合，提出了一种基于FTVGG16卷积神经网络的鱼类识别模型；DESAI等[20]将VGG16分层结构与SVM相结合，提出一种基于深度学习框架的图像检索混合方法，验证了其具有良好的图片特征提取功能，有利于提高检测效果。

图6 VGG16网络结构图

Resnet18网络结构见表2，主体部分包括4个残差块ResBlock1～4，在每2个ResBlock间增加了残差映射，在增加网络深度的同时防止梯度消失，从而可以容易地从深度大幅增加中获得精度增益，且能加快训练收敛速度。近年来，在很多领域都能见到Resnet18的应用，ZHU等[21]提出一种空间通道渐进融合残差网络以进行多分辨率遥感图像分类；EBRAHIMI等[22]提出一种将磁共振图像切片输入到Resnet18中以检测阿尔茨海默病的方法，验证了该网络既能在特征提取方面表现良好，还能使模型更快收敛，从而减少训练时间。

表2 Resnet18的网络结构

2.3 检测流程

本文提出的管道泄漏检测方案的最终目标是将深度学习模型应用到管道泄漏的实时检测中，重点解决的是基于小样本不均衡数据训练出高预测精度的深度学习模型。具体地实施步骤如下：

步骤1. 收集管道泄漏图像数据和正常图像数据，通过人工标记得到图像标签，构成管道泄漏数据集；

步骤2.从数据集中人工剪切泄漏特征数据和部分正常特征数据，构成泄漏特征数据集E；

步骤3.使用数据集E训练SVM模型，得到其分类概率输出函数；

步骤4.数据集中随机选出一个批量的图像{X,Y}，基于1.1节的混合掩码策略和1.3节的数据均衡化策略生成新图像集X，使用式(3)和式(4)得到混合掩码标签Y；

步骤7.将深度学习模型部署到相应设备中，用于管道监控视频的实时检测。

3 实 验

3.1 实验设置

实验在Inter Core i5-9600K CPU、32 GB内存、NVIDA GeForce RTX 2080显卡的windows10系统上进行调试，模型框架为pytorch，使用python3.7进行编程。

为了更全面地对比实验结果，本文设计了多组实验，利用Resnet18和VGG16分别和添加了Mixup，Cutout，Cutmix，Multi-mask mix和添加了均衡化策略的Multi-mask mix数据增强方法在制作的数据集上进行训练。数据集中每幅图像定义一个标签，根据工作状态的不同，选择{0，1}中的一个，将数据集按8∶2的比例随机选取划分为训练集和测试集。

3.2 实验评价指标

本文生成两类混淆矩阵，见表3。

表3 混淆矩阵

注：TN为正确预测为泄漏的样本个数；FN为错误预测为泄漏的样本个数；FP为错误预测为正常的样本个数；TP为正确预测为正常的样本个数

由表3的混淆矩阵，可以计算特异性(specificity，SP)、敏感性(sen-sitivity，SE)、准确率(accuracy，AC)，即

其中，特异性是正确预测管道正常的概率，特异性高则表示管道为正常时被误判的概率小；敏感性是正确预测管道泄漏的概率，敏感性高则表示管道为泄漏时被误判的概率小；准确率表示正确识别管道为正常或泄漏的概率。

在实际的生产活动中，管道泄漏可能导致巨大的安全事故或经济损失。因此，检测到管道发生泄漏所具备的现实意义较大，所以敏感性在实际应用时更为重要。

3.3 实验结果及分析

通过多次实验得到下列关于各类数据增强方法在Resnet18和VGG16网络结构下的预测精度数据表，评价指标为SP，SE和AC，见表4和表5。

表4 Resnet18预测精度数据表(%)

注：加粗数据为最优值

表5 VGG16预测精度数据表(%)

注：加粗数据为最优值

根据Resnet18和VGG16网络框架下的实验数据，分别从以下3个指标对各数据增强方法进行分析：

(1) 特异性。表现最好的为Mixup，在Resnet18和VGG16中分别达到了94.20%和97.39%，而Multi-mask mix仅有85.80%和86.67%，均在baseline之下。由此说明本文算法在识别管道正常特征的能力较差，而均衡化后能有所提升并在Resnet18中略优于baseline。

(2) 敏感性。表现最好的为Multi-mask mix，在Resnet18和VGG16中分别达到了77.39%和79.57%，均衡化后均达到了80.00%以上。而其他算法均在80.00%之下。由此可知，本算法在混合过程中可以有效保留小样本图像的局部特征如泄漏，故在敏感性上有着更好地表现。

(3) 准确率。Multi-mask mix在Resnet18和VGG16中分别为83.70%和84.89%，与现有算法的表现差距不大，基本在-1%～1%浮动。均衡化后，本算法准确率有所提升，与其他方法拉开差距，最大相差了4.40%，最少也有1.10%。

综合分析，Mixup等算法在特异性上表现较好，敏感性表现不佳，主要是存在数据量少和不均衡问题，导致数据增强倾向于正常图像，对于泄漏图像特征的学习仍有所不足，故预测结果倾向于正常图像。而本文算法的混合掩码块，增强了对局部特征的提取，在不均衡情况下，对泄漏图像的识别效果已优于其他算法；经过数据均衡化，泄漏数据量得到较大扩增，对泄漏图像特征的学习有所增强，既有效提高了敏感性，特异性也能稳定在85%以上，整体的识别准确率优于其他算法。

此外，考虑到实际生产生活中发现泄漏的意义较大，所以敏感性越高则说明在管道泄漏检测中有着更好的实用性，通过实验数据可知，本文方法更符合实际需求。

4 结 论

本文提出一种基于多掩码混合(Multi-mask mix)数据增强的检测算法用于管道泄漏检测。其中，针对小样本问题，采用多掩码混合进行数据扩增，该过程中产生的掩码块通过SVM进行判别提供其标签，并提出适用于Multi-mask mix的分类损失函数；针对类别不均衡问题，从图像层面和掩码层面对Multi-mask mix进行均衡化处理，使其能够侧重于泄漏样本的增强，从而减少数据不平衡带来的影响，并提高模型泛化性能和识别准确率。

通过设置实验，与一些主流数据增强算法相比较，本文方法在管道泄漏视觉检测上能够实现较高的识别准确率，特别是对于泄漏状态的识别准确率明显高于其他模型，从而验证该方法具备可行性。此外，在相同的测试条件下，本文方法在VGG16中的准确率、特异性、敏感性均略低于Resnet18，考虑到实际应用需求，最终选择以Resnet18作为本文管道泄漏视觉检测的网络模型。目前，该方法已在某能源电厂取得成功应用。

[1] 高琳, 曹建国. 管道泄漏检测方法研究综述[J]. 现代制造工程, 2022(2): 154-162.

GAO L, CAO J G. Review of diagnostic technique for pipe leakage[J]. Modern Manufacturing Engineering, 2022(2): 154-162 (in Chinese).

[2] 于鹏飞, 雷云, 刘晓, 等. 基于负压波原理的管道泄漏检测技术研究[J]. 管道技术与设备, 2017(5): 22-24.

Yu P F, Lei Y, Liu X, et al. Study on the pipeline leakage detection technology based on principle of negative pressure wave[J]. Pipeline Technology and Equipment, 2017(5): 22-24 (in Chinese).

[3] 黎晨. 基于声发射信号的管道泄漏检测及定位方法研究[D]. 西安: 西安理工大学, 2021.

LI C. Pipeline leakage detection and localization based on acoustic emission signal[D]. Xi’an: Xi’an University of Technology, 2021 (in Chinese).

[4] 张弢甲, 富宽, 刘胜楠, 等. 基于流量平衡法的泄漏识别改进算法[J]. 管道技术与设备, 2017(4): 19-22, 28.

ZHANG T J, FU K, LIU S N, et al. Improved algorithm for leak recognition based on flowrate balance method[J]. Pipeline Technique and Equipment, 2017(4): 19-22, 28 (in Chinese).

[5] FERNANDES A O, MOREIRA L F E, MATA J M. Machine vision applications and development aspects[C]//2011 9th IEEE International Conference on Control and Automation. New York: IEEE Press, 2011: 1274-1278.

[6] 张慧, 王坤峰, 王飞跃. 深度学习在目标视觉检测中的应用进展与展望[J]. 自动化学报, 2017, 43(8): 1289-1305.

ZHANG H, WANG K F, WANG F Y. Advances and perspectives on applications of deep learning in visual object detection[J]. Acta Automatica Sinica, 2017, 43(8): 1289-1305 (in Chinese).

[7] VOULODINMOS A, DOULAMIS N, DOULAMIS A, et al. Deep learning for computer vision: a brief review[EB/OL]. (2018-02-01) [2022-01-13]. https://www.researchgate.net/ publication/322895764_Deep_Learning_for_Computer_Vision_A_Brief_Review.

[8] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15: 1929-1958.

[9] DEVRIES T, TAYLOR G W. Improved regularization of convolu-tional neural networks with cutout[EB/OL]. (2017-11-29) [2022-01-13]. https://arxiv.org/abs/1708.04552.

[10] ZHONG Z, ZHENG L, KANG G L, et al. Random erasing data augmentation[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 13001-13008.

[11] SINGH K K, LEE Y J. Hide-and-seek: forcing a network to be meticulous for weakly-supervised object and action localization[C]//2017 IEEE International Conference on Computer Vision. New York: IEEE Press, 2017: 3544-3553.

[12] CHEN P G, LIU S, ZHAO H S, et al. Gridmask data augmentation[EB/OL]. (2020-01-14) [2022-01-13]. https:// arxiv.org/abs/2001.04086.

[13] ZHANG H Y, CISSE M, DAUPHIN Y N, et al. Mixup: beyond empirical risk minimization[EB/OL]. [2022-01-30]. https://arxiv.org/abs/1710.09412.

[14] YUN S, HAN D, CHUN S, et al. CutMix: regularization strategy to train strong classifiers with localizable features[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE Press, 2019: 6022-6031.

[15] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2022-01-30]. https://arxiv.org/abs/1409.1556.

[17] CHANG C C, LIN C J. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 27.

[18] 王乐, 韩萌, 李小娟, 等. 不平衡数据集分类方法综述[J]. 计算机工程与应用, 2021, 57(22): 42-52.

WANG L, HAN M, LI X J, et al. Review of classification methods for unbalanced data sets[J]. Computer Engineering and Applications, 2021, 57(22): 42-52 (in Chinese).

[19] 陈英义, 龚川洋, 刘烨琦, 等. 基于FTVGG16卷积神经网络的鱼类识别方法[J]. 农业机械学报, 2019, 50(5): 223-231.

CHEN Y Y, GONG C Y, LIU Y Q, et al. Fish identification method based on FTVGG16 convolutional neural network[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(5): 223-231 (in Chinese).

[20] DESAI P, PUJARI J, SUJATHA C, et al. Hybrid approach for content-based image retrieval using VGG16 layered architecture and SVM: an application of deep learning[J]. SN Computer Science, 2021, 2(3): 170.

[21] ZHU H, MA M R, MA W P, et al. A spatial-channel progressive fusion ResNet for remote sensing classification[J]. Information Fusion, 2021, 70: 72-87.

[22] EBRAHIMI A, LUO S H, CHIONG R. Introducing transfer learning to 3D ResNet-18 for Alzheimer’s disease detection on MRI images[C]//2020 35th International Conference on Image and Vision Computing New Zealand. New York: IEEE Press, 2020: 1-6.

Water supply pipeline leakage intelligent detection algorithm based on small and unbalanced data

SUN Zong-kang1, RAO Mu-min2, CAO Yu-ling1, SHI Yan-li3

(1. Guangdong Electric Power Development Co. Ltd, Guangzhou Guangdong 510630, China; 2. Guangdong Energy Group Science and Technology Research Institute Co. Ltd, Guangzhou Guangdong 510630, China; 3. Library of South China Agricultural University, Guangzhou Guangdong 510642, China)

To address the problems of few and unbalanced data samples in the visual detection of water supply pipeline leakage in energy power plants, an intelligent detection algorithm for water supply pipeline leakage based on small sample unbalanced data was proposed. First, a data enhancement method based on Multi-mask mix was proposed. The original image was extracted and mixed by the mask layer randomly generated, and the support vector machine (SVM) was incorporated into Multi-mask mix to obtain pipeline normal and leakage features, thus providing more accurate prior labels for the hybrid mask blocks. Secondly, an equalization strategy was proposed and applied to the image level and mask level to achieve data equalization. Finally, a deep learning-based Resnet18 network model was utilized to attain pipeline leak detection and identification. The experimental results show that the algorithm can improve the accuracy of the Resnet18 model for pipeline leakage detection by 1.1%–4.4% after processing image data, and can effectively enhance the classification accuracy of the deep learning model for pipeline leakage detection, outperforming other existing algorithms. In addition, the algorithm has now been successfully applied to the leakage detection of water supply pipelines in energy power plants.

small sample; Multi-mask mix; data enhancement; data equalization; pipeline leakage detection

TP 391.4

10.11996/JG.j.2095-302X.2022050825

A

2095-302X(2022)05-0825-07

2022-04-19；

2022-06-24

19 April，2022；

24 June，2022

国家自然科学基金项目(51775116)；广东能源集团重点科技项目(YJY/20-033)

National Natural Science Foundation of China (51775116); Key Science and Technology Projects of Guangdong Energy Group (YJY/20-033)

孙宗康(1991-)，男，研究员，博士。主要研究方向为智慧电厂、模式识别。E-mail：szkcheer725@163.com

SUN Zong-kang (1991-), researcher, Ph.D. His main research interests cover smart power plant and pattern recognition. E-mail：szkcheer725@163.com

史艳丽(1978-)，女，副研究馆员，硕士。主要研究方向为图形图像分析、图书情报学。E-mail：sylscau78@scau.edu.cn

SHI Yan-li (1978-), associate research librarian, master. Her main research interests cover graphic image analysis and specialized research in library intelligence. E-mail：sylscau78@scau.edu.cn