基于图像处理和机器学习的PE管道缺陷检测

摘 "要： 对于聚乙烯（PE）管道，在运行中经常有不同程度的泄漏等异常，通过对管道中不同异常的实验模拟，收集数据并手动标记相应的数据集。为了提高管道缺陷图像的质量，首先采用加权平均法对图像进行灰度处理；然后，利用伽马变换改进管道背景与缺陷的对比度；最后，使用双重过滤来降低图像中的噪声。为了降低数据的复杂度，提高模型训练速度，采用改进的Sobel算法对管道缺陷图像进行边缘检测，采用自适应阈值分割算法分割缺陷图像的边缘，生成二值图像，用二值图像训练模型，减少了模型对颜色特征的依赖，加快了模型的收敛速度。为了提高管道缺陷检测的精度，引入CA注意力机制，提高目标检测特征提取能力。改进的YOLOv5模型的mAP和召回率分别为97.18%和98.03%。与原算法相比，mAP增加了1.33%，召回率增加了3.83%。

关键词： 缺陷检测； 图像处理； 机器学习； YOLOv5； 注意力机制； 二值图像

中图分类号： TN911.73⁃34； TP391.41 " " " " " " " " 文献标识码： A " " " " " " " " 文章编号： 1004⁃373X（2024）21⁃0059⁃08

PE pipeline defect detection based on image processing and machine learning

FU Qiankun1， LI Qiang2， 3， RAN Wenshen4， LIN Nan4， WANG Yang1

（1. School of Intelligent Manufacturing Modern Industry （School of Mechanical Engineering）， Xinjiang University， Urumqi 830046， China;

2. Xinjiang Yian Special Inspection Engineering Co.， Ltd.， Urumqi 830000， China;

3. Xinjiang Uygur Autonomous Region Special Equipment Inspection and Research Institute， Urumqi 830000， China;

4. Department of Pressure Pipe， China Special Equipment Inspection and Research Institute， Beijing 100013， China）

Abstract： Usually， anomalies such as different degrees of leakage may occur to the polyethylene （PE） pipes in operation. The data are collected and the corresponding data sets are labeled manually by experimental simulation of different anomalies of the pipelines. The weighted average method is used to process the image gray in order to improve the quality of defect images of the pipeline. The contrast ratio between the pipeline background and the defects is improved by applying gamma transform. Double filtering is used to reduce the noise in the image. In order to reduce the complexity of the data and improve the speed of model training， the improved Sobel algorithm is used to detect the edges of the defect image. The adaptive threshold segmentation algorithm is used to divide the edges of the defect image， so as to generate a binary image. The binary image is used to train the model， which reduces the model dependence on the color features and accelerates the model convergence. In order to improve the accuracy of pipeline defect detection， the coordinate attention （CA） mechanism is introduced and the feature extraction ability of object detection is improved. The mAP and recall rate of the improved YOLOv5 are 97.18% and 98.03%， respectively. In comparison with that of the original algorithm， its mAP is increased by 1.33% and its recall rate is increased by 3.83%.

Keywords： defect detection; image processing; machine learning; YOLOv5; attention mechanism; binary image

0 "引 "言

在过去的几十年中，聚乙烯（PE）管道因其柔韧性和耐腐蚀性，被广泛用于世界各地的天然气网络[1]。因此PE管材及其材料的长期性能至今备受关注[2]，根据国际天然气管道事故统计数据显示，人为破坏、施工失误、腐蚀是天然气管道泄漏的常见原因[3]。随着使用管道运输危险物质在全球范围内变得越来越流行，由管道故障而发生重大事故的可能性正在逐步增加[4]。在实践中燃气管道有许多无损检测方法（例如，基于激光的系统、基于超声波的传感器等），与其他常用于PE管道的检测技术相比，视觉检测技术因其直观、准确和方便的独特优势，已广泛应用于各个领域[5]。各类的视觉内检测方法常搭载在管道机器人中，而配备有图像处理技术的管道机器人可以直接收集、传输和处理图像，减少了人工成本[6]。

传统图像的缺陷检测是使用提取图像特征完成的，用这些提取的特征来表示原始像素值中不清晰的信息。最近几年，这种方法被卷积神经网络（CNN）所取代[7]。文献[8]提出一种基于CNN和改进的样条局部均值分解（ISLMD）方法对图像降噪，从而定位管道泄露位置。文献[9]提出了一种基于视觉的软件方法，通过图像展开模块、图像镶嵌模块、缺陷辨识模块更加直观地显示所获取的数据，帮助人工操作。文献[10]提出了一种基于StyleGAN⁃SDM图像预处理和CNN的下水管道多缺陷检测系统，所提出模型的平均准确率和宏观[F1]分数分别达到了95.64%和0.955。

1 "图像预处理

通过对管道图像进行预处理，不仅成功地消除了其中的噪声，还提高了管道背景与其缺陷的对比度，这使得缺陷的识别和分类变得更为高效。图像预处理过程如图1所示。

1.1 "图像灰度处理

灰度是表征图像亮度和黑暗的一个重要特征。近年来，它被应用于基于图像灰度差异和间断变化的图像分割、目标识别和机器视觉技术中。与彩色图像相比，灰度占用内存少、运算速度快[11]。

彩色图像的灰度转换有三种常用方法：均值法、最大值法、加权平均法。其中，最大值法直接取[R]、[G]、[B]三个分量中数值最大（见式（1））的分量的数值。

[R=G=B=max（R，G，B）] " （1）

均值法就是取[R]、[G]、[B]三个分量中数值的均值：

[R=G=B=（R+G+B）3] （2）

加权平均法就是根据人眼对于[R]、[G]、[B]三种颜色的敏感度，按照一定的权值进行加权平均（见式（3））得到。

[I（α， β）=0.3×IR（α， β）+0.59×IG（α， β）+0.11×IB（α， β）] （3）

式中：[I（α， β）]表示坐标[（α， β）]处的灰度值；[IR（α， β）]、[IG（α， β）]和[IB（α， β）]分别表示像素的三种颜色分量的亮度值。

采用最大值法（见图2b））、均值法（见图2c））、加权平均法（见图2d）），分别对裂纹、孔洞、断裂三种原始缺陷图像（见图2a））进行灰度处理。从图2可以发现，加权平均法得到的灰度图像效果最好（暗处更暗），灰度图像亮度适中，未覆盖管道缺陷的特征。因此，用加权平均法对图像进行灰度化处理。

1.2 "管道缺陷的图像增强

图像增强是提高图像显示效果的一种方法，其目的是增强图像的显示质量，强调图像的边缘和关键纹理，并限制对不重要区域的展示，从而在某种程度上提升图像的视觉体验或强调图像中的某些“实用”部分，同时减少其他“不必要”的信息[12]。图像增强技术众多，而本文采用全局直方图均衡化（见图3b））、自适应直方图均衡化（见图3c））和Gamma变换（见图3d））对先前得到的灰度图（见图3a））进行图像增强处理。

从图3可以看出，通过直方图均衡化处理后的图像虽然提升了背景与缺陷之间的对比度，但是也导致噪声在图像中突出。与原始的缺陷图像相比，经过均衡化处理后的图像亮度表现出不均匀性；自适应直方图均衡化技术在消除图像中的均匀噪声方面表现出一定的效果，但是也引起了图像过度增强和噪声放大的现象。在Gamma变换之后的缺陷图像没有失真，缺陷的边缘更加突出，与背景的差异更大，变得更清晰。所以选择采用Gamma变换算法提高管道背景与管道缺陷间的对比度。

1.3 "管道缺陷图像滤波处理

噪点在图像采集过程中的影响是不可避免的，因此对图像进行相应的滤波处理很有必要。有两个基本原则是在进行滤波操作时必须严格遵循的：首先，必须确保轮廓的边缘信息得到完整的保存，以防止其变得模糊或特征丢失；其次，必须努力提升获取图像的品质，而不是削减其成像质量。图像去噪是图像修复中常见的技术，其目标是从繁杂的观察数据中预测出较为清晰的图像。通过图像滤波处理，这不仅可以有效地去除图像中的多余噪点，还能从图像中提取出关键特征，为后续的特征提取工作打下坚实的基础。本文使用双边滤波（见图4b））、高斯滤波（见图4c））、均值滤波（见图4d））、自适应中值滤波（见图4e））分别对得到的图像（见图4a））进行降噪。

不同的滤波器对各种噪声的适应性各不相同。其中双边滤波所用的加权平均基于高斯分布，可以去除图像上的高斯噪声，但去除高斯噪声时会忽略椒盐噪声，去除椒盐噪声的最佳算法是自适应中值滤波，但去除高斯噪声的效果很差[13]。因此提出了双重滤波组合（见图4f）），通过中值滤波去除椒盐噪声，然后通过双边滤波进一步去除高斯噪声。由图4可以看到，双重滤波的组合和其他主流的滤波算法相比，保留了边缘细节并去除了噪声点，达到了保持边缘、降噪平滑的效果，因此，本文决定使用双重过滤降噪。

1.4 "改进的Sobel算子边缘检测

传统的Sobel算法首先使用卷积算子对每个像素点先完成加权平均处理，再对其进行微分处理，以获得[X]方向和[Y]方向上的梯度值。然而，普通的Sobel算法只对[X]方向和[Y]方向敏感，只能评估[X]和[Y]两个方向的边缘，使得该算法难以获得理想的检测效果，定位精度也不是很高[14]。

PE燃气管道的内部缺陷具有不同的形状和深度，导致缺陷图像的灰度等级出现不明显的局部变化。同时，需要实时传输和采集的燃气管道缺陷图像内部可能含有干扰信息。单纯依赖两个方向算子对管道缺陷进行边缘检测效率低下且易造成边缘缺失。为了更准确地检测图像中的边缘像素，可以将Sobel运算符改进为8个方向。本文使用的改进的Sobel算法基于原Sobel算法又增加了6个方向（如图5所示），既能更加高效地对图像进行边缘检测，使得边缘信息更加完整，又能提高边缘检测的准确性，显著降低伪边缘出现的几率。

经过优化的算法引入了多个方向性的算子，由于算子所覆盖的像素点与算子中心的像素距离存在差异，因此每个像素点在边缘检测上的表现也会有所不同。

假设算子中任意点[（m，n）]与算子中心点[（i，j）]的距离为[d（m，m）]，不同位置的权值[w（m，n）]基于下面给出的式（4）～式（6）得到。

[d（m，n）=（i-m）2+（i-n）2] （4）

[lng（m，n）=-[d2（m，n）-u]×ln 2] （5）

[w（m，n）=g（m，n）] （6）

式中：[d（m，n）]是坐标为[（m，n）]的算子元素到坐标为[（i， j）]的算子中心的欧氏距离；[u]为调整系数（与算子大小有关，本文取[u]=3）；[g（m，n）]为[（m，n）]处的实数权值；“[ ]”代表向上取整运算。为简化计算，对[g（m，n）]向上取整作为算子中的元素。

针对上文得到的管道缺陷滤波图像（见图6a）），采用改进的Sobel算法（见图6b））、经典的Sobel边缘检测算法（见图6c））和Prewitt算法（见图6d））分别对图像进行边缘检测。三种缺陷的边缘检测效果如图6所示。

对比研究发现，采用改进Sobel算法所提取出的缺陷边缘更连续、更完整，能全面地展示缺陷形状特征。因此使用改进的算法进行边缘检测。

1.5 "自适应阈值分割

在不均匀照明或者灰度值分布不均匀的情况下，如果使用全局阈值分割，得到的分割效果往往会很不理想，在这种情况下，自适应阈值分割（也称局部分割）可以产生好的结果。自适应阈值分割不像全局阈值那样，对整个矩阵采用一个阈值，而是针对输入矩阵的每一个位置的值都有相对应的阈值[15]。

假设输入图像为[I]，图像高度为[H]、宽为[W]，自适应阈值分割算法的步骤如下。

1） 对图像进行平滑处理，平滑结果记为[fsmooth（I）]。

2） 自适应阈值矩阵如式（7）所示：

[Thresd=（1-ratio）*fsmooth（I）] （7）

一般令ratio=0.15。

3） 利用局部阈值分割规则得出结果，如式（8）所示：

[G（x，y）=225， " " " I（x，y）gt;Thresd（x，y）0， " " " I（x，y）≤Thresd（x，y）] （8）

本文分别用自适应阈值法（见图7b））、全局阈值法（见图7c））和Otsu阈值分割法（见图7d））处理上文边缘检测后的图像（见图7a））。

从图7可以发现，利用阈值可以将管道缺陷从管道背景中分离出来。在视觉上，自适应阈值分割方法效果最佳，PE燃气管道缺陷的边缘信息没有丢失，也没有冗余干扰信息。因此，本文使用自适应阈值算法对图像进行分割。

2 "管道缺陷检测系统

2.1 "缺陷检测模型

YOLOv5分为5个不同的版本，YOLOv5s网络是YOLOv5系列中深度相对较小的网络。其他都是在此基础上不断加深、不断加宽。每种网络结构性能上来说各有优劣，为了保证实时检测的速度和较高的准确率，采用YOLOv5s算法用于实时检测。

2.2 "CA注意力机制

CA（Coordinate Attention）利用两个一维全局池化操作，将垂直和水平方向的输入特征分别生成两个注意力图，每个注意力图都能够捕捉到输入特征图中沿着一个空间方向的长距离相关性。不仅考虑到空间和通道之间的关系，还考虑到长距离相关性问题[16]，结构如图8所示。改进后YOLOv5模型结构如图9所示。

3 "实验结果分析

3.1 "设置参数及实验平台

实验通过对管道中不同异常进行实验模拟，收集数据并手动标记相应的数据集。以7∶2∶1的比例分配训练数据集、验证数据集和测试数据集，共3 365张图像。

训练参数设置如表1所示，运行环境如表2所示。

3.2 "评价标准

本文从平均精度（mAP）、召回率（[R]）和准确率（[P]）等方面评价了改进算法的性能。mAP是衡量模型分类和检测能力最直观的指标，在很大程度上可以同时反映模型的定位和分类能力，mAP值越大，模型性能越好。

[Precision=TPTP+FP] （9）

[Recall=TPTP+FN] （10）

[AP=01PRdR] （11）

[mAP=1Ni=1NAPi] （12）

式中：TP、FP和FN分别代表真阳性、假阳性和假阴性。

3.3 "比较实验和结果分析

添加注意力机制模块的效果如表3所示，其中CA模块更有效，mAP比原来的YOLOv5改进算法提高了1.33%，召回率提升了3.83%。

训练后的mAP函数曲线和损失函数曲线如图10所示。

混淆矩阵如图11所示。

为了进一步验证改进算法的性能，在数据集中使用了两种具有代表性的目标检测算法YOLOv7和YOLOv8进行了比较实验，实验结果如表4所示。本文提出的YOLO模型的mAP、召回率和准确率均高于其他两种算法，其中mAP比YOLOv8高0.43%，比YOLOv7高0.89%。训练后的mAP函数曲线和损失函数曲线如图12所示，混淆矩阵如图13所示，比较模型改进前后的效果如图14所示。

使用训练好的管道缺陷检测模型检测燃气管道缺陷可以发现，改进后的算法能够与原算法相比，具备出色的检测能力，且没有出现错检和漏检的情况。由图12可以看出，改进后的算法比原始算法具有更高的置信度。对于常见的三种缺陷裂纹、断裂、孔洞都有较高的识别性，置信度最高提升0.2。

4 "结 "语

为了解决燃气管道中的缺陷检测问题，本文提出了一种改进的YOLOv5缺陷检测算法。实验结果表明，改进后的YOLOv5模型在进行管道缺陷实时检测时具有较高的鲁棒性，作为一种无损检测方法，可以成为管道缺陷检测的一种途径。由于管道缺陷样本相对较稀缺，而且标注样本可能存在一定的误差，因此测试结果与实际情况的对比可能会有一定的误差。因此，为了达到更好的检测效果并使模型更具实际应用价值，需要对数据集进行扩充，包含各种不同类型和分辨率的管道缺陷图像，进一步提高管道缺陷实时监测的能力，优化检测模型的结构，使其更具有普遍实用性是未来有待改进的工作。

注：本文通讯作者为王洋。

参考文献

[1] 高振宇，张慧宇，高鹏.2022年中国油气管道建设新进展[J].国际石油经济，2023，31（3）：16⁃23.

[2] ZHA S， LAN H. Fracture behavior of pre⁃cracked polyethylene gas pipe under foundation settlement by extended finite element method [J]. International journal of pressure vessels and piping， 2021， 189： 104270.

[3] HOU Q， YANG D， LI X， et al. Modified leakage rate calculation models of natural gas pipelines [J]. Mathematical problems in engineering， 2020（44）： 6673107.

[4] WU J S， BAI Y P， FANG W P， et al. An integrated quantitative risk assessment method for urban underground utility tunnels [J]. Reliability engineering and system safety， 2021， 213： 107792.

[5] SUN X H， GU J N， TANG S X， et al. Research progress of visual inspection technology of steel products： A review [J]. Applied sciences， 2018， 8（11）： 2195.

[6] YIN X F， CHEN Y， BOUFERGUENE A， et al. A deep learning⁃based framework for an automated defect detection system for sewer pipes [J]. Automation in construction， 2020， 109： 102967.

[7] MEIJER D W J， SCHOLTEN L， CLEMENS F H L R， et al. A defect classification methodology for sewer image sets with convolutional neural networks [J]. Automation in construction， 2019， 104： 281⁃298.

[8] ZHOU M F， PAN Z， LIU Y W， et al. Leak detection and location based on ISLMD and CNN in a pipeline [J]. IEEE access， 2019， 7： 30457⁃30464.

[9] PICIARELLI C， AVOLA D， PANNONE D， et al. A vision⁃based system for internal pipeline inspection [J]. IEEE transaction on industrial informatics， 2019， 15（6）： 3289⁃3299.

[10] MA D， LIU J H， FANG H Y， et al. A multi⁃defect detection system for sewer pipelines based on StyleGAN⁃SDM and fusion CNN [J]. Construction and building materials， 2021， 312： 125385.

[11] LI C， LAN H Q， SUN Y N， et al. Detection algorithm of defects on polyethylene gas pipe using image recognition [J]. International journal of pressure vessels and piping， 2021， 191： 104381.

[12] ZHANG X， WU H， ZHOU Z. Partial color photo processing method for components based on image enhancement technology [EB/OL]. [2021⁃09⁃20]. https：//doi.org/10.1155/2021/4132016.

[13] 孙亚楠.基于图像识别的聚乙烯燃气管道缺陷检测算法研究[D].北京：北京交通大学，2020.

[14] LIU W， WANG L. Quantum image edge detection based on eight⁃direction Sobel operator for NEQR [J]. Quantum information processing， 2022， 21（5）： 190.

[15] LIAO J， WANG Y， ZHU D Q， et al. Automatic segmentation of crop/background based on luminance partition correction and adaptive threshold [J]. IEEE access， 2020， 8： 202611⁃202622.

[16] 贝新林.基于改进YOLOv5的非限定条件下车牌检测算法研究[J].数字通信世界，2022（6）：20⁃22.

作者简介：符前坤（1993—），男，安徽人，硕士研究生，主要研究方向为基于深度学习的缺陷检测技术。

李 "强（1981—），男，新疆人，硕士研究生，主要研究方向为材料成型、仪器仪表等。

冉文燊（1989—），男，四川人，硕士研究生，主要研究方向为油气储运。

林 "楠（1987—），男，辽宁人，博士研究生，主要研究方向为油气储运。

王 "洋（1985—），男，陕西人，博士研究生，副教授，硕士生导师，主要研究方向为油气管道寿命预测、管道安全与防护、管道缺陷识别、管道检测技术、电磁兼容技术等。