自适应图像增强的管道机器人缺陷检测方法

李 平，梁 丹，梁冬泰，吴晓成，陈 兴

自适应图像增强的管道机器人缺陷检测方法

李 平，梁 丹*，梁冬泰，吴晓成，陈 兴

宁波大学机械工程与力学学院，浙江 宁波 315211

针对管道检测过程中图像采集光照不均匀、缺陷边缘提取不准确的问题，提出一种基于自适应图像增强的管道机器人缺陷检测方法。首先设计单尺度Retinex自适应图像增强算法，利用引导滤波对图像进行照度分量估计，经自适应Gamma矫正得到光照均衡图像，实现自适应图像增强；再对传统Canny边缘检测方法进行改进，采用双边滤波平滑图像，通过迭代阈值法进行缺陷图像分割，根据边缘像素相似性进行连接，实现缺陷轮廓的有效提取。搭建基于自适应图像增强的管道机器人缺陷检测系统，利用履带式小车搭载云台摄像机，对管道内壁缺陷进行全方位视觉检测。实验结果表明，本文的检测方法可自适应矫正图像亮度，图像亮度不均匀明显改善，相比次优算法，图像信息熵提升2.4%，图像平均梯度提升2.3%，峰值信噪比提升4.4%，可有效提取出管道缺陷边缘，缺陷识别准确率达到97%。

管道机器人；自适应图像增强；Gamma矫正；缺陷检测

1 引 言

随着管道系统的广泛应用，常常出现人为的损坏、老化、机械性断裂及破损等故障[1-3]，管道检测和维护问题越来越突出，因此有必要对管道进行定期检测维修。传统的管道检测方法，如超声波法[4]、三维激光扫描法[5]、涡流法[6]和漏磁法[7]等设备复杂、检测成本较大，并且不易实现缺陷可视化。机器视觉法采用管道机器人搭载光源和摄像机，可直接对管道内部图像进行实时图像采集、传输和处理，利用图像处理技术进行无损非接触式检测，提高管道检测效率的同时减少人为主观因素影响。

在管道缺陷的快速视觉检测方面，国内外学者已开展大量相关研究[8-9]。杨仲元等[10]提出了一种新的用于管道形貌检测的全方位视觉检测系统，能够实时获取管道内壁的纹理和深度信息，高质量地测量和重建管道三维模型，训练后的R-CNN在速度和精度上都取得了较好的检测效果，但该方法拍摄图像极易受机器人位姿影响导致测量失败。王颖等[11]提出了一种圆结构光三维视觉管道检测系统，通过对圆结构光检测系统进行标定实现管内三维测量，该系统标定不确定度为0.081 mm，三维测量精度较高，但缺少颜色纹理信息且现场标定对不同管径适应性较差。吴斌等[12]提出了一种引入外部光源、反射出内部图像的基于360°全景锥镜、视像管的机器视觉检测系统，针对光学部件的姿态调整进行深入研究，给出了姿态调整流程，建立了较为理想的微细管道内部缺陷测量系统，但得到的环形缺陷图像经展开后会变得模糊。Haertel等[13]设计了一种利用三目立体视觉实现管道内壁几何形状测量的检测系统，利用反三角剖分法对每个图像平面进行数学投影，并对标定好的真实管道和仿真管道进行实验，平均误差为0.3 mm，标准偏差为0.2 mm，但该系统结构复杂、体积较大，不适合进入管道进行长距离自动化检测。虽然目前大部分管道视觉检测方法均可得到管道内表面图像，但处理后的缺陷图像较为模糊，且由于噪声、光照不均匀现象会严重影响缺陷提取效果。

Retinex理论[14]是一种将人眼观测图像划分为低频照射分量和高频反射分量的颜色恒常知觉计算理论，通过对反射分量处理可以获得较好的图像增强效果。传统Retinex算法在图像增强过程中易出现光晕、图像细节模糊、较亮图像处理效果不佳等缺点。另外在缺陷边缘提取中，Canny算子相比其他边缘检测算法，信噪比和检测精度较高，在图像边缘检测方面得到了很大应用，但传统的Canny算法检测结果伪边缘和图像噪声较多、边缘不连续，无法准确提取出缺陷边缘信息，算法边缘提取的连续性、去噪能力和准确性有待改善。

针对管道缺陷检测过程中图像采集光照不均匀、缺陷边缘提取不准确的问题，本文提出一种基于自适应图像增强的管道机器人缺陷检测方法。根据Retinex理论，设计基于引导滤波的单尺度Retinex自适应图像增强算法，利用引导滤波估计图像照射分量，通过反射分量的自适应Gamma矫正，达到图像增强目的；对Canny算子进行改进，用双边滤波抑制噪声的同时多方向保留图像梯度信息，用自适应阈值进行图像分割并有效保留边缘连续性，实现管道缺陷准确提取；最后，通过视觉检测实验对本文方法有效性进行验证。

2 管道检测机器人结构方案

管道视觉检测机器人总体结构如图1，主要包括机器人本体、图像采集模块和控制模块。机器人本体由履带式机器人、支架、云台组成，通过支架可调节图像采集模块高度，以适应不同管径检测要求。机器人本体采用履带驱动方式，搭配直流减速驱动电机，加大与管道底部的受力面积，增大摩擦，在保持车体稳定的条件下，使机器人有较强的管道越障能力和负载牵引能力，可装备图像采集模块和其他控制模块。

该机器人摄像机云台有和两个方向的旋转自由度，通过对齿轮减速电机和同步带的控制，图像采集模块可实现左右滚转和前后俯仰运动，极大地提高CCD摄像机的拍摄范围，其结构如图2所示。

图1 管道机器人结构示意图。(a) 管道机器人模型图；(b) 管道机器人实物图

图2 机器人相机云台结构示意图

在封闭管道内部作业时，控制模块控制机器人本体进行移动，图像采集模块实时采集管道内壁全景图像，并将获取的管道内壁图像实时传输给上位机，进行快速自适应阈值的二值化[15]处理，根据二值化后缺陷在图像中的位置，来初步确定缺陷与相机的大致位置关系，调整相机云台至缺陷处于图像中间位置时，即表明相机云台已调节到正对缺陷位置，随后再对缺陷进行定点图像采集，利用本文检测算法实现管道缺陷的准确识别。

利用管道机器人对管道内部图像进行图像采集，再传输给上位机进行视觉图像处理，以提取出管道内壁缺陷。基于自适应图像增强的管道机器人缺陷检测方法的算法总体流程如图3所示，主要包括两部分：

1) 基于引导滤波的单尺度Retinex自适应图像增强算法。先将采集的不均匀光照RGB(Red, Green, Blue)图像转换到HSV(Hue, Saturation, Value)颜色空间，再利用引导滤波对HSV图像分量进行照度分量估计，经自适应Gamma矫正得到光照均衡图像，实现图像增强。

2) 基于双边滤波与自适应阈值的缺陷检测算法。在完成自适应图像增强后，对图像进行灰度化处理将图像转换为灰度图像，随后采用双边滤波去噪平滑图像并保持图像边缘细节信息，通过迭代阈值法对图像进行阈值分割，并根据边缘像素相似性进行缺陷边缘连接；最后利用最小外接矩形法确定缺陷区域，实现管道机器人缺陷检测。

2.1 基于引导滤波的单尺度Retinex自适应图像增强算法

Retinex算法是基于人类视觉系统恒常知觉的计算理论，入射光照射在反射物体上，经过反射物体的反射从而进入人眼成像，用公式表示为

其中：(,)表示进入人眼获得的原始图像；(,)表示照度图像，代表了图像像素的动态范围；(,)表示反射图像，表示图像的内在性质。

单尺度Retinex(single-scale Retinex，SSR)算法基本原理为：对原始图像进行高斯函数卷积操作，将得到的滤波图像作为当前图像的照射分量，并运用上式求得反射分量，即为增强后图像。

其中：SSR()表示单尺度Retinex增强后的图像，“*”为卷积符号，()表示高斯滤波函数，为高斯尺度因子。

单尺度Retinex算法运算中通过高斯卷积后，滤除了图像的照射分量，将得到的反射分量图像作为增强后的图像，还原了图像的真实度，但因其尺度单一、高斯函数平滑细节的同时模糊了边缘信息，并且不能根据图像亮度进行自适应调节，易出现颜色信息失真、

细节信息缺失、图像模糊等现象。为了更好地改善图像增强质量，矫正光晕、光照过暗等光照不均匀现象，并针对不同亮度图像实现参数自适应，本文对传统的单尺度Retinex方法进行改进，提出了一种基于引导滤波的单尺度Retinex自适应图像增强算法。由于直接利用图像、、分量进行处理会出现颜色失真现象，本文将原始图像转换到HSV颜色空间，利用引导滤波估计照射分量，再对照射分量进行自适应Gamma矫正，并对矫正后合成的亮度分量进行二次Gamma矫正，再将HSV转换到RGB颜色空间，得到增强后的图像，算法流程图如图4所示。

图3 基于自适应图像增强的管道机器人缺陷检测算法总体流程图

自适应引导滤波的图像增强算法步骤如下：

1) 构造引导图像 将RGB图像变换为HSV图像后，对亮度通道计算局部亮度的归一化标准差：

对亮度通道进行多尺度高斯平滑处理得到平滑后的亮度图像s：

其中：F为第个高斯函数，其相应的权重系数为，c为高斯函数F的尺度因子，本文取1=250，2=80，3=15。

2) 引导滤波器估计照射分量

将平滑后的亮度通道s作为引导图像，利用引导滤波器对平滑后图像s进行照射分量估计：

最小时，利用最小二乘法求解有：

3)反射分量提取并降噪

根据Retinex理论，通过对数运算可得反射分量(,)：

提取出的反射分量(,)为图像高频部分，而噪声大多分布在高频，所以对(,)进行局域滤波处理：

图4 自适应图像增强算法流程

其中：¢(,)为滤波后的反射分量值，(x,y)表示以(,)为中心的´的邻域窗口，t(,)表示像素(,)的时域权重，v(,)表示像素(,)的值域权重，为归一化常数，有：

其中：(,)表示像素点(,)的强度值，(,)表示像素点(,)的强度值。

4) 照射分量自适应增强

采用改进的Gamma矫正系数1(,)根据不同图像照射分量(,)，对照射分量进行自适应矫正：

其中：,分别为图像的宽、高，为平均照射分量系数。

当照射分量(,)的平均灰度值较大时，较小，1(,)主要由图像亮度决定，对亮像素点Gamma增强系数1(,)趋近于1，图像亮度增强很小，接近原图；对暗像素点Gamma增强系数1(,)较小，使得暗像素点进行了较大增强。当照射分量(,)的平均灰度值较小时，较大，对暗像素点1(,)小于1，增强幅度较大；对亮像素点1(,)接近或大于1，像素亮度得到抑制。

5) 照射分量自适应直方图均衡化CLAHE

6) 亮度分量二次Gamma矫正

根据Retinex理论，可得到自适应引导滤波增强后的亮度分量¢：

针对矫正后的亮度分量¢图像可获得一定程度上的亮度矫正，但是前期矫正很大程度上针对暗像素进行增强，并且针对过暗或过强图像，前期矫正有限，这里针对矫正后的亮度分量¢进行二次自适应Gamma矫正：

7) 饱和度分量自适应修正

为平衡处理后的亮度分量和饱和度的关系，对饱和度分量进行自适应修正：

其中：¢为修正后的饱和度分量，为常数，为调整系数，且有：

8) HSV转RGB

将增强后的亮度分量²(,)、饱和度分量¢(,)和色调分量(,)分量进行整合恢复，得到增强后的HSV空间图像，最后将图像由HSV空间转换为RGB空间则可得到最终增强后的图像。

图像处理流程如图5所示，即a→b→c→d→e→f→ g→h→i→j。从图中可以明显看出，采用自适应引导滤波图像增强算法能够很好地矫正光照不均的图像，采用引导滤波得到的图像反射分量边缘信息保持效果较好，在光照亮度突变边缘处能较好地保留与光照突变无光的细节信息。采用的不同的Gamma系数，分别对照射分量图、亮度分量图进行自适应Gamma矫正，可根据图像的照射分量值不同进行自适应系数调整，得到光照较为均匀的图像。

2.2 管道缺陷检测

在完成自适应图像增强后，根据图像RGB分量加权平均法，先将图像转换为灰度图像：

其中：f(x,y)为灰度化后的图像像素值，R(x,y)、G(x,y)、B(x,y)为RGB图像三个分量，α、β、γ分别为各自的权重系数，根据人眼对绿色敏感度最高、蓝色敏感度最低，通常取α=0.299，β=0.578，γ=0.114。

传统的Canny算法实现过程主要有：首先对图像进行高斯模糊，去除图像噪声，然后计算图像梯度幅值和方向，随后对图像进行非极大值抑制，细化图像边缘，最后设置高低阈值去除假边缘并进行边缘连接。

针对传统Canny边缘提取算法中高斯去噪会减弱图像边缘信息，并且阈值手动设定，使得处理不同灰度差异图像时适应性较差、易出现伪边缘的问题，本文提出一种基于双边滤波与自适应阈值的缺陷检测算法，采用双边滤波进行图像噪声平滑处理保留图像边缘信息，利用3´3邻域模板计算图像多方向梯度，更好地反映图像梯度方向变化规律，采用迭代算法计算图像最佳阈值，可对不同灰度图像进行阈值自适应处理，最后根据边缘像素相似性对分割边缘进行连接，可改善不连续边缘。具体实现步骤如下：

1) 双边滤波平滑

双边滤波在普通高斯滤波的基础上加入了像素相似度，通过各个点到中心点的空间邻近度计算各个权值进行优化，将其优化为空间邻近度计算的权值s和像素值相似度计算的权值r的乘积，优化后的权值再与图像作卷积运算，即：

其中：(,)为双边滤波后的像素值，(,)表示以(,)为中心的(2+1)´(2+1)大小的邻域，(,,,)为加权系数，其值为空间邻近度因子s和亮度相似度因子r的乘积，s和r分别为各自的高斯因子。

2) 梯度幅值计算

传统Canny算子采用2´2模板计算图像梯度，邻域中心非图像整数位置，并且两个方向的梯度不能充分表现图像边缘特征，因此，采用基于Sobel算子3´3模板八邻域像素的一阶偏导数有限差分来计算平滑后的图像梯度：

其中：为平滑后图像，“*”代表卷积，为图像梯度幅值，G为图像方向的一阶导数，S为各方向对应的Sobel卷积因子：

3) 非极大值抑制

对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊，因此，按照梯度方向比较同一方向上梯度强度的大小，保留局部梯度强度最大的梯度值，抑制其他梯度值，可实现边缘有且只有一个准确的响应，从而达到细化边缘的目的。非极大值抑制的方法为寻找某一像素值在其8邻域内是否为最大值，如果其灰度是邻域内的局部极大值，则当前像素点为待定边缘点，否则为非边缘点。

4) 迭代求分割阈值

采用迭代阈值法，可有效降低噪声，并且减少不同图像差异对阈值选取的影响，实现最佳阈值自适应。

首先设定图像中最大、最小灰度值的均值为初始阈值0，计算高于初始阈值部分图像的灰度均值h和低于初始阈值部分图像的灰度均值l，取h和l均值作为新的阈值1，如此反复迭代直到求得的阈值不再发生变化或达到指定要求，取最终的h和l值作为最佳高、低阈值对图像进行阈值分割。

5) 边缘连接

边缘检测易产生不连续的边界，可根据边缘像素相似性判别当前边缘是否连续：

① 梯度值：

其中：Δ为相邻像素梯度差值，(,)，(1,1)分别为图像相邻像素的梯度值，为梯度判断阈值。

② 梯度方向：

其中：ξ为梯度方向角度差值，(,)，(1,1)分别为图像相邻像素的梯度方向值，为角度阈值。

③ 两点距离：

其中：d为边缘点(,)与候选边缘(1,1)的距离，为距离阈值。

分别计算以(,)为中心的3´3邻域内像素的梯度幅值、梯度方向、距离来判断是否为与(,)相连的边缘像素，从而进行边缘连接，评价函数为

在3´3的邻域内，取=0.6，=0.3，=0.1。选择邻域内评价函数最大的像素点作为边缘进行连接，最后利用最小外接矩形法确定缺陷区域。

3 实验结果

3.1 图像增强

由于机加工、焊接应力和载荷应力等因素，蒸汽管道在长时间使用后易出现裂纹、腐蚀等缺陷。本文针对饱和蒸汽Q235A管道(f300´8 mm)的裂纹和孔洞缺陷进行视觉检测实验。利用履带式小车装载树莓派RASPBERRY PI3作为图像处理模块，Arduino作为机器人驱动控制模块，微型摄像机(分辨率为1024×768)作为图像采集模块，光源为组合LED灯光，对管道内部视觉缺陷检测处理。首先调整相机云台至管道中心位置，检测管道环形图像中缺陷位置，识别并控制云台摄像机跟踪定位缺陷进行准确检测。

采集管道内的缺陷图像，分别利用基于Retinex理论的多尺度算法(multi-scale Retinex，MSR)(尺度因子分别为15、80和250)、直方图均衡化算法、SVLM(space-variant luminance map)算法、局部均方差算法和同态滤波算法，与本文算法进行矫正效果比较，结果如图6所示。由图可以看出，针对管道检测在LED照射下形成的光晕、光照过强等图像，六种算法均有一定的增强效果。其中，MSR算法和同态滤波算法针对强光照图像的矫正效果较差，如图6(b)和图6(f)所示，对亮度进行了适当均匀化处理，但是处理后的图像整体偏亮，图像细节丢失；如图6(c)所示，直方图均衡化算法将光照强、弱部分进行了明显的分离，形成光照突变边界；SVLM算法能够很好地减弱光照过强的图像，但是噪声放大严重，如图6(d)所示；局部均方差算法有一定的光照矫正效果，但是矫正效果不明显，如图6(e)所示；而本文算法可同时减弱图像光照过亮部分、增强图像过暗部分，实现图像亮度均衡化，有效改善了图像因光照不均造成的细节丢失现象，并较好地保持了图像纹理细节。

图6 不同图像增强算法处理结果对比。(a) 原始图像；(b) MSR处理结果图；(c) 直方图均衡化处理结果；(d) SVLM处理结果图；(e) 局部均方差处理结果；(f) 同态滤波处理结果；(g) 本文处理结果

为了客观评价不同算法图像增强后的效果，分别利用均值、信息熵[16]、平均梯度、标准差和峰值信噪比对图6所示图像进行定量分析，结果如表1。均值反映图像的整体亮度；信息熵是衡量图像信息量大小的标准，信息熵越大则图像所包含的信息越多；平均梯度反映了图像的清晰度和纹理变化，平均梯度越大则图像越清晰；标准差反映了图像像素间的离散分布情况，标准差越小，说明图像像素分布越均匀；峰值信噪比(peak signal to noise ratio，PSNR)是衡量图像失真或噪声水平的标准，PSNR越大表示失真越小。

可以看出，对比其他几种图像增强算法，本文算法处理后的图像均值明显下降，图像过亮部分得到明显抑制，过暗部分得到增强；图像信息熵、平均梯度、峰值信噪比都得到了提升，且效果优于其他算法，相比次优算法，图像信息熵提升2.4%，图像平均梯度提升2.3%，标准差降低73.9%，峰值信噪比提升4.4%，图像像素总体趋于平均。综上可知，通过本文算法的处理，可以有效实现非均匀光照图像的矫正，在保持原图像细节信息的同时，减弱图像光照过亮部分、增强光照过暗部分，并且提高了图像的局部对比度，图像灰度分布均匀，管道表面缺陷细节清晰保持较好，矫正效果较其他五种图像增强算法有明显优势。

3.2 缺陷检测

在图像增强后，根据2.2所述方法进行缺陷边缘提取并检测出缺陷区域，对本文基于双边滤波与自适应阈值的缺陷检测方法进行验证。分别用文献[2]、文献[5]、文献[17]、文献[18]的方法以及本文的检测算法对管道缺陷图像进行检测，结果如图7和图8所示。

表1 不同图像增强算法客观指标评价

图8 管道孔洞缺陷边缘检测算法对比图。(a) 原始图像；(b) 文献[2]；(c) 文献[5]；(d) 文献[17]；(e) 文献[18]；(f) 处理结果

可以看出，文献[2]算法在缺陷边缘连贯性上表现较好，但是检测效果敏感，易将图像噪声识别为缺陷部分，检测准确性还有待提高；文献[5]算法检测的缺陷边缘较为完整、清晰，但极易受光照不均影响，伪边缘现象明显；文献[17]算法可对噪声进行有效抑制并去除伪边缘，但缺陷边缘连续性较差，容易出现缺陷边缘中断或较弱缺陷边缘未能识别的现象；文献[18]算法较好地检测出了管道缺陷边缘，缺陷边缘宽度较大且明显，从而使得缺陷定位能力降低，并且存在细小噪声干扰；而本文算法保留了图像边缘信息的同时平滑了图像细小噪声，自适应阈值分割后的边缘连接使得提取的轮廓清晰明显，连续性较好。

本文采用文献[19]的4连通域指数/与8连通域指数/、文献[20]的品质因素作为量化指标对图7边缘检测算法处理结果进行定量评价，结果如表2所示。/反映提取的边缘像素的连续性，值越小则边缘越连续；/反映单个像素边缘所占的比例，值越小则占比越大，越符合单一像素准则；反映的是理想边缘与实际边缘的距离指数，取手工标注的缺陷边缘为理想图像边缘，值越大则实际边缘越接近理想边缘。从表2中可以看出，本文算法/和/的值均小于其余四种算法，即本文算法检测可较好地去掉伪边缘和噪声干扰，在去噪和边缘连续性上优于其它四种算法；品质因素的值均比其余四种算法要大，表明该本文算法提取的缺陷边缘更接近理想边缘。

为验证检测算法的准确度，对同一管道内壁检测到的100个表面裂纹和孔洞缺陷样本分别利用以上五种算法进行对比测试，测试结果如表2所示。在检测过程中，若检测算法所得单个缺陷区域与实际标注缺陷区域重合度大于80%，即表示识别出了该处缺陷。从表2中可以看出，本文算法相比文献[2]、文献[5]和文献[17]算法有明显的优势；文献[18]识别准确率较高，但是提取的边缘粗大不利于管道缺陷定位；本文算法管道表面缺陷识别效果更准确，准确率高达97%。由于本文检测缺陷主要适用于定性分析，所以对位置和形状的精度要求不高，存在细小较弱缺陷漏检情况，以后工作可进一步改善检测系统组成，优化检测算法，针对具体应用需求提高检测精度。

表2 边缘检测效果指标评估

4 结 论

在封闭管道视觉检测中，内部照明系统光照不均严重影响管道缺陷识别与提取，缺陷检测准确率有待提高。本文提出一种基于自适应图像增强的管道机器人缺陷检测方法。基于引导滤波的单尺度Retinex自适应图像增强算法，采用引导滤波分离出图像HSV空间分量的低频照射分量和高频反射分量，通过Gamma矫正、图像滤波处理后，得到自适应增强后的光照均衡图像，利用改进的Canny检测算法实现管道内壁缺陷边缘检测。搭建管道机器人缺陷检测系统，使用树莓派作为图像处理系统，Arduino模块作为驱动控制履带式小车，搭载摄像机云台进行图像采集与处理，实现管道内壁缺陷全方位检测。结果表明，本文的自适应图像增强算法处理后的图像亮度不均匀现象明显改善，相比次优算法，信息熵提升2.4%，平均梯度提升2.3%，峰值信噪比提升4.4%，标准差降低73.9%，图像像素总体趋于平均稳定。基于双边滤波与自适应阈值的缺陷检测算法在4连通域指数/、8连通域指数/和品质因素评价指标上，均优于其余四种算法，可得到清晰、连续的缺陷边缘，缺陷识别准确率达到97%。本文提出的检测方法提高了封闭管道检测的自动化水平与检测效率。

[1] Hong D H, Wang H L, Li W P,. Study on the defects in welded joint of hot reheat steam pipe of ultra supercritical units after long-term service[J]., 2017, 53(18): 113–120.

洪鼎华, 王环丽, 李武平, 等. 在役P92钢蒸汽管道焊接接头中缺陷的研究[J]. 机械工程学报, 2017, 53(18): 113–120.

[2] Yang X F, Wu Y Y, Zhao L. Pipeline crack detection algorithm based on Canny detector[J]., 2018, 39(3): 798–803.

杨先凤, 吴媛媛, 赵玲. 基于Canny改进算子的油管裂纹检测算法[J]. 计算机工程与设计, 2018, 39(3): 798–803.

[3] Sun L, Sun Q Q, Ren L,. A new method for underground pipeline corrosion monitoring applied FBG[J]., 2012, 41(1): 6–10.

孙丽, 孙茜茜, 任亮, 等. 应用光纤布喇格光栅传感器监测地下管道腐蚀的新方法研究[J]. 光子学报, 2012, 41(1): 6–10.

[4] Cao J S, Cao Z, Zhao L F,. Detecting techniques of surface crack of pipeline based on laser ultrasonic[J]., 2016, 43(3): 1–6.

曹建树, 曹振, 赵龙飞, 等. 激光超声管道表面裂纹检测技术[J]. 光电工程, 2016, 43(3): 1–6.

[5] Zhang P, Chen Z D, Li X X,. X-ray digital image of weld defect based on wavelet transform edge detection[J]., 2016(3): 41–43.

张盼, 陈志东, 李晓旭, 等. 基于小波变换的X射线数字图像焊缝缺陷边缘检测[J]. 管道技术与设备, 2016(3): 41–43.

[6] Wang Z G, Luo Q W, Shi Y B,. Analysis of eddy current coil coupling in ferromagnetic pipe and pipe’s parameter detection[J]., 2014, 35(12): 2843–2851.

王志刚, 罗清旺, 师奕兵, 等. 铁磁性管道内涡流线圈耦合分析与管道参数检测[J]. 仪器仪表学报, 2014, 35(12): 2843–2851.

[7] Yang J X, Li C, Xia S,. Magnetostrictive guided wave flaw detection system for pipeline[J]., 2017(6): 95–97, 167.

杨金旭, 李策, 夏胜, 等. 基于磁致伸缩导波的管道缺陷检测系统[J]. 仪表技术与传感器, 2017(6): 95–97, 167.

[8] Su T C, Yang M D. Application of morphological segmentation to leaking defect detection in sewer pipelines[J]., 2014, 14(5): 8686–8704.

[9] Vriesman D, Britto A S, Zimmer A,. Automatic visual inspection of thermoelectric metal pipes[J]., 2019, 13(5): 975–983.

[10] Yang Z Y, Lu S H, Wu T,. Detection of morphology defects in pipeline based on 3D active stereo omnidirectional vision sensor[J]., 2018, 12(4): 588–595.

[11] Wang Y, Zhang R. In-pipe surface circular structured light 3D vision inspection system[J]., 2014, 43(3): 891–896.

王颖, 张瑞. 管道内表面圆结构光视觉三维测量系统[J]. 红外与激光工程, 2014, 43(3): 891–896.

[12] Wu B, Shao Z Y, Zhang Y H. A new technology of building up defect measuring system for inner micro-pipe[J]., 2014, 25(2): 293–298.

吴斌, 邵震宇, 张云昊. 微细管道内壁缺陷测量系统构建和技术[J]. 光电子·激光, 2014, 25(2): 293–298.

[13] Haertel M E M, da Costa Pinto T L F, Júnior A A G. Trinocular stereo system with object space oriented correlation for inner pipe inspection[J]., 2015, 73: 162–170.

[14] Land E H, McCann J J. Lightness and retinex theory[J]., 1971, 61(1): 1–11.

[15] Bradley D, Roth G. Adaptive thresholding using the integral image[J]., 2007, 12(2): 13–21.

[16] Wei W Y, Ren X K. Quadtree image retrieval based on image entropy[J].2005, 23(4)511–514, 521.

魏伟一, 任小康. 基于图像信息熵的四叉树检索算法[J]. 佳木斯大学学报(自然科学版), 2005, 23(4): 511–514, 521.

[17] Ren H E, Liu M, Dong B Z. Edge detection algorithm of wood-flour based on modified morphological operator[J]., 2015, 51(5): 183–186.

任洪娥, 刘冕, 董本志. 基于改进形态学算子的木粉边缘检测算法[J]. 计算机工程与应用, 2015, 51(5): 183–186.

[18] Hao L H, Wang M Q. Application of improved canny algorithm in defect edge detection of straight weld image[J]., 2017, 42(7): 52–55.

郝利华, 王明泉. 改进的Canny算法在直焊缝图像缺陷边缘检测中的应用[J]. 火力与指挥控制, 2017, 42(7): 52–55.

[19] Lin H, Zhao C S, Shu N. Edge detection based on Canny operator and evaluation[J]., 2003, 17(2): 3–6, 16.

林卉, 赵长胜, 舒宁. 基于Canny算子的边缘检测及评价[J]. 黑龙江工程学院学报, 2003, 17(2): 3–6, 16.

[20] Chen H X. Study on the objective evaluation of the performance of edge detection operator based on the quality factor[J]., 2015(8): 8–10.

陈宏希. 基于品质因数的边缘检测算子性能优劣客观评价研究[J]. 自动化与仪器仪表, 2015(8): 8–10.

Research on defect inspection method of pipeline robot based on adaptive image enhancement

Li Ping, Liang Dan*, Liang Dongtai, Wu Xiaocheng, Chen Xing

Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China

Pipeline defect visual inspection image processing

Overview:Digital image processing technology is widely used in the regular detection and maintenance of damaged, aged, faulted pipeline, on account of the virtue of high efficiency, accurate identification, non-contact detection, etc. Aiming at the problem of uneven image acquisition and inaccurate edge extraction in closed pipeline detection process, a pipeline robot defect detection system based on adaptive image enhancement is designed with the pan-tilt-zoom camera as the image acquisition module, Raspberry PI as the image processing system and Arduino as the driving control module to carry on the omni-directional visual inspection to the pipeline inner wall.

A single-scale Retinex adaptive image enhancement algorithm based on guided filtering is proposed. According to the single-scale Retinex theory, the low frequency irradiation component and the high frequency reflection component can be effectively separated from the Value component of HSV space (converted form RGB images) by using the guided filter. The local filter is used to reduce the noise of the reflection component which is mostly distributed in the high frequency part, and the irradiation component is corrected by the adaptive Gamma algorithm. Finally, the integrated restoration of the corrected RGB image of pipeline defect is realized, and the adaptive image enhancement is achieved.

In order to solve the problem of edge blur and threshold setting in traditional Canny detection, bilateral filtering is used to smooth the image and maintain the image edge information effectively. The gradient amplitude is calculated in multiple directions for non-maximum suppression, the adaptive optimal threshold is obtained by iterative threshold method, and the threshold segmentation of the image is carried out. Finally, the edge connection is carried out according to the similarity of edge pixels to realize the accurate extraction of pipeline defect edges.

The experimental results show that the detection system can adapt to correct the image brightness, the uneven illumination of the acquired images is improved obviously. Compared with the suboptimal algorithm, the information entropy of the defect image increases by 2.4%, the average gradient increases by 2.3%, the peak signal to noise ratio increases by 4.4%, and the improved Canny detection algorithm can extract the edge of pipeline defects effectively with the detection accuracy up to 97%. In this paper, the defect detection system of pipeline robot based on adaptive image enhancement can be used to detect and identify pipeline defects in closed pipeline under uneven illumination environment with high detection accuracy, compact structure and strong applicability.

Citation: Li P, Liang D, Liang D T,Research on defect inspection method of pipeline robot based on adaptive image enhancement[J]., 2020, 47(1): 190304

Supported by National Natural Science Foundation of China (51805280) and Natural Science Foundation of Zhejiang Province (LQ18E050005)

* E-mail: liangdan@nbu.edu.cn

Research on defect inspection method of pipeline robot based on adaptive image enhancement

Li Ping, Liang Dan*, Liang Dongtai, Wu Xiaocheng, Chen Xing

Faculty of Mechanical Engineering and Mechanics, Ningbo University, Ningbo, Zhejiang 315211, China

In view of the problem about uneven image acquisition and inaccurate edge extraction in pipeline detection process, a pipeline robot defect inspection method based on adaptive image enhancement is proposed. Firstly, a single-scale Retinex adaptive image enhancement algorithm is designed, which uses the guided filter to estimate the illumination component of the Value component of the image, and gets the illumination equilibrium image by adaptive Gamma correction, so as to realize the image enhancement. Then, the traditional Canny edge detection method is improved, using bilateral filtering to smooth the image. Besides, the defect images are segmented by the iterative threshold method, and the edge connection is carried out according to the edge pixel similarity. Therefore, the defect contour of the pipe-wall is extracted effectively. Thirdly, a pipeline robot defect detection system based on adaptive image enhancement is built, and a crawler car equipped with the pan-tilt-zoom camera conducts all-round visual inspection of the defects in the pipeline inner wall. The experimental results show that the detection method in this paper can adaptively correct the image brightness, and the uneven brightness of the image is significantly improved. Compared with the sub-optimal algorithm, the information entropy of the image is increased by 2.4%, the average gradient of the image is increased by 2.3%, and the peak signal to noise ratio is increased by 4.4%, and the pipeline defect edges are extracted effectively with the detection accuracy up to 97%.

pipeline robot; adaptive image enhancement; Gamma correction; defect inspection

TP391.41

A

李平，梁丹，梁冬泰，等. 自适应图像增强的管道机器人缺陷检测方法[J]. 光电工程，2020，47(1): 190304

10.12086/oee.2020.190304

: Li P, Liang D, Liang D T,. Research on defect inspection method of pipeline robot based on adaptive image enhancement[J]., 2020,47(1): 190304

2019-06-04；

2019-09-04基金项目：国家自然科学基金资助项目(51805280)；浙江省自然科学基金资助项目(LQ18E050005)

李平(1994-)，男，硕士研究生，主要从事机器视觉与机器人技术的研究。E-mail：liping4204@163.com

梁丹(1989-)，男，博士，讲师，主要从事仿生视觉系统、机器人及图像处理技术的研究。E-mail：liangdan@nbu.edu.cn