机器视觉在小型管道探伤中的应用研究

邵 磊 韩 雪 何 涛 李 季 刘宏利 陈小奇

(天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384)

机器视觉在小型管道探伤中的应用研究

邵 磊 韩 雪 何 涛 李 季 刘宏利 陈小奇

(天津理工大学天津市复杂系统控制理论及应用重点实验室，天津 300384)

设计了针对小型管道内部缺陷检测的螺旋管道机器人系统，基于该机器人系统提出了图像处理的改进算法。首先采用结合中值滤波思想的双边滤波器，解决了双边滤波无法去除孤立噪声点的问题；其次采用了二维最大熵的阈值分割方法进行图像分割；最后根据管道缺陷的特点提取适合分类器分类的代表特征点进行分类。仿真研究表明：所提算法能够更加完整地提取缺陷信息。

管道探伤 管道机器人 图像处理 双边滤波 二维最大熵

随着石油、化工、天然气和核工业的发展，管道因其经济性和便捷性被广泛用于石油、天然气等流体物质的运输[1]。但因外在的恶劣环境，管道不可避免地会出现裂纹、漏孔等现象。如果不及时维护，极有可能发生输送物泄漏、易燃物爆炸等严重安全事故[2]。

管道机器人是携带传感器和操作机械，在管道内部自主行走并进行一系列作业的机电仪一体化系统[3]。早在1997年，日本东芝公司研制了第1台前部带有微型CCD摄像机的轮式管内移动机器人，用于分辨管内异物并用微型机械手实现清理[4]。通过管道机器人前端带载的视觉传感器可以准确分析、判断管道内壁裂纹、孔洞等缺陷。通常的检测步骤是对视频图像进行预处理和图像分割，如Yang M D和Su T C采用大津法对污水管道图像进行分割[5]，然后从中提取图像特征，最后采用机器学习方法进行管道缺陷的分类。然而，由于管道内部光线昏暗、管道图像的固有噪声大，难以对内部缺陷部分进行完整的分割提取并分类。因此，寻求一种快速、准确的管道缺陷图像处理方法是十分必要的。

1 机器人的整体架构

笔者研制的机器人是一种无线控制模式的螺旋管道机器人，该类机器人可用于天然气管道的缺陷检测[6]。机器人的本体结构如图1所示，包括3个单元：定子、转子和执行机构。其中，定子由3个轴向轮组成，控制机器人的行走方向；转子由3个可调角度的横向转动轮组成，通过螺旋运动的方式推动机器人在管道内行走；执行机构包括用来提供能量的电源、提供动力的电机、采集管道内数据的多个传感器(包括测量机器人行进速度的霍尔传感器，检测障碍物的超声波传感器等)和采集管道内图像信息的无线摄像头。

图1 机器人的本体结构

机器人控制系统的整体结构框图如图2所示，通过无线通信的方式将下位机采集到的传感器数据传送至监控计算机，同时上位机发送控制指令通过单片机控制电机进而控制机器人的运动。监控计算机中使用C#编程的图形界面通过socket方式接收数据并显示在界面上同时录入数据库。

图2 机器人控制系统的整体结构框图

2 图像处理

管道内的图像信息由无线摄像头采集直接传送到监控计算机，由监控计算机进行管道内部图像处理。首先对无线摄像头采集到的图像进行灰度化和双边滤波去噪处理，然后运用数学形态学开操作对不属于结构元素的地方进行去除，之后对图像进行二维最大熵阈值分割，最后将分割后的图像抽取其形状特征作为SVM分类器的输入量进行分类[7]，图像处理流程如图3所示。

图3 图像处理流程

2.1图像预处理

2.1.1灰度化

由摄像头采集到的图像是RGB模式，处理图像的时候分别对R、G、B(分别表示原真彩色图中的红、绿、蓝分量)3个分量进行处理，但实际上RGB模式并不能显示图像的形态特征，所以要把图像转化成8位的灰度图像进行处理。采用加权平均法按下式对R、G、B这3个分量进行加权平均得到较为合理的灰度图像[8]：

f(i,j)=0.2989R(i,j)+0.5870G(i,j)+0.1140B(i,j)

(1)

其中，f(i,j)表示灰度化后的图像灰度值。

2.1.2滤波算法

对图像预处理笔者采用结合中值滤波思想的双边滤波算法。双边滤波是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空间域信息和灰度相似性。对于随机噪声，双边滤波器能够很好地处理，但不能处理椒盐类型的噪声。

为了弥补这一缺陷，笔者采用中值滤波的思想来完善双边滤波：

(2)

其中，fr(‖I(xi)-I(x)‖)是一个与灰度距离相关的高斯函数，邻域内与中心点灰度值差别越小的点权重系数越大；gs(xi-x)是一个与空间距离有关的高斯函数，表明邻域内与中心点x距离越近的点权重系数越大；I(xi)是原始灰度值；Ifiltered(x)是滤波后的灰度值；Wp是权重；Ω是滤波过程中的窗口。

由式(2)可知双边滤波输出的灰度值依赖于邻域灰度值的加权组合，当中心点是孤立的噪声点时，邻域内所有点的灰度值都与之相差较大，不能达到滤波的效果。所以运用中值滤波的思想将中心点的灰度值换成邻域内所有点的中值从而达到优化双边滤波的目的。

结合中值滤波思想的双边滤波处理后的实验图像如图4、5所示。可以看出，运用该方法能够更好地达到滤波目的，既有双边滤波的优点——不会使边缘变得模糊，也弥补了双边滤波的不足。

图4 裂纹图像对比

图5 孔洞图像对比

2.2形态学开操作

开操作是消除小于结构元素的图像元素，达到消除噪声点,平滑目标图像边界的目的。对于灰度级的图像，使用结构元b对图像f的开操作表示为：

f∘b=(fΘb)⊕b

(3)

开操作能够降低所有亮特征的灰度值，而对图像的暗特征影响可忽略不计，因而对于管道图像中的裂纹、孔洞等黑暗区域影响很小，主要是对背景图像进行平滑去噪。

图6为结构元半径r分别为1、3、5、10个像素的开操作对比(左侧为裂纹图像，右侧为孔洞图像)。可以看出，结构元相对较大的开操作时抑制的亮细节越多，但是结构元越大越有可能对目标图像造成失真，所以笔者使用半径为5个像素的圆盘结构对图像进行形态学开运算，目的是保留目标图像、消除非目标图像，使目标图像更加清晰并方便分割。

2.3二维最大熵算法

图像分割是把图像分成若干个特定的、具有独特性质的区域并从中提出感兴趣的目标，是图像处理的关键环节。现有的图像分割方法主要分为以下几类：基于阈值的分割方法、基于区域的分割方法及基于边缘的分割方法等。其中全局阈值分割中的大津法使用最为广泛。文献[5]就是使用大津法对污水管道内的图像进行分割处理。

根据管道裂纹图像的灰度直方图(图7)可以看出，经过处理之后的图像的像素点灰度值大多数集中在100～150之间，200～210之间有一部分，50～100之间也有很少的像素点分布在其中。经过Matlab验证可知灰度值在100～150之间的是背景，在50～100之间的是目标图像裂纹。经分析并通过实验得出大津法并不能完整地分割出目标图像，原因有两点：一是前景与背景的灰度差异太小；二是前景相对于背景占的图像比例太小。

所以需要对每个像素点及其邻域进行分析，二维最大熵算法利用图像的二维灰度直方图来进行阈值分割。对于裂纹图像，大津法所求的阈值为116，二维最大熵所求得的阈值矢量为(124，93)，经直方图分析并验证得到的最佳分割阈值为89；对于孔洞图像，大津法所求的阈值为143，二维最大熵所求得的阈值矢量为(151，106)，经直方图分析并验证得到的最佳分割阈值为102。阈值对比如图8、9所示。

图7 管道裂纹图像的灰度直方图

图8 裂纹阈值分割对比

图9 孔洞阈值分割对比

2.4特征提取与分类

图像分割只是把图像分出有意义的区域。为了识别某一物体就要对物体在视频中的图像进行描述。由于孔洞和裂缝在形状上有很大的不同，所以笔者使用形状特征作为分类器的特征向量。

文献[9]中采用图像的6个不变矩特征作为图像识别的特征向量，虽然Hu M K在1962年证明了不变矩具有旋转、缩放和平移不变性，但有学者认为只有基于二阶矩的不变矩对二维物体的描述才是真正的具有旋转、缩放和平移不变性。以Hu矩组成的特征量对图片进行识别，优点是速度快，缺点是识别率较低,适合识别图像中大的、形状描述得比较好的物体。所以尽管Hu矩有诸多特性(如平移不变性)但对于管道探伤并不适用。表1是裂纹和孔洞的7个Hu不变矩的对比，可以看出差异性较小，不建议作为图像识别的主要特征向量。

表1 裂纹和孔洞的7个Hu不变矩对比

笔者根据阈值分割得到二值图像，计算出图像的最小外接矩形然后提取8个形状特征作为分类器的输入量，从而达到分类识别管道缺陷的效果。表2是裂缝和孔洞的8个形状特征的对比，差异性较大，实验表明它适合作为图像的代表特征从而被分类器分类。

表2 裂纹和孔洞的形状特征对比

将提取到的图像形状特征作为特征向量输入到分类器进行分类识别，笔者使用支持向量机的分类方法实现对缺陷图像的分类识别。支持向量机是建立在统计学习理论的VC维理论和结构风险最小原理基础上发展起来的一种新机器学习方法[10]。该方法的主要思想是找到一个超平面作为决策曲面，使它能够尽可能多地将两类数据点正确地分开，同时使分开的两类数据点距离分类面最远[11]。支持向量机算法具有计算简单、通用性强及鲁棒性高等优点。通过Matlab R2013a实验表明，分类准确率可达93.7%。

3 结束语

设计了适用于管道缺陷有效检测的螺旋管道机器人系统。基于该机器人采集到的管道内部图像，考虑管道内部噪声混乱的情况，提出了使用结合中值滤波思想的双边滤波器，将传统的双边滤波算法中的目标点的灰度值换成邻域内灰度值的中值，既达到保边去噪的效果又能去除孤立点噪声，弥补了双边滤波的不足。针对管道内部缺陷与背景差异不明显的情况，将二维最大熵的阈值分割方法运用在其中，相比于其他一般的阈值分割方法，该方法运用在管道中能够找到更准确的阈值。

[1] 袁厚明.地下管线检测技术[M].北京：中国石化出版社，2012.

[2] 王永雄.管道机器人控制、导航和管道检测技术研究[D].上海：上海交通大学,2012.

[3] 张艳玲，何庆中，王志鹏，等.管道检测机器人的设计与开发[J].化工自动化及仪表,2012,39(3):323～324.

[4] 甘小明，徐滨士，董世运，等.管道机器人的发展现状[J].机器人技术与应用，2003,(6):5～10.

[5] Yang M D, Su T C.Segmenting Ideal Morphologies of Sewer Pipe Detects on CCTV Images for Automates Diagnosis[J].Expert System Application，2009,36(2):3562～3573.

[6] 苏毅，易方，李著信，等.一种适用于管道机器人的新型螺旋驱动器[J].化工机械,2010,37(1):83～86.

[7] Mashford J,Rahilly M，Davis P.A Morphological Approach to Pipe Image Interpretation Based on Segmentation by Support Vector Machines[J].Automation in Constraction,2010,19(7):875～883.

[8] 孙文雅,李天剑，黄民.基于图像处理的管道裂缝检测[J].制造业自动化,2012,34(1):36～39.

[9] 吕春旺.海底管道的自主探测与识别技术研究[D].哈尔滨：哈尔滨工程大学,2007.

[10] 宋志强,李著信,张镇.基于SVM的融合算法在管道裂纹缺陷漏磁信号特征识别的应用研究[J].化工自动化及仪表,2011,38(5):536～539.

[11] 蒋芳.基于MATLAB的遥感图像SVM分类系统实现[D].武汉：湖北大学,2012.

ApplicationResearchofMachineVisioninFlawDetectionofSmall-sizePipes

SHAO Lei, HAN Xue, HE Tao,LI Ji, LIU Hong-li, CHEN Xiao-qi

(TianjinKeyLaboratoryforControlTheory&ApplicationsinComplicatedSystems,TianjinUniversityofTechnology,Tianjin300384,China)

A robot system for spiral pipes was designed to detect internal defects in small-size pipes, and the improved algorithm based on the robot system was proposed for image processing. Firstly, having the bilateral filter which combined with median filtering adopted to remove isolated noise points; secondly, having the threshold segmentation method of 2D maximum entropy taken for image segmentation and finally,having the characteristics of pipe defects based to extract their feature points for classification. Simulation results show that the proposed algorithm can extract defects’ information more completely.

pipeline flaw detection, pipeline robot, image processing, bilateral filtering,2D maximum entropy

TQ055.8

A

1000-3932(2016)11-1148-06

2016-09-18(修改稿)

天津市科技重大专项与工程项目(15ZXZNGX00140)；天津市应用基础与前沿技术研究计划项目(16JCTPJC49400)