用于相贯线焊缝检测机器人的图像处理算法*

刘 曦， 徐光锋， 费跃农

(1.深圳大学 机电与控制工程学院，广东 深圳 518060；2.深圳市神视检验有限公司，广东 深圳 518060)



用于相贯线焊缝检测机器人的图像处理算法*

刘 曦1， 徐光锋2， 费跃农1

(1.深圳大学 机电与控制工程学院，广东 深圳 518060；2.深圳市神视检验有限公司，广东 深圳 518060)

针对管道相贯线焊缝难以检测的问题，提出了一种用于管道相贯线焊缝自动检测机器人轨道识别和定位的图像处理算法。在颜色空间转换和彩色边缘检测基础上，引入图像金字塔方法的Hough变换直线检测算法，快速识别磁性色码条并实现机器人自身姿态和运动轨迹的实时控制，将多阈值处理引入区域生长算法分割人工标识点，对人工标识点进行计数从而实现定位。实验结果验证了提出的图像处理算法的有效性。

图像处理； 区域生长； 多阈值； 相贯线焊缝； 焊缝检测机器人

0 引 言

管道相贯线焊缝的检测环境复杂且恶劣，检测难度大且检测效率较低，因此，针对管道相贯线焊缝的自动检测机器人日益受到科研人员和工程人员的重视[1]。机器人需要携带无损检测设备自主地沿着主管与支管之间的相贯线焊缝运动并完成对焊缝缺陷的检测和定位，因此，机器人必须具备自动寻迹和定位的功能。为了实现对焊缝的准确检测，机器人需要实时调整自身的姿态和行驶轨迹以使检测探头始终与焊缝保持一定的距离和角度[2]。常见的机器人导航定位方式有机器视觉导航、GPS导航、传感器导航等。视觉导航主要是机器人通过摄像头获得环境信息，并规划出所需路径[3]。GPS导航以空间卫星为基础，定位精度高、能全天候工作，但存在抗干扰能力差等问题[4]。传感器导航包含超声波传感器、红外线传感器和磁场传感器等多种形式，传感器导航常常采用多传感器融合的技术，使得这种导航方式应用广泛[5～7]。

目前，国内外关于机器人自动导航与定位的研究有很多。文献[8]中介绍了一种采用检测交变磁场方式实现导航的农用喷雾机器人，由于易受到外界磁场的干扰使得这种电磁引导方式具有一定的局限性[8]；文献[9]中介绍了一种基于激光鼠标以及惯性测量单元(inertial measurement unit,IMU)系统的机器人导航和定位方法，这种方法中的激光鼠标需要对光学镜头做很复杂的改造并且IMU系统很容易受磁场环境的影响[9,10]。

管道相贯线焊缝的检测环境复杂，机器人需要在一个三维曲面上运动。狭窄的通过空间和杂乱磁场的干扰等因素使得诸多导航定位方式无法实现[11]。本文根据管道相贯线焊缝自动检测机器人视觉导航和定位的实际需求，提出了一种用于该机器人的图像处理算法。实验表明:算法具备计算复杂度低、抗噪声能力强和稳定准确的特点。

1 视觉导航对图像处理要求

为了帮助机器人自动识别轨道和定位，围绕相贯线焊缝放置了一圈带有磁性的色码条，绿色的色码条上等间隔的分布着红色和蓝色的人工标识点。机器人通过识别色码条来实现轨道识别，同时通过对色码条上等间隔交替排列的红色和蓝色人工标识点的识别与计数实现定位功能，以辅助对焊缝缺陷进行定位。

图像处理算法需要实现的功能就是在摄像头拍摄的图像中，准确找到色码条位置以计算出检测探头与色码条之间距离与角度，同时,还需要准确地分割出红色和蓝色标识点。如图1中所示，实际管道焊缝有的存在锈迹、有的经过打磨而具备金属光泽、有的涂有防锈涂料或沾染油污，因此,拍摄图像中可能存在局部纹理噪声、大面积反光、颜色干扰等情况，这些都给色码条的识别和分割增加了难度。另外，由于机器人需要根据图像处理结果进行控制，所以,对于图像处理算法的实时性要求也比较高。

图1 几种不同类型焊缝表面

2 图像处理算法

2.1 颜色空间转换

常用的RGB颜色空间三分量之间存在很强的相关性且颜色信息和亮度信息混合在一起，易受光照环境影响,不适用于机器人的图像处理。而YUV模型中亮度信号Y和色度信号U,V分离，有利于排除光照影响[12]。RGB色彩空间到YUV色彩空间的转换如式(1)所示[13]

(1)

选择YUV模型并且只使用与亮度无关的色度信号U,V进行图像处理，可以有效地将光照环境不均、局部反光等干扰因素排除，只利用图像颜色特征实现识别和分割。U,V两个颜色分量就成为了一个二维的平面模型，可以看成是YUV颜色空间的三维立方模型投影在Y=0的平面上。

2.2 彩色边缘检测与二值化处理

为了在图像中找到色码条的位置，可以利用色码条的边缘信息。令y，u，v为沿YUV颜色空间的Y，U，V轴的单位向量，并定义向量为[14]

(2)

(3)

令gxx，gyy,gxy表示这些向量的点积，如下所示

(4)

(5)

(6)

使用这种表示法，最大变化率的方向可以由角度

(7)

给出，且在角度θ(x，y)方向上点(x，y)处的变化率的值由式(8)给出

(8)

由于本文只考虑U，V分量而不考虑Y分量，所以，可以认为所有像素点的Y值均为0。为分析图像的特征，还需要选择合适的阈值将边缘检测的结果进行二值化[15]。

2.3 多分辨率Hough变换的直线检测

Hough变换直线检测，需要利用直线的极坐标方程将x-y坐标系中的特征点变换到参数空间中。具体计算时，对需要进行变换的特征像素点，要使α从-90°到90°，每次增加一个步进角Δα，将其坐标进行一次变换。若对结果精度要求较高，则步进角Δα需要足够小，计算量将会非常大而不利于实时处理，所以，本文引入了图像金字塔的图像处理思想。

图2 图像金字塔示意

如图2中所示，运用某种规则或计算，将金字塔底层的高分辨率图像迭代到上一层低分辨率的近似图像，即可用多个分辨率处理一幅图像。

(9)

2.4 区域生长及其实现

图像中不同颜色像素点的U，V值的组合是不同的，因此，可以利用像素点的颜色特征作为区域生长的准则分割人工标识点与背景。区域生长是根据事先定义的准则将像素或者子区域聚合成更大的区域的过程[17，18]。

2.4.1 区域生长种子点

图像边缘像素点的一侧即为需要提取的色码条，于是可以将彩色边缘检测二值图结果中的特征像素点作为区域生长的种子点。

2.4.2 区域生长准则

色码条所在的像素点一定在边缘像素点的附近，可以作为区域生长准则的位置信息。同时，色码条上的颜色信息也可以作为区域生长准则的重要信息。以往的研究中，大多采用单一的位置信息或者颜色信息作为区域生长的准则，而本文的算法则结合了图像的位置信息与颜色信息，并且采用多阈值处理的方式实现颜色分布区域的动态阈值调整，增加了算法的可靠性。

绿色的色码条、红色标识点、蓝色标识点以及背景的像素点在U-V分布上，各自的区间不同，可以利用颜色的分布区间作为区域生长准则。设计的区域生长准则如下：

1)待生长的像素点与种子点的距离限制

待生长点P(x,y)与种子点Pseed(xi,yi)的位置关系为

(10)

式中 dT为距离限定阈值。

2)待生长点P(x,y)满足颜色分布区间

区域生长过程中，将所有满足上述条件的待生长像素点生长为新的特征点。

摄像头的自动曝光度调整和自动白平衡调整等功能使得拍摄的图像序列中存在偏色现象，导致一种颜色的U-V分布区间存在一定范围的波动。因此，传统固定颜色区间的区域生长算法使生长结果存在较大的缺损或者引入大面积的噪声。多阈值处理与区域生长算法相结合，在区域生长准则中引入动态阈值区间可以很好地解决偏色现象造成的颜色分布区间波动的问题[19]。

2.4.3 区域生长停止条件

对每一个种子点按照区域生长准则进行一次区域生长，当遍历完整幅图中所有的种子点之后停止区域生长。

2.5 多阈值处理

基于最小二乘法原理的最大类间方差法，常常用于图像的二值化阈值分割。但本文中需要用2个或2个以上的全局阈值对图像进行分割，于是引入了多阈值处理[21]。以最大类间方差法为基础的可分性度量可以扩展到任何数量的分量。在K个类C0，C1，…，CK-1的情况下，类间方差可归纳为

(11)

其中

Pk=∑i∈Ckpi

(12)

(13)

(14)

(15)

3 实验结果

相贯线焊缝检测机器人的图像处理算法流程如图3所示。图像处理算法由一块搭载Samsung ARM Cortex—A9处理器的卡片电脑实现，稳定时图像处理的速度可以达到10帧/s以上。

图3 图像处理算法流程

由图4中可以看到，原始图像在转换到YUV颜色空间之后，U,V分量灰度图中排除了光照、阴影等和亮度有关的信息，而只保留了色度信息。

图4 原始图片及Y,U,V分量灰度图

利用多分辨率的Hough变换直线检测方法，最终找到比较精确的色码条上下边界的拟合直线结果如图5所示，图中蓝色和红色的直线分别为色码条上下边界的直线拟合结果。

图5 直线拟合结果

经过区域生长及多阈值处理后，可以准确地将绿色的色码条以及红色、蓝色标识点与背景分割开，最终的分割效果如图6所示。

图6 绿色轨道、红色以及蓝色标识点的分割效果

机器人在运动的过程中，采集到的是连续的图像序列。图像处理算法需要对采集到的每一幅图像进行识别和分割。机器人在几种不同类型的钢管表面进行了实验，包括带有锈迹的钢管表面、经过打磨而非常光亮的钢管表面以及涂有焊缝防锈涂层的钢管表面。实验结果表明，图像处理算法面对以上情况都能准确稳定地实现识别和分割。

4 结束语

本文提出的针对于一种相贯线焊缝检测机器人的图像处理算法能够稳定地识别出色码条和标识点从而实现机器人的自主寻迹和定位。算法中结合了目标的位置信息和颜色信息，增强了处理结果的准确性和稳定性，并优化了算法的结构使其满足了实时处理的要求。在搭载Samsung ARM Cortex—A9处理器的卡片电脑上稳定时可以实现10帧/s。以上的图像处理速度。实验结果表明：无论是在经过打磨的焊缝表面还是带有轻微铁锈的焊缝表面，该算法都能够准确地识别出色码条、分割出人工标识点，给管道相贯线焊缝检测机器人的控制提供准确的导航和定位信息。算法执行稳定、可靠且具有一定的抗干扰性。

[1] 严 凌,胡伟利,李建萍.钢结构桁架相贯线焊缝超声检测方法研究[J].南昌航空大学学报:自然科学版,2005,19(2):95-99.

[2] 鄢 波,颜国正.基于冗余关节机器人的插接管道焊缝扫查系统设计[J].光学精密工程,2004,12(4):420-425.

[3] 崔 维,丁 玲.基于视觉导航和RBF的移动采摘机器人路径规划研究[J].农机化研究,2016(11):234-238.

[4] 欧阳正柱,何克忠.GPS在智能移动机器人中的应用[J].微计算机信息,2001,15(11)：56-58.

[5] 黄漫国,樊尚春,郑德智,等.多传感器数据融合技术研究进展[J].传感器与微系统,2010,29(3):5-8.

[6] 陈小宁,黄玉清,杨 佳.多传感器信息融合在移动机器人定位中的应用[J].传感器与微系统,2008,27(6):110-113.

[7] 赵小川,罗庆生,韩宝玲.机器人多传感器信息融合研究综述[J].传感器与微系统,2008,27(8):1-4.

[8] 杨世胜,张 宾,于曙风,等.电磁诱导农用喷雾机器人路径导航系统的设计与实现[J].机器人,2007,29(1)：78-87.

[9] Hyun D,Yang H S,Yuk G H,et al.A dead reckoning sensor system and a tracking algorithm for mobile robots[C]∥2009 IEEE International Conference on Mechatronics，ICM 2009,IEEE,2009:1-6.

[10] 李旭辉.MEMS发展应用现状[J].传感器与微系统,2006,25(5):7-9.

[11] 杨文伟.钢管桁架相贯线焊缝的检测与焊接缺陷分析[J].山西建筑,2007,33(34):3-4.

[12] Andreas Koschan,Mongi Abidi.彩色数字图像处理[M].章毓晋,译.北京：清华大学出版社,2010：55-57.

[13] 张 铮,徐 超,任淑霞，等.数字图像处理与机器视觉[M].北京：人民邮电出版社,2014：287-288.

[14] Gonzalez R C,Woods R E.数字图像处理[M].2版.北京：电子工业出版社,2013: 281-283.

[15] 潘永利,孙小雪.数字图像处理技术在移动机器人中的应用[J].青岛理工大学学报,2008,29(5):124-128.

[16] 岳冬雪,黄新生.基于改进的多分辨率Hough变换的直线检测方法[J].计算机仿真,2006,23(9):76-79.

[17] 刘步实,梁秋媛,覃 晓.区域生长算法在校园道路识别中的应用[J].软件导刊,2016,15(3):144-146.

[18] 柯 卫,王宏力,袁 宇,等.基于区域生长法的星图中星的提取方法[J].传感器与微系统,2015,34(12):57-58.

[19] 林开颜,吴军辉,徐立鸿.彩色图像分割方法综述[J].中国图象图形学报,2005,10(1):1-10.

[20] 汪海洋,潘德炉,夏德深.二维Otsu自适应阈值选取算法的快速实现[J].自动化学报,2007,33(9):968-971.

[21] 王 磊,段会川.Otsu方法在多阈值图像分割中的应用[J].计算机工程与设计,2008,29(11):2844-2845.

Image processing algorithm for intersecting line weld inspection robot*

LIU Xi1, XU Guang-feng2, FEI Yue-nong1

(1.College of Mechanics and Control Engineering,Shenzhen University,Shenzhen 518060,China;2.SENSE Engineering Services Ltd,Shenzhen 518060,China)

An image processing algorithm for automatic detecting robot of intersecting line weld to identify pathway and localization is proposed,aiming at problem that the intersecting line weld is difficult to be detected.On the basis of color space conversion and color edge detection,an image pyramids method is introduced to the Hough transform line detection algorithm,to identify the magnetic color-coded strips quickly and achieve real-time control of the attitude and motion trajectory of the robot; a multi-threshold calculation is applied to the region growing algorithm to segment the artificial mark points,and the artificial mark points are counted so as to realize localization.The effectiveness of the proposed image processing algorithm is verified through experimental results.

image processing; region growing; multi-threshold; intersecting line weld; weld inspection robot

10.13873/J.1000—9787(2017)07—0146—04

2016—09—06

深圳市技术创新计划资助项目(20150327135346)

TP 24

A

1000—9787(2017)07—0146—04

刘 曦(1991-)，男，硕士研究生，研究方向为图像处理与机器视觉。

费跃农(1962-)，男，通讯作者，博士，教授，从事无损检测、焊接设备及自动化、机器人控制技术、图像处理与机器视觉、机电一体化技术、电力电子控制技术、计算机控制技术、智能测控技术研究工作，E—mail:feiyn@szu.edu.cn。