陈友辉,王耀南,肖赞,董潇健
湖南大学电气与信息工程学院,长沙 410082
高压线路除冰机器人越障识别定位算法研究
陈友辉,王耀南,肖赞,董潇健
湖南大学电气与信息工程学院,长沙 410082
220kV输电线路除冰机器人在线运行过程中会因架空线路上的防震锤、耐张线夹、悬垂线夹、跳线等障碍物而无法自由运行,这也极大地限制了机器人的工作区间和使用效率。而越障式除冰机器人能够很好地在各种障碍物之间运行,但是在机器人跨越障碍物时,前机械臂行走轮的跟线对中问题也突显出来。为了使行走轮能够准确地挂在电缆上面,前人也提出了很多方法。
1991年日本东京电力公司的Sawada等人就提出了使用超声波传感器,接近开关序列来定位线缆的方法[1];加拿大魁北克水电研究院的Serge等人也开展了越障式除冰机器人的研制,而他们的越障动作主要是依赖安装在机器人上的摄像头通过远程遥操作完成的[2];伍洲等人研制的两臂式巡检机器人则是利用电磁导航原理实现对线路位置的检测,但是电力传输线中流过的电流会因负载的不同而产生未知波动,这也限制了电磁导航定位线缆位置的精度[3];中科院自动化研究所研制的除冰机器人的机械臂对中使用的视觉检测的方法[4],但是其文章中没有详细介绍相线检测的具体方法,而且图像背景限定条件太多,这也降低了提取的难度。
本文在上述研究的基础上,提出了一种方法简单、成本低廉、适应性强的高压电缆识别定位算法,针对电缆线具有特殊纹理和在一定尺度空间内宽度固定的特点,通过纹理自相关运算获取图像中纹理能量最强的区域,作为感兴趣区域,再通过狭义霍夫变换找寻合适宽度的直线对,完成电缆直线的搜索定位,解决机械臂越障时的跟线对中问题。经过反复实验表明,该算法具有较强的适应性。
除冰机器人本体如图1所示。机器人采用三臂结构,是为了在跨越障碍时确保有两个手臂挂在电缆线上。机器人上总共安装了5个摄像头:前、后、中臂的夹持台上各安装有一个垂直朝上的摄像头,用于监测越障时的动作;前机械臂行走轮上方安装了一个双目摄像头,用于探测机器人前方的障碍物及线缆损坏情况检测。本文中介绍的线缆对中算法都是针对三个臂上的摄像头所采集得到的图像。
图1 机器人本体
根据机器人设计尺寸需求,安装在夹持臂上的摄像头选用微型CCD摄像头。摄像头视线垂直向上(视角为60°),正对行走轮和电缆线。图中所示的双目摄像头是作为障碍物检测用[5],本文不作介绍。控制箱内的图像采集卡将模拟图像信号转换为数字图像信号提供给主控制器,再由主控制器完成图像特征提取和机器人伺服控制任务。
基于前文中提到的诸多难点,除了人为减少安装带来的误差、保证光照条件在一定可接受范围内,仍需要找到电缆线在各种条件下相对稳定的特征,提高算法鲁棒性。
对电缆线分析,发现它有以下几个特征:(1)电缆线贯穿整幅图像;(2)电缆线在一定的尺度空间下具有特定宽度;(3)电缆线本身具有一个很规则的纹理信息。且这个纹理信息被限定在一定的宽度和长度的平行四边形中间;(4)电缆线一般是高悬于空中,如果用双目相机对图片成深度图,电缆线部分的深度信息是远远小于背景深度信息的。本文因为采用静态的单目视觉,所以仅考虑以上特征的前三条。
同时,考虑实际电缆线覆冰时,电缆线纹理将被覆冰遮掩。为了解决这个问题,除冰机器人初期设计了一个越障预除冰的机构。该机构在不要求精确定位电缆线情况下,通过旋转敲击方式可以将电缆线下方的冰棱除掉,以充分将电缆线暴露在外,并使电缆线达到本文中的定位识别的要求。而在实验室环境下,该装置可以辅助机器人在室内完成行走、越障、模拟除冰等过程。
在研究指纹图像增强的过程中,指纹图像在16×16区块内具有与电缆线相似的纹理,进而可以把指纹增强中方向场估计算法应用到电缆线分割上。指纹增强中是依据“沿脊线方向的灰度变化成正弦波型”假设来设计具有方向性的滤波器,而电缆线纹理也恰恰符合这一原则。即沿着垂直于脊线方向指纹的脊线与谷线像素点灰度值大致呈二维的正弦波,除了少数异常区域外,在局部区域内,纹线的分布具有良好的频率特性和方向特性。因此可以充分利用局部区域内纹线的频率信息,对图像纹线进行增强和拼配。
电缆线定位算法主要包括以下几个步骤:首先对原始图像进行同态滤波,以减少电缆线上的阴影和阳光照射的影响;再进行Canny边缘检测和方向场估计统计出电缆线纹理方向;根据方向场估计得到的纹理方向,对边缘检测后图像作Gabor变换和自适应阈值分割,提取出电缆线纹理区域;最后,用最小二乘法获取电缆线的中线位置。
电缆线定位算法流程如图2所示。
图2 电缆线定位算法流程
3.1 同态滤波及边缘检测
对于电缆线图像因为环境的复杂性,很容易产生局部线上具有很强反射光,这种反射光不仅会引起局部纹理的断裂也很容易造成电缆线边缘的模糊。有时太阳光线也会直接照射在摄像头上。而这两种情况又不可能通过人工暗室的方法消除,因此引入同态滤波对图片进行一定的光照补偿[6]。
设图像为f(x,y),那么f(x,y)可以看成是光源照度场(入射分量)fi(x,y)和场景中的反射光(反射分量)的反射场fr(x,y)两部分乘积所产生,关系式为:
fi(x,y)的性质取决于照射源,fr(x,y)取决于成像物体的特性。一般情况下,照度场fi(x,y)的变化缓慢,在频谱中集中在低频;而反射场fr(x,y)包含所需要的图像细节信息,它在空间上变化较快,其能量集中于高频。这样就可以根据照度-反射模型将图像分为低频与高频分量乘积的结果。由于两个函数的傅里叶变化乘积是不可分离的,故不能直接对照度和反射的频率部分分别进行操作。
传统的同态滤波法实现方法:先将原始图像进行对数变换和快速傅里叶变换,得到频率域中两个分离的分量,然后根据用户的需要,选用合适的传递函数实现图像频域增强。最后再将频域处理的图像经快速傅里叶逆变换及指数变换,就可得到增强后的图像。
因此先对式(1)进行对数变换:
式(4)表明,图像中的环境照明分量的频谱与反射分量的频谱是可分离的。
然后设计一个滤波函数H(u,v),对频域图像Z(u,v)作处理。
S(u,v)是结果的傅里叶变换。这样便可以在频域内对高频和低频分开处理,以期增强图像对比度,并可压缩图像信号的动态范围。然后将S(u,v)进行反傅里叶变换,得到滤波后的图像。
根据不同的图像特性和需要,选用不同的H(u,v),可得到满意的结果。
为了直观表现图像纹理细节,在进行同态滤波后又进行了Canny边缘检测算子[7]。从图3和图4中可以看出,经过同态滤波后再作边缘检测中,保留了更多的纹理细节。而且很明显地看出,同态滤波后的图像中光晕被明显抑制了,电缆线的纹理也比处理前的图片更加饱满了,这也说明图像低频分量被抑制,高频分量被增强。
图3 同态滤波前后的图像
图4 对滤波前后图像边缘进行检测的结果
3.2 方向场估计
方向场反应了电缆线中脊线的方向信息,其准确性直接影响到后续的图像增强与图像纹理匹配的效果。Gabor滤波中θ即为纹理方向,因此只有得到电缆线纹理的方向信息才能有效提取出电缆线精确位置。本文根据纹理方向在局部区域内基本一致的特点先把图像分块,然后计算每一个子块内各个像素的方向。用这种方法来求解指纹方向场具有效率高且不易受图像噪声影响的特点[8]。
具体算法:
将图像分成16×16大小的互不重叠的子块,采用Soble算子计算每个子块像素点(u,v)梯度值。
∂x(u,v)表示沿x轴方向的梯度值;∂y(u,v)表示沿y轴方向的梯度值。
利用公式(7)~(9)估计出中心点在点(i,j)的子块的脊线方向值。其中θ(i,j)是以像素点(i,j)为中心子块的局部脊线方向,W是子块的边界长。公式(7)~(9)中统计的梯度Vx(i,j),Vy(i,j)实际是以i,j为中心16×16区域内每个像素点梯度矢量平方之和,这样防止了从脊线到谷线和从谷线到脊线之间梯度相反导致的互相抵消。根据梯度矢量平方与梯度矢量之间幅角关系易推出公式(9),但是θ(i,j)的范围为[-π/2,π/2],而公式(8)因为没有考虑到梯度矢量平方的范围为[-π,π],计算出的幅角范围为[-π/4,π/4],因此需要对梯度矢量平方幅角在第二和第三象限内的,根据公式(5)计算得出的结果进行加π/2或者减π/2处理就能得到正确的梯度值。图5为方向场计算结果。
图5 方向场估计
可以看出方向场沿电缆线纹理方向具有十分规则的方向信息,而在空白区域因为噪声等诸多因素干扰方向场显得杂乱无章,为后续纹理提取提供了更加可靠的信息。
3.3 纹理匹配
为了有效提取图像中的纹理特征,Gabor变换是英国物理学家Gabor提出来的,由“测不准原则”可知它具有最小的时频窗,即Gabor函数能够做到最精确的时间频率局部化这一点对图像特征检测[9],对偶Gabor小波的一般形式如下:
实验证明Gabor变换不但能滤除噪声而且可以无失真地保留下电缆线纹理的脊线和谷线。但是Gabor小波需要计算实部与虚部,且大部分系数都很小,精度很高,不利于实时处理。故需要对Gabor小波进行一定简化。
根据Gabor对偶公式其实可以把Gabor小波理解成一个二维余弦函数与一个高斯衰减函数的乘积。假设在特定尺度空间下电缆下的频率场固定,即限定公式G(x,y,θ,f0)中f0为一个固定值,θ为之前所求的方向场的角度,参照SURF变换中对高斯模板的简化方式,可以把Gabor滤波器实部、虚部,按照脊线量化成1,谷线量化成-1,平坦量化成0,将Gabor滤波器简化,如图7所示。
图7 简化前后的Gabor小波模板
用Gabor小波模板对Canny边缘检测的图像进行卷积,就可以将电缆线纹理区域最大限度增强。然后再用一次阈值分割就可以得到图8的处理效果,本文选取阈值大小为200。
图8 对边缘图像做Gabor滤波后的图像
3.4 电缆线中心线拟合
从图8(b)中可以看出,纹理区域已经提取出来。但是它是由众多纹理区域的离散点组成,而且在某些非纹理区域仍存在一些奇异点,这对后面的电缆线中心提取有很大影响。为了提高中线提取的精度,还需对Gabor滤波后的图像做一次奇异点剔除。最后采用最小二乘拟合方法,对所有离散点进行直线拟合即可得到电缆线中线位置[10]。
假设以图像左下角为原点,水平方向定义为横轴,竖直方向为纵轴。并设电缆线中线方程为:
利用以上两个公式,对经Gabor滤波和阈值分割后的图像做直线拟合可得到如图9(a)所示结果。
从图9(a)中可以看出,拟合得到的中线与期望的电缆线中线已经比较接近,但是一些偏离中线的奇异点仍然影响了最后的拟合结果。为了获得更加精确的结果,本文对Gabor阈值变换后图像又进行以下处理:将偏离拟合直线垂直距离30个像素以上的点都作为奇异点,从原图像中剔除掉;再对剔除后的图像进行一次最小二乘拟合运算,求出新的中线位置,作为最后的中线位置输出。在图9(b)中给出的即是最终拟合的结果。
图9 进行最小二乘拟合得到的中线位置
本文提出的除冰机器人越障电缆线中线定位算法在三臂除冰机器人上进行了实验,图像处理序列如图10所示。为了说明算法的有效性,实验过程中特意在不同的光照环境下进行了测试。首先,让机器人前臂摄像头采集到的图像,光线分布尽量均匀,并且对针孔摄像头的球面变形进行了预处理。而后臂摄像头未作球面变形校正,并且用聚光灯直射摄像头,模拟室外阳光直射情况。在图8(a)中所给出的一组图片,分别为前、后臂拍摄到的越障过程的图片。对比两张图像可以看出,前臂图像光线自然,电缆线纹理清晰。后臂图像因光照原因,画面中产生一个很强的光晕,并且整个图像较为昏暗模糊。
图10 机器人越障过程中提取的中线结果
对比图8(b)中两张纹理提取结果的图片可以看出,正常光照图片纹理饱满,提取的纹理十分稳定和可靠;而高光照球面变形图片因为局部对比度不均衡,会导致一定程度上纹理的缺失。虽然强光照产生的光晕,会对纹理提取及中线拟合带来干扰,但是算法还是能较准确定出电缆线的中心线,结果表明该算法具有较好的鲁棒性。
本文提出了一种基于纹理分析的电缆线定位算法,利用了电缆线纹理具有规则分布的特点,首先分析了纹理的方向场,然后统计得到感兴趣区域。再对感兴趣区域按特定方向的Gabor滤波器进行纹理筛选,得出纹理区域离散点。最后对离散点做最小二乘拟合,得到最终电缆线中线位置。实验证明算法在正常光照下具有精确的定位,而在高光照部分纹理缺失的情况下也拥有较强鲁棒性。但是算法因为假定纹理频率固定,对于摄像头垂直方向与电缆成一定角度,纹理由近到远逐渐密集的图片,纹理匹配结果会有一定程度下降。因此,需要进一步提高算法对于多尺度图像分析的适应性,同时引入双目视觉加强算法的鲁棒性。
[1]Sawada J,Kusumoto K,Munakata T.A mobile robot for inspection of power transmission lines[J].IEEE Transactions on Power Delivery,1991,6(1):309-315.
[2]Nicolas P,Serge M.LineScout technology:from inspection to robotic maintenance on live transmission power lines[C]// IEEE International Conference on Robotics and Automation,2009,45(7):1034-1040.
[3]伍洲,方彦军.巡线机器人电磁导航系统研究与设计[J].高电压技术,2008,34(9):1959-1963.
[4]张运楚,梁自泽,谭民.架空输电线路巡线机器人越障视觉伺服控制[J].机器人,2007,29(2):111-116.
[5]谭磊,王耀南,沈春生.输电线路除冰机器人障碍视觉检测识别算法研究[J].仪器仪表学报,2011,32(11):2564-2571.
[6]Uche N,Peter L.Homomorphic filtering of colour images using a spatial filter kernel in the HSI colour space[C]//IEEE International Instrumentation and Measurement Technology Conference,Victoria,Vancouver Island,Canada,2008:1738-1743.
[7]Canny J.A computational approach to edge detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1986,8:679-714.
[8]Kekre1 H B,Bharadi V A.Fingerprint orientation field estimation algorithm based on optimized neighborhood averaging[C]//2nd International Conference on Emerging Trends in Engineering and Technology,ICETET-09,2010:228-234.
[9]Gabor D.Theory of communication[J].Journal of the Institute of Electrical Engineers,1946,93(26):429-441.
[10]Bjorck A.Numerical methods for least squares problems[M]. Philadelphia:SIAM,1996:87-120.
CHEN Youhui,WANG Yaonan,XIAO Zan,DONG Xiaojian
College of Electrical and Information Engineering,Hunan University,Changsha 410082,China
A cable location algorithm based on texture recognition is proposed to solve the high-voltage de-icing robot obstacle problem when arm grasps line.According to the periodic characteristics of texture along the direction of the cable within the complex background,the high light reflection and shadow effects are reduced using homomorphic filter.The direction of the texture is calculated by direction field estimation and texture is extracted by Gabor transform.A linear least squares fitting method is used to obtain the final position of the cable within the region of interest.Obstacle tests in the context of different light show the effectiveness of the algorithm.
deicing-robot;visual positioning;orientation field estimation;Gabor transform
针对高压线除冰机器人越障时机械臂对中问题,提出了一种基于电缆线纹理特征的定位算法。根据复杂背景下沿电缆线方向纹理具有周期性的特征,通过对原始图像做同态滤波,减少高光反射和阴影的影响。用方向场估计纹理的方向,利用Gabor变换进行纹理信息提取,以纹理图像作为感兴趣区域,在感兴趣区域内使用线性最小二乘拟合方法获取电缆线最终位置。通过在不同光线背景下对电缆线定位的对中实验,证明了算法的有效性。
除冰机器人;视觉定位;方向场估计;Gabor变换
A
TP242
10.3778/j.issn.1002-8331.1203-0530
CHEN Youhui,WANG Yaonan,XIAO Zan,et al.Study on obstacle location algorithm of deicing robot on high voltage transmission line.Computer Engineering and Applications,2013,49(24):266-270.
国家科技支撑计划项目(No.2008BAF36B01)。
陈友辉(1986—),男,硕士研究生,主要研究方向为智能机器人系统;王耀南(1957—),男,博士,教授,博士生导师,主要研究方向为人工智能;肖赞(1987—),男,硕士研究生,主要研究方向为智能机器人系统;董潇健(1988—),男,硕士研究生,主要研究方向为电路与系统。E-mail:shuteoliver@163.com
2012-03-23
2012-05-08
1002-8331(2013)24-0266-05
CNKI出版日期:2012-07-16http://www.cnki.net/kcms/detail/11.2127.TP.20120716.1500.016.html