王芝茗,燕福龙,朱琳琳,曹蔚然
(1.辽宁省电力有限公司,辽宁 沈阳 110006;2.中国科学院沈阳自动化研究所,辽宁 沈阳 110016)
采用航拍图像作为高压输电巡检手段的设想由来已久,但由于受到当时硬、软件技术的限制未能发展起来[1],一般多采用雷达作为检测设备[2]。直到近些年,航拍图像这种技术手段才又引起人们的广泛关注。如,Zhengrong Li等人采用一种基于知识并带有PCNN(Pulse-Coupled Neural Network)滤波器的方法来实现无人机巡检[3];而Li Fu等人采用联合电线形态学特性和通用线段检测的方法来检测图像中的电线目标[4]。旋翼无人机由于其可控性较强、速度适中而被更多地应用于对可操作性及可观测性要求较高的领域如高压输电线巡检应用。旋翼无人机结合航拍技术进行高压输电线巡检被证明是一种可行的巡检技术。旋翼无人机高压输电线航拍图像中的电线检测问题是一类特殊的图像线检测问题,其具有航拍高压输电线图像的若干特有特征,如背景复杂、电力线高亮、电力线细弱、电力线平行等。这些特征决定了其线检测问题的复杂性,增加了线检测的难度,降低了线检测的准确率。针对这些特点,本文提出一种基于多向滤波的线增强算法,实验结果证明它具有高鲁棒性、高精确性的特点,因而适用于旋翼无人机高压输电线的巡检应用。
图像增强技术对于图像检测识别的结果影响重大。在高压输电线巡检中,图像线状目标增强的结果对能否正确、快速识别电线起着极为重要的作用,图像线状目标增强称为图像线索增强。目前,人们对图像增强技术已有多年研究,而对线索增强技术特别是电线一类的长直线增强技术的研究则相对较少。以下对目前比较常用的线索增强技术进行阐述。
边缘检测是一类传统的图像处理方法,其具体的算法有很多,如Prewitt算子,Sobel算子,Canny算子等。这些算法主要是采用一阶微分算子考查图像的一阶导数的特性[5],由于其结果的线状性而可以应用于线索增强。目前,Canny算子由于其优异的性能而应用广泛[6-8]。
Canny算子是由John F.Canny于1986年开发出来的一个多级边缘检测算法。其中,Canny创立了边缘检测计算理论,其目标是找到一个最优的边缘检测算法。同时,Canny引入了非最大抑制概念,把边缘定义为在梯度方向具有最大梯度值的点。Canny提出图像边缘检测必须满足2个条件:能有效地抑制噪声;必须尽量精确确定边缘的位置。
Canny算法步骤可以描述为:首先对图像进行高斯平滑处理;然后对处理后的图像进行梯度计算,包括计算梯度的大小和梯度的方向;第三步对梯度幅值进行非极大值抑制;最后,采用双阈值算法检测和连接边缘。
Hessian矩阵方法是由德国人Ludwig Otto Hesse于19世纪提出的。Hessian矩阵一般被应用于牛顿类型方法中的大规模优化问题,它是函数的泰勒展开的一个二次项系数,即:
其中:J为Jacobian矩阵,H为Hessian矩阵。
对于二维图像,Hessian矩阵被定义为如下形式:
这里f为图像函数,Ixx,Ixy,Iyx和Iyy分别代表f对x、y及混合的二阶偏导数。
Hessian矩阵可以有效表达图像的主元信息,它在图像处理领域中已有不少应用[9-10]。这里采用其特征值来构建增强图像。
卷积是一种线性运算,它是通过两个函数f和g生成第三个函数的一个数学算子,表征函数f经过翻转和平移与 g得到重叠部分的累积。公式如下:
图像处理中常见的Mask都是卷积,卷积被广泛应用于图像滤波。运算本文针对无人机巡线的应用,根据高压输电线路在图像中的特点,提出了一种新的多向卷积滤波方法,对图像中的输电线进行增强。
如图1所示,输电线路在图像中是比周围像素亮度高的线状目标。其中剖面的亮度分布如图2所示。可以看出在输电线延伸方向上图像中间亮度值与两侧亮度值有明显的落差。基于此,提出了一组线性滤波算子,对各个方向的线状目标进行提取。
图3为本文提出的水平方向上的滤波算子,2个算子分别对图像进行卷积计算。最后的计算结果为2个卷积结果的乘积,只有当像素对2个算子都有较强的反应时才认为该像素属于某个水平线状目标,避免了区域边缘的影响。
为了对各个方向目标都进行检测,设计了12对 (24个)滤波算子,每对间隔15°。定义L0与R0分别为水平方向的2个算子,以其中心点作为坐标原点 [0,0],则其中第n对滤波算子则分别由L0与R0绕中心旋转θ=n*15°得到。旋转矩阵为
图3 水平方向上的滤波算子
然后利用该组算子分别对图像进行各个方向上的线状目标增强,保留其中响应最强的值,这样无论输电线的方向如何,都可以对其进行增强。
将canny算子、Hessian矩阵以及本文提出的MDF方法进行试验对比。所有试验都是在2.5 GHz双核CPU,2 GB内存的机器上运行。用样品合成图像和实际无人机图像分别对上面提到的3种算法做试验。为验证结果,采用Radon变换对3种方法增强后的结果进行线识别,取前8条线。样品合格图像结果如下。
从图4中不难看出,Hessian矩阵方法耗时最多,而Canny算子和MDF方法用时较少。值得注意的是 (d)中MDF算法在处理图像时有2条从左上到右下方向的斜线被处理得较虚弱而未能在后续的线检测中出现,这是因为MDF方法的结果与其角度分辨率成正比,要想取得更理想的结果就必须提高角度分辨率。
选择2幅实际无人机图像来进行试验。第一幅图像结果如图5所示。从图5的处理结果来看,Hessian矩阵方法耗时仍是最多,其他二者用时较小且相差不大。但在面对这种细纹理的杂乱背景时,Canny算子的效果变差,识别出现了丢线及错误的现象,在这种背景下边缘变得异常复杂,Canny算子会增强图像背景噪声并使得电线部分信息被背景噪声淹没。Hessian矩阵方法虽正确识别出了电线,但杂乱的背景也被增强,这对于线识别终究是不利的。而MDF方法在这种背景下却表现优异,有效地抑制了背景噪声,并重点突出了电线部分。
第二幅实际无人机电力巡线航拍图像结果如图6所示。从图6结果来看,3种算法的耗时相对仍与前同。但在面对更为复杂的背景时,Canny算子的结果变得极为不好,令线检测丢失所有目标。Hessian矩阵方法不但耗时多,且在此时也在8条线中仅有2条指示正确。而MDF方法则显示出了较好的结果,不但用时少,而且8条线中仅有一条偏出,这显示MDF方法有效地增强的图像中的线状目标成分,对后续的线识别起到了正确的引导作用。
图6 第二幅实际无人机图像试验
表1 各增强方法的用时比较 s
从表1的试验结果中可以看出,Hessian矩阵方法耗时最多,Canny算子在背景复杂的情况下效果变差,而本文提出的MDF算法表现出较强的鲁棒性和实时性,不但用时较少,而且有效突出了图像中的长直线目标,为后续的线状目标识别扫清了障碍。
基于视觉图像的旋翼无人机高压输电线巡检中的图像线检测问题具有其特殊性,表现为图像背景复杂,目标电线极易与背景混淆而难于识别,所以一个好的图像线索增强算法对于这类线识别问题意义重大。本文正是基于这一考虑提出了一种图像线索增强算法MDF,试验结果表明,这种线索增强算法相比于传统边缘检测算法以及应用广泛的Hessian矩阵算法,在鲁棒性、实时性上都有更好的表现,非常适用于无人机高压输电线巡检应用。
[1] 王先敏,曾化庆,熊 智.视觉导航技术的发展及其研究分析 [J].信息与控制,2010,39(5):607-613.
[2] Q.Ma,D.S.Goshi,Y.C.Shih,M.T.Sun.An Algorithm for Power Line Detection and Warning Based on a Millimeter-Wave Radar Video [J].Image Processing,IEEE Transactions,Vol.20,Issue,12,Dec,2011,pp.3534 -3543.
[3] Z.Li,Y.Liu,R.Hayward,et al..Knowledge-based power line detection for UAV surveillance and inspection systems[J].Image and Vision Computing,New Zealand,IVCNZ.23rd.International Conference,Nov.2008,pp.26 -28.
[4] L.Fu S.Lu.Obstacle detection algorithms for aviation [J].Computer Science and Automation Engineering(CSAE),IEEE International Conference, Vol. 4, June, 2011, pp. 710-714.
[5] 苑玮琦,王建军,张宏勋.一种基于梯度极值的边缘检测算法 [J].信息与控制,1997,26(2):117-120.
[6] K.Deguchi,T.Izumitani,H.Hontani.Detection and Enhancement of Line Structures [J].IWVF4,LNCS 2059,2001,pp.313-322.
[7] D.Marr,and E.C.Hildreth.Theory of Edge Detection[J].Proceedings of the Royal Society,vol.207,1994,pp.187-217.
[8] W.Phueakjeen.A study of the edge detection for road lane[J]. Electrical Engineering/Electronics, Computer, Tele.and Info.Tech.(ECTI-CON),2011 8th International Conference,2011,pp.995 -998.
[9] R.Lakemond,C.Fookes,and S.Sridharan.Affine adaptation of local image features using the hessian matrix.In Proc.Advanced Video and Signal Based Surveillance[J].IEEE conference,Genoa,Italy,Jan.,2009,PP.496 -501.
[10] S.Lefkimmiatis.Hessian-Based Norm Regularization for Image Restoration With Biomedical Applications[J].Image Processing,IEEE Transactions,Vol.21(3),2012,pp.983-995.