航拍图像中桥梁的自动识别*

徐 林 杨瑞平

(91204部队 北京 100161)



航拍图像中桥梁的自动识别*

徐 林 杨瑞平

(91204部队 北京 100161)

针对航拍图像中水上桥梁的自动识别问题进行研究,给出了水上桥梁的识别模型,分析了水上桥梁目标识别的影响因素,建立了基于直线提取的桥梁识别算法。该算法包括边缘检测、直线检测、平行直线对提取和水上桥梁标记等步骤。大量实验结果表明,提出的算法能准确识别水上桥梁目标,并且桥梁位置定位准确,是一种有效的方法。

航拍图像; 桥梁识别; 边缘检测; 直线检测; Radon变换

Class Number TP391

1 引言

现代战争中,水上桥梁作为后勤保障与交通运输不可或缺的一环,往往是战争双方打击的首要目标。因此,航拍图像中桥梁的识别具有重要的军事意义[1]。目前,常用的桥梁识别算法主要有两种,一种是模板匹配的方法[2～4],如文献[2]提出的基于框架进行模板匹配的识别方法,即在粗分辨率图中提取最突出的长直线进行模式匹配,验证桥梁位置。另一种是由上而下的知识驱动型策略的方法[5～7],如文献[7]中将识别过程分为低、中、高三个层次进行处理,从低层的区域分割、边缘提取到中层的直线检测,直至到高层的匹配验证都是基于知识的指导下进行的,即先对图像中可能存在的特征提出假设,根据假设进行有目地的分割、标记和特征抽取,在此基础上与目标模型进行精确匹配。以上两种方法都需要进行直线检测,即认为桥梁图像首要的特征是存在长直线条。一般桥梁识别的基本特征[8]主要包括以下几个方面:

1) 桥梁最主要的特征是桥面的两条边缘构成了一对近乎平行的直线段。

2) 桥面的宽度与长度之比值在一定范围内。

3) 桥梁和两岸陆地的灰度较亮,而水域灰度较暗且较均匀,可以采用阈值法来进行分割。

4) 桥梁横跨在水域上,将水域分割为两部分。

本文针对航拍图像中水上桥梁识别的基本特征,提出了基于直线检测的水上桥梁自动识别算法。

2 基于直线检测的桥梁识别算法

本文建立的基于直线检测的桥梁识别算法流程图如图1所示。

图1 算法流程图

图2 原始图像

本文的桥梁识别算法思想主要是通过对桥面平行直线对的提取来确定疑似桥梁区域,再依据桥梁区域的灰度值特性来确定桥梁位置,算法的详细步骤如下。

1) 对原始图像进行Canny边缘提取,生成二值边缘图像;

2) 对边缘图像进行Radon变换,提取出直线;

3) 对直线进行筛选,确定桥梁平行直线对,提取并强化疑似桥梁区域;

4) 对原始图像进行分割,并进行形态学处理;

5) 利用疑似桥梁区域对二值图像做掩膜;

6) 依据区域灰度特征,提取出桥梁区域;

7) 描述桥梁位置、角度等信息。

2.1 图像分割

桥梁和两岸的陆地灰度较亮,河面的灰度较暗。桥梁和陆地同水域之间形成了强对比关系。可以首先依据灰度对图像进行二值化分割[9],通过二值化分割,先将水域同其它区域先分割开来。因而可用式(4)进行桥梁图像的二值化。

(1)

式中f(m,n)为原始图像像素点灰度值;f′(m,n)为二值化后图像中像素点灰度值;T为二值化灰度阈值。

其中,二值化阈值T可以自适应选取,也可以固定选取。桥梁样本图像经过二值化后,桥梁和两岸的陆地变成了白色(灰度级为255),而水域变成了黑色(灰度级为0)。这种方法较好地将桥梁图像分割为水域和非水域两部分,去除了部分噪声干扰的影响,能得到较为明显的桥梁直线特征,因而用此方法对桥梁图像进行分割是成功的。在本文中,对阈值选取采取经验值,对于样本桥梁图像分割后可以清晰得到桥梁与陆地轮廓。样本桥梁图像经过二值化分割后的结果如图3所示。

在二值化之后,图像中水域和陆地已经基本区分开,为了能够更好地通过检测直线进行桥梁识别,对图像进行形态学处理,凸显出桥梁主体部分。但是,在进行二值化分割后,图像中依然存在大量毛刺与空洞,所以运用形态学方法处理二值化后的图像。

常用的形态学方法包括腐蚀、膨胀、开、闭运算等。在这里运用膨胀和区域填充算法处理毛刺和空洞,最终获得桥梁形状较为明显的二值图像,如图4所示。

图3 二值化图像

图4 形态学处理后图像

2.2 边缘检测

边缘是图像局部灰度变化不连续部分,是图像中灰度的急剧变化的部分。边缘检测是图像分割、纹理特征提取和形状特征提取等图像分析的重要基础,边缘检测的好坏直接影响到直线提取的结果。最常用的边缘检测算子是Canny算子和Sobel算子。

Sobel算子对灰度渐变和噪声较多的图像处理效果较好,边缘定位比较准确,Sobel算子边缘检测并细化后的结果如图5所示。

图5 Sobel检测图像

图6 Canny边缘检测图像

Canny算子[10]优点在于不易受噪声干扰,能够检测到真正的弱边缘,不容易被噪声“填充”。该算子的基本思想是:先对处理的图像选择一定的高斯滤波器进行平滑滤波片,抑制图像噪声,然后利用“非极值抑制”来细化平滑后的图像梯度幅值矩阵,寻找图像中得到可能边缘点;最后利用双门限检测通过双阈值递归寻找图像边缘点,实现边缘提取。Canny算子进行边缘检测结果如图6所示。

Canny算子与Sobel算子边缘检测结果对比可以得出,Canny算子边缘检测结果明显优于Sobel算子边缘检测结果。桥梁识别对弱边缘提取和边缘连续性要求较高,因此本文使用Canny算子进行边缘提取。

2.3 直线提取

Radon变换是常用的直线提取方法,其基本思想是利用直线拟和的方法提取满足一定直线约束条件的直线。Radon变换属于一种全局性的算子,Radon变换与以模板卷积作为基本算法模式的局部算子相比Radon变换在理论上具有更强的鲁棒性。Radon变换的积分运算抵消了噪声所引起的亮度起伏,适于低信噪比图像的直线检测。

图像的Radon变换是用来计算一个图像在不同方向的直线上的投影。设f(x,y)为一个二维函数,f(x,y)的Radon变换的几何关系如图7所示[11]。

图7 Radon变换的几何关系示意图

Radon变换可以沿着任意角度θ计算函数的投影,及任意角度都存在函数的Radon变换。图像f(x,y)在任意角度θ上的Radon变换的投影定义为

(2)

(3)

传统Radon变换存在以下不足,以图像中心为原点,计算量较大,不利于编程实现;提取的直线无法给出起点、终点以及长度信息等问题,由于桥梁边缘直线在图像中一般为最长直线,因此本文利用Radon变换检测图像中的长直线,结果如图8所示。

2.4 疑似区域提取

经过Radon变换提取直线后,得到大量长直线。根据Radon变换定义,θ就是Radon换下提取出的倾斜角,直线斜率k=tanθ。对于得到的大量直线,将倾斜角θ进行比较,将角度门限Δθ在±5°以内的直线保留,最后得到一个或多个平行直线对。

同时由于有可能存在河岸影响导致获得多对平行线,所以对得到的平行线对进行筛选。因为桥梁宽度较河流小,所以将得到的平行直线段距离进行比较,根据分辨率保留宽度在一定范围内的平行线段,排除河流两岸产生的平行线的影响,最后得到唯一的代表桥梁平行直线对。根据Radon变换定义,可以得到两直线在x轴位置x1和x2,所以平行直线对的两条直线间的距离为Δd=(x2-x1)×sinθ,如图9所示。

图8 长直线提取

图9 平行直线对约束示意图

平行直线对提取结果如图10所示。根据桥梁边缘为近似平行直线对的特征,判定平行直线对之间区域为疑似桥梁区域。

因为在提取出的疑似区域内,桥梁边缘的长直线会受到小岛、船只、阴影等影响,使得直线不完整或者扭曲。因此需要对疑似区域进行扩展,因此需要对疑似桥梁区域进行扩展,对直线在x轴位置x1和x2扩展平移Δx,使强化区域可以覆盖桥梁位置,结果如图11所示。

图10 平行直线对提取

图11 扩展疑似区域

为了突出桥梁直线特征,排除小岛、船只、阴影等干扰因素,将得到的强化区域对二值图像图4做掩膜,显示如图12所示,图像中虚线为疑似区域边缘直线。

2.5 桥梁区域提取

桥梁边缘与水域相连,因此桥梁边缘直线上的点周围存在灰度为0的像素点,可以按照灰度特性对桥梁位置进行精确定位。传统水上桥梁区域提取算法采用多邻域连通规则,如4邻域连通、6邻域连通和8邻域连通规则,对桥梁粗定位区域中所有像素点进行遍历,按照特定规则选取出适当的像素点,存在算法复杂、耗时较长等缺点。本算法改进了8邻域连通规则,只对直线上像素点进行筛选,提高了算法的实时性。8邻域连通规则如图13所示。

图12 掩膜后图像

图13 8邻域连通原理

对于直线上的点f(x,y),若其周围有且只有任意三个相邻点为黑色,即灰度为0时,如f(x-1,y-1)=f(x-1,y)=f(x,y-1)=0,则确定点f(x,y)为桥梁边缘上一点,如图14所示。若点f(x,y)周围无法找到三个相邻黑色像素,则对直线上下一个点进行筛选。

图14 桥梁边缘判定规则

图像经过处理后,得到两条不连续的直线,如图15所示。然后,由于在对疑似区域进行扩展时,存在扩展平移量Δx,将在直线上距离小于2Δxcosθ的像素点进行连接,使这两条不连续直线连续,结果如图16所示。

图15 桥梁边缘直线

图16 连接后的桥梁边缘直线

桥梁边缘直线连接后,对桥梁区域进行标定,如图17所示。

采用传统8邻域连通算法识别的样本图像如图18所示。与图17相比,传统8邻域连通算法定位精度较差,覆盖了部分陆地。

图17 桥梁位置标定

图18 传统8邻域连通算法识别结果

采用改进8邻域连通算法具有以下优点:

1) 针对直线进行遍历,与传统的区域连通标记算法对全部像素点遍历相比大大减少了运算量,减少了运算时间;

2) 算法采用相邻三像素点判定法检测桥梁边缘点,有效去除了非桥梁边缘直线点的干扰,并具有较高的定位精度。

3 实验结果分析

本文对大量航拍图像进行了识别,绝大部分桥梁能够清晰识别出来。下面是部分桥梁识别结果,如图19、图20、图21所示,(a)为原始图像,(b)为识别图像。

(b)识别图像

(a)原始图像

(b)识别图像

(a)原始图像

(b)识别图像

本文以桥梁四点坐标及倾斜角的形式描述桥梁信息,如表1所示。(以图像左下端点为原点,桥梁区域矩形左上端点为点A,沿顺时针方向依次为点B、C、D。)

表1 桥梁定位信息

4 结语

本文对航拍图像中的桥梁目标自动识别进行了深入研究,提出了基于直线检测的桥梁识别算法,该算法不受小岛、船只、阴影等影响,有较强的抗干扰性,并且对桥梁位置定位准确,是一种有效的水上桥梁识别算法。

[1] U. Soergel, E. Cadario, A. Thiele, et al. Feature Extraction and Visualization of Bridges over Water from High-resolution In SAR Data and One Orthophoto[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2008,1(2):147-153.

[2] 孙琪,曹治国,张天序.基于框架的远距红外桥梁目标识别[J].华中科技大学学报,2001,29(4):1-3.

[3] 琚春花,王伟明,王光明,等.一种桥梁标识别方法的研究[J].计算机工程,1999,25(6):19-20.

[4] 王伟明,徐胜荣,姚庆栋.一种使用黑板模型实现的图像分割策略及在桥梁目标识别中的应用[J].计算机学报,1995,8(2):217-134.

[5] Baker D. C, Hwang S. S, Aggarwal J. K. Detection and Segmentation of Man-Made Objects in Outdoor Scenes: Coneret Bridges[J]. Opt. Soc Am,1989(6):938-950.

[6] Baker D. C, AggarwaL J. K, Hwang S. S. Geometry Guided Segmentation of Outdoor Scenes[J]. SPIE App of AI.,1988(9317):576-583.

[7] 徐胜荣,李忠兴.基于知识的桥梁目标识别方法研究[J].模式识别与人工智能,1992,5(2):275-281.

[8] 蒋骊黎,史册,杨海波,等.遥感图像中水上桥梁的识别[J].模式识别与人工智能,2000,13(2):214-217.

[9] 舒海燕,郭雷.图像目标识别技术的研究和应用[D].西安:西北工业大学,2002.

[10] 秦襄培.MATLAB图像处理与界面编程宝典[M].北京:电子工业出版社,2009.

[11] 王立,常青,张科,等.Radon变换在低信噪比图像中的线段检测[J].红外与激光工程,2003,32(2):163-165.

Bridge Automatic Recognition in Aerial Images

XU Lin YANG Ruiping

(No. 91204 Troops of PLA, Beijing 100161)

Focusing on automatically recognize bridge over water in military field by using aerial images in this article, a model to recognize bridge over water is provided, and some influential factor factors are analyzed, the basis of straight line pick-up is established in this article. This model includes edge detecting, straight line detecting, parallel straight line obtaining, labeling bridge over water and so on. This model is able to exactly recognize bridge over water and provide position of bridge over water in a great deal of experiment, which indicates it is an effective way.

aerial images, bridge over water recognition, edge detecting, straight line detecting, radon transform

2015年6月11日,

2015年7月28日

徐林,女,硕士,研究方向:图像处理与模式识别。杨瑞平,男,博士,研究方向:图像处理与模式识别。

TP391

10.3969/j.issn.1672-9730.2015.12.028