冯鹏++高峰
摘 要: 阐述了道路信息提取的重要性和一般步骤及基本思路,通过对高分辨率遥感图像中道路信息提取方法利用道路特征的不同进行了分类整理,并对经典方法进行分析,希望能对找到一种具有普适性的道路提取方法起到事半功倍的效果。在此基础上结合当前科技发展的方向,从道路提取的基本思想出发,对道路特征提取研究的前景做出展望。
关键词: 高分辨率; 遥感影像; 道路特征提取; 图像处理
中图分类号: TN911.73?34 文献标识码: A 文章编号: 1004?373X(2015)17?0053?05
Method of road information extraction in high resolution remote sensing images
FENG Peng, GAO Feng
(National Key Ladoratory of ATR, National University of Defense Technology, Changsha 410073, China)
Abstract: The importance, general steps and basic ideas of road information extraction are elaborated in this paper. The road information extraction methods of high-resolution remote sensing images are classified according to different road characteristics. It is in the hope that a road information extraction method with strong universality can be found to yield twice the result with half the effort. On this basis, and in combination with the current development direction of science and technology and the basic thought of road feature extraction, the prospect of research on road feature extraction is pointed out.
Keywords: high resolution; remote sensing image; road feature extraction; image processing
进入新世纪以来,高分辨率遥感卫星的使用越来越多,海量高分辨率遥感图像的获得,深刻的影响着人们日常生活和科技发展,例如电子导航地图、自然灾害预警、土地利用检测等。大量卫星应用带来了海量的图像数据,如何快速准确地处理这些图像数据,从中找出人们关注的信息,滤去人们不关注的信息成为研究的热点[1]。在人们关注的诸多信息中,道路信息是最基础和最重要的地理信息之一,随之,道路信息提取的技术方法研究便成为一门新兴的科学技术[2]。高分辨率影像中含有非常丰富的地物信息,道路目标也越来越多、越来越清晰,但是仍存在各种干扰,例如:树木、绿化带和建筑物的阴影或遮挡、道路上的车辆、各种交通标志线等,所以研究高分辨率遥感图像中的道路提取方法具有重要的科学意义[3]。本文从道路提取的一般步骤和基本思路、国内外研究现状和道路提取的发展前景三部分。阐述了高分辨率遥感图像中道路信息的提取方法。
1 道路提取的一般步骤和基本思路
从20世纪70年代开始,经过几十年道路信息提取的研究,文献[4]在前人的基础上提炼出非常经典和实用的道路模型,如图1所示。该模型完整地体现了道路在三个不同层面——真实世界层、几何和材质层及图像层上的表现形式,尤其是在图像层中显示出的特性为道路提取提供了明确的指引和依据。
在对图像的处理上,文献[5]提出了按照Marr视觉理论分三个层次从高分辨率遥感影像上提取道路的思想;文献[6]归纳了图像中道路特征信息提取的一般过程,如图2所示。
图像预处理:在进行道路提取时,一般要对原始图像进行预处理,以提高图像的质量。通常应用的手段有直方图均衡化和滤波处理等。图像直方图均衡化用来改善图像的视觉效果[7];采用均值滤波器或中值滤波器对图像进行平滑处理,以去除图像上的噪声和孤立点。还包括一些其他图像处理手段,如:图像校正、图像增强等。
低层次处理:主要是把原始图像转换为便于提取道路特征的图像,例如二值图像;或者是将图像进行阈值分割,划分出含有道路信息的区域等。
中层次处理:对进行过处理的图像进行分析,提取出道路特征。包括几何特征、辐射特征、拓扑特征和上下文特征,每个特征所含有的意义不同,所用的处理方法也不同。几何特征主要是道路的形状特征(长、宽)、方向特征(有鲜明的方向性,且不会突然变化过大)和坡度变化(具有缓慢的海拔高度变化)。辐射是道路目标映射到高分辨率影像上呈现出和邻近区域不同的灰度,并且由于道路目标周围地物的影响,如:路旁树木、路边房屋、路面汽车等,道路目标在影像上可能会出现断裂或斑驳。拓扑特性指道路通常是相互连接成网状,并且每条道路的两端只有两种情况:与另一段道路相连和延伸到图像边界外。上下文特征是指居民区中道路一般紧邻房屋、绿化带、广场通道,道路旁边一般有树,有的高分辨率影像上的道路中间的绿化带、行车标示、斑马线等也能显示出来。
高层处理:用计算机技术等手段,将经过中层处理后的图像上的道路特征按一定的规则组织起来,利用要素的结构和关系、道路模型以及与道路有关的规则、知识理解识别道路。
2 高分辨率影像上提取道路的现状
根据道路提取方法利用的特性信息不同,可以分为以下几类:
2.1 基于灰度特性的方法
(1) 遥感影像中道路目标和背景区域在灰度值上有着较为明显的区别,在灰度分布规律上也有不同的分布规则(即纹理特征),据此提出利用数学形态学方法提取道路信息。数学形态学是一种基于集合理论的非线性图像处理和分析的理论,基本思想是基于像素间的逻辑关系对数字图像进行分析处理[8]。其操作简单,效果良好,被广泛研究,然而此法的适用范围有限[9]。文献[10]首先利用数学形态学的方法,将影像进行分割提取出基本轮廓,再用形态学方法进行去毛刺、填补孔洞等步骤最终提取道路。并在灰度形态学的基础上,先将图像二值化并分割出道路网的轮廓,再进一步使用膨胀和腐蚀等算法进行去噪声和细化处理。运用数学形态学在遥感图像上提取道路网方法的基本过程如下:
首先对影像进行直方图均衡化的预处理,在此基础上,设定一定的阈值分割图像,分割出含有道路信息的二值化图像[11];然后对分割出的二值化图像的噪声进一步处理,得到更清楚的道路信息;最后一步是利用形态学上的腐蚀和重建方法进行恢复图像,从而得到道路网信息,如果想得到更完整的道路网,则可以利用开闭运算进行处理[12];进一步对图像进行数次的形态修剪和细化就能得到道路的中心线。方法主要应用了腐蚀与击中击不中变换、开闭运算和重建运算等数学形态学算子[13],上述方法对中低分辨率的图像处理效果不错,但是在高精度的图像上处理效果不太理想。
(2) 在遥感影像上对道路的剖面研究发现[14],道路剖面存在着灰度梯度变化的极值([p1]和[p2]处)。这样就可以利用指定的起始剖面,得到道路的宽度[W,]道路前进方向以及道路边缘的一对灰度梯度极值([p1,][p2]处),通过得到的信息找到下一个满足以上条件的道路剖面,由此提取整个道路,如图3所示。
2.2 基于线、面特征的道路网提取方法
在中、低分辨率的遥感影像中道路呈现出直线的特性,尤其是道路的边缘特征较为明显。而在高分辨率遥感影像中,道路呈现出长条状区域特性。根据这些特性,产生了以下不同的道路提取方法:
(1) 平行线法,文献[15?20]研究了基于人工智能的自动识别道路的方法。该方法源于Marr的视觉理论,主要在三个层次上进行研究:基于低层次的边缘检测和链接;基于中层次的特征信息处理;基于高层次的特征识别处理。其关键在于在连接好的边缘中产生表示道路边缘的平行线对特征,以及识别平行线对是否为道路的识别策略。此类提取方法对提取背景简单的高速公路等整体走向较为平直的市区外道路效果不错,但不能提取出道路的宽度信息。
(2) Hough变换方法,依据道路直线特征的全局化,用Hough变换直接检测目标轮廓,这种方法能将影像上道路边缘不连续的像素点连接起来。对已经进行阈值分割的含有道路轮廓的城市道路图像,再做Hough变换,可以达到道路段可能存在的直线,判断这些直线是不是道路上的直线,如果是则标记并连接成网,再通过进一步的修剪得到切合实际的道路网[21]。Hough具有去除噪声和直线间断对提取结果影响的优点,但也存在着不能完全去除点间距离带来影响的缺点。但是在对城市直线道路提取过程中,此方法能有效地去除道路上汽车和路边建筑物阴影对道路提取的影响[20,22]。
(3) 城市主路自动提取方法[23],该方法采用先局部后整体的思路,先将整幅图像分块,然后提取出子块上的道路直线,再按照一定的编组规则将这些子块上的直线连接成道路网,提取过程安全自动化,实验结果也达到了满意的效果。
(4) 基于Snakes模型[24]提取道路的算法及改进算法。Snakes模型是一种自上而下的充分利用高级信息处理过程的模型,主要优点是图像数据、初始估计、目标轮廓特征及基于知识的约束条件都集成在一个特征提取过程中。经过适当的初始化后,能够自主收敛到能量极小值状态。Snakes模型的数学表示为:
[Etotal=01EsnakeV(s)ds=01EintV(s)+EextV(s)ds]
通过求能量函数的最小值达到提取目标的目的[4,25?26]。文献[27]提出了多分辨率模板匹配与LSB?Snake模型相结合的道路半自动提取方法。首先利用已有的方法提取道路的中心线,结合道路已知特征为约束条件构造出一个LSB?Snake模型的能量函数,在已知道路中心点对LSB?Snake处进行位置初始化,经过多次迭代运算后得到道路的中心线。文献[28]提出一种利用模板匹配和B spline Snake(B?Snake)算法准自动提取高分辨率遥感影像面状道路的方法,仅利用两个种子点,通过自动搜索获取道路两边缘的B样条曲线,达到准自动提取道路的目的。
(5) 基于最小二乘的道路提取方法。最小二乘法在道路提取中应用较为广泛,多结合B样条曲线和Snakes模型等配合使用,也能达到较好的效果[29]。最小二乘模板匹配的方法首先是给出特征点的初始值,然后用最小二乘平差模型估计模板与影像之间的几何变形参数。该方法可便捷的加入约束条件,获得较高的精度,结果和精度评定方法比较成熟[30]。其基本方法是:在要提取道路的遥感影像上,沿道路方向标记数个种子点,将这些种子点的数据代入最小二乘法的公式里面,构造一个关于道路和种子点的具有一定预设宽度值信息的B样条曲线;对构造的B样条曲线和GIS信息系统中的数据进行校准,从而得到道路曲线;通过得到的道路曲线能很容易求出其中心线的信息或者方程。如果有这一地区的同一时间点不同摄影角度的几幅影像,则可以利用外部几何约束光度方程得到道路的三维坐标[31?32]。
2.3 基于知识的道路网提取方法
(1) 基于拓扑特性的网状模型法。城市道路网通常是相互交叉连接在一起,形成网状。此方法充分利用道路的这一特征,首先构造出一个评价道路联通交织的函数,再将用各种不同的提取方法提取出来的“疑似道路片段”代入函数进行评价,最终将符合函数要求的“疑似道路片段”联通成交织相通的道路网[33]。
(2) 动态规划法。此方法的最大创新是将道路上的像元用来描述道路交织联通的最优化问题,将道路片段联通交织的问题转化成一个寻找最优解的问题。该方法首先在道路内设定数个种子点,再造一个关于道路一般形式的参数模型,而这个参数模型就是那些预设的种子点的一个代价函数,最后利用动态求解规划的方法寻找出那些预先设定的种子点间的最优路径,这样就得到要提取的道路网信息[34?36]。但在此方法中由于要对道路上的所有像元进行运算以求最优解,所以会造成极大量的计算信息储存空间。而对于图像上边缘不清晰的道路段,提取直线信息是很难的,所以文献[37]使用了相位编组原理对弱边缘道路段选取,然后连接成道路网,再利用动态规划的方法,将这些提取出来的边缘线联通交接,最后构成完整的网状结构道路,得到了满意的结果。
(3) 多分辨率提取算法。不同分辨率的影像中道路的特征也不尽相同,分辨率低的图像中道路一般以一定宽度的直线形式出现,而分辨率高的图像中道路则会出现带状的特征,能良好地反映出道路的宽度和边缘信息,利用这一分辨率不同带来的不同特征差异,可以从同一地区不同分辨率的图像上分别提取道路的中心线和边缘线以及宽度信息,能够有效地避开在不同分辨率图像上各种噪声带来的影响[38?39]。
(4) 基于启发式图搜索的道路提取。文献[40]使用启发式图搜索法实现了道路的半自动跟踪。它的基本思路是:进行道路信息增强;在几何特性和辐射特性的描述上对传统的道路数学模型进行扩展,并依此构建图搜索的代价函数,实现基于启发式图搜索法的道路半自动跟踪。
(5) 基于数学理论的方法。此类提取道路的方法主要有:神经网络法[41],将道路拟成同源区域,检测道路和背景的波普差异,再进行赋值判断运算,该方法在IKONOS和Quick?Bird的图像上实验结果良好。道路边缘自取法[42?43],将道路边缘看成是平行线对,首先用边缘检测算子和融合算法提取出图像中道路边缘线多边形,再将此局部的道路木匾设为种子,最后将道路种子连接重建道路网。标点随机过程理论运用[44?45],根据随机框架对任意数量、位置,采用任意参数定义的待分析目标进行建模,它定义了一个关于泊松的密度函数,用这些参数定义目标的几何特性。小波理论方法[46],利用小波系数的极大值检测道路交叉点,然后基于检测的道路交叉点,跟踪形成道路的中心线,利用小波系数标准差去除伪节点、产生新节点,最终用Dauglas?PEU Cker算法简化描述。张量表决机制法[45],首先采用SVM(支持矢量机)将图像划分成道路和非道路两类,然后再采用张量表决机制技术提取出道路的中心轮廓。
3 道路提取研究发展趋势
结合道路提取研究几十年的发展轨迹和科技进步的方向,道路提取研究将朝着以下几个方向发展。
3.1 上下文信息
高分辨率遥感影像提供了细节更为丰富的道路上下文信息,路边的树木和植被、路上的车辆和行人、路中间的道路隔离带以及道路上那些指示车辆行驶交通标示线都称为可以佐证道路存在的重要上下文信息。这样丰富的上下文信息在对遥感影像进行区域分割时有着十分重要的意义,能使得道路区域和背景区域的划分更为清晰和准确。文献[47]提出利用道路的上下文信息,通过数学形态学的知识实现局部城区道路的半自动化提取。利用丰富的上下文信息进行辅助道路提取或者是直接进行道路提取,相信通过进一步研究,利用上下文信息提取道路可以取得更令人满意的提取效果。
3.2 基于多领域知识融合的方法
道路提取的研究一直没有一套完整的可以适应任何背景、任何传感器影像的普适方法,所以应综合各种方法的优点,进行融合式方法研究是亟需解决的问题。例如,人工智能可以将道路提取自动化;模式识别使道路提取更加“拟人”化;而数学、计算机视觉和图形学则可以使道路提取更加精确和快速。只有将各领域内适合道路提取的先进知识引入道路提取的研究中,才能将道路提取这个复杂的过程简便化,才能将得到的结果准确度提高,使得到的道路“质量”明显提升。
参考文献
[1] 赵英时.遥感应用分析原理与方法[M].北京:科学出版社,2003.
[2] JENSEN J R. Introductory digital image processing: A remote sensing perspective [M]. New Yersey: Pearson Education, 2005.
[3] JIN X, DAVIS C H. An integrated system for automatic road mapping from high?resolution multi?spectral satellite imagery by information fusion [J]. Elsevier Science Information Fusion, 2005, 6(4): 257?273.
[4] MAYER H, LAPTEV I, BAUMGARTNER A, et al. Automatic road extraction based on mulit?scale modleing, context, and snakes [J]. International Archives of Photogrammetry and Remote Sensing, 1997, 12(30): 106?113.
[5] OFTEN R J. VLSI image processing [M]. US: McGraw Hill Higher Education, 1986.
[6] 史文中,朱长青,王昱.从遥感影像提取道路特征的方法综述与展望[J].测绘学报,2001,30(3):257?261.
[7] 张强,王正林.精通MATLAB图像处理[M].北京:电子工业出版社,2009.
[8] 孙即祥.图像分析[M].北京:科学出版社,2007.
[9] 朱长青,王耀革,马秋禾,等.基于形态分割的高分辨率遥感影像道路提取[J].测绘学报,2004,33(4):347?351.
[10] ZHANG C S, MURAI S, BALTSAVIAS E. Road network detection by mathematical morphology [C]// Proceedings of 1999 ISPRS Workshop on 3D Geospatial Data Production: Meeting Application Requirements. Paris: ISPRS, 1999: 185?200.
[11] 王耀革.基于数学形态学的遥感影像道路提取[D].郑州:中国人民解放军信息工程大学,2003.
[12] 李利伟,刘吉平,尹作为.基于数学形态学的高分辨率遥感影像道路提取[J].遥感信息,2005(5):9?11。
[13] 李利伟.数学形态学在遥感影像道路提取中的应用研究[D].武汉:武汉大学,2005.
[14] 张斯琪.基于剖面分析与扩展Snakes模型的高分辨率遥感图像道路提取方法研究[D].南京:南京师范大学,2010.
[15] YUILLE A L, COUGHLAN J M. Fundamental limits of Bayesian inference:order parameters and phase transitions for road tracking [J]. IEEE Transform on Pattern Analysis and Machine Intelligence, 2000, 22(2): 160?173.
[16] TRINDER J C, WANG Y D, SOWMYA A, et al. Artificial intelligence in 3D feature extraction automatic extraction of man?made objects from aerial and space images(2) [M]. Basel: Birkhaeuser Verlag, 1997.
[17] TON J, JAIN A K, ENSLIN W R, et al. Automatic road identification and labeling in landsat 4 TM images [J]. Photogrammetric, 1989, 43(5): 257?276.
[18] XIAO Y, TAN T S, TAY S C. Utilizing edge to extract roads in high?resolution on satellite imagery [C]// 2005 IEEE Intemational Conference on Image Processing. [S.l.]: IEEE, 2005: 637?640.
[19] MCKEOWN D M, DENLINGER JL. Cooperative methods for road tacking in aerial imagery [C]// Proceedings of 1988 IEEE Conference on Computer Vision and Pattern Recognition. Michigan: IEEE, 1988: 662?672.
[20] 章毓晋.图像分割[M].北京:科学出版社,2001.
[21] 吕健刚,韦春桃.基于Hough变换的高分辨率遥感影像城市直线道路提取[J].遥感应用,2009(3):15?18.
[22] 王培法,王丽,冯学智,等.遥感图像道路信息提取方法研究进展[J].遥感技术与应用,2009,24(3):284?290.
[23] 文贡坚,王润生.从航空遥感图像中自动提取主要道路[J].软件学报,2000,11(7):957?964.
[24] KASS M, WITKIN A, TERZOPOULOS D. Snakes: Active contour models [J]. International Journal of Computer Vision, 1988, 1(4): 321?331.
[25] BAUMGARTNER A, ECKSTEIN W, HEIPKE C et al. T_REX: TUM research on road extraction [C]// Festschrift for Professor Dr. Ling. [S.l.]: [s.n.], 1999, 43?64.
[26] 刘少创,林宗坚.航空遥感影像中道路的半自动提取[J].武汉测绘科技大学学报,1996,21(3):258?264.
[27] 夏春林,张静,褚廷有.基于高分辨率遥感影像的道路半自动提取方法研究[J].测绘科学,2008,33(5):140?142.
[28] 孟樊,方圣辉.利用模板匹配和B?Snake算法准自动提取遥感影像面状道路[J].武汉大学学报:信息科学版,2012,37(1):39?42.
[29] 宋富林,刘荣.遥感影像中提取道路的方法综述和展望[J].水利科技与经济,2005(10):636?638.
[30] 李燕,余旭初.基于启发式图搜索的遥感影像道路半自动提取[J].测绘学院学报,2002(4):268?270.
[31] PARK S R, KIM T. Semi?automatic road extraction algorithm from IKONOS images using template matching [C]// Procee?dings of 2001 22nd IEEE Asian Conference on Remote Sen?sing. [S.l.]: IEEE, 2001, 3: 1209?1213.
[32] SHUKLA V C, RAMACHANDRAN R. Semi?automatic road extraction algorithm for high resolution images using path following approach [C]// 2002 IEEE Indian Conference on Computer Vision Graphics & Image Processing Ahmadabad. [S.l.]: IEEE, 2002, 6: 201?207.
[33] MONGA O, ARMANDE N, MONTESINOR P. Thin nets and crest lines: application to satellite data and medical images [J]. Computer Vision and Image Understanding, 1997, 67(3): 285?295.
[34] GRUEN A, LI H H. Semiautomatic linear feature extraction by dynamic programming and LSB?snakes [J]. Photogramme?tric Engineering & Remote Sensing, 1997, 63(8): 985?995.
[35] DAL POZ A P, ZANIN R B, VALE G M. Automated extraction of road network from medium and high?resolution images [J]. Pattern Recognition and Image Analysis, 2006, 16(2): 239?248.
[36] AMO M, MARTINEZ F, TORRE M. Road extraction from aerial images using a region competition algorithm [J].IEEE Transactions on Image Processing.2006, 15(5): 1192? 1201.
[37] 周绍光,黎瑾慧.高分辨率遥感影像中提取复杂道路的新方法[J].计算机工程与应用,2008,44(35):190?193.
[38] BAUMGARTNER A, STEGER C, MAYER H, et al. Automatic road extraction in rural areas [J]. Photogrammetry and Remote Sensing, 1999, 3(2): 107?112.
[39] 郭丙轩,董玲燕,李齐,等.基于不同分辨率的道路半自动跟踪[J].测绘信息与工程,2009,34(1):21?23.
[40] STEGER C,MAYER H,RADIG B. The role of grouping for road extraction [C]// Proceedings of 1997 the Centro Stefano Franscini. Basel: Birkhaeuser Verlag, 1997: 245?255.
[41] MOKHTARZADE M, VALADAN ZOEJ M J. Road detection from high?resolution satellite images using artificial neural networks [J]. International Journal of Applied Earth Observation and Geoinformation, 2007, 9(1): 32?40.
[42] PETERI R, CELLE J, RANCHIN T. Detection and extraction of road networks from high?resolution satellite [C]// Procee?dings of 2003 IEEE International Conference on Image Processing. [S.l.]: IEEE, 2003: 301?304.
[43] RENAUD P, THIERRY R. Multi?resolution snakes for urban road extraction from ikonoks and quickbird images [C]// Proceedings of 2003 the 23rd EARSeL Symposium. [S.l.]: EARSeL, 2003: 69?76.
[44] ZHENG S, LIU J. Road central contour extraction from high resolution satellite image using tensor voting framework [C]// Proceedings of 2006 IEEE International Conference on Machine Learning and Cybernetics. Dalian: IEEE, 2006: 3248?3253.
[45] ZHAO H J, KUMAGAI J, NAKAGAWA M, et al. Semiautomatic road extraction from high?resolution satellite image [C]// Proceedings of 2002 IEEE Photogrammetric Computer Vision. Graz: IEEE, 2002: 406? 411.
[46] ZHANG Q, COULOIGNER I. A wavelet approach to road extraction from high spatial remotely? sensed imagery [J]. Geomatica, 2004, 58(1): 411?441.
[47] 李成范,刘岚,周廷刚,等.基于行道树的高分辨率遥感影像道路提取研究[J].遥感信息,2009(1):32?35.