聂琳真 凃圣偲 侯献军
(武汉理工大学汽车工程学院 武汉 430070)
基于数学形态学的遥感影像高速公路提取*
聂琳真 凃圣偲 侯献军
(武汉理工大学汽车工程学院 武汉 430070)
针对高速公路的光谱特性和区域特性,提出了一种从遥感影像提取高速公路中心线的方法.该方法采取改进的数学形态增强算法,基于灰度的阈值分割技术,并结合一系列的形态学后处理,对Google Earth全色图像进行二维数据提取,得到道路中心线.结果表明,该流程算法能准确、高效地提取高速公路.
道路提取;高速公路;遥感影像;数学形态学
为建立驾驶模拟器视景系统中的三维真实道路模型,首先要获得道路平面数据[1].传统获得道路数据的方法主要是通过地面测量,基于遥感影像提取道路信息的研究始于20世纪70年代后期,90年代进入高速发展期[2].Wang等[3]把道路提取的方法分为基于类的方法、基于知识的方法、数学形态学、活动轮廓模型和动态规划.Shi等[4]提出了一套完整的方法,包含4个步骤,能从光学卫星影像中提取城市道路的中心线.Li等[5]提出了一种分层的方法来实现城市道路提取.Zhang等[6]基于频谱特点分析和一致增强扩散模型提出了一种对遥感影像兴趣部分的提取方法.汪夕明[7]在研究方案的基础上,利用道路清晰、灰度基本一致、没有干扰的图像,针对道路形态特点,对纵横道路选取数学形态学和模板匹配方法,多方向道路选取活动轮廓模型、脉冲耦合神经网络、支持向量机和模糊 C 均值方法进行研究,根据图像的性质设计了不同的操作流程和一系列实验,完成了对不同图像的道路提取.Chaudhuri 等[8]提出了一种可变结构元素的形态学算法,并针对高分辨率遥感影像中城市道路特征,提出了包括图像增强、图像分割、孔洞填充、面积滤波、长度滤波、去除分支、段链接一系列处理流程,实现了半自动道路提取.
其中存在的主要问题可归纳如下:自动道路提取可以在节省时间和精力的同时构建并更新道路空间数据库,然而完全自动化的算法在准确性上尚有欠缺,目前尚且没有可用的全自动道路提取算法;使用高分辨率卫星遥感影像可以获得更高的精度,但由于噪声和人工因素,又使计算更加复杂;国内外多数道路提取方法都是针对城市道路,针对高速公路的很少.
针对高速公路的光谱特征和区域特征,本文采用改进的数学形态增强算法,结合基于灰度的阈值分割和多步形态学后处理,对Google Earth全色图像进行数据处理,得到道路中心线.
1.1 RGB图像转换为灰度图像
为简化处理方法、加快处理速度,需要将彩色RGB的高分辨率遥感影像转换成灰度图像.彩色RGB图像里每个像素有3个颜色通道,即:Red红色、Green绿色及Blue蓝色;灰度图像中里只有2个颜色通道,即黑和白.由于人眼对色彩的敏感程度不一样,所以降维时应该对3种颜色赋予不同的加权.根据人类视觉敏感特性,人眼对绿色最为敏感,红色次之,蓝色最不敏感,对3种颜色进行加权:
Grey=0.299R+0.587G+0.114B
图1为利用上述代码转化出的灰度图像,从转化结果中可以看出利用人眼视觉敏感特性转化出的灰度图像内,各个物体分层较为明显,根据灰度的不同人眼能够轻易的分辨出各个物体.
图1 高速公路G50某段RGB图像转换为灰度图像
1.2 改进的数字形态学增强
图像增强的目的在于改善图像的视觉效果,使图像中感兴趣的部分得到增强,让图像的判读变得容易,以及改善高阶处理目标和背景的差距,为后续操作提供可能性[9].在道路提取中,一个效果好的图像增强处理能够有效地减少(或者增加)道路灰暗区域(或者明亮区域)在原图中的亮度,与此同时能够弱化图像中的非目标区域.目前针对图像增强的技术有很多,如线性空间滤波、非线性空间滤波等[10].图像增强处理后的效果好坏,不仅与增强算法有关,还与处理的图像特点有关[11].本文采用一种可变结构元素的形态学的图像增强算法,该算法针对每一个像素的领域特征自动选择最优的结构元素,结合灰度形态学的腐蚀、膨胀及开、闭操作相互组合实现.
形态学开操作能够抑制比结构元素小的明亮区域,而形态学闭操作与之相反,能够抑制比结构元素小的灰暗区域,因此,它们经常被组合使用,形成形态学滤波器,起到细化图像,消除噪声的作用.文中改进的形态学增强算法,在结合开、闭操作形成形态学滤波器的同时,还引入了遵循遥感影像中道路方向的结构元素.这样处理有两个主要目的:①先使用形态学开操作,然后在进行闭操作,这样可以消除明亮背景的灰暗噪声,或者消除灰暗背景的明亮噪声;②大多数基于空间滤波的增强方法主要考虑的是目标区域及非目标像素,尤其是在较宽区域的像素,会使较宽的区域出现失真.相较于上述方法,根据道路特点,按照道路模板的方向,引入了带有方向的结构元素,由于在这个方向上道路的灰度是均匀的,所以不会造成较宽的道路区域出现失真,让目标区域能很容易的被分离出来.
采用的定向形态学增强技术,关键在于方向结构元素的方向的选择.结构元素探测的效果与其大小和形状有关,选取4个方向(0°,45°,90°和135°方向),大小为5(5正方形结构元素进行探测,见表1.
表1 结构元素
在构建完方向结构元素后,就可以开始进行形态学增强操作,其过程如下.
对于图像f中的每一个像素(x,y):
1) 计算平均灰度
d=1,…,4
2) 计算标准差
σd(x,y)=
d=1,2,3,4
3) 找出标准差σd(x,y),d=1,2,3,4的最小的方向,得到方向dmin.
4) 用方向dmin对应的结构元素对该像素(x,y)进行腐蚀操作.
5) 将得到的图像对比度拓展到[0,255]范围,得到g(x,y).
对于图像g中的每一个像素(x,y):
6) 计算平均灰度值.
d=1,2,3,4
7) 计算标准差
σd(x,y)=
d=1,2,3,4
8) 找出标准差σd(x,y),d=1,2,3,4的最小的方向,得到方向dmin.
9) 用方向dmin对应的结构元素对该像素(x,y)进行膨胀操作.
10) 将得到的图像对比度拓展到[0,255]范围,得到h(x,y).
11) 以相反的顺序重复以上步骤(先膨胀后腐蚀) .图2为高速公路G50某段增强效果.
1.3 基于灰度的阈值分割
阈值分割是一种简单基础的分割方法,因其拥有编写方便、计算量小、处理速度快及分割准确的优点,而受到了广泛的使用.阈值分割的原理可表示为:通过设置灰度阈值,Matlab检测图像所有的像素点,并将像素点的灰度值与阈值进行比较,灰度大于或等于阈值的像素部分将会转换成前景像素(1值),灰度小于阈值的像素点将会转换成背景像素(0值),从而完成前景与背景的分割.可表示为
在Matlab中,前景像素(1值)显示为白色,背景像素(0值)显示为黑色,即实现了图像二值化.首先应读取定向形态学增强后的遥感影像,然后再根据经验与道路特征得到阈值分割的阈值.
1.4 孔洞填充
噪声干扰造成一些地区分割后有白色小洞.提出一个简单而有效的算法.图像分割得到一个二进制图像,其中道路标记为1,非道路标记为0.为填补小洞,首先将图像反转,即把路标记为0,非道路标记为1,并计算所有非道路的面积.然后,利用与2.5中相同的基于面积的过滤方法,删除小区域,再反转这张照片,便得到一张没有白色小洞的图片,见图3.
图3 孔洞填充效果
1.5 基于面积的过滤
孔洞填充后的图像中仍有许多非道路区域为1值(显白色),分布在整个图像,当道路提取成为研究的重点时,应该将这些部分从图像中去除掉.因为独立的道路区域面积相对于独立的1值非道路区域面积大得多,所以采用了基于面积的过滤方法,利用Matlab中基于面积过滤的函数,一次性将全部孤立的1值非道路区域去除掉.
1.6 圆滑处理
若是直接对基于面积过滤后的图像进行细化,会形成封闭小圆圈,见图4.所以在图像细化前必需对基于面积过滤后的图像进行圆滑处理,用二值形态学运算解决这一问题.形态学开操作能够抑制比结构元素小的明亮区域,而形态学闭操作与之相反,能够抑制比结构元素小的灰暗区域.因此将其组合使用,形成形态学滤波器.
图4 圆滑处理
1.7 图像细化
为了提取出道路的中心线及方便去除细小分支,需要对道路进行细化处理.细化处理是在保持原型状的基础上,对原图像进行一层层的剥除,直至最后只剩下反应图像形状的中心线为止.图像细化可以分为迭代算法和非迭代算法,选取细化效果较好的迭代算法进行细化,流程图见图5.
图5 图像细化流程图
1.8 去除小分支
许多小状非道路线性结构与主要道路相连.这些结构的特点是一段连接到主要道路,而另一端未连接并自己延伸,同时这些结构的长度相比主要道路的长度小得多.在细化后的图像中,这些小结构称为小分支.提出了一种去除细小分支的算法,能够准确地确定的主要道路,删除这些小的分支,该算法的流程图见图6.
图6 取出小分支算法的流程图
图7为去小分支前后的示意图,由图7可知,使用该算法进行去除小分支处理后,与主道路相连的小分支完全被出去,前景部分只留下了主道路,得到了最终提取出的道路图像,证明了该算法的有效性.
图7 去小分支
图8为高速公路G50某段的道路提取过程.图8a)为从Google Earth获取的原始图像,首先把它转化成灰度图像,见图8b).然后用5×5变化的结构元素对图8b)进行定向的形态学开闭运算,并加以对比度拓展,得到图8c).相比原灰度图像,增强后的道路部分明显比非道路部分更加显著,视觉上也更加直观.再以195为阈值,对图8c)进行阈值分割,得到图8d).在图8d)中,虽然能够看出大致的道路轮廓,但还含有许多噪声,而且道路中还存在着许多小黑点,也就是孔洞,那么就需要先进行孔洞的填充,见图8e).为进一步过滤掉图片中的许多小白块,也就是孤立的噪声,采用基于面积的过滤,设置面积阈值为10 000,得到图8f).可以看到除了主道路外其他的前景元素都被消除,整体的过滤效果较好,道路轮廓已经得到,但还有部分噪声与道路连通,为了准确的提取出主道路,需要进一步的去除.图8h)为细化后的道路,含有少数小分支,将其去除后得到最后的结果,见图8i).
图8 高速公路G50某段提取结果
图9为对某交叉口进行道路提取的结果,过程与图8相似.相比于图8中的曲线道路,高速公路交叉口更为复杂,更加难以提取,但以此方法依然可以以相对其他算法更快的速度,比较清晰的提取该道路.从图9e)中可以清楚的看到该交叉口的轮廓,但也不难发现,在细化并去除小分支后,匝道与主道路连接点处理的并不完美,匝道没有主道路相切.另一方面,该结果还不能完整的体现道路重叠部分的三维层次,在建立三维实景道路模型的过程中还需要进一步的处理.
图9 某高速公路交叉口提取结果
在充分借鉴国内外最新相关理论技术和应用成果的基础上,提出了一套针对高速公路的半自动遥感影像道路提取方法.该方法针对国内高速公路的光谱特征和区域特征,基于Google Earth全色图像,采取多个步骤,使用改进的数字形态学相关算法,提取道路中心线.该算法的主要步骤是:道路增强,道路分割,孔洞填充,基于面积过滤,圆滑处理,图像细化,去除与道路段连接的细小分支.结果表明该算法高效、准确.
[1]李勋祥.基于虚拟现实的驾驶模拟器视景系统关键技术与艺术研究[D].武汉:武汉理工大学,2006.
[2]史文中,朱长青,王昱.从遥感影像提取道路特征的方法综述与展望[J].测绘学报,2001,30(3):257-262.
[3]WANG W X, YANG N, ZHANG Y, et al. A review of road extraction from remote sensing images[J]. Journal of Traffic and Transportation Engineering,2016,3(3):271-282.
[4]SHI W Z, MIAO Z L, JOHAN D. An integrated method for urban main-road centerline extraction from optical remotely sensed imagery[J]. IEEE Transactions on Geoscience and Remote Sensing,2014,52(6):3359-3372.
[5]LI M M, ALFRED S, WIETSKE B,et al. Region-based urban road extraction from VHR satellite images using binary partition tree[J]. International Journal of Applied Earth Observation and Geoinformation,2016,44,217-225.
[6]ZHANG L B, WANG Y, LI X W, et al. Region of interest extraction based on spectrum saliency analysis and coherence enhancing diffusion model in remote sensing images[J]. Neurocomputing,2016,207:630-644.
[7]汪夕明.遥感影像道路提取方法研究与实现[D].北京:清华大学,2011.
[8]CHAUDHURI D, KUSHWAHA N K, SAMAL A. Semi-automated road detection from high resolution satellite images by directional morphological enhancement and segmentation techniques[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(5):1538-1544.
[9]王双.高分辨率遥感影像道路提取方法研究[D].南京:南京理工大学,2014.
[10]左娟.基于数学形态学的高分辨率遥感影像城市道路提取[D].南昌:江西理工大学,2009.
[11]高木娟.基于数学形态学及纹理特征的QuickBird影像道路分割技术研究[D].长春:东北师范大学,2007.
Highway Road Extraction from Remote Sensing Image Based on Mathematical Morphology
NIE Linzhen TU Shengcai HOU Xianjun
(School of Automotive Enginnring,Wuhan University of Technology, Wuhan 430070, China)
Based on the spectral characteristics and regional characteristics of the highway, this paper proposes a method to extract the center line of the highway from remote sensing image. The method includes the improved mathematical morphological enhancement algorithm, threshold segmentation technique based on the gray-level. Besides, it is combined with a series of morphological post processing and extracts the road centerline of road from Google Earth panchromatic image. The results show that the process algorithm can accurately and efficiently extract the highway.
road extraction; highway; remote sensing; mathematical morphology
2017-04-06
*国家自然科学基金项目资助(51405359)
P237
10.3963/j.issn.2095-3844.2017.03.007
聂琳真(1986—):女,博士,副教授,主要研究领域为汽车智能化、驾驶行为、虚拟现实