姚慧丹,胡永祥,刘丽红,周 丹
(湖南工业大学 计算机与通信学院,湖南 株洲 412007)
遥感影像中道路交通标志线的去除
姚慧丹,胡永祥,刘丽红,周 丹
(湖南工业大学 计算机与通信学院,湖南 株洲 412007)
针对遥感影像中路面交通标志线对车辆提取造成干扰的问题,提出了一种基于灰度数学形态学与双边滤波相结合去除路面交通标志线的算法。首先,利用交通标志线与车辆目标的几何结构特征,设计了特殊的形态学结构元素对交通标志线进行粗滤除;然后,设计了一种自适应设置灰度方差的双边滤波方法对图像进行精滤除。实验结果表明,该算法对滤除遥感影像路面交通标志线有较好的效果。
遥感影像;交通标志线滤除;灰度形态学;双边滤波
城市交通管理与规划中,道路车辆目标提取是一个至关重要的问题,而高分辨率遥感影像的出现以及遥感技术的发展,使得从整体获取城市全局的交通状况成为可能,弥补了地面传感器检测范围局限性的不足。
目前,通过遥感影像提取车辆目标的主要方法有:基于一定预处理基础上的阈值分割方法、梯度比较法、背景差异法、结合多种特征的机器学习提取方法以及面向对象的车辆提取方法。无论采用什么方法,车辆提取前对遥感影像进行预处理以改善识别效果是至关重要的一环。曹天扬等[1]在阈值分割提取车辆方法中设计了一种通过图层分离把原始图像转换成深、浅2个图层的预处理方法,对深、浅颜色车辆分开处理,提取出车辆目标。余勇等[2]利用形态共享权神经网络提取车辆目标时,为了提高搜索效率和降低误检率,采用了形态学中的顶帽变换和底帽变换算子对图像进行预处理,增强车辆特征。张新野[3]在车辆提取过程中,在纹理特征计算前先对车辆的不同样本进行了图像增强以及形态学调整等一系列预处理操作,增强车辆特征。
在遥感影像提取车辆中,路面交通标志去除是车辆提取的关键性问题[4]。在预处理阶段能否滤除遥感影像道路交通标志线对车辆提取的精度有着非常大的影响。遥感影像路面存在着大量交通标志线,白色的交通标志线与浅色车有着类似的光谱特征,呈现出高亮的状态,对遥感影像车辆提取造成了较大的噪声干扰,增加了车辆检测的误检率。郑宏等[5]在高分辨率卫星影像车辆检测的抗体网络中,采用了一种双边滤波的方法消除或减少路面上的背景噪声,抑制道路标记和油污,取得了一定的成效。R. Alba-Flores[6]在排除道路交通标志线时提出了一种滑动领域操作,在浅色车图层和深色车图层分别用3× 3领域内的亮度最大值/最小值代替当前像素值,突出浅色车/深色车目标,减弱交通标志线的干扰。
以上方法虽然在一定程度上抑制了遥感影像路面交通标志线,但在精度上并不能满足工程应用要求。本文结合交通标志线的特征,设计了一种将灰度数学形态学与双边滤波相结合去除交通标志线的预处理方法。此方法对形态学结构元素做了特殊设计,并对双边滤波的参数设置提出了改进方法。该算法能有效滤除路面交通标志线,为实现汽车目标的精确提取做好相应准备。
数学形态学在图像滤波去噪方面有着广泛的应用,而结构元素的选择是决定滤波性能的关键。形态学滤波是一种非线性滤波方法,与其他空域和频域滤波方法相比,形态学滤波有着独特的优势。运用形态学滤波时能够借助已知图像的几何特征信息,设计适当的结构元素,在较好保留图像基本信息的基础上有效滤除噪声。因此,形态学滤波非常适合从遥感影像中滤除路面交通标志线。形态学分为二值形态学和灰度形态学2类,课题组使用的是灰度形态学。基本的形态学运算为膨胀和腐蚀2种运算。通过对膨胀和腐蚀进行不同的组合便可用来实现形态学滤波的开运算与闭运算。
1.1 灰度形态学基本运算
膨胀运算为
腐蚀运算为
当灰度膨胀与灰度腐蚀使用平坦结构元素执行时,膨胀和腐蚀定义可以简化如下:
膨胀运算为
腐蚀运算为
由式(3)~(4)可知,平坦的灰度膨胀是一个求局部最大值的算子,最大值由结构元素b的形状所确定的一系列邻域像素决定。灰度膨胀后,亮于背景的部分得到扩张,暗于背景的部分就会收缩。平坦的灰度腐蚀是一个求局部最小值的算子,最小值也是由结构元素b的形状所确定的一系列邻域像素决定。灰度腐蚀后,暗于背景的部分就会扩张,而亮于背景的部分则会收缩。
1.2 结构元素设计
结构元素比待处理图像小得多,通常只由几个或几十个像素构成,平坦的结构元素是由0或1组成的矩阵,其原点决定了运算所要处理的范围。在膨胀和腐蚀操作中,结构元素的邻域像素为1处参与计算,为0处不参与计算。用形态学处理图像时,结构元素的大小以及形状对处理结果有着重要影响。
图1为一张原始灰度遥感图像。如图1所示,图中存在大量细长条状的白色交通标志线,这些交通标志线的宽度一般为4个像素宽。图2a为在图1上截取的一段交通标志线的像素灰度值,图中灰色区域为白色标志线像素点灰度值,可以看出,灰色区域灰度值较周边路面像素灰度值要大,故呈现出亮色特征。为了滤除白色标志线,使其呈现出与路面相似的灰度特征,课题组设计了图3中所示的结构元素b,该结构元素为一个平坦的3×5矩形结构元素,结构元素的原点为矩形中心点。
该结构元素的形状设计主要考虑到路面车辆目标也呈现出矩形特征,用该结构元素进行腐蚀操作滤除交通标志线后,再用此结构元素对处理后的图片进行膨胀操作,能较好地还原汽车目标;该结构元素大小的设计则是考虑到标志线的宽度为4个像素,结构元素宽度为5时,在宽度上能够完全覆盖交通标志线亮色区域,结构元素b中心点与标志线任意像素点重合时,就能获取路面像素值替代标志线像素点像素值,达到滤除交通标志线的目的。图2b为用结构元素b对图2a腐蚀后各像素的灰度值结果。图3为该结构元素执行腐蚀操作的示意图。
图1 原始灰度遥感图像Fig.1 The original gray remote sensing image
图2 腐蚀操作前后各像素点灰度值的对比Fig.2 The contrast of the pixel gray values before and after erosion
图3 用结构元素b腐蚀遥感图像示意图Fig.3 The example of structural element b erosing remote sensing images
待处理图像中通常存在着各种各样的噪声。利用灰度形态学对遥感影像中道路交通标志线进行粗滤除后,影像中还存在着很多细小噪声,这些随机噪声与高斯噪声类似。用均值滤波和高斯滤波去噪均不能较好地保护目标特征,去噪的同时目标细节也会遭到破坏,且滤波后图像模糊,效果不佳。而双边滤波却能克服滤波导致图像模糊、细节损失的缺点,在滤波同时保护目标的边缘细节。将改进后的双边滤波用于交通标志线滤除后,处理效果很好。
2.1 双边滤波器
双边滤波算法最早是由C. Tomasi和R. Manduchi于1998年提出[5-8],该算法将Gauss滤波器中的权系数优化成Gauss函数和图像亮度信息的乘积。这样处理能在滤波的同时考虑到图像的边缘信息,较好地保留图像边缘特征。双边滤波的定义如下:
由式(5)~(7)可以看出,双边滤波器的加权系数由空间临近度因子ws和亮度相似度因子wr的乘积组成。当像素点与中心点的欧几里德距离增大时,ws会随之减小;而当像素点亮度值与中心点亮度值的差值增大时,wr会随之减小。若图像较平滑区域,变化平缓,邻域内像素亮度较为接近,双边滤波即为高斯低通滤波器;若变化剧烈的图像区域,滤波器则用边缘点附近亮度值相近的像素点亮度的平均值替代原来像素点的亮度值。这样,双边滤波器在平滑图像的同时,能保护图像的边缘细节。
J. Immerkae[9]提出了一种简单的根据拉普拉斯变换估计加性噪声标准差n的方法。即
式中:W和H分别是图像I的宽度和高度;*为卷积操作,I(x, y)*N表示图像I与模板N进行卷积,N为离散拉普拉斯变换的掩模,其中
车辆提取过程中,道路交通标志线一直是一个干扰车辆提取的重要噪声,滤除交通标志线是提高车辆提取精确度的一个重要环节。路面交通标志线在颜色上呈现高亮(白色)的特征,与路面有着明显的区分度,但与浅色车辆有着相近的颜色特征;形状上交通标志线一般呈细长的条状,与车辆的形状特征截然不同。基于路面标志线的这些特征,设计了数学形态学结合双边滤波滤除交通标志线的算法。首先设计合适的结构元素,利用灰度形态学腐蚀和膨胀操作初步滤除交通标志线,然后在此基础上利用双边滤波算法,设置适当半宽和空间方差,并自适应设置灰度方差,在保护车辆边缘细节的前提下平滑路面像素,提高车辆与路面的对比度,彻底滤除交通标志线及细小噪点。图4为实验结果图。
图4 灰度形态学结合双边滤波滤除交通标志线示例Fig.4 The example of gray morphology combining bilateral filtering to remove traffic signs line
图4a为用结构元素b腐蚀图1的结果图,从图中可以看出,白色交通标志线都尽数被滤除干净,只留下少量白色亮点,滤波效果明显,然而由于腐蚀操作,车辆周围灰度值较低的阴影像素也得到了扩张,车辆轮廓细节遭到破坏。
图4b为结构元素b对腐蚀后的图像图4a进行膨胀操作的效果图。膨胀操作后的图像中,车辆轮廓信息得到了还原,同时,图4a中的白色亮点也得到了一定的扩张。如图4b所示,图中还存在较多噪声点,且路面像素深浅不一致,车辆目标与路面区分度较低。
图4c为在图4b基础上用双边滤波器滤波的结果图,图中路面像素统一,白色亮点以及细小噪点均被滤除,车辆目标形态特征完整清晰,车辆与路面区分明显,达到了预期的处理效果。
针对深圳市南山区0.25 m分辨率遥感影像,采集了20幅路段图像进行实验,实验证明,利用形态学结合双边滤波滤除交通标志线的方法能在保护车辆细节的前提下有效滤除交通标志线,具有可行性。图5是从20幅图像中随机挑选的2幅图像,分别使用本文方法以及文献[5]和[6]中的方法得到的实验结果图,其中文献[5]方法参数为:
图5 交通标志线滤除结果对比图Fig.5 The contrast of traffic signs line filtering results
通过以上实验结果图的对比,可以看到,文献[5]仅使用双边滤波方法的方法确实能减少甚至消除路面上的油污,但对于抑制道路标志线效果不太理想,双边滤波处理后,白色交通标志线变细减弱了,但仍然清晰可见,干扰车辆提取。文献[6]使用3×3滑动领域操作后,交通标志线基本可以去除,但路面噪声较大,车辆轮廓周围增加了一圈黑色像素,破坏了车辆的轮廓特征。而采用本文提出的形态学结合双边滤波去除交通标志线的方法,既能有效去除交通标志线以及路面噪声,又能保护车辆的轮廓特征,优于文献[5]和[6]所提出的方法。
本文针对遥感影像车辆提取中交通标志线造成车辆误检的情况,提出了一种基于灰度数学形态学结合双边滤波去除交通标志线方法,以实现路面交通标志线的彻底滤除。首先,针对车辆与标志线的形态结构,构造特定的灰度结构元素,利用灰度形态学腐蚀与膨胀运算,对交通标志线进形粗滤除,除去白色标志线。然后利用改进后的双边滤波,对遥感影像进行精滤除,平滑路面,提高背景与目标的对比度。实验证明该方法对滤除交通标志线有较好的效果,为之后的车辆提取打下了良好基础。
[1] 曹天扬,申 莉. 基于交通遥感图像处理的车辆目标识别方法[J]. 计算机测量与控制,2014,22(1):8-14. Cao Tianyang,Shen Li. Vehicles Identification Method Based on Traffic Remote Sensing Image[J]. Computer Measurement & Control,2014,22(1):8-14.
[2] 余 勇,郑 宏. 基于形态神经网络的高分辨率卫星影像车辆检测[J]. 哈尔滨工程大学学报,2006,27(增刊1):189-193. Yu Yong,Zheng Hong. Vehicle Detection From High Resolution Satellite Imagery Based on the Morphological Neural Network[J]. Joumal of Harbin Engineering University,2006,27(S1):189-193.
[3] 张新野. 基于形态学的卫星遥感车辆模式识别方法研究[D]. 大连:大连海事大学,2008. Zhang Xinye. The Method Research of Pattern Recognition About Satellite Remote Sensing Vehicle Based on Morphological[D]. Dalian:Dalian Maritime University,2008.
[4] 刘珠妹,刘亚岚,谭衢霖,等. 高分辨率卫星影像车辆检测研究进展[J]. 遥感技术与应用,2012,27(1):8-14. Liu Zhumei,Liu Yalan,Tan Qulin,et al. Progress in Vehicle Detection From High Resolution Satellite Imagery [J]. Remote Sensing Technology and Application,2012,27(1):8-14.
[5] 郑 宏,胡学敏. 高分辨率卫星影像车辆检测的抗体网络[J]. 遥感学报,2009,13(5):913-919. Zheng Hong,Hu Xuemin. An Antibody Networks Approach for Vehicle Detection From High Resolution Satellite Imagery[J]. Journal of Remote Sensing ,2009,13(5):913-919.
[6] Alba-Flores R. Evaluation of the Use of High-Resolution Satellite Imagery in Transportation Applications[R]. Duluth,Minnesota:Department of Electrical and Computer Engineering University of Minnesota Duluth,2005:2-15.
[7] 郑泽忠.基于高分辨率航空影像高速公路汽车目标检测算法研究[D]. 成都:西南交通大学,2010. Zheng Zezhong. A Study of Car Detection in Highway with High Resolution Aerial Photo[D]. Chengdu:Southwest Jiaotong University,2010.
[8] 李俊峰. 双边滤波算法的快速实现及其在图像处理的应用[D]. 广州:南方医科大学,2013. Li Junfeng. Fast Implementation of Bilateral Filter with Application in Image Processing[D]. Guangzhou:Southern Medical University,2013.
[9] Immerkaer J. Fast Noise Variance Estimation[J]. Computer Vision and Image Understanding,1996,64(2):300-302.
(责任编辑:申 剑)
Eliminating Traffic Signs Line in Remote Sensing Image
Yao Huidan,Hu Yongxiang,Liu Lihong,Zhou Dan
(School of Computer and Communication,Hunan University of Technology,Zhuzhou Hunan 412007,China)
In view of the problems of traffic signs line interfering vehicles extracting in the remote sensing image, a method based on grey scale mathematical morphology and bilateral filtering for removing traffic signs line is presented. Applies the geometric structure characteristics of traffic signs line and vehicle targets to design specially morphology structural elements for roughly filtering traffic signs line, then designs a bilateral filtering method of adaptive setting the gray variance for fine filtering the picture. The test result shows that the algorithm has better effect in eliminating the traffic signs line in remote sensing images.
remote sensing image; filtering traffic signs line;gray morphology;bilateral filtering
TP391
A
1673-9833(2015)02-0079-05
10.3969/j.issn.1673-9833.2015.02.015
2015-01-07
国家自然科学基金资助项目(61170102),湖南省自然科学基金资助项目(2015JJ2046)
姚慧丹(1989-),女,湖南岳阳人,湖南工业大学硕士生,主要研究方向为图像处理,E-mail:y_huidan@163.com