李 新,禹 翼
LI Xin1, YU Yi2
(1.桂林理工大学 信息科学与工程学院,桂林 541004;2.桂林理工大学 机械与控制工程学院,桂林 541004)
近半个世纪来,随着城市化的进展和汽车的普及,交通运输问题日益严重,交通阻塞、交通事故频繁发生,交通环境不断恶化。尤其近十多年来,无论是发达国家还是发展中国家,都不同程度地受到交通问题的困扰。如何保障公路交通的安全和提高运输效率,各国将研究的重点从扩展路网规模逐步转移到集通信、检测、控制和计算机技术与一体的智能交通系统的研究上来。基于视觉的车辆导航技术作为智能交通系统研究的一个重要的分支领域,在智能交通系统的应用中有三个方面:l)道路识别;2)碰撞识别;3)交通标志识别。前两方面研究较多,并取得许多好的结果,但在交通标志识别方面研究较少。由于交通标志被设计成特殊的颜色和形状以易于人眼的识别,所以往往不受人们的重视并把它作为智能化的技术来研究,但随着私家车的日益增多,汽车已成为我们日常生活的一部分,有时因为天气原因能见度低,司机新手上路,打手机,被路边无处不在的广告干扰,疲劳驾驶甚至酒后驾驶等原因,忽视交通标志而引发的交通事故频繁发生。如果有一套自动交通标志识别装置作为辅助驾驶系统,适时地提醒司机前方的路况,帮助司机对车辆进行控制(如遇限速标志自动减速等),就能够大大提高行车的安全性。交通标志自动识别系统可以应用到许多领域,比如军用和民用无人驾驶车辆研究项目中,最重要的就是它的“视觉系统”,它们能自动认清道路和环境,避让障碍,甚至可以规划路径;在未来的汽车自动、半自动驾驶系统中交通标志的自动识别是其控制系统的必要组件之一;在电子交通地图中,交通标志自动识别给车辆在交通图中的定位提供必要信息;另外还可用于盲人出行辅助系统中。可见交通标志自动识别的研究具有广泛的意义。
SIFT(Scale Invariant Feature Transformation)算法是由David Lowe于1999年提出的基于图像局部特征的算法,并在2004年进行了完善。SIFT算子是一种具有尺度不变性算法,它对图像的尺度变化、水平旋转、平移以及光照变化具有保持不变的特性,同时对于图像经度与纬度倾斜变化以及噪声也具有一定的稳定性,是目前比较流行的特征检测算子。SIFT特征点检测算法己经被广泛应用于很多领域。SIFT算法的主要步骤如图1所示。
图1 SIFT算法流程图
SIFT 特征点的提取流程:
l)尺度空间的生成:同一幅图像在不同尺度下的图像的有机集合为尺度空间,即给同一幅图像添加了一个新的坐标因子。建立尺度空间即建立一幅图像尺度从大到小的尺度的若干幅图像的有机集合。经过Koenderink 和Lindeberg 高斯卷积核是尺度空间的唯一线性核,通过高斯核平滑图像,并进行采样。并建立高斯金字塔, 在金字塔中计算空间局部极值,将待检测的点与其所在阶层的像素点进行比对,如果是极值,则认为是SIFT 候选点。
高斯函数如式(1)所示。其中,σ为高斯正态分布的方差:
高斯金字塔相邻两尺度空间函数之差形成Dog函数,其公式如下:
2)确定特征点位置:为了计算关键点的偏移量,获得亚像素定位精度,可以通过二阶Taylor展开式来计算得出。由于DOG算子能够产生较大的边缘响应,且对噪声比较敏感,因此,在计算的同时为了剔除差异小的点可以通过设置阈值来实现,并用Hessian矩阵技术剔除不稳定的边缘响应点。为了对特征点的位置和尺度精确确定,可以采用对局部极值点进行三维二次函数拟合。局部极值点在尺度空间函数处的泰勒展开式如公式(4)所示。
通过附近区域的差分来近似可求出公式(4)中的一阶和二阶导数,列出其中的几个,如式(5)所示,其他以此类推。
其中,k为当前层,k-1为下一层,k+1为上一层。
精确的极值位置Xmax是通过公式(4)为0求导得出,如公式(6)所示:
在特征点位置确定完的同时,还需删除已提取的低对比度特征点和一些不太稳定的边缘响应点,以增强匹配的稳定性和提高抗噪能力。
针对去除低对比度的特征点方面,可以把公式(6)代到公式(4)中,取前两项,得到公式(7):
通过公式(8)计算出主曲率。根据文献[22],由于D的主曲率与H矩阵的特征值成比例,因此,只需求二者比值r,具体的特征值不需求出。设最大幅值特征为α,次大幅值特征为,那么比例,如公式(9):
3)确定特征点尺度:对于确定特征点方向,可以通过统计相邻26个像素点的梯度方向分布所指定的方向进行判定。为了保持算子的旋转不变性,可以通过在匹配时把图像旋转到统一的方向模式。特征点(x,y)处的梯度模值和主方向如下公式:
其中m(x,y)为(x,y)处的梯度模值,θ(x,y)为(x,y)处梯度的主方向,每个特征点各自所在的尺度为L。
在实际计算过程中,特征点方向的确定是通过方向直方图来解决的。即对特征点邻域内相邻各像素点方向进行统计,指向方向最多的方向就是该特征点的主方向。
到此为止,对于特征点的提取工作已经完成,每个特征点都具有了三个描述信息,也就是特征点的位置、方向、大小。那么同时也就可以通过这些描述信息确定含有它们的SIFT特征区域。
图2 系统流程图
1)粗分类:
从实地拍摄到的场景中,基于颜色与形状特征对场景图进行粗分类,找出含有交通标志的区域。图3(a)中为实地拍摄的交通标志,图3(b)为粗分类后提取的感兴趣区域。
图3 实拍交通标志及提取后效果图
2)精分类:
在粗分类找出含有交通标志区域的基础上,采用SIFT算子提取关键点特征,并与其对应的交通标志子数据库图像特征子空间进行多层次筛选匹配,得到如下结果,图4(a)、(b)分别为上图中两个交通标志的特征匹配图。
图4 交通标志匹配图
为了便于驾驶者识别,我们最后的视图输出窗口完善成如图5所示,在窗口右侧放入事先自制的交通标志子数据库模型,在计算机进行识别处理之后,场景图的周围就会出现系统识别出的交通标志对应的模板图形,以便识别,识别结果如图5所示。
图5 识别结果输出
通过大量实验图片效果及数据显示,本文中设计的交通标志识别系统在实时环境中有着高识别能力,即使拍摄的交通标志角度倾斜,仍可以识别出来。此外,即使交通标志部分被窗户和灯柱等物体遮住,也可以被识别出来。因此,很清楚地展示了本文算法在实际环境中是有效的。
[1]许少秋.户外交通标志检测和形状识别[J].中国图象图形学报,2009,14(4):707~711.
[2]李祥熙,张航.交通标志识别研究综述[J].公路交通科技应用技术版,2010,(6):253~257.
[3]李玲玲,李翠华,曾晓明,等.基于Harris-Affine和SIFT特征匹配的图像自动配准[J].华中科技大学学报(自然科学版),2008,36(8):13~16.
[4]J.Matas,O.Chum,M.Urban,et al.Robust wide-baseline stereo from maximally stable extremal regions. Proceedings of the British Machine Vision Conference,2002.384~393.
[5]巨西诺,孙继银.一种改进的基于 MSER算法的不变量提取算法[J].贵州工业大学学报(自然科学版),2008,37(6):49~52.
[6]朱利成,姚明海.基于SIFT算法的目标匹配和识别[J].机电工程,2009,26(4):73~75.
[7]陈信华.SIFT特征匹配在无人机低空遥感影像处理中的应用.地矿测绘[J],2008,24(2):10~12.