SIFT算法在指示类交通标志识别中的应用

蔡 俊,赵 超,沈晓波,王 楷

(1.淮南师范学院 电子工程学院,安徽 淮南 232038;2.中国移动通信集团安徽有限公司 网管中心,安徽 合肥 230000)

0 引言

道路交通标志可以有效指引车辆规范驾驶,从复杂场景中自动检测并准确识别路标在智能驾驶领域具有重要意义。依据道路交通标志设置规范,交通标识牌具有特定的颜色和形状,便于识别。但是,现实道路环境往往较为复杂,标识牌图像拍摄角度、距离远近、障碍物遮挡、光照强度以及雨雪云雾等气候条件将导致标识牌的颜色和形状发生变化,为标识牌的正确识别带来挑战。

近年来,国内外众多学者开始投入到交通标志自动识别技术的研究中,Amir Ahangi[1]、黄娜君[2]、曲佳博[3]等人提出了一系列有效识别交通标志的算法和模型,卢飞宇[4]基于多任务级联卷积神经网络算法完成路标的检测与识别;陈立潮[5]采用改进的胶囊网络提升了识别精度;马永杰[6]提出改进CNN AlexNet的分类识别算法模型,进一步提升识别的先进性和稳健性;孙晓艳[7]通过自适应伽马变换的颜色增强方法有效克服光照强度的干扰;苗丹[8]针对红色圆形限速和禁止标志提出基于K-means 聚类和Hough 变换检测方法。但是，以上识别方法各自具有一定的局限性，其中，光照强度在一定程度干扰文献[4]和[5]的识别结果，低照明条件下不适合采用文献[7]，文献[8]未考虑多个路标同时出现的场景。

综上,本文提出一种基于SIFT算法的新型交通标志识别方法,利用SIFT算法对旋转、尺度缩放、亮度变化保持不变的特征,达到有效降低拍摄视角、距离远近以及光线强度等对路标识别的影响,通过对大量国内城市道路交通指示类标识牌的特征训练,以完成此类交通路标的分类识别。

1 系统模型构建及问题描述

本文提出的基于SIFT算法的指示类交通路标识别方法,如图1所示,系统模型主要由复杂背景图像预处理、路标检测以及路标识别三部分组成。

图1 系统模型Fig.1 System model

上述模型可以实现道路环境中交通标志的识别,需解决两个问题,一是如何将指示类标识牌从背景图像中提取出来;二是实现不同光照条件、拍摄视角和距离时标识牌的分类识别。

2 SIFT算法简介

SIFT(尺度不变特征转换)算法[9]主要用于检测和描述计算机图像的局部性特征,最初由David Lowe在上世纪90年代提出,主要分为以下4个步骤:

1)尺度空间极值检测。

利用尺度空间思想,通过构建高斯差分金字塔实现不同尺度上的特征选取,检测稳定的关键点,金字塔层数由原始图像和塔顶图像大小共同决定,计算公式如下:

n=log2{min(M,N)-t},t∈[0,log2{min(M,N)}]

(1)

其中,M,N为原始图像大小,t为塔顶图像最小维数的对数值。

2)关键点定位。

为提高关键点稳定性,需要对尺度空间DoG函数进行曲线拟合,利用DoG函数在尺度空间的Taylor展开式(拟合函数)为:

(2)

其中,X=(x,y,σ)T,(x,y)表示像素的位置,σ为尺度空间坐标。

3)关键点方向分配。

为实现关键点的旋转不变性,利用图像的局部特征为每一个关键点分配一个相对方向,其梯度的模值和方向如下:

(3)

θ(x,y)=tan-1(L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))

(4)

其中,L为关键点所在的尺度空间值。

4)关键点描述符。

上述方法获得的关键点包含位置、尺度和方向三个信息,为每个关键点建立一个特征描述符,用一组特征向量将这个关键点描述出来,使其具备一定的稳健性。

3 指示类交通标志检测与识别

3.1 路标检测

道路环境图像多采用RGB色彩模型,以红绿蓝三原色完成色彩值描述,其缺点是受光照强度影响明显。指示类标识牌底色为蓝色,仅仅基于RGB颜色值完成不同光照条件下的道路图像阈值分割较为困难。

HSV颜色模型通过色调H、饱和度S和明度V三个参数描述像素点的色彩信息,相比RGB模型更加符合人类视觉特性。在道路环境图像预处理过程中,首先需要将RGB模型映射至HSV颜色空间,各参数间的转换关系式[10]如下:

V=max(R,G,B)

(5)

(6)

(7)

式(7)中,当H<0时,H=H+360。HSV颜色空间色彩阈值范围如表1所示,由于指示类道路标识牌的底色为蓝色,以色调“蓝”作为阈值分割参数,可以通过二值分类方式有效定位标识牌具体位置。

表1 HSV颜色空间色彩阈值范围Table 1 Threshold range of HSV color space color

指示类道路标识牌检测示例如图2所示(定位结果用红色实线标出),对二值化图像进行低通滤波处理后,采用Canny算子边缘检测,经运算处理后,得到标识牌图像的轮廓,以实现指示类标识牌与周围背景的定位和分割。

图2 指示类道路标识牌检测Fig.2 Detection of indicating road sign

3.2 路标识别

指示类道路标识牌经定位、分离之后,往往由于相机分辨率、拍摄角度、距离远近等因素导致分割后路标图像尺寸大小不一。为方便后期特征提取和分类识别,按照经验值36×36像素标准化(尺寸归一化)处理。

基于SIFT算法的指示类路标识别流程如图3所示,主要分为两大步骤:

图3 SIFT算法分类流程Fig.3 SIFT algorithm classification process

Step1构建全量指示类路标图像集特征库

国内指示类道路标识牌共有29种,主要包括右转、左转、掉头、直行和停车指示等,利用图像特征点集的正交特性,建立完善的指示类路标图像特征库,用于后期目标图像分类识别。

Step2目标图像匹配识别

运用SITF算法,对分割后的现实场景下标识牌图像进行特征提取,获得目标图像特征点集,通过与路标图像集特征库进行特征点匹配和统计,输出最佳匹配识别结果。

如图4所示,为尺寸归一化后的标识牌图像SIFT特征匹配效果图。其中,图(a)表示正确分类识别,左侧是标准库中停车标志,右侧为现实场景提取的道路标识图标;图(b)表示错误分类识别,左侧是标准库中右转指示标志,右侧为现实场景提取的左转指示路标,由于SIFT算法本身的旋转不变特性,导致无法有效区分呈镜像关系的路标图像。因此,基于SIFT算法的路标识别方法仍需进一步优化。

(a)分类正确(a)Classified correctly

在国内29种指示类道路标识牌中,仅左/右转指示路标间具有镜像关系,针对SIFT算法在识别此类路标图像准确率不高的问题,进一步对图3分类流程进行优化。考虑到原始左/右转路标图像中蓝色像素点的分布特性有所不同,因此,实验中对标准化后的路标图像进一步做阈值二值化处理,以统计白色像素点的分布特性。

图5分别为分割后的左/右转路标图像中白点分布示意图,其中,(b)和(d)中横坐标为白点在图像中的列坐标位置,纵坐标为对应列白点的数目。通过对比可以发现,两幅图像白点分布特性明显不同,可以此为依据进一步对SIFT特征匹配结果进行验证,有效提升识别准确率。

(a)右转路标二值化图像(a)Turn right road sign binarized image

4 实验结果与分析

本实验平台为Windows7(64bit)操作系统,Intel Core i5-6200U CPU, 2.3Ghz,8G 内存,240G固态硬盘,软件环境为python3.6。

为了验证本文道路交通标志识别方法的有效性,以指示类交通路标为例,选取不同光照、拍摄视角、距离远近以及多种天气条件下的道路环境图像共计15幅,如图6所示。

图6 多种道路环境下的路标图像Fig.6 Road sign images in various road environments

图7中分别展示了指示类路标图像在检测与识别过程中的效果示意图,实验结果表明,本文提出的SIFT算法识别模型准确率高,具有较好的鲁棒性,能够在一定程度上降低光照强度、拍摄视角、距离远近以及天气因素的影响。

(a)检测结果(用红色实线标出)(a)Test result (marked with solid red line)

图8展示了指示类交通标志识别准确率,从图中可以看出:第一,随着交通标志图像中特征点数量的增加,SIFT算法分类准确率逐步提升;第二,优化流程后的识别方法较原有SIFT算法在分类准确性方面有所改善,基本能维持在95%左右。

图8 指示类交通标志识别准确率Fig.8 The accuracy of traffic sign recognition

5 结论

本文以国内指示类交通标志为研究对象,将SIFT经典算法应用到自然场景下道路环境路标识别技术中,在识别准确率和系统鲁棒性方面取得较好的效果。首先在HSV颜色空间对蓝色标识牌区域进行定位和分割,然后通过SIFT算法进行特征提取,并与标准指示类路标库进行特征匹配分类,得到识别结果。

不足之处:第一,文中暂未考虑障碍物的遮挡对路标识别结果的影响;第二,文中主要研究了指示类交通标志的识别技术,关于其他类型交通标志的识别暂未涉及,后续还需进一步深入学习和研究。