基于SIFT算法的交通标志识别方法研究

余泽东，黄妙华

(1.武汉理工大学 汽车工程学院，湖北 武汉 430070；2.武汉理工大学 现代汽车零部件技术湖北省重点实验室，湖北 武汉 430070)

无人驾驶作为未来汽车最主要的发展方向之一，在业内受到越来越多的关注，众多高校、企业和科研单位对此做了大量的研究，逐渐形成了四大研究领域：环境感知、定位导航、路径规划和运动控制[1]。交通标志识别作为环境感知的研究方向之一，涉及到多个理论和学科的交叉，具有极高的研究价值[2-4]。

目前，对于交通标志的识别问题，大多数研究都是通过提取颜色、形状、HOG(histogram of oriented gradient)、LBP(local binary pattern)等特征，并结合SVM(support vector machine)分类器或BP(back propagation)神经网络完成的，这些方法不仅识别的实时性差，而且在强光、阴雨、形变等不利条件下无法对交通标志进行准确地识别。文献[5]通过霍夫变换检测圆形标志，并提取Hu不变矩和高阶Zernike不变矩利用SVM进行分类识别；文献[6]通过凸壳轮廓的Hu不变矩、周长、面积检测待识别区域， 利用横纵向直方图缩放匹配进行识别；文献[7]用小波不变矩提取形状特征，对Gabor滤波后的图像提取纹理特征，将两种特征融合后，送入BP神经网络训练测试，完成分类识别；文献[8]通过融合式的空间塔式算子和直方图交叉核支持向量机(histogram intersection kernel-support vector machine，HIK-SVM)来进行分类识别；文献[9]提取图像的HOG和LBP特征，并将其串行融合后，通过SVM分类器完成识别。此外，一些研究人员将SIFT(scale invariant feature transform)特征与其他特征融合进行交通标志识别，这不仅加大了特征提取的难度，还降低了算法的运行效率。文献[10]将LBP特征、SIFT特征、HOG特征线性融合后，利用SVM-NB(naive bayes)分类器进行识别。文献[11]将基于视觉注意模型提取的颜色特征和SIFT特征融合后，与标准图像库进行相似度计算完成识别。

基于上述研究成果，笔者通过提取待识别图像的SIFT特征，并与标准样本库进行匹配，完成交通标志的识别。与传统的形状特征、HOG特征相比，SIFT算法准确率有明显提高，且具有较高的鲁棒性，能应对各种不利条件下交通标志的识别问题。

1　图像预处理

在GTSRB(german traffic sign recognition benchmark)数据库中，各个待识别图像的感兴趣区域已被明确标注，因此不需要再对图像进行分割、检测和定位。为了方便下一步的特征提取，还需要对图像进行灰度化和灰度变换处理。

灰度化能够有效减少图像中的数据量，降低后续数据处理的难度。常用的图像灰度化方法有单分量法、最大值法、加权平均法和平均值法，由于前两种方法处理图像的过程未考虑到人的视觉行为特性，极易受到周围环境色彩的影响，而加权平均法的各个分量的权重参数不容易确定，因此本文通过平均值法对目标区域进行灰度化。

灰度变换是指将灰度图像的每一个像素点的灰度值按照一定的函数关系进行转化，其目的主要是增强图像的对比度，减少实时环境中光照强度对画质的影响。常用的灰度变换方法有对数变换、指数变换、直方图均衡法和分段线性变换等，针对交通标志识别中的问题，采用分段线性变换，效果较好。灰度化和灰度变换的结果如图1所示。

图1　灰度化与灰度变换处理效果

2　SIFT特征提取

尺度不变特征变换(SIFT特征)在机器视觉领域有着广泛的运用，具有尺度不变性，不随拍摄视角的改变而改变，对于光线、噪声等环境条件的容忍度相当高，是一种局部特征描述子[12]，提取方法如下。

2.1　构建尺度空间并检测极值点

构建尺度空间的目的是模拟图像数据的多尺度特征，一副二维图像的尺度空间定义如下：

L(x,y,σ)=G(x,y,σ)×I(x,y)

(1)

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×

I(x,y)=L(x,y,kσ)-L(x,y,σ)

(2)

式中：k为尺度空间中相邻两层的比例因子。在DOG尺度空间中，一个检测点在本层有8个相邻点，在上下两层各有9个相邻点，比较该检测点与相邻的26个点的大小，如果该检测点是最大或者最小的，就认为该检测点为极值点。

在检测极值点的过程中，由于要在相邻的两层中进行比较，因此每一组图像的第一层和最后一层无法按上述方法检测。为了满足尺度变化的连续性，需要在DOG金字塔中增加两层，即总共有S+2层图像。而DOG金字塔是由高斯金字塔相邻两层之差得到，因此高斯金字塔需要增加3层，即总共有S+3层图像，增加的这3层图像可以通过高斯模糊在高斯金字塔的顶层生成。

2.2　关键点定位

上述极值点是在离散空间中检测的，是不稳定的，为了求得稳定的关键点，需要对尺度空间DOG函数的泰勒展开式进行曲线拟合。此外，因为DOG算子具有较强的边缘响应，所以还要剔除一些不稳定的边缘响应点，以提高特征匹配时的稳定性，增强抵抗噪声的能力。笔者主要研究SIFT识别算法，不再过多阐述拟合、求导、解方程的具体过程。

2.3　计算梯度方向

利用关键点邻域像素的梯度方向分布特性为关键点指定方向参数。其中，任意一个像素点(x,y)处梯度的模值和方向公式如下：

(3)

θ(x,y)=αtan2((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

(4)

式中：L(x,y)为特征点位置坐标，所用的尺度为像素点所在的尺度，α为调和因子，一般取1。

将坐标轴旋转为关键点的方向，以确保旋转不变性。以关键点为中心，选取周围8×8的领域窗口，计算其中所有像素点梯度的模值和方向，用高斯窗口对其进行加权运算，若像素点越靠近关键点，则其梯度方向的贡献也就越大，据此形成梯度直方图，如图2所示。在梯度直方图中，每45度一个柱，总共8个柱，分别代表8个方向。通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。

图2　梯度方向与梯度直方图

2.4　生成关键点描述子

以关键点为中心，计算关键点周围的16×16的窗口中每一个像素的梯度，使用高斯下降函数降低远离中心的权重。在每个4×4的1/16小窗口中，按上一步的方法，形成一个具有8个方向的梯度方向直方图，如图3所示。这样每个关键点就生成了一个4×4×8=128维的描述子，将这个向量归一化之后，就可以进一步去除光照的影响。

图3　特征点128维描述子

3　SIFT特征匹配

当两幅图像的SIFT特征向量生成后，将采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。如果直接将两幅图像中欧式距离最近的两个关键点进行匹配，那么会产生较多的错配点。因此笔者采用一种新的匹配方法，先取待识别图像中的某个关键点，再在标准样本图像中找出与其在欧式距离上最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值，那么这一对匹配点符合要求。

匹配时比例阈值通常选取在0.5～0.8之间，为了选取最合适的阈值，笔者在阈值分别为0.50，0.55，0.60，0.65，0.70，0.75，0.80时按照上述方法将待识别图像与标准图像进行SIFT特征匹配，得到相应的匹配对数和匹配准确率，结果如表1所示。所谓匹配准确率，不同于下面所述的识别准确率，它是指两幅图像中正确匹配的关键点数目与所有参与匹配的关键点数目的比值。可以看出，比例阈值越高，匹配对数就会越多，但匹配准确率会越低。在进行交通标志识别时，要求能有较多的匹配对数和较高的匹配准确率，在这种情况下，从表1中可以发现，当阈值取为0.60时，能够取得较多的匹配对数和较高的匹配准确率，阈值大于0.60时，匹配准确率太低，阈值小于0.60时，匹配对数太少。因此笔者选取比例阈值为0.60，此时关键点SIFT特征匹配结果如图4所示。

图4　阈值为0.60时关键点SIFT特征匹配结果

比例阈值0.500.550.600.650.700.750.80匹配对数22264244485258匹配准确率/%98969182736659

4　实验分析

实验采用的图像来自于GTSRB数据库，该数据库拥有从德国真实交通环境中采集的43类交通标识，包含了大量低分辨率、不同光照强度、局部遮挡、视角倾斜、运动模糊等各种不利条件下的图像，能够较全面地反映交通标志分类识别方法的实际应用潜力。该数据库总共5万多幅交通标志图像，每幅图像只包含一个交通标识，图像大小从15×15像素到222×193像素不等[13]，部分交通标志图像如图5所示。为了提高交通标志的识别准确率，笔者收集了完善的德国交通标志图像，作为实验的标准样本图像，部分标准样本图像如图6所示。

图5　GTSRB数据库部分交通标志图像

图6　部分交通标志标准样本

为了验证SIFT算法的有效性，引入了识别准确率这个评价指标。在GTSRB数据库中分别选取了各种特定条件下的200张待识别交通标志图像，对每张图片按照本文算法进行识别，根据识别结果，正确识别的图像数目与实验图像的总数目(即200张)的比值即为识别准确率。算法运行环境为VS2013，编程语言为C++，实验平台为3.40 GHz、8 G 内存的台式机。标准交通标志样本库由不同亮度下的各个交通标志的标准样本图像组成，并将所有图像按照正方向、反方向各旋转20°，每隔5°取样一次，这样一幅图像又能形成8幅样本图像。为了简化标准交通标志样本库，提高识别速度，选取其中60%的样本图像作为实验时的标准样本库。

比较了单一的形状特征、HOG特征和SIFT特征在不同条件下对交通标志的识别准确率，如表2所示。SIFT算法对不同类别交通标志的识别准确率，如表3所示。

表2　不同条件下各个特征识别准确率

表3　不同类别标志识别准确率

实验结果清楚地表明，相比于传统的形状特征和HOG特征，SIFT算法的识别准确率更高，特别是在强光、阴天、形变、遮挡等不利条件下，SIFT算法拥有明显优势。此外，SIFT算法对圆形标志的识别准确率要高于三角形标志。

5　结论

针对交通标志识别准确率低的问题，提出了一种SIFT特征匹配识别算法，通过构建DOG尺度空间并检测极值点、关键点定位、计算梯度方向、生成关键点描述子、特征匹配完成识别过程。SIFT算法大大提高了交通标志的识别准确率，具有较好的鲁棒性，能够应对强光、阴雨、形变、遮挡等不利环境下交通标志的识别问题，有较大的推广运用价值。但因为SIFT特征描述子的维数太高，数据量太大，影响了特征匹配速度，导致算法效率较低，因此在保证准确率的情况下提高算法的识别效率将是下一步研究的重点。

参考文献：

[1]陈慧岩，熊光明，龚建伟，等.无人驾驶汽车概论[M].北京：北京理工大学出版社，2014.

[2]刘占文，赵祥模，李强，等.基于图模型与卷积神经网络的交通标志识别[J].交通运输工程学报，2016，16(5)：122-131.

[3]王昔鹏.复杂场景下的交通标志识别技术研究[D].合肥：合肥工业大学，2017.

管理人工智能系统和机器人技术的法律机制分为以下几个方面：法律责任（民事的、行政的和刑事责任）；财产所有权（物权）、知识产权；交易（合同）及其自动化、劳动法；财产保险和责任；《道路交通安全法细则》、俄联邦《航空法》、俄联邦《内河运输章程》、俄联邦《海上商务航行法》、俄联邦《行政处罚法》、国际合约规定；技术管理（产品质量证书）、许可证制度；对人工智能系统和机器人技术的征税；为发展机器人技术而出台的城市建设管理规则等法律法规[7]。

[4]彭祖胜.交通标志和信号灯实时检测与识别技术研究[D].重庆：重庆大学，2012.

[5]张震，程伟伟，吴磊，等.基于不变矩和SVM的圆形交通标志识别方法研究[J].电子测量与仪器学报，2017，31(5)：773-779.

[6]宋文杰，付梦印，杨毅.一种面向无人驾驶汽车的高效交通标志识别方法[J].机器人，2015，37(1)：102-111.

[7]甘露，田丽华，李晨.基于融合特征和BP网络的交通标志识别方法[J].计算机工程与设计，2017，38(10)：2783-2787.

[8]刘亚辰，陈跃鹏，张赛硕，等.融合式空间塔式算子和HIK-SVM的交通标志识别研究[J].交通运输系统工程与信息，2017，17(1)：220-226.

[10]曹奥阳.交通标志识别算法研究[D].北京：北京交通大学，2017.

[11]家晓艳，许合利，郭海儒.基于视觉注意模型和SIFT的交通标志识别方法[J].河南理工大学学报(自然科学版)，2014，33(3):339-343.

[12]张琪，何宁，池悦，等.基于改进的SIFT算法交通标志牌的检测与识别[J].北京联合大学学报，2017，31(2)：59-65.

[13]梁敏健，崔啸宇，宋青松，等.基于HOG-Gabor特征融合与Softmax分类器的交通标志识别方法[J].交通运输工程学报,2017，17(3)：151-158.