面向无人驾驶的高速公路指路标志字符检测

徐家伟　张重阳

(南京理工大学计算机科学与工程学院　江苏 南京 210094)

0　引　言

近些年来，关于无人驾驶车辆的研究得到越来越广泛的重视，道路视觉信息的获得则举足轻重，而道路交通标志的检测则是其重要的组成部分。针对于特定场景，本文提出的方法是针对于高速公路指路标志字符的检测。国内外的许多研究者对于交通标志字符的检测已经提出了一些行之有效的方法，基本思路是获得感兴趣交通标志区域，对区域内的有用字符进行检测。对感兴趣交通标志区域的提取，可通过颜色特征、形状特征、纹理特征等组合的方法[1]，对于自然场景字符的检测，则有基于连通组件的方法[4]、基于纹理特征的方法[5]、基于连通组件和纹理特征相结合的方法[6]。而针对于感兴趣字符型交通标志区域的获取并进行字符的检测的现有研究，谷明琴等[7]提出首先通过颜色特征分割出感兴趣区域，再通过形态滤波和形状标记图筛选字符型交通标志的候选区域，然后通过大津率阈值二值化算法将分割出的图像二值化，最后进行一次水平投影和一次垂直投影并通过3次样条拟合算法进行字符提取。该方法满足智能驾驶实时性的要求，但是这种方法只是适用于版面简单的字符型交通标志。王振等[8]将道路环境中蓝底白字标志牌文字的检测和提取作为研究重点，通过主元分析方法提取感兴趣标志区域的颜色特征并进行定位，对得到的区域进行仿射变换。通过形态学的top hat、skeleton算子以及区域生长等算法进行字符的定位。该方法也是研究简单的标志牌版面，且只进行文字的提取，损失了距离字符，方向符号等重要信息。刘居峰[9]通过颜色特征以及形状轮廓特征结合分类器的方法获得高速公路绿底白字感兴趣交通标志区域。然后提出在交通标志S通道拉伸灰度图上利用聚类算法进行二值化，并通过多尺度规则和汉字多连通的特点进行文字的提取。该方法只针对文字提取，且对于汉字多连通的特点，很容易造成汉字笔画分离。陈亚杰[10]通过颜色特征以及HOG特征结合支持向量机获得城市道路蓝底白字感兴趣交通标志区域，然后通过几何特征和位置信息分别获得文字和符号。该方法对于版面复杂的情况则不能很好地提取文字和符号。

本文针对无人驾驶的实际需求，提出一种对高速公路指路标志字符进行提取的方法。高速公路指路标志一般为绿底白字，为了获得足够的有用信息，这里检测定位的字符目标有高速公路编号，距离字符，方向符号，中文地名等有用信息。首先输入无人车在高速公路实际场景下采集的图像，为了实时性处理，对图像降采样，进行颜色分割，通过形态学操作和几何特征获得感兴趣指路标志区域。对指路标志牌二值化，通过霍夫变换以及仿射变换对指路标志牌进行倾斜矫正，利用几何特征和位置特征滤除噪声。再根据版面规则和多级投影策略进行字符分割，将关联字符合并成字符区域，提取字符区域的HOG特征通过支持向量机进行分类去除伪目标区域，最后即可获得目标字符区域。通过对实际场景的图片的实验，证明了本方法的有效性。

1　指路标志牌的检测

图1所示是无人车采集的实际高速公路场景图片，高速公路指路标志牌一般固定于道路两旁或者悬挂于道路上方，主体一般为绿底白字，部分指路标志牌上会有其他样式的交通标志。本文方法以白色字体的高速公路编号，距离字符，方向符号，中文地名等有用信息为检测目标。高速公路指路标志牌的检测是字符检测的前期必要工作，本文提出了满足无人驾驶实时性要求，符合高速公路场景的指路标志牌检测方法。图2所示是高速公路字符检测算法的框架。

图2　高速公路指路标志字符检测算法框架

1.1　颜色分割

为提高处理速率，对得到的图片进行降采样。高速公路指路标志基本都位于图片的上半部分，所以方法首先截取图片的上三分之二部分。之后再通过高斯核对图像进行卷积，对卷积后图像删除所有的偶数行和偶数列以降采样。采用RGB颜色空间和HSV颜色空间结合的方法提取以绿色为主的高速公路指路标志区域。方法对图像同时提取RGB颜色空间和HSV颜色空间像素值。设RGB颜色空间的像素值为红r、绿g、蓝b，HSV颜色空间像素值为色调h、饱和度s、明度v。首先通过式(1)粗选区域。

(1)

针对粗选的感兴趣区域，考虑光照等因素，再根据明度进行多梯度的颜色分割。将明度划分为三个梯度，分别记为v1、v2、v3。得式(2)、式(3)、式(4)。

(2)

(3)

(4)

通过本文提出的结合RGB和HSV颜色空间的多梯度颜色分割方法得到的感兴趣区域中包含感兴趣高速公路指路标志区域。

1.2　几何特征过滤

通过颜色分割得到的图像为二值图，感兴趣区域中包含很多噪声，需要通过几何特征进行滤除。方法首先通过面积特征滤出面积过小的区域。然后对图像进行形态学膨胀，填充感兴趣区域内部空洞，进行形态学腐蚀操作。其目的是为了保持指路交通标志区域矩形形状的稳定。到此，二值图中可能还剩下一些噪声，需要根据几何特征进行滤除。首先，获得感兴趣区域的轮廓S，对应得到轮廓的外接矩形R，现设外接矩形的宽为Rwidth，高为Rheight，面积为Rarea，轮廓的面积为Sarea，则感兴趣区域需满足式(5)：

(5)

同时，与图像边界粘连的区域也将被滤除。通过降采样、颜色分割、几何特征过滤后，得到处理结果，如图3所示。

图3　高速公路指路标志定位图

2　字符的检测

2.1　指路标志牌的二值化与倾斜矫正

对高速公路指路标志牌二值化，本文提出一种颜色特征二值化方法和分块局部OTSU方法的结合方法。指路标志牌的背景色为绿色，目标字符为白色，可以根据颜色特征进行二值化。应对明暗不同的情况，在RGB颜色空间获取自适应阈值，现需获得绿色阈值T(g)，红色阈值T(r)。标志图像中大部分是背景色，现统计绿色像素g及红色像素r的直方图，得到绿色像素最大峰值P(g)、红色像素最大峰值P(r)，绿色的阈值取P(g)左边的第一个谷值TR(g)，红色阈值取P(r)右边的第一个谷值TR(r)。颜色特征二值化有式(6)：

(6)

OTSU算法是图像二值化的常用方法，考虑到图像不同位置明暗的差异，本文采用分块局部OTSU算法。将图像分成若干图像块，每块记为Block(k)，k为图像块的计数。对每个图像块统计灰度直方图，计算当阈值取i时，Block(k)平均灰度X，前景色平均灰度Y，背景色平均灰度值Z，前景像素数量S(Y),背景色像素数量S(Z)，总像素数量S(X)，则得Block(k)的前景与背景的类间方差F(k)如式(7)所示。F(k)取最大时的i即为合适阈值。最后将两种方法的二值化图像结果进行逻辑与运算得到最终二值图。

(7)

因为得到的部分指路标志牌是倾斜的，需要进行矫正。首先通过Hough变换在二值图上得到标志牌的四条边线，然后求四条边线的交点，即可得到标志牌的四个角点，通过仿射变换可将倾斜标志牌进行矫正。

2.2　基于多级投影的字符切割方法

矫正后的二值图仍存在非目标区域，可以通过几何规则过滤，包括区域长宽比、区域面积、区域占版面比例等，过滤后的二值图可继续进行下一步操作。

接下来本文提出一种基于多级投影的字符切割方法。通过分析版面，可知版面十分复杂多样，且汉字笔画分离，各标识区域相互交错。为了最大程度保证不破坏字符的完整性并得到字符，根据版面规则，通过自上而下的多级投影策略，进行多次组合投影操作，可将复杂版面完全切割开，每次组合操作包括一次垂直方向投影操作，一次水平方向投影操作。

一次组合投影后，对于得到的各个区域块，判断是否继续进行组合投影操作，直到完全分割。通过对版面的分析，当区域块占版面的比例较大，或者区域块为竖直长条状时都需要进行投影操作。除了以上两种情况外，版面还有一种特定模式需要再次投影切割，即区域块上面是汉字，下面是英文字母的形式，这种模式区域块在切割中以较高频率出现。利用本方法，以图4中的指路标志牌为例，经过两次组合投影操作即可全部分割开字符。

图4　一种指路标志牌

第一次组合投影中，垂直方向投影没有投影像素点为0区间，则不分割。继续水平方向投影，坐标图如图5(a)所示，可将图4标志牌分为左右两部分。第二次组合投影可将较为复杂的左部分完全切割开，二值图垂直方向投影坐标图如图5(b)所示，可得到三个条状字符区域。三个条状字符区域二值图继续水平方向投影，最终根据投影像素个数为0的图像列将所有字符切割开。中间过程投影结果如图6所示。

图5　投影坐标图

图6　多级投影中间过程切割结果

因为检测的目标包括白色字体的高速公路编号、距离字符、方向符号、中文地名等信息，这些目标又由数字字符、英文字符、汉字字符等组成。同时，指路标志牌上仍然可能存在其他标识等伪目标字符区域，这里需要根据版面规则合成得到字符区域以进行后续操作，即合成地名字符区域、距离字符区域等。

3　基于分类的伪目标去除

通过合并得到的区域中，除了目标字符区域外，还有一些伪目标区域，包括限速标识、英文拼音字符区以及一些其他伪目标。本文提出通过提取字符区域HOG特征，通过SVM分类器分类目标区域和伪目标区域，剔除伪目标区域。

3.1　区域HOG特征的提取

图像当中的局部目标能够被梯度或者边缘的方向密度分布很好的描述。方向梯度直方图(HOG)[11]是图像的一种特征描述子，通过计算统计图像的局部区域的梯度方向直方图获得特征。计算图像中像素点(x,y)梯度如式(8)所示。

(8)

式中：Gx(x,y)表示像素点(x,y)处水平方向梯度，Gy(x,y)表示垂直方向梯度，H(x,y)表示像素值，G(x,y)表示梯度幅值，α(x,y)表示梯度方向。建立方向梯度直方图，是将梯度方向划分为多个区间，分别统计各个方向区间内的像素个数，根据梯度值进行加权，最后以各区间为单位建立直方图。本文方法通过将图像区域归一化为固定尺寸n×n的图像，然后将图像划分成m×m的块(block)，每个块划分成k×k的细胞单元(cell)，将梯度方向平均划分为r个区间。采集细胞单元的每个像素点的梯度和边缘方向，建立直方图。其中n是m的整数倍，m是k的整数倍。每个block的特征为block内cell统计的方向梯度直方图的累加，记为特征向量M[m0,m1,…,mi-1]，i为block的特征向量的维数，将每个block的特征向量串行叠加，得到整个图像区域的特征向量N[M0,M1,…,Mj-1]，j为block的块数，N的维数SUM(N)如式(9)。图7为求得的一幅图像的HOG特征直方坐标图。

(9)

图7　HOG特征坐标图

3.2　伪目标字符区域的去除

支持向量机(SVM)[14]建立在统计学习理论的VC维理论和结构风险最小原理基础上，针对线性可分情况实现类别间隔最大化。对于线性不可分的情况，可将低维输入线性不可分的样本映射到高维特征空间以线性可分，SVM通过使用核函数将数据进行转换，在转换后的数据空间确定超平面进行数据分类。常用的核函数有多项式核、径向基核、多层感知机核等，本文采用的核函数为径向基核函数，核函数公式如下所示：

κ(x,xi)=e-γ‖x-xi‖2γ>0

(10)

先建立正负样本训练集，正样本包括白色字体的高速公路编号区域，距离字符区域，方向符号区域，中文地名区域，负样本为其他区域。提取出HOG特征，投入到SVM进行训练，得到训练结果。测试时，从高速公路指路标志牌上获取可能目标区域，根据训练结果进行分类，确定是目标区域或伪目标区域，是目标区域则保留，是伪目标区域则剔除。算法如下：

1.give training data

training data: { (x1,y1),...,(xN,yN)};

input images: xi;

class label: yi={0,1} ;

2.get HOG features

image normalization: xi→n*n,i = 1,2,...,N;

Divide gradient direction : r;

最后，设计解决方案。确定核心目标后，我们就要从核心目标的达成出发来设计解决方案了。解决方案必须是基于帮助学生成长的愿景而设计，具有“准”“远”“系”三个特点。准，就是准确找到根源性问题；远，就是要尽可能往前看学生的经历，尽可能往后看学生的未来；系，就是解决方案不是单一的，而是持续的系统方案。

calculate the gradient: Vpixel1,...,Vpixelk*k;

get histogram: h1,...,hr→Hj;

End for

End for

3.train

input HOG feature of all training images;

while Flossis not convergent

update the parameters of SVM;

End while

4.predict

input images X to SVM;

output result: y(0 or 1).

通过本文提出的基于HOG特征和SVM的二分类，可以很好地将目标区域和伪目标区域分隔开。图8为示例最终检测结果。

图8　字符定位图

4　实验分析

4.1　实验条件

基于本文所提方法进行的实验，软件条件为Windows7+VS2013+Opencv2.4.10，硬件为基于Intel Core i5-2450M的CPU和4 GB内存。实验所用数据是通过南京理工大学无人车车载500W相机在南京至无锡路段所采集的高速公路实际场景照片，采集图片分辨率为2 448×2 050。图片采集过程上午从南京至无锡，天气晴朗，下午从无锡至南京，天气多云，全程车速控制在90 km/h左右，车辆行驶方向有顺光逆光变化。

4.2　实验结果

在本次实验中，采用准确率(Precision)和召回率(Recall)对实验结果进行统计，如公式所示：

(11)

式中：TP是正确检测到的区域，FP是错误检测到的区域，FN是漏检的正确区域。

在实际高速公路场景的图像上进行高速公路指路标志牌检测实验，正确区域为指路标志牌区域，错误区域为其他区域。从实验结果分析得，错误区域主要为墨绿色广告牌和客车等噪声，其颜色、形状和指路标志牌相近，容易误检，区域漏检主要是因为指路标志牌颜色严重失真或区域被大部分遮挡等。与刘居峰[9]提出的方法的实验结果对比，如表1所示。本文方法与刘居峰的方法相比，准确率和时间较为相近，但是查全率有了明显的提高。

表1　指路标志区域检测实验

在高速公路指路标志图像上进行目标字符区域的检测，正确区域为高速公路编号、距离字符、方向符号、中文地名等字符区域，错误区域为其他区域。本方法进行三组实验，不同之处在于分别将待检测字符区域归一化为40×40、60×60、80×80尺寸，block取10×10，cell取5×5，梯度方向均分为9个区间提取HOG特征，参数设定要保证特征维度合适，维度过低不能反映图像特征，过高耗时较多。从实验结果分析得误检区域主要为辨识度低的英文字母区域以及其他标识区。误检原因为分类器分类时出现误分，漏检原因是多级投影切割时的误切和分类器分类时的误分。实验结果以及与刘居峰[9]提出的方法的对比如表2所示。

表2　目标字符区域检测实验

从实验结果可以看出，对于本文方法的三组实验，当待检测目标区域归一化为60×60时，特征提取较为合适，准确率和查全率最高，且时间也相对合适。同时，准确率、查全率、时间相对于刘居峰提出的方法都有大幅提高。

5　结　语

本文提出的高速公路指路标志字符检测方法，通过颜色几何特征获得指路标志区域；通过二值化、仿射变换和基于多级投影的字符切割得到字符区域；通过HOG特征加上SVM的策略，去除伪目标字符区域。最终得到目标字符区域，效果明显，可以很好地检测到标志牌上的有用字符，包括地名、距离、方向等信息。这为无人驾驶道路视觉信息的获得提供基础，可运用到高速公路场景视觉信息和卫星导航信息的双重验证以及无卫星导航时的视觉交通信息支持无人驾驶。但是由于影响图像采集质量的因素有很多，道路环境变化剧烈，需要进一步研究提高算法对复杂环境变化的适应性及鲁棒性，缩短响应时间。且本方法获得字符后，要实际运用到无人车上，还需要对字符进行识别以及语义理解，这需要后续的继续研究。

[1] Ellahyani A, Ansari M E, Jaafari I E. Traffic sign detection and recognition based on random forests[J]. Applied Soft Computing, 2016,46(C):805-815.

[2] Lillo-Castellano J M, Mora-Jiménez I, Figuera-Pozuelo C, et al. Traffic sign segmentation and classification using statistical learning methods[J]. Neurocomputing, 2015,153:286-299.

[3] Zaklouta F, Stanciulescu B. Real-time traffic sign recognition in three stages[J]. Robotics and Autonomous Systems, 2014, 62(1):16-24.

[4] Shi C, Wang C, Xiao B, et al. Scene text detection using graph model built upon maximally stable extremal regions[J]. Pattern Recognition Letters, 2013,34(2):107-126.

[5] Li X, Wang W, Jiang S, et al. Fast and effective text detection[C]//Proceedings of the 15th IEEE International Conference on Image Processing, 2008:969-972.

[6] Gonzalez A, Bergasa L M, Yebes J, et al. Text location in complex images[C]//Proceedings of the 21st International Conference on Pattern Recognition, 2012:617-620.

[7] 谷明琴, 蔡自兴, 任孝平.自然场景中字符型交通标志的检测方法[J].中南大学学报(自然科学版), 2013,44(5):1861-1868.

[8] 王振, 魏志强. 交通标志牌字符提取算法[J]. 计算机应用, 2011, 31(1):266-269.

[9] 刘居峰. 自然场景中交通标志文字检测算法研究[D]. 北京: 北京交通大学, 2014.

[10] 陈亚杰. 自然场景中交通标志版面理解算法研究[D]. 北京: 北京交通大学, 2016.

[11] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[J]. CVPR, 2005, 1(12):886-893.

[12] 徐渊, 许晓亮, 李才年,等. 结合SVM分类器与HOG特征提取的行人检测[J]. 计算机工程, 2016, 42(1):56-60.

[13] 纪娟, 秦珂, 杨若瑜. 基于HOG和几何特征的服装细节要素识别与分类[J]. 图学学报, 2016, 37(1):84-90.

[14] 王见, 陈义, 邓帅. 基于改进SVM分类器的动作识别方法[J]. 重庆大学学报(自然科学版), 2016(1):12-17.

[15] 张云龙, 齐国红, 张晴晴. 基于SVM的复杂环境下苹果图像的分割[J]. 智能计算机与应用, 2017, 7(1):14-16.

[16] 张霞, 黄继风. 结合LBP直方图和SVM的视频火焰检测[J]. 计算机应用与软件, 2016, 33(8):216-220.

[17] Burges C J C. A Tutorial on Support Vector Machines for Pattern Recognition[J]. Data Mining & Knowledge Discovery, 1998,2(2):121-167.