基于区域颜色分割的交通标志检测和识别

金旭晖

(上海交通大学 电信学院自动化系,上海 200030)



基于区域颜色分割的交通标志检测和识别

金旭晖

(上海交通大学 电信学院自动化系,上海 200030)

现在的高端汽车市场上汽车驾驶辅助摄像系统是一大亮点，研究工作致力于提供一个软件算法来实现驾驶辅助系统中实时交通标志检测和识别的功能。算法的每一步设计都尽量不影响其实时性，基于HSI颜色空间，使用了新型的基于区域的快速颜色分割，结合分层技术和简单阈值处理，可以快速地按颜色分层得到采样图像中可能含有标志的感兴趣区域；再在此区域结合数学形态学的膨胀运算以便识别区域形状。最终基于最后输出的感兴趣区域掩模原图像的亮度分量，用边缘方法提取边缘方向的统计特征，进行基于内容的图像检索(CBIR)。初步实验结果，对感兴趣区域的检测准确率在90%以上。并且算法可以扩展到大部分目前标志数据图库中涉及的绝大部分标志使用形状。

交通标志检测和识别；基于区域的图像分割；颜色直方图；HSI颜色空间；数学形态学；形状识别；基于内容的图像检索(CBIR)

0 引 言

(1) 课题背景和研究意义

在城市交通压力日益增加的今天，驾驶辅助系统已然成为消费者们新的关注点。作为当今汽车制造商们都将其列为汽车驾驶辅助系统中的一大功能，实现道路交通标志的检测和识别，以辅助驾驶员在行驶过程中随时意识到当前的路况和法规。

作为全球各大智能汽车驾驶辅助系统开发商的不约而同的开发重点，交通标志识别是其中一大功能，这关乎新一代智能汽车的行车舒适性和安全性。本课题研究的问题的提出本身具有实现的价值，同时也是基于已有的可用的硬件系统，具有可产品化的潜质。据2012年的一份关于智能驾驶辅助系统中基于视觉的交通标志检测和分析的调查研究[1]，MobilEye公司专注于协助驾驶员在驾驶过程中保障乘客安全和减少交通事故的视觉系统。作为公认的开发高级驾驶辅助系统的先行者，MobilEye提供芯片搭载系统和计算机视觉算法，也提供EyeQ 和EyeQ2视觉处理器，允许其他的Tier1合作汽车零部件供应商可以在一个视觉处理器平台上集成多个基于计算机视觉的应用，还可包括车道偏离警告、前方碰撞预警和前方交通标志提示功能等。从而使集成产品更具商业优势。

交通标志检测和识别利用车载摄像机实时摄取道路前景图像，通过数字图像预处理和图像分割，提取出有用交通标志区域；再在感兴趣区域内进行特征提取，然后在已知的图像库中搜索来实现“识别”具体标志。

(2) 本文的研究方向和主要工作

本论文的目标为寻找一个图像处理算法，实现实时的中国大陆地区的交通道路标志识别。方案应具有一定的灵活性以适应后期产品化过程中硬件的选择和不同客户需求的实现。算法主要关注快速图像分割和形状特征提取的方法、以及简而有效的基于内容的交通标志库图像检索的实现，以此来验证前述方法的有效性。最终以提供一个快速有效的综合方案。为今后以此为方向的驾驶辅助系统的研究开发工作探索继续前进的方向。

1 图像分割和形状识别

彩色图像分割是按照彩色图像的色彩规则将一幅图像分成若干个部分，将图像中有意义的特征区域提取出来。道路两旁复杂的环境(如树木、霓虹灯、特殊建筑墙体有近似颜色的、楼顶上的立体广告文字等)等众多因素使交通标志影像的背景表现及其复杂,使交通标志区域与周围环境极易混淆,从而从复杂路况背景下高效分离出有效交通标志信息是本文后续研究的基础和关键。

1.1 基于底层视觉特征的图像分割方法研究

图像分割的方法有很多，参见文献[2-7]。但又要快速又要准确地应用到交通标志检测中，仍很不理想。譬如使用边缘检测的方法，由于实际环境背景的复杂性，即使是经过了平滑处理，也不能直观地观察到太多完整的线条。因而本文针对色度和饱和度的处理提出了基于颜色直方图统计特征的快速区域分割。HSI颜色模型将图像的彩色信息和亮度信息分离开，它由三个分量组成，Hue色度(H)、Saturation饱和度(S)和Intensity亮度(I)。在HSI颜色模型中，彩色特征阈值分割针对H一个分量来处理，就能达到不错的效果。色度(H)空间是一个以红色轴为0°轴的圆盘平面，其他彩色表示为以此轴按逆时针方向旋转一定的角度到达该彩色点的位置，这个角度定义为色度值，范围为0°～360°。

1.2 新型的基于颜色直方图的区域快速分割法

根据颜色特征和处理速度问题，将原图像960×1 280按简单规横纵切割，分成N×N=10×10或20×20的小块图像，在每个小块区域内，通过颜色的区域统计特征来决定该区域是否含有有用信息。小块的具体尺寸应视实际摄像机聚焦的远近距离和希望检测的最小交通标志的大小(远近景)和原始图像的精度来确定。N不宜取太大，否则也会产生过度分割使感兴趣区域形状不规则；而N太小的话，起不到去除足够多的背景的作用。

1) 区域色度特征直方图统计特征

将色度平面(0°～360°)均为划分为12个区间，并依次标号为第1～12个色度级(例：色度范围0°～30°属于色度级1)。根据实验数据库图标的全统计，可以发现各类标志的主要色度值范围和统计频数特征统计如表1所示。表中最后一行标记为图库统计的色度级，基于H分量的直方图色度级频数特征。12个色度分级足以较好地区分各不同色调，且分级相对较宽的优点还在于对因风吹雨淋导致标志牌的褪色程度的容忍性。

表1 直方图分布中的交通标志颜色特征相应的Hue分量值

按照方法，本研究中将原始图像按横纵方向切割成20×20小块，计算对应每个块区域的H直方图进行统计。统计颜色特征为上表中绿色和蓝色作为标志牌上的主要背景色，其色度直方图中相应色度级(6,8)也脱颖而出；而禁令标志中只有边缘红圈部分，红色面积较小。根据以下条件可较高快速地找到标志所在的块区域，如图1所示。

根据以上统计，可以设定以下满足任一条件以判断该小块区域中是否可能含有交通标志：

(1) 统计该块区域中黄色、绿色和蓝色对应的色度级像素点(1.a)频数为最大或(1.b)频数≥各级频数平均值+2倍标准差；(概率统计分布参数评估)

(2) 统计该块区域中红色对应的色度级(色度级11与12的频数和)(2.a)频数为最大或(2.b)频数≥各级频数平均值。

图1 H分量的块直方图统计分割效果，块区域20×20

以上图例中几乎所有标志牌区域都在第四列的初步分割后效果图中完整地被保留下来，除了白色标志区域被漏检，还部分包含了下方前车轮廓和周围树木背景，及高速路远景中景物和标志牌周围的部分树木等，但只有局部小块区域。

2) 区域饱和度特征直方图统计

根据交通标志饱和度高的特点，特别可以用于区别实际环境中背景中低饱和度的景物排除。根据实际采样图像统计，区域中如果没有交通标志，各像素点的饱和度总和平均较低。根据统计，可以设定满足以下条件1)以判断该小块区域中是否可能含有交通标志，否则为背景：

统计该块区域中饱和度级为1，2，3(同Hue分量一样，将饱和度分量的度量分为12个等级，而不是256以节省计算开销)的频数和≥Tb；Tb=0.9～0.98 。

所有N×N区域被标记为0为背景，1表示可能有交通标志。Tb的值越大直接滤出的背景越少；但Tb越小可以使背景更大程度地被剔除。但同上节1色度直方图特征，标志内部白色的部分仍易被错误检测为背景而产生空洞。如图2所示。

图2 基于S区域直方图统计分割背景效果，Tb=0.97

3) 区域综合评价分割

综合以上两个Hue分量和Saturation分量的块区域直方图统计特征可以分别被记录下来，分别为颜色特征矩阵A_Feat_Hue_block, A_Feat_Sat_block,尺寸为N×N=20×20。

综合两个区域特征矩阵可以改善以下几种误检测：

(1) 针对禁令标志的红圈在饱和度S分量中不突出的问题(有可能被误判为背景)，通过判断相应色度特征值≥30，则同时设置饱和度特征为1 。

(2) 针对背景中树木或广告牌或立体广告文字等饱和度较高、但使用不同于本课题中关注的四种色调的物体，通过判断该块区域色度特征值等于零，则同时饱和度特征清零 。

(3) 针对背景中树叶颜色近似交通标志所用绿色、但因生长于道路边常有积灰等原因而饱和度值较低(<0.25)的背景物体，通过判断该块饱和度特征等于零，则同时清块色度特征值为零。

1.3 使用分层技术的感兴趣区域的细分割和使用形态学的形状识别

由于基于感兴趣区域的图像检索考虑得较多的是感兴趣目标的整体特征，而不仅仅是轮廓。因此采用的是区域技术而非边界技术。而在上节基于Hue和Saturation分量区域统计分割后，实行以下算法步骤：(1) 进一步对Hue采用颜色分层技术。对标志颜色分别归纳到一个色度值；(2) 这样在对重新标色后的H分量图上用阈值方法再次分割，得到更接近交通标志本身形状的感兴趣区域，而不是前步中生硬的方块；(3) 结合数学形态学的膨胀运算可以针对4个颜色层图像充盈成具有平滑边界的感兴趣区域，此方法可保证最终得到的感兴趣区域包含标志边界，输出如图3所示；(4) 基于此区域边界可一一地计算区域分散度(又称紧凑度即周长平方比面积P2/A，具体定义参见文献 [8])特征来识别区域形状或直接丢弃过小的背景不规则形状区域。此分散度属性除了可以用来识别形状还可以排除部分前阶段中检测到的非交通标志的物体，如前车尾部上方的灯条等带状物等。

以上算法完成对当前图像的交通标志检测问题：(1) 有无交通标志；(2) 几个交通标志；(3) 相应的标志形状。

图3 在H分量按4个色度层阈值分割的结果以及膨胀处理后的感兴趣区域

本文使用的形态学的方法进行形状识别，可识别的目标形状对象如图4所示。

图4 各颜色层识别目标对象

对应形状边界标记后输出给下一步检索用。输出的边界描述为{Bk,Lk,Ck,Sk},其中k=1,2,3,… 用来标记检测到的交通标志区域数；Bk是对应的标志边界链码描述；Lk为经过填充后的标志区域，尺寸同原始图像960×1 280；Ck为对应标志区域的主要色调特征；Sk为形状描述。

以上结合应用数学形态学的方法，采用自下而上(bottom-up)的方法，去除了位置和大小的不确定性，消除噪声造成的标志边界断裂，也使最终区域包含边界，可去除无用的形状物体，大大地节省了计算开销。结合实现边数的提取，可以成功解决检测矩形长宽比值及长条箭头形的五边形，将指路标志中这一类相关标志再细分出来。

2 图像交通标志库检索

基于内容的图像检索(Content-Based Image Retrieval)的基本思路[9]是:先通过对图像内容的分析,自动或半自动的从中抽取形状、颜色、纹理等特征,并利用基于这些特征定义的相似性度量函数计算或评价特征之间的相似性,将最相似的一些图像作为检索结果返回给用户。由于本文的研究对象很明确，为标准定义的中国大陆交通标志，而数据图库也为标准标志图，检索本身的工作并不复杂。这里对相似性量度的精度要求不是很高。

2.1 基于颜色与形状先分类

根据输出的边界描述特征对{Ck,Sk}，可将检测到的交通标志先分类到红色禁令、红色指示(矩形标志)，黄色警告、黄色警示(需补充数据图库)，蓝色限速、蓝色指示(矩形标志)，还是绿色指路标志类中。本文中所用交通标志图库目前有251个标志，按颜色分四类，每一类中按形状可再分子类。这样可以按线性倍数比例减少检索的计算开销。

2.2 基于边缘方向特征的标志库检索

使用{Bk,Lk}位置信息，将内部填充后的Lk生成区域掩码，用以在平滑滤波后的Intensity分量图像中定位交通标志,对Lk对应的标志图像提取边缘方向特征Hdir。轮廓的方向性计算参见文献[10]。

根据交通标志轮廓特征分析，可以将θ平面角度范围[-90°,90°]离散化为9个均匀的方向区间。将各像素处方向梯度对应到这9个区间构造方向直方图Hdir并且归一化，此特征具有尺度不变性和一定的旋转不变性。下一步基于内容的图像检索是要根据边缘方向特征作为图像索引计算特征相似度欧氏距离来检索所需的图像。对前章中输出的交通标志区域按分类结果与标志库中同类标志图(若此类图库个数为M≪251)计算M个边缘方向特征的欧氏距离。将此M个欧氏距离值按升序排列。将前三个最小欧式距离值对应的库中标志图按顺序显示给用户。

3 结束语

初步实验结果，以上基于颜色区域分割的方法对感兴趣区域的检测准确率在90%以上，形状的边界通过形态学处理后也易于通过形状属性识别。此可以扩展到大部分目前标志数据图库中涉及的绝大部分标志使用形状。

本文的算法的缺陷还在于，对白色标志检测的缺失，这将是未来工作的首要解决问题。

本文算法可期对于具有交通标志检测和识别功能的驾驶辅助系统的产品化提供一个理论基础，基于目前已做的工作，还需根据市场完善使用的标志库，并将其按颜色、形状进行细分类，对提高检测率也是至关重要的。

[ 1 ] A MØELMOSE M M, TRIVEDI. Vision based traffic sign detection and analysis for intelligent driver assistance systems: perspectives and survey [J]. IEEE Trans. on Intelligent Transportation Systems, 2012, 13(4):1484-1497.

[ 2 ] 徐迪红. 复杂背景下的交通标志检测和分类算法研究 [D]. 武汉:武汉大学, 2011.

[ 3 ] 李红林. 基于HSV颜色空间的山区道路中的车牌定位 [J]. 计算机时代, 2012,30(3):22-24.

[ 4 ] FU KEREN. Automatic traffic sign recognition based on saliency-enhanced features and SVMs from incrementally built dataset [C]. Vienna: IEEE ICCVE2014, 2015.

[ 5 ] 杨杰,黄朝兵.数字图像处理及MATLAB实现 [M]. 北京:电子工业出版社, 2011.

[ 6 ] NICOLAE DUTA. Learning-based detection, segmentation and matching of objects [D]. USA: Michigan State University, 2000.

[ 7 ] LIU H, LIU D, XIN J. Real-time recognition of road traffic sign in motion image based on genetic algorithm [C]. Beijing: Proceedings of the First International Conference on Machine Learning and Cybernetics, 2002, 11: 83-86.

[ 8 ] JESMIN F KHAN, SHARIF M A, BHUIYAN REZA R. Adhami. image segmentation and shape analysis for road-sign detection [J]. IEEE Trans. on Intelligent Transportation Systems, 2011, 12(1):1-14.

[ 9 ] 张华伟,孙劲光. 基于颜色与形状图像检索的研究 [J]. 计算机仿真, 2009,26(11):207-210.

[10] RAFAEL C GONZALEZ, RICHARD E WOODS. Digital image processing using MATLAB [M]. Beijing: Publishing House of Electronics Industry, 2005.

Traffic Sign Detection and Recognition by Block-based Color Segmentation

Jin Xuhui

(School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200030, China)

In the high-end car market driving assistance camera system is a major attraction now; the research work is dedicated to providing a software algorithm to achieve real-time detection and recognition of traffic signs in driving assistant systems. Every step of the algorithm is designed to minimize the impact to its real-time nature. Based on HSI color space when it uses a new type method of fast block-based color segmentation and combines it with layering technology and simple threshold processing, it is possible to locate quickly as per to colored layers the interested regions in a sampling image which might contain the traffic signs. When dilation operation of mathematical morphology is used in this ROI the region shape may be identified. Based on the intensity vector of the original masked image finally output from the ROI, the statistical features at the edge directions are extracted for content-based image retrieval (CBIR). According to preliminary experimental results, the detection accuracy of the ROI is more than 90%. This algorithm can be extended to most of sign shapes involved in the traffic sign database.

traffic sign detection & recognition； block-based image segmentation； color histogram; HSI color space; mathematical morphology; shape recognition; content-based image retrieval(CBIR)

10.3969/j.issn.1000-3886.2016.03.005

TP391

A

1000-3886(2016)03-0014-03

金旭晖(1983-)，女，上海人，工程硕士生，专业方向：工业自动化。

定稿日期: 2016-01-13