一种基于色彩的车牌图像定位算法

吴惟希赵 刚

(北京信息科技大学信息管理学院信息安全系 北京 100192)(wish0123@163.com)



一种基于色彩的车牌图像定位算法

吴惟希赵 刚

(北京信息科技大学信息管理学院信息安全系 北京 100192)(wish0123@163.com)

现今的车牌图像处理方法一般是先把图像转为灰度图像，再基于字符的边缘纹理来找寻特征进行定位.这类方法对于图像内车牌附近的干扰不能较好处理，对不稳定的光照条件及浮灰导致的字符边缘梯度不大的情况处理效果也欠佳，在大雾天更是无能为力.对此，提出了一种基于色彩的定位算法，在不同色彩空间根据像素色彩相似度及基色域来选出候选区域，再依据多种几何特征筛选出车牌区域.算法实现了不同光照条件下及复杂背景强烈干扰下的定位，以及对受损车牌的定位，并在处理处于雾霾天气下极度模糊的图像也能表现优异.

定位；色彩空间；色彩相似度；带权值的曼哈顿距离；光照条件；干扰；雾霾

随着经济的发展，人们的物质生活需求日益提高，私人拥有机动车辆数量已呈几何增长态势，机动车辆的普及已成为必然趋势.给人们出行提供便利的同时，也给整个交通环境带来许多控制和监管上的难题.传统的人工管理已经愈来愈不能满足实际工作的需求.要更高效地解决控制监管问题，建立完善的道路网络，就需要大力发展智能交通系统.在智能交通系统中，车辆检测系统无疑是一个重要组成部分.

由于机动车牌照是车辆唯一的管理标识符号，因此车牌照识别(license plate recognition, LPR)是车辆检测系统中的一个重要环节，在交通管理中具有不可替代的作用.随着模式识别技术的发展，车牌识别已成为智能交通系统的一个重要组成部分，它要求能从各种不同情况的背景中准确地抽取、识别汽车牌照信息，在交通控制和监管中起着很重要的作用，具有广泛的应用前景.所以，车辆牌照的识别问题已经成为现代交通工程领域中的研究重点和热点问题之一.

车牌识别一般包括车牌定位、车牌的字符分割、单个字符的识别这3个部分[1].其中车牌的定位是车牌识别中最重要的一个环节，其定位准确率和精度直接影响到后续的环节，甚至决定后续环节能否继续执行.

目前的方法对于干扰较小的图像较为有效，但对于车身脏污、背景复杂或车牌受损的情况都容易出现定位错误，可能将边缘复杂的干扰处定位为车牌.另一方面，光照条件的不稳定也会导致定位出现误差.在雾霾天甚至完全找不到车牌.

本文就车牌识别中的车牌定位这一环节提出了一种基于色彩的图像定位算法.该算法能克服复杂背景的干扰，并在不同光照条件下准确定位车牌.

1 车牌识别系统

车辆牌照识别系统应具有很高的识别准确率，对环境光照条件、拍摄背景和车辆行驶速度等诸多因素的影响应有较大的容错率，并要求满足实时性.

该系统主要由牌照图像的采集和预处理、牌照区域的定位和提取、牌照字符的分割和识别等几个部分组成，如图1所示.其基本步骤如下[2]：

步骤1. 当有行驶车辆经过时，将触发在固定位置处埋设的传感器，此时系统将被唤醒并处于工作状态；一旦连接摄像头快门的光电传感器被触发，安置在车辆前方、后方及侧面的相机将同时拍下车辆图像；

步骤2. 由摄像机或CCD 摄像头拍摄下的包含有车辆牌照的图像通过视频卡输入计算机，再进行预处理，图像预处理包括图像转换、图像增强、滤波和水平较正等；

步骤3. 对车牌区域定位；

步骤4. 将牌照字符分割，再对单个字符进行识别.

图1 车辆牌照识别系统简要流程

2 车牌识别系统中的定位技术

车牌定位是车牌识别系统中的重要环节，其作用是从包含有车辆的图像中提取牌照区域(牌照的坐标)，以供下一步牌照字符识别使用，因此车牌定位的准确度对车牌识别结果有着重要影响.而在实际工作环境中，由于受光照条件、待识别车辆的背景复杂或车牌位置不固定等因素的影响，给车牌定位的算法选择带来了一定的困难.车身的脏污、车牌的损坏也会影响定位准确率.比如由于天气不好或是路况不佳，使得车辆被泥土、灰尘沾染或货车车厢因长时间风吹日晒而受损导致纹理复杂等.另外还有一些车辆的背景干扰较大的情况，比如车辆附近有餐馆、商铺的广告牌等.这些干扰极有可能使定位直接出现错误，导致后续的环节无法进行.

对于这些不利因素给车牌定位造成影响的情况，选择合理有效的车牌定位算法将至关重要.

常见的车牌定位算法有基于黑白二值图像的车牌定位算法.基于黑白二值图像的车牌定位算法的原理是先将彩色图像转换为灰度图像，经过滤波处理后进行二值化处理(如式(1)(2)所示，式中，R,G,B为图像的红、绿、蓝分量，Gray为灰度，BW为二值图像的像素值，threshold为灰度阈值)，并利用数学形态学方法对二值图像进行处理, 再根据车牌自身特征进行搜索，最后定位出车牌区域.

Gray=0.299×R+0.587×G+0.114×B，

(1)

(2)

比如，对拍摄的汽车图像转化后的灰度图像, 利用Sobel算子进行边缘检测[3], 得出边缘二值图像，对该二值图像使用数学形态学的膨胀算法，可以得到若干个封闭的区域，对这些封闭区域进行区域填充，然后再进行腐蚀，可以得到若干完整的车牌候选区域, 再对候选区域采用由面积、长宽比以及垂直投影特征等一系列因素组成的规则来排除非车牌候选区，达到确认车牌位置的目的.

这类方法对于清洁的图像较为有效，但对于车身脏污或背景复杂的情况可能出现定位错误，会将边缘复杂的脏污处定位为车牌.在光线昏暗且有大雾的情形下则完全无能为力.

还有一些用彩色边缘检测算子进行车牌定位的方法，这类方法相对比较复杂[2]，且对于光线过暗的情况很难定位.

针对这些车牌定位算法的不足之处，本文提出一种基于色彩的图像定位算法.首先将图像的色彩空间由RGB转为HSL，再跟据先验知识选择基色.然后根据颜色相似度找出车牌候选区域，此时可能会有许多候选区域的颜色相似度满足车牌定位第1层条件，那么再根据这些候选区域的外接矩形长宽比、面积填充率、面积大小、相对位置等数学形态特征来排除非车牌区域，完成定位.

3 车牌区域的定位

本文提出的车牌区域的定位算法流程如图2所示：

图2 车牌定位算法流程图

3.1 由RGB转为HSL

HSL色彩空间是美国色彩学家孟塞尔(H.A.Munseu)于1915年提出的，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和亮度这3种基本特征量来感知颜色.色调H(hue)：与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等.饱和度S(saturation)：表示颜色的纯度，纯光谱色是完全饱和的，加入白光会稀释饱和度.饱和度越大颜色看起来就会越鲜艳，反之亦然.亮度L(lightness)：对应成像亮度和图像灰度，是颜色的明亮程度.由RGB色彩空间到HSL色彩空间的转换公式如下：

(3)

(4)

(5)

其中，R，G，B分别为图像的红色、绿色和蓝色分量.Hmax为R，G，B中的最大值，Hmin为其中的最小值.

3.2 选出候选区域

由转换公式及专家经验可知，把原图像从RGB转为HSL色彩空间后，在光照条件不良或曝光不稳定的情况下，颜色的主要变动在亮度L，而色相H变动很小，这样用色相这一特征作为基色标准能有效消除光照条件不同带来的限制.

另外，RGB色彩模式也有优于HSL色彩模式的方面.比如，车牌上沾有较密集的灰尘的情况，此时的色相H可能发生偏离，但选取的高权值分量则变动较少，能将受灰尘影响而变化的颜色也纳入选区.所以，最终的候选区域集合应为RGB色彩模式下选出的候选区域的集合与HSL色彩模式下选出的候选区域的集合的并集.

因此，也用RGB色彩空间下的色彩相似度来选择候选区域.设基色的色彩向量为S=[Rs,Gs,Bs]，待比较颜色的向量为c=[R,G,B]，c应属于一个基色域，该基色域是由R,G,B3个维度上的3个阈值及3个维度的上限255或下限0组成的有限色彩空间.再采用带权重的曼哈顿距离(如式(6))作为相似度判断标准:

(6)

其中，w为权重向量，L为色彩距离，Os为基色域.当像素点与基色的色彩距离L低于一个阈值时，该像素点就被纳入选区.

根据先验知识(我国车牌的底色)确定基色及基色域.将图像中被纳入选区的像素点标记为1，其他标记为0，如此形成一个与原图像同像素大小的黑白二值图(如图3至图5所示).将二值图中的白色部分划分成许多连通区域.随后，对这些连通区域做外接矩形，这些外接矩形围成的区域即是候选区域.

图3 原图示例

图4 RGB色彩模式下选取的候选区域

图5 HSL色彩模式下选取的候选区域

3.3 筛选候选区域

经过3.2节所述初选过程后，将得到若干个车牌候选区域，其中可能包括如车灯、商标或一些背景中的干扰区域.对各个候选区域分别以外接矩形区域进行提取以供进一步分析.在诸多车牌候选区中，通过某单一的参考特征，难以准确地确定车牌区域，所以本文采用多种特征综合评价的方法来确定车牌区域.根据我国车牌的一些特征(如长宽比相对固定等等)，分别采用面积相对大小、面积填充率、区域相对位置与外接矩形长宽比进行综合加权来确定车牌区域.在实际处理中，如式(7)所示, 给每个特征值带来的可信度乘上一个影响权值, 进行加权得出总的置信度值.

(7)

其中，wi为权重，A为特征值.C为各个特征值带来的可信度映射.S为外界矩形面积相对大小.实际工作中，摄像头的位置已固定，车辆进出被拍时的位置也固定，那么外接矩形面积占整个图像面积的比例也就较为固定，太小或太大都可能不是车牌.R为面积填充率，即连通域内的像素占的总面积与此候选区的外接矩形面积的比.面积填充率越大，该区域为车牌的可能性C就越大.loc为候选区域的位置，同样，实际工作当中摄像头的位置已固定，车辆进出被拍时的位置也固定，所以车牌区域在图像中的位置也相对固定.那么，如果位置过高或过偏则不可能是车牌，lwr为该外界矩形的长宽比，长宽比lwr是车牌的一个明显特征，虽然车牌反映在图像中的大小不同，由于我国车牌长宽比相对固定，一般在720，那么该特征lwr应接近该比值，因此在图像中车牌区域的长宽比也相对固定，所以越接近真实车牌长宽比的区域的可能性C就越大.

上述方法中综合了面积、面积填充率、区域相对位置以及长宽比4个特征值进行综合分析来剔除干扰区域，完成车牌定位，如图6所示:

图6 定位结果

用这样的多特征综合方法来确定选区，可以消除因仅使用某一参数进行评价可能带来的误差.例如，一张掉落在地的广告传单，若其设计色调与车牌底色接近，也有可能成为候选区域.并且由于拍摄角度的关系，其长宽比可能更接近车牌标准.但是，广告传单内容丰富，色彩复杂，故其面积填充率及面积大小这2个特征值将会有较低的可信度而把自己排除出候选区.

4 实验分析

本文的实验图片主要来自各种情况下实际拍摄，极少量是从互联网上搜集的汽车照片，有正常光照、光线较暗(天气阴沉，或傍晚，或阴影)、车辆脏污、背景干扰较强、雾霾天等情况.在CPU 2.9 GHz的PC机Win10系统上进行实验，程序代码以Matlab R2014a版本编写.

通过实验可知，该算法对于光照条件昏暗(如图7所示)、过曝(如图8所示)、背景干扰较强(如图9、图10所示)等情况都能有效处理.车牌受损、附近纹理复杂干扰较大的情况(如图11、图12所示)，仍然能准确定位.另外，即使是在傍晚雾霾天这样几乎无法看清的严酷的条件下(如图13所示)，该算法依旧表现优异.

但其他算法[3-6]，对于图7的光照不良的情况可能难以找出车牌位置而定位在车灯上，或不能定位出整个车牌出现误差；图8的情形也可能定位不出完整车牌，出现误差；图9的情况则极有可能将车厢后板上的字符区域当作车牌；对于图10的这类情形，餐馆的广告招牌是很强的干扰，会直接被定位为车牌；对于图11、图12的情形，车牌受损，且车牌的附近纹理较复杂，有极大概率定位出错.而面对图13的情形，目前的方法完全无法定位.

图7 光线昏暗

图8 曝光过度

图9 车身强干扰

图10 背景强干扰

图11 受损车牌

图12 车牌受损且车牌附近纹理复杂

图13 傍晚雾霾天(为保证文档的可读性，该组图已做处理)

本文收集了164幅图像进行实验，均能准确定位.在定位过程完成后即可继续进行字符识别.该程序并未将照片转为二值图像，因此可在定位结果图像上直接识别，这样就保留了丰富的原始信息，为提高字符识别准确率提供了坚实基础.

5 结 论

车牌定位是车牌识别流程中非常重要的一个环节，为后续步骤提供基础.本文从不同色彩空间以色彩相似度来选出车牌候选区域，再通过候选区的面积相对大小、面积填充率、长宽比及相对位置等几何特征加权综合判定的方式筛选出车牌区域，完成定位.现实中遇到的情况不仅有各项条件良好、情景单一的情形，也往往有条件恶劣的状况.本文提出的算法相对其他算法更能有利地处理这些恶劣条件下的情形，对严峻的光照条件、强烈的背景干扰、严重受损的车牌，以及可见度极低的雾霾天均能有效应对，为车牌识别的后续环节铺平了道路.

[1]李志强, 李永斌. 车牌识别技术的发展及研究现状[J]. 科技信息, 2012 (5): 110-110

[2]刘庆祥, 蒋天发. 智能车牌识别系统中图像获取技术的研究[J]. 武汉理工大学学报: 交通科学与工程版, 2003, 21(1): 127-130

[3]李刚, 曾锐利, 林凌, 等. 基于数学形态学的车牌定位算法[J]. 仪器仪表学报, 2007, 28(7): 1323-1327

[4]李波, 曾致远, 周建中. 一种自适应车牌图像定位新方法[J]. 中国图形图像学报, 2009, 14(10): 1978-1984

[5]吴舟舟, 李树广. 基于分级边缘间距的实时车牌检测[J].

中国图形图像学报, 2007, 12(2): 315-321

[6]刘庆祥, 朱昌平, 冉勇智. 能车牌识别系统中图像定位算法[J]. 计算机工程, 2003, 29(15): 136-137

吴惟希

硕士研究生，主要研究方向为机器学习与人工智能.

wish0123@163.com

赵 刚

博士，副教授，主要研究方向为人工智能与信息安全.

zhaogang@bistu.edu.cn

A Colors Based Algorithm for License Plate Location

Wu Weixi and Zhao Gang

(InformationSecurityFaculty,SchoolofInformationManagement,BeijingInformationScienceandTechnologyUniversity,Beijing100192)

Nowadays processing methods for license plate usually convert photos to gray scale images at first, and then find the characteristics based on the character of the edge texture for positioning. These methods do not work well on some conditions that there are the disturbance near the license plate, the instability of the light illumination and character edge gradient caused by floating dust. Then if it is in the fog and haze, these methods are more powerless. For that, in this paper a color based location algorithm is proposed, which is to select the candidate region according to the pixel color similarity and color domain in different color spaces and then based on a variety of geometric features to select the license plate region. This algorithm realizes the location of being at different light conditions, the strong interference of complex background and damaged license plates. Even in the fog and haze, this method performs excellent for those extremely blurred image.

location; color space; color similarity; Manhattan distance with weight; illumination condition; interference; fog and haze

2015-12-30

国家自然科学基金项目(61272513)；北京市科委重大项目子课题(D151100004215003)

赵刚(zhaogang@bistu.edu.cn)

TP309