基于色差的车牌快速定位算法研究

郑楷鹏 郑翠环 郭山红 陈康宇

(南京理工大学电子工程与光电技术学院 江苏 南京 210094)

基于色差的车牌快速定位算法研究

郑楷鹏 郑翠环 郭山红*陈康宇

(南京理工大学电子工程与光电技术学院 江苏 南京 210094)

针对现有车牌定位算法的抗干扰能力弱和速度较慢问题，提出基于色差的车牌快速定位算法。设计了提取蓝色、黄色和白色像素点的色差公式，将车辆RGB图像转换到色差空间。利用迭代法对色差图像进行阈值分割得到二值图像，并利用形态学处理和标记连通域，最后结合车牌长宽比特征去除干扰定位车牌。对实际车辆视频定位处理结果表明，提出的算法可以实现白天和夜晚蓝牌车和黄牌车的车牌准确定位，定位准确率分别达到95.1%和92.5%，定位平均耗时0.026 s，优于传统的基于HSV、HIS和YUV车牌定位算法。处理结果表明该定位算法可在实际普通道路交通中实现实时准确定位。

车牌定位 色差 阈值分割 形态学处理 标记连通域

0 引 言

车牌识别LPR(License Plate Recognition)系统是智能交通系统的一个核心子系统，它是在数字图像处理的基础上实现汽车牌照自动定位与识别的一个系统[1-2]。在此核心功能基础上可以提供大量实用的交通管理服务：车辆信息的获取与存储、车辆信息的查询对比、非法车辆识别与报警、高速公路与道路关卡的监控与收费、停车场的具体管理等服务[3-4]。

车牌定位是LPR系统的一个关键环节，定位的准确性和速度将直接影响LPR系统的整体性能。对于车牌定位算法，国内外研究较早也较多并提出了一些有效的定位算法[5-8，11，13]，常用的有基于车牌直观特征的定位方法，直观特征包括纹理、颜色、边缘等特征；基于变换域特征的定位算法以及AdaBoost算法等。以上提到的算法在定位车牌时都有一定的局限性，单独使用其中一种方法很难达到预期的定位准确性和实时性。本文重点研究基于视频图像的车牌定位，提出了基于色差的车牌快速定位算法，该算法可以提高白天和夜晚情况下车牌定位的准确性和实时性。

1 车牌定位方法与难点

1.1 常用车牌定位方法

目前常用的车牌定位方法有以下几种：

(1) 基于纹理特征的定位方法

车牌的纹理特征是指字符的宽度、高度和笔画宽度，字符之间的连通性等特征。对车牌部分的灰度图像进行水平扫描得到灰度变化曲线，车牌区域与其他区域的灰度变化曲线不同，根据这一特征可以简单快速地定位出车牌[5-7]。

(2) 基于颜色特征的定位方法

该类算法一般就是利用车牌的背景和字符的颜色搭配(例如蓝底白字)提取出车牌区域，再经过形态学的操作来定位出图像[5-7]。该算法简单快速。

(3) 基于边缘特征的定位算法

由于车牌区域的字符部分和底牌部分的灰度值有较大的对比度，即图像的灰度值变化较大，即该区域相对于其他区域包含了更丰富的边缘信息，故检测图像局部像素点是否变化明显可以采用边缘检测算法[8]。通常用来检测图像灰度值变化的算子有Robert、Prewitt、Sobel算子等。

(4) 基于变换域特征的定位算法

该类方法首先将图像进行某种变换后，例如DFT变换，再综合其它特征进行车牌定位[13]，比较常见的方法有离散余弦变换法和小波变换法。

1.2 车牌定位的难点

在室外拍摄的普通道路上运动车辆视频图像受环境因素的影响较大，图像质量较难保证，在夜晚光照不足的情况下定位准确率会下降；车牌被污染或者颜色严重失真时会导致车牌无法定位到。漏警概率增大；其他字符区域的干扰会导致车牌定位虚警概率增大[9]。

本文重点研究基于色差的车牌定位方法，该方法具有适应面广、抗干扰强、速度快、定位准确和虚警低的特点[10，12]。首先从视频图像中提取出运动车辆图像，然后计算车辆色差，并结合形态学处理[15，16]和车牌的长宽比特征进行车牌快速定位。

2 车辆图像预处理

实际拍摄的视频图像包含了车辆和背景信息，为了更好地定位车牌，需要从视频图像中提取出车辆图像，其具体过程如图1所示。

图1 基于背景差分和虚拟线圈的运动车辆检测流程图

事先在视频图像上设定虚拟线圈，确定寻找运动车辆的区域。随着视频图像的输入，首先对图像进行灰度化，然后进行背景差分处理。背景图像是通过对视频图像多次平均获得的动态背景图像。接着统计虚拟线圈区域内灰度变化的平均值，若超过阈值则表明有车辆驶入，则取出虚拟线圈附近的运动车辆图像。 可以根据需要在视频图像设置多个虚拟线圈，观测不同车道的情况。

实际的车辆视频图像都是在露天情况下采集的，难免受到天气及光照的影响，因此在车牌定位之前要进行图像增强预处理。图像增强有各种方法[10，12]，综合考虑各种噪声的影响，这里选取高斯低通滤波器对图像进行滤波增强处理。

3 基于色差的车牌快速定位算法

根据车辆的运动方向，选取运动车辆图像的底部或顶部1/3图像作为车牌定位研究对象。根据我国车牌的颜色特征[14]，我们主要要获取车辆图像中具有一定长宽比例的蓝色、黄色或白色矩形区域。

3.1 色差计算

(1) 蓝色色差

在RGB空间中，针对最常见的蓝底白牌的车辆，我们采用式(1)的颜色转换公式来突出蓝色的像素点从而抑制其他区域的像素点[3]。

Cx,y=Bx,y-min{Rx,y,Gx,y}

(1)

式中Cx,y为转换之后坐标点(x,y)的像素值，Rx,y，Gx,y，Bx,y分别为红，绿，蓝三个通道的像素值。这种转换可以增强蓝色区域并且可以很好地抑制非蓝色区域的像素点的值，与原彩色图像相比，蓝色区域得到了增强，这正是我们需要的。

(2) 黄色色差

对于黄底黑字的车牌，基于在RGB图像中，黄色区域的R通道和G通道像素值相差不大且接近255，而B通道的像素值比其他两个通道的值都要小很多，根据上述规律，我们设计了式(2)的黄色转换公式。

(2)

(3) 白色色差

若车辆本身即为蓝色，只提取蓝色像素点是不够的，我们知道在RGB空间中白色像素点的值是很特别的，它的R、G、B三个通道的值都接近255且相差无几，故我们设计了式(3)来判断白色的像素点。

(3)

所有满足以下两个约束条件之一即可认为该像素点是车牌区域的像素点：

i)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)满足蓝色像素点约束条件；同时f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)满足白色像素点约束条件。

ii)f(i-1,j-1)、f(i,j-1)、f(i+1,j-1)满足白色像素点约束条件；同时f(i-1,j+1)、f(i,j+1)、f(i+1,j-1)满足蓝色像素点约束条件。

3.2 阈值分割

对于普通蓝牌车，原图在经过颜色转换之后，可以很明显地看到，蓝色区域的亮度明显比图像中其他区域的亮度要高,并且蓝色区域的亮度在整幅图像中是最高的,而非蓝色区域的像素被很好地抑制了，像素值接近0。根据上述特征，可以取颜色转换之后的图像的像素点最大值(Tmax)和最小值(Tmin)的中间值作为阈值T的初始值，采用迭代法求得最终的阈值对图像进行二值化。迭代法取阈值的方法如下：

(1) 为T选取一个初始值。

(4)

(2) 使用T分割图像，这将产生两组像素：像素值≥T的所有像素点组成的G1，像素值

(3) 计算G1和G2范围内的像素的平均像素值μ1和μ2。

(4) 计算一个新的阈值：

(5)

(5) 重复2到步骤4，知道连续迭代中的T的差比预先指定的参数T0小为止。

在经过颜色转换之后的图像中，任何满足f(x,y)>T的点(x,y)置为1，其他的则置为0，得到二值图像。

3.3 形态学处理和标记连通域

提取特殊颜色并采用阈值分割后的图像，常常出现多个空洞，为了便于后续要根据形状来判断车牌，故需对图像进行形态学处理[15-16]。根据实际视频图像大小和车牌相对位置，选择合适的模板尺寸进行形态学运算。

在对二值图像进行形态学处理之后，为了得到每个区域形状特征，必须对每个区域进行连通域标记，本文采用8邻域标记法，并获得连通域的外接矩形。

3.4 去除伪车牌

这里我们根据车牌的长宽比去除伪车牌，在得到连通区域的外接矩形之后，获得矩形框的长和宽，计算长宽比的比值。

(1) 根据我国中小型车牌的标准[13]，普通车牌的大小为440 mm×140 mm,实际拍摄的车辆图像中车牌的长宽比例会略微变大，故可取ratiomin=2.5，ratiomax=3.5，根据上述规则可以去除一部分伪车牌。

(2) 根据连通区域的灰度图像区域的纹理一致性去除伪车牌，根据式(6)计算纹理一致性:

(6)

其中，U为图像区域的纹理一致性，L为可能出现的灰度级(一般为0～255)，p(z)为灰度图像的归一化灰度直方图。

4 车牌定位处理结果及性能比较

4.1 车牌定位处理结果

图2为采用3.1节中式(1)基于蓝色色差定位的处理结果。图2(a)为晴朗天气下在天桥上拍摄的行车道上多辆照片，图2(b)为采用式(1)对车辆图像进行蓝色色差处理结果，由图2(b)可以看到，蓝色车牌区域亮度明显高于其他颜色。取颜色转换之后的图像的像素点的最大值和最小值的中间值作为阈值T的初始值，采用迭代法求得最终的阈值对图像进行二值化。

图2(c)显示了对色差处理之后的图像进行阈值分割和形态学处理效果。本文中采集的视频图像的大小为700×900，针对采集到的图像数据库，选取大量的图像进行试验，发现一般分割得到的孔洞大小不会超过50个像素，而且车牌之间的间距相对孔洞而言则是会大很多，所以我们只需要选取比孔洞大2～3倍的结构元素对二值图像进行闭运算即可以填充孔洞。这里我们选取大小为16×8的长方形结构元素来进行形态学闭运算处理。

图2(d)为采用8邻域标记法获得标记连通域效果图。图2(e)为去除伪车牌后车牌定位结果图。通过对大量样本数据分析，最后取U=0.7。当候选区域中的某块区域纹理一致性小于该值的就会被去除，这样就能更准确地定位车牌区域。

(a) 原图(车牌为蓝色) (b) 蓝色色差图像

(c) 阈值分割和形态学处理 (d) 标记连通域

(e) 车牌定位结果图2 车牌定位结果

图3(a)-(h)分为白天拍摄的蓝色车身蓝牌出租车、白天拍摄的车后身为大面积蓝色的黄牌公交车、夜晚拍摄的蓝牌小轿车和白天拍摄的车身覆盖较厚尘土的污染蓝牌车图像及其对应车牌定位结果。对于从视频图像中获取的运动车辆图像，首先判断车辆的主体颜色，若蓝色区域<1/5，则采用蓝色色差进行处理，定位蓝牌矩形区域；若蓝色区域≤1/5，则采用白色色差处理定位白色矩形区域；若未能定位，则采用黄色色差处理，定位黄牌区域。

(a) 蓝牌蓝车(车身颜色为全蓝色) (b) 车牌定位结果

(c) 黄牌蓝色公交车(车后身大部分区域为蓝色) (d) 车牌定位结果

(e) 夜晚蓝牌小轿车车辆 (f) 车牌定位结果

(g) 污染蓝牌车辆(车身覆盖较厚尘土) (h) 车牌定位结果图3 不同情况下的车牌定位处理结果

由图3定位处理结果可以看出，采用色差法对蓝车蓝牌、有蓝色干扰的黄牌公交车、夜晚蓝牌小轿车和污染严重的蓝牌小轿车都能准确定位其车牌位置。可见，文中提出的基于色差的车牌定位方法对光线昏暗、污染车牌、以及颜色干扰有较好的定位效果。

4.2 车牌定位处理结果

本文针对在户外不同天气状况下拍摄到的视频图像，对白天和夜晚的各种车辆进行了定位测试，表1列出了基于色差的车牌定位算法耗时， 表2统计了不同天气状况下各种车牌定位的准确率统计结果。表3列出了白天晴朗天气状况下基于其他算法的车牌定位的准确率统计结果，可见基于色差的车牌定位算法耗时小，且定位准确率较高，抗干扰能力强，定位性能优于传统的基于HSV、HIS和YUV的车牌定位算法[12,17-19]。处理结果表明该定位算法可在实际普通道路交通中实现实时准确定位。

表1 基于色差的车牌定位算法的定位耗时统计 s

表2 基于色差的车牌定位算法的结果统计

表3 基于其他车牌定位算法的结果统计

5 结 语

本文针对基于视频图像的车牌定位算法进行了深入研究，提出了基于色差的车车牌快速定位算法，提高了车牌在各种情况下的定位准确率和定位速度。文中对白天常规车辆、蓝牌蓝车、公交车及污染车牌进行了检测，结果发现采用该方法定位具有很高的准确率，对夜晚车辆也有较高的定位准确率。该车牌定位方法没有复杂的计算公式，计算量小，可以满足实时监测系统的要求。下一步针对大雾、雪天等恶劣天气继续研究车牌定位算法，使其具有更好的适用性。

[1] Liakou H M. An overview on transports and ITS[C]//Third World Summit on the Knowledge Society, 2010: 343-345.

[2] Gu H, Zhao G, Qi D, et al. Priori embedding and character segmentation for license plate recognition[J]. Journal of Image and Graphics, 2010, 15(5): 749-756.

[3] 王璐. 基于MATLAB的车牌识别系统研究[D]. 上海：上海交通大学, 2009.

[4] 王丰元, 孙壮志, 周一鸣. 计算机视觉技术在交通工程测量中的应用[J]. 中国公路学报, 1999, 12(1): 90-94.

[5] Gonzalez R C, Woods R E. 数字图像处理[M]. 阮秋琦, 阮宇智, 译. 3版. 北京：电子工业出版社, 2011.

[6] 徐勤燕. 复杂背景中基于纹理和颜色的车牌定位研究[D]. 上海：东华大学, 2013.

[7] 万燕, 徐勤燕, 黄蒙蒙. 复杂背景中基于纹理和颜色的车牌定位研究[J]. 计算机应用与软件, 2013, 30(10): 259-262,316.

[8] Zhou Z, Hu X, Tan M. The license plate location method based on the log operator for edge detection[J]. Automation and Instrumentation, 2009(2):90-92.

[9] 刘攀. 复杂光照条件下的通用车牌定位系统的研究与实现[D]. 成都：电子科技大学, 2013.

[10] 张震, 杨晓. 基于OpenCV实现多特征融合的移动车牌定位算法[J]．计算机应用与软件, 2014, 31(4): 289-292．

[11] 黄泽锋. 基于Adaboost的车牌定位方法的研究与实现[D]. 广州：华南理工大学, 2012.

[12] 郑成勇. 一种RGB颜色空间中的车牌定位新方法[J]. 中国图象图形学报, 2010, 15(11): 1623-1628.

[13] 刘雄飞, 龙巧云, 李根, 等. 基于行扫描和小波变换的车牌定位算法[J]．计算机应用与软件, 2013, 30(5): 279-282.

[14] 中华人民共和国公安部.GA 36-2007 中华人民共和国机动车号牌[S]. 2007-09-28.

[15] Yang F, Ma Z. Vehicle license plate location based on histogrammming and mathematical morphology[C]//Proceedings of the Fourth IEEE Workshop on Automatic Identification Advanced Technologies, 2005: 89-94.

[16] Li W, Zhu L, Kong X, et al. A new fast vehicle license plate location algorithm on mathematical morphology and color feature[J]. Bulletin of Science and Technology, 2009, 25(2): 214-219,242.

[17] Quan S, Xue Z, Wang Q. Implementation and research of vehicle license-plate locating method based on the distributed character of projection image[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2005, 29(6): 879-882.

[18] 程增会, 戴祥, 唐大鹏, 等．一种基于HSI和YUV颜色模型的车牌定位方法[J]．计算机应用与软件, 2011, 28(12): 132-134,231．

[19] 常巧红, 高满屯. 基于HSV色彩空间与数学形态学的车牌定位研究[J]. 图学学报, 2013, 34(4): 159-162.

RESEARCH ON FAST LOCATION ALGORITHM OF LICENSE PLATE BASED ON COLOR DIFFERENCE

Zheng Kaipeng Zheng Cuihuan Guo Shanhong*Chen Kangyu

(SchoolofElectronicEngineeringandOptoelectronicTechnology,NanjingUniversityofScienceandTechnology,Nanjing210094,Jiangsu,China)

Aiming at the problem of weak anti-interference ability and slow speed of the existing license plate location algorithm, a fast location algorithm of license plate based on color difference is proposed. The color difference formula of the blue, yellow and white pixels is designed to convert the RGB image into the color difference space. The iterative method is used to obtain the binary image by threshold segmentation, and the morphological processing and the mark connected domain are used. Finally, combined with the license plate aspect ratio feature to remove interference and locate the license plate. The results of real vehicle location show that the proposed algorithm can accurately locate the license plates of daytime and night blue and yellow cards with the accuracy of 95.1% and 92.5% respectively, and the average positioning time is 0.026 s, which is superior to the traditional based on the HSV, HIS and YUV license plate location algorithm. The results show that the algorithm can achieve real-time and accurate location in practical road traffic.

License plate location Color difference Threshold segmentation Morphological processing Mark connected domain

2016-04-25。郑楷鹏，硕士生，主研领域：数字图像处理。郑翠环，硕士。郭山红，副研究员。陈康宇，硕士生。

TP391.41

A

10.3969/j.issn.1000-386x.2017.05.034