复杂光照下的车牌图像二值化新方法

王 珺，彭进业，吴 俊，李丹娇

（西北工业大学 电子信息学院，陕西 西安 710129）

车牌识别系统是智能交通管理的一个重要组成部分。车牌识别系统主要由车牌定位、字符分割、字符识别等三部分组成。由于字符分割和识别是基于车牌二值化进行的，因此其效果将直接影响整个车牌识别系统的性能。然而，车牌区域经常受到光照变化的影响，出现光照过度、光照不足、光照不均等复杂光照的情况，给车牌图像的二值化带来很大的困难。所以，复杂光照下的车牌图像二值化，成为车牌识别系统中的技术难点之一。

目前，针对不同光照下的车牌图像二值化问题，提出了各种不同的方法。对于光照不足或光照过度的情况，文献[1]提出先用高低帽变化增强车牌图像的字体，再采用迭代图像分块的二值化方法，该方法对高低帽变换后图像质量要求较高，然而高低帽变换的窗口大小不易选择；对于光照不均的情况，文献[2]提出用同态滤波增强再用Bernsen方法对车牌图像二值化，该方法耗时较多并且同态滤波器的截止频率不易确定；对于更一般的复杂光照问题，文献[3]提出背景补偿法，通过车牌先验知识、车牌图像均值和标准差并结合背景照度函数求出最优阈值；文献[4]在文献[3]的基础上做出改进，修正了其车牌区域范围和字符分布概率，以适应同态滤波后的车牌图像；文献[5]采用遥感图像处理中的灰度拉伸方法提高灰度图像对比度，再通过设定的固定阈值对所有车牌图像二值化。这些研究方法都是在通用的RGB三原色到灰度的转换公式Gray=0.30×R+0.59×G+0.11×B得到的灰度图上做不同处理。由这一通用的转换公式得到的灰度图不一定能很好区分字符和背景，从而影响二值化效果。

文中方法从这一角度出发，提出利用车牌颜色较为单一的特点，通过重新分配R、G、B颜色分量的权重构造新的车牌灰度图像，从根本上提高了车牌灰度图像的质量；再利用空域同态滤波，在进一步提高对光照鲁棒性的同时，较传统方法，降低了同态滤波的运算时间，避免了传统方法中选择高通截止频率不准确的问题；并且采用双阈值二值化方法，更全面的兼顾全局和局部信息对图像二值化。文中方法能在不影响正常光照二值化效果的前提下，有效提高复杂光照下二值化效果，满足实际应用。

1 提出的车牌图像二值化方法

在实际车牌图像处理过程中,经常遇到由复杂光照引起的光线异常反射造成车牌图像降质的情况，如图1所示，出现光照过度、光照不足和光照不均的情况。对其直接进行二值化将会丢失很多信息，甚至严重影响后面的处理过程。因而，文中分别从提高由彩色图像得到灰度图像的质量和二值化方法的优化，两方面入手提高复杂光照下车牌图像二值化效果。

图1 不同光照车牌图像Fig.1 Vehicle license plate images of different light

1.1 构造新的灰度图像

基于灰度图像的车牌二值化算法[6]，是选择一个合适的阈值，将车牌上的字符与车牌背景有效分开。因此，灰度图像质量的好坏将直接影响到车牌图像二值化的效果，如图1所示。

观察发现，国内车牌图像颜色较为单一，只包含两种（蓝、白或黄、黑）或3种颜色（黑、白、红），并且字符颜色与背景颜色不同。因此，新的灰度图像对这两种或3种颜色区分度越大就越有利于提高车牌图像二值化效果。由于目前车牌数据的采集设备基本都是基于RGB彩色空间的，并且其他颜色空间一般也是由RGB彩色空间转换得到的，所以文中从RGB彩色空间出发，分析在不同光照下，车牌字符与背景颜色在各个颜色通道中的分布情况与二值化效果的关系，如图2所示。

分别为提取光照过度（图 1（a））、光照不足（图 1（b））和光照正常（图1（d））的彩色车牌图像中的R、G、B颜色通道图像，对各个颜色通道中的字符颜色与背景颜色采样后，得到各个颜色通道中字符与背景颜色的采样分布图。图中横坐标为0到255灰度级，纵坐标为采样点数，实线代表背景颜色，虚线代表字符颜色。为了观察方便，各个通道分布图的纵坐标略有缩放，实际上字符与背景颜色在各个通道中的采样点数完全相同。

分析图2可以发现，在光照过度（图2（a））和光照不足（图2（b））的情况下，B通道中字符与背景颜色分布几乎重合，说明通过B分量已经无法区分出字符与背景区域，甚至会混淆字符与背景区域，给车牌图像二值化带来干扰；而在R通道和G通道中，字符与背景颜色明显成双峰分布，说明字符与背景颜色在R通道和G通道中区分度较大。在正常光照（图2（c））情况下，B通道中的双峰间隔小于 R和G通道。由于各个颜色分量对同种颜色的区分度不同，所以对二值化效果的贡献不同。其中R分量和G分量字符与背景的区分度大，并且在不同光照下受光照影响较小，有利于车牌图像二值化；而B分量字符与背景的区分度较小，甚至使字符与背景混在一起对车牌图像二值化产生干扰。

图2 不同光照下字符与背景颜色在R、G、B通道中的分布图Fig.2 Distribution of R,G,B channels of character and background color under different light

对于光照不均的情况主要是由光照过度、光照不足和光照正常合成的（如图1（c）所示），对于光照不均的情况，其分析方法与光照过度、光照不足和光照正常的情况相同，文中不再重复论述。

通过对不同颜色组合的车牌在不同光照下 （各100副）字符与背景颜色分别在RGB3个通道的采样和二值化效果的分析，发现在蓝白车牌中，R分量对字符与背景的区分度最大，双峰平均间隔约为63个灰度级，G分量双峰平均间隔约为28个灰度级，B分量区分度较小甚至产生较大干扰；在黄黑车牌中，G分量区分最大，双峰平均间隔约为152个灰度级，R分量约为93个灰度级，B分量区分度较小；在黑白红三色车牌中，R分量对红色与白色区分度较小，G分量对3种颜色区分度最大，B分量次之。然而，虽然对某种颜色的车牌字符与背景颜色会有一种分量区分度最大，但是如果直接把该分量的灰度图作为新的灰度图，会使颜色信息过于单一，对某一分量依赖性过大，仍然会导致二值化效果不理想。所以在降低某些颜色分量对二值化效果产生干扰的同时，又要充分利用原始彩色图像提供的颜色信息。文中提出通过重新赋予R、G、B分量的权重构造更适合车牌二值化灰度图的方法。

通过分析每种分量的双峰平均间隔和采用下述的二值化效果实验，可得到以下对不同颜色车牌构造灰度图的规则。该规则适用于同种车牌颜色下的不同光照。

由此规则构造出的新灰度图像与原始从RGB三原色到灰度的转换公式得到的灰度图像的灰度直方图如图3所示。

图3 原始灰度图像和新灰度图像直方图Fig.3 Histogramof original grey images and text constitution grey images

分析图3可以发现，新构造出的灰度图的双峰分布较原始灰度图像更明显。从图3(a)与图3(b)和图3(e)与图3(f)的比较可以看出新灰度图双峰间灰度等级间隔更大；从图3(c)与图3（d)可以看出新灰度图的直方图较原来的直方图双峰分布更明显。由此构造规则可以得到更适合车牌图像二值化的灰度图像。

1.2 基于空域同态滤波的增强

通过构造新的灰度图能在一定程度上加大字符与背景颜色的可区分度并抑制区分度较差的颜色分量带来的干扰，可以提高灰度图的质量。但是在复杂光照下，特别是光照不均情况下，受入射和反射光的影响对复杂光照车牌图像增强是很有必要的，可以进一步提高对光照的鲁棒性。此类方法主要有以直方图均衡化为代表的灰度变换法和基于照明—反射模型的同态滤波法。直方图均衡化能增强图像的细节，但是会出现块效应的问题。文中采用基于光照—反射模型的同态滤波法对图像进行滤波。

传统的同态滤波是在频域进行的。频域同态滤波有以下不足[7]：1）要对整幅图像处理完之后才能看到结果；2）计算FFT和IFFT要扩展的复数域占用运算时间和空间较大；3）高通截止频率的选择较为困难。空域同态滤波可以有效克服上述不足。其基本思想是先对图像低通滤波，再用原图减去低通滤波后的图像，以达到抑制低频增强高频的增强目的。考虑到文献[8]的同态滤波方法会降低图像的对比度，不利于图像的二值化，并且还涉及低通滤波的权值取舍、边缘效应补偿等问题，有待进一步研究，所以文中采用滑块邻域平均[9]的空域同态滤波。

一副灰度图像f（x，y）可以看成入射分量i（x，y）和反射分量r（x，y）的乘积：f（x，y）=i（x，y）×r（x，y）。 滑块邻域平均的空域同态滤波是对上式取对数分离入射分量和反射分量；通过滑块邻域平均法构造低通滤波器LPF，文中设置滑块窗口的大小为车牌图像宽的0.1倍并且使之为奇数；再用取对数后的图像减去低通滤波后的图像得到滤除低频分量的灰度图；最后对此图进行对数反变换得到最终同态滤波的增强图像g（x，y）。文中空域同态滤波算法的流程如图4所示。

图4 空域同态滤波算法流程示意图Fig.4 Schematic flow of airspace homomorphic filtering algorithms

图 4 中，f（x，y）表示输入的灰度图像；log 表示对数运算；LPF表示滑块邻域平均低通滤波；exp表示指数运算；g（x，y）表示输出的同态滤波增强图像。

1.3 基于双阈值的车牌二值化方法

文献 [8]利用全局二值化思想对Bernsen算法进行了改进，同时考虑灰度图像的整体和局部特征，又最大避免了伪影及笔画断裂现象，实验验证该算法在一般情况下优于单独采用Otsu法或Bernsen法。文中采用其求取局部阈值的方法并结合Otsu法对车牌图像二值化，算法描述过程如下：

2）计算局部阈值其中采用平均滤波的方法对阈值曲面进行平滑，以避免局部二值化易出现伪影的情况。

其中，局部窗口大小为,文中取w=1。

3）利用全局阈值和局部阈值逐点二值化

① 若f（x，y）>（1+α）×T1，b（x，y）=1；若f（x，y）＜（1-α）×T1，b（x，y）=0；其中：α 取 0.20～0.40 之间任意值，文中取 α=0.25。

② 如果（1-α）×T1≤f（x，y）≤（1+α）×T1

2 实验结果及分析

文中数据是由安装在郊县地区路口全天候工作的摄像头采集得到。实验的开发工具为Visual C++6.0与Opencv函数库，系统平台为 Windows XP，CPU配置为 Intel Core2 Duo CPU 2.8 GHz，内存2 GB。实验算法流程如图5所示。

图5 算法流程图Fig.5 Flow chart of proposed method

现对光照过度、光照不足和光照不均的各20副车牌，分别采用基于背景补偿的传统方法[4]、基于原始灰度图和文中方法即构造灰度图再采用空域同态滤波和双阈值二值化的方法进行二值化处理。3种光照情况下各选择1副典型车牌图像为代表，其二值化效果如图6所示。

图6 几种方法的二值化效果Fig.6 Results of several binarization methods

由图6可以看出，文中方法噪声颗粒[11]远低于基于原始灰度图的二值化效果，并且汉字和字符更为清晰。这是因为文中根据不同分量对车牌区域二值化效果的贡献程度重新分配各分量的权重，构造新的灰度图，在提高灰度图双峰分布效果的同时，滤除了在复杂光照下对字符和背景颜色贡献较小甚至产生干扰的分量，所以在采用文中构造灰度图二值化时能得到更清晰、噪声颗粒数更少的二值化图像。而原始灰度图没有考虑各个分量在复杂光照时对二值化效果的贡献情况。

分别统计了传统方法和文中方法处理60副车牌图像平均耗费时间情况，传统方法方法消耗0.045 138/s，文中方法消耗0.027 964/s。并且由图6可以看出，文中方法取得较好效果。这是因为：1）由于文中采用空域同态滤波，不需要进行FFT和IFFT的复数域运算，所以文中算法耗时仅为传统方法的61.95%并且适合应用于实时的车牌识别系统；2）文中算法通过构造更利于车牌图像二值化的灰度图从根本上提高了灰度图的质量，而传统方法方法是在原始灰度图上处理的；3）文中方法采用空域同态滤波，低通滤波窗口大小随车牌的大小而改变，达到自适应滤波，而传统方法方法是对不同光照车牌采用固定截止频率滤波，所以滤波效果没有文中方法理想；4）文中方法采用双阈值方法二值化，各点处阈值随局部阈值改变，而传统方法是利用背景补偿对二值化阈值改进得到固定阈值，所以导致汉字的二值化效果不是很理想。

3 结 论

复杂的光照变化经常影响车牌图像二值化效果，降低车牌识别系统的整体性能。文中提出了一种通过构造灰度图从根本上提高车牌灰度图质量的方法。利用空域同态滤波在提高算法对光照鲁棒性的同时克服了传统频域同态滤波不能自适应选取截止频率、占用较大运算时间和空间等不足。同时结合双阈值方法实现动态阈值的车牌图像二值化。实验结果表明，重新构造灰度图能有效提高车牌图像二值化效果，并且文中方法对光照有良好的鲁棒性，已在自主研发的车牌识别系统中得到良好的应用。

[1]赵建蕾，王汇源，方颖.偏暗或泛白背景的车牌图像二值化方法[J].计算机工程，2008，34（6）：210-213.

ZHAO Jian-lei， WANG Hui-yuan， FANG Ying.Binarization of license plate images with unclear and faded background[J].Computer Engineering，2008，34（6）：210-213.

[2]欧阳庆.不均匀光照下车牌图像二值化研究[J].武汉大学学报：工学版，2006，39（4）：143-146.

OU YANG Qing.Study on license plate binarization method under nonuniform illumination[J].Engineering Journal of Wuhan University，2006，39（4）：143-146.

[3]YANG Feng， MA Zheng， XIE Mei.A novel binarization apprach for license plate[C]//LUO Fang-lin,1st IEEE conf on IndustrialElectronicsand Applications.Singapore， s.n.，2006：1-4.

[4]陈亮，杜宇人.改进背景补偿的车牌图像二值化算法[J].扬州大学学报：自然科学版，2008，11（1）：55-58.

CHEN Liang，DU Yu-ren.Improved background compensation algorithm of license plate image binarization[J].Journal of Yangzhou University：Natural Science Edition，2008，11（1）：55-58.

[5]毛晓蛟.基于车牌识别的二值化算法研究[J].电脑知识与技术，2010，6（12）：2999-3001.

MAO Xiao-jiao.Research of binary conversion based on license plate recognition [J].Computer Knowledge and Technology，2010，6（12）：2999-3001.

[6]Rahman C A，Badaw Y W，Radmanesh A.A real time vehicle’s license plate recognition system [C]//IEEE Conference on Advanced Video and Signal Based Surveillance，2003：163-166.

[7]WANG Wei-zhi，LIU Bing-han.The vehicle edge detection based on homomorphism filtering and fuzzy enhancement in Night-time environments [C]//2010 IEEE International Conference on Intelligent Computing and Intelligent Systems， 2010：714-718.

[8]陈丹，张峰，贺贵明.一种改进的文本图像二值化算法[J].2003，计算机工程，2003，29（13）：85-86.

CHEN Dan， ZHANG Feng， HE Gui-ming.An improved rinarization algorithm for document image [J].Computer Engineering，2003，29（13）：85-86.