雾霾天气条件下车牌信息的识别

唐红梅，申 瑾，周亚同，韩力英，王 霞

(河北工业大学信息工程学院，天津300401)

汽车牌照识别系统(License Plate Recognition，LPR)［1］是智能交通系统(Intelligent Transportation System，ITS)的重要组成部分，是能够自动实时检测车辆经过和识别汽车牌照字符的智能系统，涉及机器视觉和模式识别等技术。由于雾霾等天气状况和曝光不足造成的图片失真，因此车牌识别系统中的去雾阶段显得尤为重要，能否很好地对采集的信息进行去雾并使图像复原［2］，对后期的定位及分割、识别具有很大的影响。

1 改进的车牌图像去雾方法

在雾霾天气下，大气中往往有悬浮颗粒等杂质，使得户外能见度低、对比度差，由于大气的散射使得采集的车辆信息模糊不清，图片质量不高，例如图1，对这样的图片直接进行识别将大大降低车辆识别系统的性能［3］。因此，对于雾霾等恶劣天气条件下车辆信息采集的图像进行去雾等相关的图像复原处理是一项有重要意义的研究课题。

1.1 暗原色先验去雾算法

暗原色先验是根据户外大量无雾图像的统计规律得出的，之前的去雾方法都是将去雾的核心放在提高图像的对比度上，而Kaiming He提出的暗原色去雾是通过对大量的无雾的图像进行对比试验，发现了一个事实规律:在绝大多数的户外无雾图像中，在任意局部区域内，总有一些像素，它们的某个或几个颜色通道内的强度值很低，或接近于零［4］，称之为暗原色(dark－channel pixel)。利用得到的这一先验去建立去雾的模型，可以直接估算出雾的浓度，并对图像进行复原，得到清晰的、高质量的去雾图像。

McCarney大气散射模型广泛应用于计算机视觉和图形学领域中［5］

图1 采集到的车辆信息图

式中:I(x)是雾化后的图像;t(x)是大气中雾的透射率;A是天空的亮度值;J(x)是去雾后的图像。因此，去雾的过程就是从上述公式中还原J(x)。而A和t(x)都可以由暗原色图像得到。

1.2 暗原色算法的改进

虽然暗原色方法在去雾方面取得了一定的成就，但是此算法对车牌信息图像的去雾过程中仍然会遇到一些问题。车辆信息的图像中常会出现天空、路面、白色车辆等明亮或灰白的区域，而暗原色算法对这些物体进行处理时透射率的估计将会出现明显的偏差［6］。因为在这些区域内，即使无雾的情况下，三个通道的像素值仍然偏高［7］，不存在一个通道的像素值趋于零的情况，这些区域不符合暗原色先验去雾的前提。

通过大量的观察，发现在这些浅色明亮区域的周围，虽然有浓雾的干扰，但是总存在一些区域有较大的饱和度［8］，其场景的深度和浅色明亮区域的深度一致，这些区域的透射率和浅色明亮区域的透射率是相似的。根据先验知识，在同一幅图像中，场景较深的区域，由于雾气的叠加，其像素的对比度往往较前景的对比度有很大的下降［9］，因此，其透射率也有很大的下降。

基于这种事实的情况下，在研究中对暗原色的方法提出了一些改进。首先定义每一个像素的暗点，即每一个像素点R，G，B的最小值，而暗原色即是每一个小区域内暗色的最小值，通过每一个暗原色的点的透射率来进行比较分析，设定一个阈值H，当暗点的透射率与邻域的透射率相差大于H时，说明两者景深有所差异，应放弃此邻域暗点的透射率信息，当暗点的透射率与邻域的透射率相差小于H时，说明两者处于同一景深，可用来估计目标区域的透射率。

在这种思想的前提下，构建了一个由邻域每一点暗色的透射率组成的3×3的掩膜T:t(xi)，i=1，2，…，9，对每一个暗色的透射率进行分析，从而用获得的信息来估计浅色明亮区域的透射率

在计算时，将中心点的透射率和周围8个点的透射率作比较，得到t(xj)，当t(xj)＞H时，舍弃t(xj)，当t(xj)＜H时，统计t(xj)＜H的个数为m，即t(xk)，k=1，2，…

接下来，在得到新的图像的透射率后，将掩膜T依序移动，修正每一点的透射率。经过这样的处理后，当小区域都成为同一物体中的点时，透射率基本保持不变，而当小区域内含有物体的边界时，则可以判断其是否在物体的边缘，并将其合并到所属的物体中，取得正确的透射率。

对改进的算法得到的透射率图用拉普拉斯矩阵进行抠图处理，得到平滑的透射率图，整幅图像的透射率几乎没有块效应，边缘清晰，且明亮区域的透射率比较均匀，与周围的物体能够很好地吻合，符合真实的透射率，如图2所示。

图2 两种方法透射率图对比

1.3 去雾的结果与比较

用式(1)分别对暗原色方法得到的透射率图和改进后的方法得到的透射率图中3个通道进行图像还原，得到图像去雾后的结果，可以看出由暗原色方法得到的透射率图去雾后的图像在白色明亮区域由于颜色的过度增强造成了结果的失真，车牌区域白色字符与周围区域的蓝色车牌没有得到很好的恢复，而由改进后的方法得到的透射率图进行去雾处理后，白色明亮区域色彩柔和，保持了车辆原本的颜色特征，车牌区域的字符得到很好的复原，结果对比图如图3所示。

图3 暗原色和改进后方法去雾图对比

2 车牌图像的处理

汽车牌照的识别系统主要包括图像去雾、预处理、车牌定位、字符分割、字符识别4个部分，流程图如图4所示。

图4 车牌识别系统流程图

2.1 去雾模块

在车牌识别系统中，对于采集的图像是否需要进入图像去雾模块，需要对图像进行判断，判断图像是否为带雾图。若是带雾图，进入去雾模块对图像进行去雾;若不是带雾图，直接跳过去雾模块的相关处理，进入预处理阶段，对图像进行的灰度处理和二值化处理。

带雾图与非带雾图的区别表现在图像上为图像呈现灰暗或泛白，对比度通常较低，雾霾严重时表现为颜色的偏移与失真，色彩保真度下降，图像在时域上的表现比较明显，图像的直方图灰度级分布较集中，灰度级趋于均值，导致直方图的动态范围缩小，对应图像的细节信息减少。因此，对图像是否为带雾图可以通过其灰度直方图的动态范围来进行判断。图5为同一图像在晴朗天气下拍摄和雾天拍摄的图像灰度直方图。

图5 带雾图与非带雾图的灰度直方图对比

在预处理阶段对图像进行灰度化、灰度拉伸、小波去噪［10］、二值化和边缘检测［11］等相关处理，通过灰度处理和基于数学形态学的相关边缘检测等来达到减少信息存储容量的问题，并尽可能地去除用户不感兴趣的区域，即与车牌无关的其他信息，突出车牌区域的纹理特点，提高视觉效果，为后续的定位、分割及识别工作做好基础工作。

2.2 车牌定位

车牌定位是根据车牌区域的颜色和纹理特征进行定位［12］，在研究系统的定位阶段，首先通过二值化方法消除图像中的噪声，并先对车牌区域用搜索算法进行粗定位，然后根据字符的边缘特征进行车牌的精确定位，并对车牌图像进行灰度变换，最终得到无边框、灰度对比强的车牌图像，如图6所示。

图6 车牌图像定位图

2.3 字符分割

车牌字符分割是把车牌定位阶段提取的车牌区域进行分割，得到单个的汉字、字母和数字等字符。本研究的字符分割阶段首先采用ostu法对车牌区域的图像进行二值化分割［13］，然后对分割后的字符进行连通域标记，本研究采用快速连通域标记的方法，标记后并对各个连通域进行后续的相关处理，最后提出字符的连通域，这种方法可以有效地克服字符的倾斜问题，并提高了连通域提取的速度，获得较好的分割字符，具有很好的实用性和鲁棒性，分割后的车牌字符如图7所示。

图7 车辆图像字符分割图

2.4 特征提取

特征提取是找到某种变换，将N维的模式识别空间转换到维数小得多的M维特征空间［14］，并同时保留模式识别所需要的大部分关键信息。在系统的特征提取阶段，对车牌上的汉字、数字和字母做分类处理，利用粗网格、边框和笔画密度等方法分别进行特征提取。

2.5 基于BP神经网络的车牌识别

BP神经网络具有非线性映射能力、泛化能力、容错能力等优点［15－16］，所以本文选取BP神经网络模型进行字符的识别。

设计了4个单一的分类器，分别是汉字网络、字母网络、数字和字母网络、数字网络，如图8所示。

图8 BP神经网络的分类器设计

在研究中，提供了99个数字样本、339个字母样本和20个汉字样本供神经网络进行学习，测试了60组车牌样本共420个字符，其中包括60个汉字、130个字母、230个数字，用MATLAB对识别系统进行了仿真，图A和图B的识别结果如图9所示。

图9 车辆图像的车牌字符识别

3 结束语

本文对暗原色去雾的方法进行了深入研究，并发现了其对车辆信息识别系统中白色车辆及天空区域的图像进行去雾的效果不理想，并提出了改进的算法，所提出的算法能够比较精确地获取明亮物体和白色物体的透射率，经过试验表明，改进的算法能够很好地消除雾霾天气情况对摄像机造成的影响，通过去雾处理解决了由于雾霾天气所致使的车辆信息图像的对比度及清晰度降低的问题。将还原后的图像经过车牌定位、字符分割，最后送入设计的BP神经网络。

［1］程爱玲.自然环境下的车牌识别关键方法研究［D］.沈阳:东北大学，2008.

［2］赵晓霞，王汝琳，张莉莉.恶劣天气下降质图像增强算法研究［J］.微计算机信息，2010(8):3－4.

［3］ TAN R T.Visibility in bad weather from a single image［C］//Proc.26th IEEE Conference on Computer Vision and Pattern Recognition.Anchorage.AK，USA:IEEE Press，2008:1956－1963.

［4］ HE Kaiming，SUN Jian，TANG Xiaoou.Single image haze removal using dark channel prior［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Miami，FL，USA:IEEE Press，2009:1956－1963.

［5］嵇晓强，戴明，孙丽娜，等.暗原色先验图像去雾算法研究［J］.光电子·激光，2011(6):926－930.

［6］芮义斌，李鹏，孙锦涛.一种图像去薄雾方法［J］.计算机应用，2006，26(l):154－156.

［7］ CHAVEZ P.An improved dark－object subtraction technique for atmospheric scattering correction ofmultispectral data［J］.Remote Sensing of Environment，1988，24(3):450－479.

［8］郭珈，王孝通，胡程鹏，等.基于邻域相似性的暗原色先验图像去雾方法［J］.计算机应用，2011，31(5):1225－1226.

［9］冯骢，达飞鹏，陈璋雯.一种改进的基于暗原色理论的去雾方法［J］.东南大学学报:自然科学版，2012，42(S1):70－73.

［10］胡欣，张利军.自适应非线性小波在灰度级图像去噪中的应用［J］.电视技术，2010，34(9):25－28.

［11］吕金坤，王明泉，蔡文涛.结合数学形态学和图像融合的边缘检测算法［J］.电视技术，2013，37(3):26－28.

［12］李波，曾致远，付祥胜.基于数学形态学和边缘特征的车牌定位算法［J］.电视技术，2005，29(7):94－96.

［13］王冠，敖志刚，刘永跃，等.基于快速连通域标记的车牌字符分割［J］.计算机与现代化，2007(6):55－57.

［14］谭勇，朱斌.基于改进特征提取的BP神经网络车牌识别［J］.重庆理工学院学报，2009(6):42－45.

［15］孙梦.基于神经网络的车牌牌照识别系统的研究与实现［D］.北京:北京工商大学，2010.

［16］韩力群.人工神经网络教程［M］.北京:北京邮电大学出版社，2006:58－75.