复杂天气条件下的车牌信息识别

李新煜，杨艳静，舒 畅

(电子科技大学通信与信息工程学院，四川成都 611731)

车牌识别系统是智能交通系统的重要组成部分，其任务是增强分割车牌信息，以自动识别汽车牌号，是车辆跟踪检测等智能交通管理系统的技术基础［1］。天气往往对车牌识别的效果有着较大的影响。除此之外，由于车牌本身污渍的影响或者拍摄相机的角度和曝光程度造成的图像上的噪声更是较大地影响了图像识别的精确度。因此在识别前期的预处理显得尤为重要，首先要消除天气带来的干扰和因为相机曝光过度和不足造成的图像失真，其次要通过预处理尽可能消除污渍和拍摄角度造成车牌信息的不清晰或者丢失，最后预处理应该给BP神经网络提供一系列清晰地单个字符，以实现BP神经网络高速精确地车牌识别。

1 复杂天气条件下的图像增强

1.1 图像去雾

1.1.1 基于Dark Channel Prior的去雾

在实际应用中，因为大雾带来的设备对车牌识别问题难以解决。何恺明博士基于暗原色先验的单一图像去雾方法，可以有效地解决户外环境下由雾造成的成像不清、对比度降低等问题。这种方法来自对户外无雾图像数据库的统计规律，它基于观察得到这一关键事实:绝大多数户外无雾图像的每个局部区域都存在至少一个颜色通道的强度值较低的像素。利用这些像素的信息，通过一定的方法就可以估计出雾的浓度和去雾后的图像。

文中采用McCarney大气散射模型，其广泛用于计算机视觉和图形学领域中［2］

通过对公式的逆运算可以得到去雾后图像的复原公式

由式(1)和式(2)可以看出整个复原过程主要依赖于大气光A和透射率t(x)的确定。基于暗原色先验的原理，利用暗原色值和雾天图像退化模型，可以估计出成像时刻的雾浓度和透射率t(x)［3］假设大气光A已知并且在一个局部区域内，在透射率保持一致的条件下，可求得带雾图像的大气透射率为

但是何恺明在提出其方法时，他基于大量的观察得到大部分图片是满足暗原色先验条件的，因此在运算中近似地使用了

由于明亮区域的像素值较高式(4)并不能恒成立。实验表明，当遇到明亮的区域时，式(4)的分母＜1，因此透射率的实际值大于根据暗通道先验估计的数值;特别是当图像的近景中存在白色物体、天空、较大面积偏白色区域和大面积的水等亮度较大的区域，物体上的像素有可能被选作整幅图像的光强，这时白色物体附近由于不存在像素值接近于0的暗原色的点存在，如果仍然采用式(3)计算，那么得到t(x)将接近于0，从而使去雾效果失真。文中对暗原色计算透射率公式进行了修正［4］

对于大气光A的求取，有多种方法，文中采用通过暗原色来提高大气光的估测精确度。一般估测大气光的方法会直接采用最大强度值的像素作为大气光，但实际情况中，最亮的像素可能并非是大气光而是发光物体或光滑的反光物体。利用暗原色方法，首先选取暗原色中亮度最大的0.1%像素。在以上像素中，输入图像中强度最大的像素点被选定为大气光［5］。它们并不一定是整幅图像里最亮的点。这一基于暗原色先验的简单方法与“最明亮像素”方法相比，更准确地描述了真实大气光的情况。实际处理效果和车牌处理前后对比如图1所示。

图1 处理结果比对

1.1.2 基于直方图均衡的图像增强

Dark Channel Prior是一种去雾方法，但这种算法固有的缺陷是无法处理强光下曝光过度和雨天由于雨水、反光引起的模糊。通常情况下，因为阴霾雨雪、沙尘等恶劣天气造成的图像退化都是由于对比度降低、颜色失真［6］。

直方图均衡是一种快速有效的图像处理手段，是经典的图像信息增强算法之一，它是依据各灰度值在被处理图像中的出现频率确定直方图分布，并对出现频率高的灰度值对应的区域作灰度拉伸以达到增加亮度和对比度的目的。

全局的灰度变化往往不能取得满意的结果，为突出感兴趣的目标或灰度区间，抑制相对不感兴趣的灰度区间，文中采用分段函数的直方图变换方法。分段函数直方图变换公式如下

实际操作中，文中对彩色图像的RGB3个通道分别进行分段线性直方图均衡操作，将最亮和最暗部分的值削弱，中间部分增强。之后再将3个通道叠加还原出修正后的彩色图像。

1.1.3 图层合并

考虑到实际应用中需要兼顾各种天气对成像带来的影响，最终无雾的图像是将原有雾图像经Dark Channel Prior处理的结果和通过线性直方图均衡处理的结果，按照一定的比例叠加所得到的，这样可以保证图像在整体无雾的前提下细节和曝光得到良好的控制。直方图均衡和图层合并后的结果如图2所示。图2(a)大雪天气原图;图2(b)大雪天气Dark Channel Prior算法结果;图2(c)直方图处理结果;图2(d)最终结果;图2(e)雨雾天气原图;图2(f)雨雾天气最终结果;图2(g)大雾天气原图;图2(h)大雾天气最终结果。

1.2 图像还原

1.2.1 阈值分析和开闭运算

由于天气带来的影响，一般车牌上的数字会残缺不全或部分信息不清晰，而由于环境因素对车牌造成的污染使得识别和图像分割难以进行。

针对这样的情况首先需要进行阈值分析，将环境因素对车牌识别带来的影响降到最低。实际操作中通过计算全图像所有像素灰度值均值A;然后使用如下公式进行灰度图像的二值处理

图2 各种天气条件下处理结果及车牌细节对比

在识别前，为保证识别能够高效正确地进行，需要用图像形态学的方法对车牌不清晰或者缺失的部分进行图像还原，为保证还原能够尽可能真实地反映原图像信息，先对原图像取轮廓，求取轮廓运算使用的是文献［7］的方法。之后对轮廓进行二值形态学处理。二值形态学中最基本的两种运算膨胀和腐蚀运算［8］。在二值空间中，两种运算的定义分别为

腐蚀运算

膨胀运算

实际处理中采用由膨胀腐蚀组合而成的开闭运算，开运算可以消除细小物体，在纤细点分离出物体，平滑物体边界;闭运算填充物体内细小空洞，连接相邻物体，在不明显改变物体面积的情况下平滑其边界。开闭运算的定义式如下

开运算

闭运算

利用二值形态学，先采用闭运算，再采用开运算。重复操作适当的次数可以得到较为清晰满意的结果。但开闭运算并非重复的次数越多越好，闭运算会填补某些数字中的空隙，比如数字“8”就可能因为多次闭运算而被填成实心进而对识别产生影响。

通过阈值分析法和二值形态学方法处理后的结果如图3所示，从上到下依次为:原图、灰度图、阈值分析结果、边缘提取图、开闭运算后结果。

图3 通过阈值分析法和二值形态学方法处理后的结果

1.2.2 图像的分割处理

文中采用的BP神经网络识别方法需要对车牌信息逐位识别，因此需要在识别前将车牌中的几位数字和字母信息提取出来。进行这类图像分割的方法有多种，文中依然采用二值形态学的方法并稍加拓展。

经过大量的观察和实验，所有车牌的数字和字母间都有固定的间距，而通过二值形态学开闭运算的图像增强，这些字符间的空隙基本都能保留。在一张的车牌图像汇总所有数字和26个字母在车牌中最细的部分也要占5个像素的宽度，比如字母“L”的尾部。这样，利用二值形态学的腐蚀运算

例如选取结构元素为的列像素进行扫描，并进行如下运算

运算结果保证每两个独立字符间都至少有一列全1像素，根据字符间间隙可以将一张车牌图像分割成独立的字符。

图4 图像分割结果

2 基于BP神经网络的图像识别

2.1 BP神经网络训练

BP(Back Propagation)神经网络，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元;中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或多隐层结构;最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止［9］。

在实际设计中，本次试验根据BP神经网络的基本模型和BP算法，建立了如图5所示的3层BP神经网络。文中笔者测试过程中忽略了车牌上的汉字，实际只对26个字母和10个数字进行了识别测试，因此采用36个输出层节点。隐含层神经元数一句经验公式K=2n+1［10］进行计算。

图5 3层BP神经网络

BP神经网络因其较大的计算量和复杂性，收敛速度较慢，目前有一些方法可以提高收敛速度，在此不再赘述。

2.2 BP神经网络识别结果

BP神经网络笔者共提取了50个数字样本和78个字母样本供神经网络进行学习，测试30组车牌样本共180个字符。其中数字132个字母48个。笔者使用Matlab进行了识别仿真，由于条件限制，单个数字平均有5个学习样本，单个字母平均有2个学习样本。统计情况如表1所示。

表1 统计情况

3 结束语

实验表明，文中的图像与处理部分能够有效地消除各类恶劣天气情况对摄像机成像带来的影响，尤其是大雾天气和雨雪天气造成的阴霾，分辨度降低等情况基本可以得到完全解决。利用数学形态学的算法可以有效地增强车牌信息，并在一定情况下还原部分信息。由于条件限制，笔者没能利用BP进行更多组的车牌识别测试，但是仅50个学习样本达到78%的数字识别率证明了使用BP神经网络进行后期识别的可行性。

［1］唐汉征.车牌识别系统的工作原理及其应用［J］.现代电子工程，2004(2):59－61.

［2］TAN R.Visibility in bad weather from a single image［C］.Korea:CVPR，2008.

［3］嵇晓强，戴明，孙丽娜，等.暗原色先验图像去雾算法研究［J］.光电子·激光，2011(6):926 －930.

［4］王永超.基于暗通道先验的图像去雾算法研究［D］.大连:大连理工大学，2011.

［5］HE Kaiming，SUN Jian，TANG Xiaoou.Single image Haze removal using dark channel prior［J］.IEEE Trance on Computer Visionand Pattern Recognition，2011，33(12):2341 －2353.

［6］赵晓霞，王汝琳，张莉莉.恶劣天气下降质图像增强算法研究［J］.微计算机信息，2010(8):3 －4.

［7］姜恒，高润智，苏红旗.基于分区的自适应Canny边缘检测［J］.科技创新导报，2011(28):10.

［8］孙继平，吴冰，刘晓阳.基于膨胀/腐蚀运算的神经网络图像预处理方法及其应用研究［J］.计算机学报，2005(6):985－990.

［9］焦李成.神经网络理论［M］.西安:西安电子科技大学出版社，1993.

［10］谭勇，朱斌.基于改进特征提取的BP神经网络车牌识别［J］.重庆理工学院学报，2009(6):42 －45.