基于PSO-RBF神经网络的雾霾车牌识别算法研究

毛晓波，张 群，梁 静,刘艳红

(郑州大学 电气工程学院，河南 郑州450001)

基于PSO-RBF神经网络的雾霾车牌识别算法研究

毛晓波，张 群，梁 静,刘艳红

(郑州大学 电气工程学院，河南 郑州450001)

给出一种雾霾环境下车牌识别改进算法. 首先利用改进的暗原色先验法对雾霾天气下的车牌图像进行去雾处理；然后经预处理、定位、分割与提取，得到粗网格特征矩阵；最后采用经粒子群算法优化的径向基函数神经网络进行识别. 实验结果表明，系统去雾效果良好，且能缩短去雾处理的时间，有效提高雾霾天气下车牌识别的速度和准确率.

车牌识别；暗原色先验法；粒子群优化算法；径向基函数神经网络

0 引言

随着智能交通的普及，车牌识别系统飞速发展,在阳光充足的情况下，准确率和速度都基本能够满足人们的需求[1].但是近些年来，随着雾霾天气的增多,现有的车牌识别系统已经很难满足人们的需求.这就迫切需要引入去雾算法，以设计出效果良好的雾霾车牌识别系统.

常用的去雾算法可分为两大类：第一类是利用图像增强方法实现去雾，如增加对比度，但该方法会造成图像部分信息丢失[2]；第二类是基于物理模型的方法，如He等提出的暗原色先验法[3].该方法耗时较长，无法满足车牌识别系统的时效性[4].笔者拟通过改进暗原色先验算法透射率的细化方法，来减少算法的计算量，增加去雾的时效性.

常用的车牌识别算法有模板匹配法与神经网络识别算法[5].基于模板匹配的识别算法使用较早，方法简单，但准确率较低；基于神经网络的识别算法使用广泛，最常用的神经网络是BP神经网络[6].但由于雾霾车牌图像干扰量较多，而BP神经网络抗干扰性差，使其对雾霾车牌图像进行识别效果不佳.因此，笔者选用改进粒子群优化的径向基函数(PSO-RBF)神经网络对雾霾车牌图像进行识别.实验证明：该方法能够有效地提高雾霾车牌识别的准确率.该算法还可以应用到目标追踪[7]中，对雾霾天气下的移动车辆进行追踪并识别其车牌信息，为智能交通系统更好地适应恶劣天气提供新的技术手段.

1 改进的暗原色先验去雾算法

暗原色先验(dark channel pixel)是由He等在2009年提出的一种图像统计规律[3].他发现，在晴朗的天气下拍摄出来的图片，某些像素总会有一个或者多个色彩通道的值很低，他把这些像素称为暗原色.但是，如果在雾霾天气下拍摄同样的照片，这些暗原色像素的光强度会明显增大.这些像素光强度的变化可以反映出雾霾的投射情况，再结合大气散射模型，通过计算，可以得到清晰的去雾图像.具体算法如下：

(1)

Jc(y)表示彩色图像的每个通道的光强度值；Ω(x)代表图像的一个局部区域.

2)求出透射率t(x).

(2)

式中：ω为调整参数，可以调整远处景物的朦胧感，此处设定为0.8；A为大气光成分的强度值.

3)得到去雾的图像J(x).

(3)

式中：I(x)为要输入的雾霾车牌图像；J(x)为要得出的清晰图像；t0为设定的最低透射率，设定为0.1.

按上述步骤得出的t(x)较为粗糙，去雾效果无法达到要求，需要对t(x)进行细化.在何凯明提出的暗原色先验法中，采用软抠图(soft matting)细化t(x)[3].该方法计算量巨大，速度较慢，严重影响了去雾的速度.因此，笔者提出一种透射率细化的方法，减少计算量，缩短去雾处理的时间.该方法是在图像的边缘交界处，采用最大值滤波，修复被低估的暗原色的值.具体算法如下.

1)求取雾霾车牌图像的暗原色图像：

(4)

2)对雾霾车牌图像的暗原色图像进行滤波处理，修复边界处的暗原色.

(5)

细化后的透射率：

(6)

随机选取两张颜色不同的车辆车牌图像进行去雾处理，去雾效果如图1所示.

图1 去雾处理前后对比图Fig.1 The comparison charts of before and after defogging

选用峰值信噪比(PSNR)作为性能指标评判去雾效果.其值越大说明去雾效果越好.去雾前后图片的PSNR值如表1所示.

表1 PSNR指标数据Tab.1 Indicator data of PSNR

由表1可以看出：暗原色先验算法具有良好的去雾效果；算法改进后，计算量减少，去雾效果也略有提升.

2 车牌图像处理

去雾处理后的车牌图像无法直接用来识别，需要经过预处理、定位与分割，得到归一化的字符才能进行识别.由于识别对象为去雾处理后的图像，为了增加图像特征的鲁棒性，笔者对处理后的字符图像进行粗网格特征提取，以达到更好的识别效果.

2.1 车牌图像预处理

摄像头采集到的一般为24位真彩色图像[8]，无法直接用来定位与分割，这就首先需要对图像进行预处理.这样可以消除各种噪声，以减少对后续识别过程的干扰.

车牌图像预处理的过程包括二值化、边缘检测和形态学处理[9].经过预处理，可以得到轮廓清晰的二值化图像.

2.2 车牌图像的定位

利用投影法来进行车牌定位[10]，具体为：

1)上下边界定位.逐行扫描二值化的图像，当到达车牌部位时，黑白像素会有规律的变化，以此来确定车牌的上下边界.具体算法为：自上而下逐行扫描，若某一行跳变点数(黑白像素的交替点)大于12时，则认为该行为车牌上边界，继续扫描，直到跳变数小于12，认为该行为车牌下边界.

2)左右边界定位.自左向右逐列扫描，第一次出现6个以上白像素的列，为左边界，继续扫描，到终点，最后一次出现6个以上白像素的列为右边界.

车牌定位的效果图如图2所示.

图2 车牌定位效果图Fig.2 The rendering of license plate positioning

2.3 车牌字符分割

由于字符的颜色与车牌的底色差异非常大，并且两个字符之间有一定的间距[11].根据该规律可知车牌的投影特征图像中，每两个字符之间总有一段灰度为零，裁剪掉灰度为零的部分，就可以得到分割好的图像.图3为字符分割后的图像.

图3 车牌字符分割后图像Fig.3 The images of license plate character after segmentation

2.4 粗网格特征提取

为了增强图像的鲁棒性和抗干扰能力，减少个别像素点的误差累计对图像总体像素分布的干扰，选用粗网格特征提取法提取字符信息.粗网格特征提取法是将图像分割成若干个区域，统计每个区域的像素数目.若将图像分为N×N个区域，那么总的像素数目就构成了一个N2维的特征向量.考虑到识别速度和准确率，在本次车牌识别中，选取N=8.

3 基于PSO-RBF的字符识别

最常用的车牌识别算法是运用BP神经网络进行车牌识别，但是由于去雾处理增加了图像的干扰量，导致该方法准确率下降.而径向基神经网络抗干扰能力强，鲁棒性好，故选用径向基函数(radius basis function，RBF)神经网络来实现字符识别.为了更简单有效地确定RBF神经网络的参数，进一步提高识别的准确率，笔者用粒子群优化(PSO)算法对RBF神经网络参数进行优化.

3.1 RBF神经网络

RBF神经网络是具有单隐层的3层前馈网络.其输入层与隐层之间直接连接，而隐层与输出层之间为权连接.

其完成如下非线性映射：

(7)

式中：wi是权值；X∈Rn是输入矢量；φ(•)是一个R+→R的非线性函数，一般取高斯型函数：

(8)

式中:Ci和σi是基函数的数据中心和宽度；n为中心数目.

RBF神经网络中有两类待定的参数：其一为基函数的中心Ci和宽度σi以及中心数目n；其二为输出层与隐层之间的连接权重.其中，确定基函数中心数目n的方法为减聚类法[12].具体算法如下：

1)将数据归一化为一个n维空间的p个数据点(x1,x2,…,xp)，则x1处的密度指标为：

(9)

2)每个数据点的密度计算结束后，选择最高密度指标点作为第一个聚类点，标记为Dc1.然后根据式(10)对每个数据点的密度指标进行更新.

(10)

3)每个点的密度指标都更新后，选定新的聚类中心，再次修正，直到选出的最高密度指标Dmax<λDc1(λ为规定的一个非常小的值)为止.结束聚类，所得的聚类中心即为基函数中心的个数.

由于车牌的第一个字符为汉字，后6个字符为字母与数字的混合，故设计两个分类器，分别为汉字分类器与字母数字混合分类器.两个网络的输入均为N2=64.在不考虑特殊车牌的情况下，我国的车牌第一个汉字为京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新、渝这31个汉字中的一个[5]，故汉字网络的输出节点为31.为了区别于数字，26个字母中“O”与“I”不出现在车牌中[12]，故字母数字混合网络的输出节点为34.使用减聚类算法30次，对结果进行平均取整，得到两个网络的隐层节点分别为36和50.然后用粒子群优化算法来确定基函数的中心Ci和宽度σi.

3.2 基于PSO-RBF神经网络学习算法

粒子群算法(particle swarm optimization，PSO)是由Kennedy和Eberhart等人于1995年提出的一种基于种群搜索的自适应进化计算技术，其思想来源于人工生命和演化计算理论[13].

用PSO算法确定RBF网络权值的基本步骤如下：

步骤1：采集聚类样本；

步骤2：使用减聚类算法进行聚类分析，得到基函数的中心个数；

步骤3：粒子群的种群初始化；

步骤4：每个粒子的适应度fi与它的最好位置的适应度相比较，选出最好，更新数据；

步骤5：每个粒子的适应度fi与群体所经历最好位置的适应度相比较，选出最好，更新数据；

步骤6：不断调整粒子的位置和速度；

步骤7：一直重复步骤4、5与6，直到多次迭代得到的解的差值小于0.000 1；

步骤8：将群体所经历最好位置进行求解，得出基函数的宽度和中心位置；

步骤10：比较每个粒子的适应度G与它所经历的最好位置的适应度，选出最好，更新数据；

步骤11：比较每个粒子的适应度G与群体所经历最好位置的适应度，选出最好，更新数据；

步骤12：同样重复步骤4、5与6，直到多次迭代得到的解的差值小于0.000 1；

步骤13：输出最优参数，停止计算.

4 实验及结果分析

随机选取5张雾霾车牌图像进行去雾处理，去雾时间如表2所示.

表2 算法改进前后的处理时间对比Tab.2 The time comparison of before and after the algorithm improved ms

由表2可知，改进后的算法去雾时间比改进前明显减少.通过大量的实验对比可以得出结论：改进后的暗原色先验去雾算法能在保证去雾效果的同时，大幅提高实时性，符合车牌图像快速去雾需求.

选取800张雾霾车牌图像(其中600张来源于网络，200张来自实验室研究人员各地实地拍摄)仅进行预处理，得到归一化的字符，然后对处理后得到的字符进行筛选.选出200个汉字字符，这些字符中每个汉字至少出现5次. 利用matlab R2014a仿真软件，分别用BP神经网络、RBF神经网络与PSO-RBF神经网络方法进行训练，然后利用训练后的神经网络对800张车牌进行识别，统计出识别准确率. 同理，训练字母数字神经网络，并进行识别，统计准确率.将上述过程重复进行20次，对得到的准确率求均值.对800张雾霾车牌图片分别进行普通去雾处理和改进去雾处理，依上文提高的方法进行训练与识别，同样重复进行20次试验，得到的均值结果如表3所示.

表3 几种算法的识别准确率比较Tab.3 The recognition accuracy of several algorithms %

通过表3中准确率的对比可以发现：未经去雾处理的雾霾车牌图像识别准确率较低，经过去雾处理后，雾霾车牌图像的识别准确率大幅度提高；利用PSO-RBF神经网络准略率略高于BP神经网络与RBF神经网络；基于PSO-RBF神经网络，使用改进去雾算法的系统对于雾霾天气下的车牌图像识别率最高.

仅仅利用均值来评价神经网络的性能是不够的，还需要利用t-检验的方法，在统计学意义上对算法的性能进行了比较.t-检验是一种相对严格的基于概率意义的性能对比评价方法[14].取t-检验的分位数为单侧0.05，自由度为20，t-检验的临界值通过查表为1.725.针对改进去雾后车牌雾霾图像识别结果，PSO-RBF神经网络相对于BP神经网络的t值为3.342，PSO-RBF神经网络相对于RBF神经网络的t值为2.429.可知PSO-RBF神经网络无论在准确率还是稳定性方面均高于BP神经网络和RBF神经网络.

5 结论

针对雾霾车牌图像识别时间长、识别率低的缺点，提出基于PSO-RBF神经网络的车牌识别系统.通过改进去雾算法，明显地减少了暗原色先验法去雾时间，提高了系统的实时性.同时，利用PSO-RBF神经网络对雾霾车牌图像进行识别，克服了去雾后图像干扰增多的影响，提高了识别的准确率.通过大量实验得出结论，该系统能在保证去雾效果的同时，减少去雾时间，提高识别准确率.

[1] 张涛,王剑魁,张国山.多雾霾天气车牌识别系统图像预处理算法[J]. 山东理工大学学报(自然科学版),2015,29(1):15-19.

[2] 吴迪,朱青松. 图像去雾的最新研究进展[J]. 自动化学报,2015,41(2):221-239.

[3] HE K, SUN J, TANG X. Single image-haze removal using dark channel prior[C]//Proceedings of IEEE conference on computer vision and pattern recognition. Miami，FL，USA：IEEE Computer Society，2009：1956-1963.

[4] 孙小明,孙俊喜,赵立荣. 暗原色先验单幅图像去雾改进算法[J].中国图象图形学报,2014,19(3):381-385.

[5] 李志强,李永斌. 车牌识别技术的发展及研究现状[J]. 科技信息,2012(5):110,125.

[6] 呙润华,苏婷婷,马晓伟. BP神经网络联合模板匹配的车牌识别系统[J]. 清华大学学报(自然科学版),2013,53(9):1221-1226.

[7] 毛晓波,郝向东,梁静. 基于ELM与Mean Shift的遮挡目标跟踪算法[J]. 郑州大学学报(工学版),2016,37(1):1-5.

[8] 马爽,樊养余,雷涛. 一种基于多特征提取的实用车牌识别方法[J]. 计算机应用研究,2013,30(11):3495-3499.

[9] 宁彬. 图像处理技术在机动车车牌自动识别技术中的应用[J]. 科学技术与工程,2013,13(2):366-371.

[10]冯慧娜,白艳萍,胡红萍. 一种基于图像处理和投影的车牌定位方法[J]. 电子科技,2010,23(11):5-7.

[11]郑巧,唐鹏,韦璞. 基于自适应投影分割的接触网号牌字符提取[J]. 信息技术,2016(5):58-62.

[12]杨飞,胡万强,李耀辉. 基于RBF元模型集的多变量全局优化算法研究[J]. 郑州大学学报(理学版),2016,48(2):116-120.

[13]梁静,宋慧,瞿博阳. 基于改进粒子群算法的路径优化问题研究[J]. 郑州大学学报(工学版),2014,35(1):34-38.

[14]李鹏飞.随机性优化算法性能定量对比评价方法与应用[D].北京:中国工程物理研究院,2013.

The Haze Plate Recognition System Based on PSO-RBF Neural Network

MAO Xiaobo, ZHANG Qun, LIANG Jing, LIU Yanhong

(School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China)

In this paper, a new algorithm of license plate recognition in the hazy weather was designed. Firstly, defogging operation was introduced for license plate image in the environment of hazy by using improved dark channel prior. Then after the pretreatment, positioning, segmentation and extraction, coarse grid characteristic matrix is obtained. Finally, radial basis function (RBF) neural network, which was optimized by particle swarm algorithm in advance, was used to identify the character. The experiment results showed that the improved algorithm not only had a good effect on haze removal, but also reduced the duration of defogging, which effectively improve the license plate recognition speed and accuracy in fog and haze weather.

license plate recognition; dark channel pixel; particle swarm optimization; radial basis function

2017-03-20；

2017-05-10

国家自然科学基金资助项目(61473266)；2017年度河南省高等学校重点科研项目(17A413011);河南省高校科技创新团队支持计划项目(17IRTSTHNO13)

毛晓波(1965— )，男，河南开封人，郑州大学教授，博士，主要从事仿生机器视觉研究，E-mail:mail-mxb@zzu.edu.cn.

1671-6833(2017)04-0046-05

TP391.41

A

10.3969/j.issn.1671-6833.2017.04.002