基于旋转变换和鲁棒主成分分析的车牌校正方法

臧玉婷,黄樟灿,刘海明,熊 江,孙 昊

(武汉理工大学理学院,湖北 武汉 430070)

基于旋转变换和鲁棒主成分分析的车牌校正方法

臧玉婷,黄樟灿,刘海明,熊 江,孙 昊

(武汉理工大学理学院,湖北 武汉 430070)

本文研究了受到非高斯噪声污染及边框信息不完整的车牌图像校正的问题.利用鲁棒主成分分析与旋转变换结合的方法,获得了更具普适性的车牌矫正方法.并通过与主成分分析法、旋转投影法的矫正结果相比较,推广了本文方法具有更好的鲁棒性和普适性的结果.

鲁棒主成分分析;低秩;恢复;旋转

1引言

车牌识别系统 [1] 作为交通管理系统的重要方面, 已经受到研究者们的重视. 而车牌图像倾斜校正是车牌识别过程中的一个不可缺少的步骤,因为车牌悬挂或者拍摄角度的倾斜会严重影响到车牌字符的分割及识别.因此在车牌识别系统中,首先必须对定位到的车牌图像做倾斜校正处理.

常用的车牌校正方法有

(1)Hough 变换法 [2], 利用图像空间的线与参数空间的点的对偶性, 将车牌上下边界直线转换为计算参数空间的点的累计局部最大值,从而对车牌倾斜度进行校正.此方法直观可靠,但依赖于车牌的上下边框线;

(2) 旋转投影法 [3], 对定位到的车牌图像进行二值化,不断对图像进行旋转, 直至达到垂直投影长度最小或者水平投影字符间距最大.但此方法对噪声污染极其敏感.

(3) 字符上下边缘拟合法 [4], 对二值化后的车牌图像寻找每个字符的连通域, 对所有连通域的上顶点和下顶点进行拟合,找出字符上下边缘,再对上下边缘进行水平校正;此方法与旋转投影法一样简洁明了且理论上准确可行,但都要求车牌的字符不受其他因素的影响且对车牌图像的二值化效果要求非常高;

(4) 主成分分析法 [5], 首先通过像素点的特征寻找车牌图像的两个主元方向, 再将坐标系旋转到主元方向,从而达到校正的目的;此方法在车牌的噪声满足高斯分布的时候效果较好,而在车牌受到非高斯噪声的影响时准确率则会大大降低.

而实际拍摄的车牌图像通常无法提取到边框信息且会受到不同程度的噪声污染,在这种情况下上述车牌校正的方法则会失效,因此需找到一种能够排除噪声干扰的衡量指标来对车牌进行校正.笔者在分析了车牌的倾斜特性之后,提出了一种基于旋转变换和鲁棒主成分分析的车牌校正方法.此方法首先运用鲁棒主成分分析法对车牌图像进行去噪并恢复其低秩车牌图像,以排除噪声污染对车牌图像的秩的影响,再通过搜索使得所恢复的低秩车牌图像的秩最低的最佳旋转角度的方法来对车牌进行校正.

2鲁棒主成分分析

鲁棒主成分分析广泛应用于低秩矩阵恢复.对于所给定的数据矩阵 D ∈ Rm×n,为了恢复矩阵D 的低秩结构,可将矩阵 D 分解为两个矩阵之和,即 D=A+E. 其中矩阵A 是低秩矩阵,而矩阵E 是稀疏噪声矩阵.

矩阵的低秩恢复,需要最小化噪声污染E,且能使得矩阵 A 的秩最低.即求解如下的优化问题[6]

将其转化为单目标优化问题为

其中 rank(A) 为矩阵秩函数;0- 范数 ‖E‖0,表示矩阵中非零元素的个数;α 为参数,用来平衡低秩项和稀疏项.

由于上述优化问题的目标函数是非凸的, 是一个 NP 难题. 根据 Candes 等人的研究[7,8],可以将上述 NP 难题就转化为一个可以在多项式时间内求解的优化问题,如下

3基于旋转变换和鲁棒主成分分析的车牌校正方法

3.1车牌的倾斜特性分析

图像的 秩 的定义: 将一个 平面空 间 上的二 维图像 f 用 矩阵表 示为 D(x,y), 将 此 矩阵运用鲁棒主成分分析法去除噪声污染后恢复的低秩矩阵记为 A,该低秩矩阵的秩记为R=rank(A),也称为原二维图像 f 的秩.

观察以上三幅车牌图像,可以猜测图像 a)的秩最低,而 a)图像无论发生哪种倾斜（如图b)c) 所示）其秩均会增大.于是笔者进行了下述实验:

设未发生倾斜的车牌图像矩阵为 f,统计了车牌图像库中 300 张未发生倾斜的车牌图像的秩, 均满足 R=rank(A) ＜ k ＜ min(Nrow,Ncol); 再对这 300 张 车 牌图像分别按 顺时针和逆时针做多次不同角度的旋转,并统计每个旋转角度下的车牌图像的秩,发现这 300 张车牌图像在旋转后的秩关于车牌的倾斜角度都呈现如下图所示的趋势:

通过以上实验可以发现对于未发生倾斜的车牌图像 (例如图 a)),由于车牌的规则性以及车牌矩阵各行列间的线性相关性,可以将其看做是一个带噪声的低秩图像.而在实际中,由于车牌悬挂或拍摄角度的影响会导致车牌图像发生了倾斜（例如如图 b)c)）, 此时车牌图像的规则性就会遭到破坏,车牌图像的秩也会因此增加.

通过以上分析,可以得出车牌图像的秩在未发生倾斜时最低.本文结合旋转变换和鲁棒主成分分析,搜索使得车牌图像的秩最低的旋转角度来对车牌进行校正.

3.2基于旋转变换和鲁棒主成分分析的车牌校正方法

将车牌图像看做是一个带噪声的低秩图像,运用鲁棒主成分分析法可以消除噪声污染的影响,恢复车牌图像的低秩结构,从而求出车牌图像的秩.对于一个倾斜车牌图像,对车牌进行校正,就是将车牌旋转到车牌图像的秩最小的方向.

将原始倾斜车牌图像做不同 θ 角度的旋转 (θ为正表示逆时针旋转,为负表示顺时针旋转),并分别对旋转后的车牌图像矩阵 D ◦ θ 运用鲁棒主成分分析法恢复其低秩矩阵 ˜A,并求其秩 rank( ˜A(θ)),直到找到一个 θ∗使得

将原倾斜车牌图像做 θ∗角度的旋转,即可对车牌进行校正.

车牌校正模型应使得车牌图像旋转后所恢复的低秩矩阵 ˜A 的秩 rank(˜A) 最小. 因此建立车牌校正模型如下

此模型的求解,可以分为两个步骤, 首先是运用鲁棒主成分分析法对 rank(˜A(θ)) 进行求解,然后再优化θ角度.

对于任意一个给定的 θ,可用增广拉格朗日乘子法[9]来求解 ˜A 和 rank( ˜A), 即求解

其中λ是拉格朗日乘子,µ＞0是惩罚因子.

采用 交替 方向 法[10](alternating direction methods,ADM), 通过 反复 交 替 迭 代 矩 阵 A和 E,来求解问题 (2),求解步骤如算法 1 所示.

根据 3.1 中的分析, 可以知道 rank ˜A 关于旋转角度 θ的函数 rank( ˜A(θ)) 是一个单峰函数,因此只要给定一个旋转区间就可以采用线性搜索算法对θ进行优化.本文采用黄金分割法来进行求解,求解步骤如算法2所示.

4实验分析

4.1本文算法的校正实例

为了验证本文校正算法的性能,利用本文提出的算法对拍摄图像进行测试,车牌校正过程如图 4.1 a)–f) 所示 (图片上方的数字为车牌图像的秩).

对车牌图像库中 300 张图像分别运用本文方法进行车牌校正后,均可以得到较理想的效果.如图 4.2 展示了其它几个车牌校正效果图.

4.2与其它算法的校正效果比较

对于如下图 4.3(a) 所示的污染较严重的车牌图像. 采用本文方法进行车牌校正后的效果图如图 4.3(b) 所示. 采用旋转投影法[3]的校正效果如图 4.3(c) 所示; 采用主成分分析法[5]的校正效果如图 4.3(d) 所示.

通过比较上图中的校正效果图,由图 4.3(c)–(d) 可以看出旋转投影法和主成分分析法的校正都受到了右下方污染的影响, 校正准确率较低; 但由效果图 4.3(b) 可以看出,本文方法并没有受到此噪声污染的影响,仍能准确地对车牌进行校正.试验结果可以表明,本文方法相较于其它方法具有较好的鲁棒性.

5结论

本文在分析了车牌图像的倾斜特性的基础上,得出了车牌图像在未发生倾斜时的秩最低的结论.基于此结论,本文采用鲁棒主成分分析法对车牌图像进行低秩恢复求解图像的秩,并搜索使得车牌图像的秩最低的旋转角度的方法来对车牌进行校正.此方法不仅对受到高斯噪声污染的车牌具有很高的校正准确率,且能够准确地校正受到非高斯噪声污染的车牌.本文所提出的车牌校正方法相比于其它车牌校正方法,对车牌图像的质量要求更低,但准确率更高,鲁棒性更好.因此本文的车牌校正方法更具有普适性.

[1]Mahmood Ashoori Lalimi,Sedigheh Ghofrani.An effi cient method for vehicle license plate detection in complex scenes[J].Circ.Sys.,2011,2:320–325.

[2] 申继龙. 车牌定位和倾斜校正的关键技术研究 [D]. 南京: 南京邮电大学,2013.

[3] 王宗跃, 马洪超, 黄樟灿, 谭熙, 吴勇. 基于字符上下边缘的车牌校正方法 [J]. 武汉理工大学学报 (信息与管理工程版),2009,2:177–180,185.

[4] 王枚, 王国宏. 基于字符投影最小距离的车牌校正方法 [J]. 计算机工程,2008,6:216–218.

[5] 朱程辉, 吴德会. 基于主元分析的倾斜车牌图像校正方法研究 [J]. 微电子学与计算机,2006,1:177–180.

[6] 史加荣, 郑秀云, 魏宗田, 杨威. 低秩矩阵恢复算法综述 [J]. 计算机应用研究,2013,6:1601–1605.

[7]EmmanuelJ Cand`es.The restricted isometry property and its implications for compressed sensing[J]. Comptes rendus-Math.,2008,3469:589–592.

[8]Emmanuel J Cand`es,Benjamin Recht.Exact matrix completion via convex optimization[J].Found. Comput.Math.,2009,96:717–772.

[9] 张茂军, 南江霞, 袁功林. 带有风险价值的最优期货套期保值策略 [J]. 数学杂志,2015,35(2):214–226.

[10]Chen Jie,Zhang Yi.Sparse representation for face recognition by discriminative low-rank matrix recovery[J].J.Visual Commun.Image Repre.,2014,25:763–773.

CORRECTION METHOD OF VEHICLE LICENSE PLATE BASED ON ROTATION TRANSFORMATION AND ROBUST PRINCIPAL COMPONENT ANALYSIS

ZANG Yu-ting,HUANG Zhang-can,LIU Hai-ming,XIONG Jiang,SUN Hao
(College of Science,Wuhan University of Technology,Wuhan 430070,China)

In this paper,we study the problem of correcting the license plate image which are polluted by non-gaussian noise or with incomplete border information.By using the method of robust principal component analysis and rotation transformation,a more general applicability method of license plate correction is obtained.Through the comparison of the correction results with the method of principal component analysis and rotation pro jection,we popularizes the conclusion that the proposed mthod has better robustness and general applicability than other methods.

robust principal component analysis;low-rank;recovery;rotate

tion:68U10

8U10

TP391.41

A

0255-7797(2017)02-0439-06

2015-02-11 接收日期:2015-07-06

中央高校基本科研业务费专项资金资助 (2015-zy-114).

臧玉婷 (1989–), 女, 湖北潜江,硕士, 主要研究方向: 图像处理与智能计算.