基于L0正则化的车牌图像去模糊

王超，陈亚运

（合肥工业大学 计算机与信息学院，安徽 合肥　230009）

基于L0正则化的车牌图像去模糊

王超，陈亚运

（合肥工业大学 计算机与信息学院，安徽 合肥230009）

随着视频监控技术的发展、监控摄像头的普及和人们对安全信息需求的提升，监控中图像去模糊技术得到迫切需求。基于图像强度和梯度的L0正则化去模糊算法能有效恢复模糊的文本图像，但是由于车牌图像的灰度值为零的点较少，导致该方法对模糊的车牌图像复原结果有瑕疵。本文根据的灰度直方图的特性，提出一种改进方法，并与两种方法对比，本文方法取得较好的结果。

图像去模糊；L0正则化；灰度直方图；梯度直方图

近年来，随着车辆越来越多，闯红灯、肇事逃逸等违规违法事件也随之增多，虽然摄像头也越来越清晰，但是由于各种原因，往往采集到的违章车的车牌模糊不清，这样就很难获取这些车的具体信息，从而让违法者逍遥法外。因此，针对视频监控中的模糊图像处理技术就显得重要。

车牌图像和常见的自然图像的性质不同，不服从自然图像的尾重效应［1］。但是与文本图像的特性非常相似，可以利用文本图像去模糊的方法进行处理。近年来文本图像处理方法发展迅速，2002年，Li等［2］提出利用两中颜色图像来估计模糊核的联合估计方法。但是该方法只适合有两种颜色的图像，对于背景复杂的模糊文字图像处理效果不好。2011年Chen等提出一种基于图像像素值新的先验知识［3］。然而这种方法只适合二值化的文本图像，且不适合杂乱的文字图像。随后，Lou等［4］提出一种利用自然图像的稀疏特性的方法来进行自然图像和文本图像的去模糊。但是，该方法不能准确的估计出模糊核。2012年，Cho等［5］人混合图像的特殊性（如文字和背景的灰度值相差较大，文字内像素点的梯度一致）来进行去模糊。虽然这个方法得到了理想的结果，但是模糊核估计非常复杂，核估计的好坏取决于SWT（Stroke Wideth Transform）区分图像的文本和非文本区域的好坏。2014年Pan等［6］人提出一种基于图像强度先验和梯度先验的L0正则化项的去文字图像模糊方法。该方法对文字图像去模糊取得很好的结果，然而对车牌图像的去模糊不能得到理想的结果，本文将在此基础上结合车牌图像的特征，提出一种改进的方法，首先对车牌进行预处理，然后在对车牌图像去模糊操作。

1　车牌图像去运动模糊方法

1.1车牌图像的特征

车牌图像和文本图像具有以下两个个特性：1）字的颜色和背景颜色强烈的对比；2）每个字的颜色都是一样的颜色，这样，每个字上像素的梯度值接近零。

除了上述两个特性，观察图1文字图像的统计图，（a）是清晰图像，（b）和（c）分别是（a）的灰度直方图和水平梯度直方图。（d）是模糊图像，（e）和（f）分别是图像（d）的灰度直方图和水平梯度直方图。从（b）图可以看出文本图像的像素值主要集中在零点和255点两点附近，形成两个冲击峰波。如果仅仅考虑零点，则图像的像素值非常稀疏。而从模糊之后的像素统计直方图（e）得出，模糊之后的图像的零值附近的像素点变少，这使得图像变得密集，减少了图像的稀疏性。根据文字图像像素值的统计直方图特性，对一幅图像x，定义如下：

‖x‖0用来计算图像x的非零值。用这个标准把模糊图像和清晰图像区分开。

因为图像的梯度先验能过有效的抑制人工效应，所以被广泛的用在图像去模糊邻域。虽然清晰图像的像素值方图是两个波峰，但是其梯度直方图只有很少的非零值点。图 1中的（c）和（f）分别是清晰图像和模糊图像的梯度直方图。从图中可以看出模糊图像的非零值点比清晰图像的非零值点更多。这样用L0正则化先验来 Pt（▽x）来模拟图像梯度。

图1　文本图像统计图Fig.1　Statistical chart of text image

这样就得到车牌图像去模糊的先验条件，定义如下，式中σ是权值。

图2　车牌图像的统计图Fig.2　Statistical chart of license plate

车牌图像的统计如图2所示，对比图1文本图像的统计图，可以看出，车牌图像灰度直方图和文本图像灰度直方图非常相似。但是仔细对比（b）和（h）这两个图，清晰图像的像素值主要集中在像素值为25和150这两个点附近，也可以看成是两个窄波波峰，这与图1中的（b）图像相似。但是清晰的车牌图像的像素值不是集中在零点附近。这样清晰车牌图像比清晰的文字图像更密集，零点较少。

为了增加车牌图像的稀疏性，提出一种改进的方法，将车牌的左边的波峰平移到零点，如图3所示，这样零值增多。这样对式子（2）改写成如下公式：

式中x0表示像素值统计直方图中左边第一个波峰的像素值，如图2中（h）所示。

图3　车牌图像像素值统计图平移后的图像Fig.3　Statistical chart of the license plate image after changing

1.2基于L0正则化先验车牌图像的去模糊

前面介绍的先验条件P（x）用于下面的公式来去模糊：

其中，x和y分别表示原始的清晰图像和已知模糊图像，K是模糊核，是卷积操作，表示L2正则约束项，λ和 γ是权值。通常将式（4）分成下面两个公式：

根据这两个公式来进行交替迭代求最优化，首先假设k已知来求x，公式（5）是一个L0正则项问题，通常直接最小化很难求解。因此，采用基于半二次分裂L0最小化的方法，利用交替最小化的方法求解。设置两个辅助变量μ和g=（gh，gv）T，分别与x和▽x对应，目标方程改为：

其中，σ是公式（2）定义的权值。当β和μ趋向无穷大时，公式（7）的解和公式（5）接近。这样，公式（7）就可以用固定x、μ和g其中两个个变量，来交替最小化。

变量μ和g初始化的值均为零，在每次迭代过程中，通过下面的式子来求解x的值：

这也是求解最小二乘最小化问题，解的形式为：

式中的F（·）和F-1（·）分别表示快速傅里叶变换（FFT）和快速傅里叶逆变换。（·）是复共轭操作，FG=▽h）F（gh）+（▽v）F（gv），▽h和▽g分别表示水平方和垂直方向的微分操作。

当给定x时，分别有下面两个式子来求解μ和g：

可以看出公式（10）是一个最小化问题，这样μ和g的解可以根据文献［7］来获得：

通过上面的方法求出最优的x，然后根据这个x来估计模糊核k，公式（6）是一个封闭解的最小二乘最小化问题，可以用快速傅里叶变换来求解。由于直接用图像像素值求解公式（6）得到的解不准确，改用下面在梯度域估计模糊核：

这个式子用快速傅里叶变换来进行求解。在获得模糊核k之后，把负值设为零，并把模糊核进行归一化，以便于元素的和为1。模糊核估计是根据图像金字塔来由低分辨率到高分辨率逐步计算。

公式（5）对背景复杂的模糊车牌图像估计的复原效果不太好。利用拉普拉斯先验的非盲去卷积方法能很好的保存图像的细节［8］，但是同时也引入了人工效应。而基于L0正则化先验的产生了较少的振铃，同时也减少了图像的细节。为了进一步提高复原图像的质量，我们将结合这两个先验的优点进行复原图像。首先先用拉普拉斯先验的方法来估计清晰图像Il。再用公式（5）中的梯度信息Pt（▽x）估计清晰图像I0。其次计算出这两个估计图片的差异图，并用双边滤波来抑制此图的振铃效应［9］。最后，用Il减去滤波后的图像得出清晰的图像。

2　实验结果及分析

为了验证本章针对视频监控中车牌图像和行人图像去运动模糊所提出的方法，本节将用实验数据来说明本文方法的可行性，对比实验结果由对应的方法作者给出的代码跑出。

实验是在Intel Xeon处理器和20 G内存台式机上运行，在MATLAB2012b上，对一幅800×300的车牌图像大约600 s左右。本实验算法的参数设置：λ=4e-3，γ=2，σ=1。

图4第一行是原始的清晰图像，第二行分别对应的是仿真得到的模糊图像。图5是本文结果与Cho算法和Pan算法对比试验展示图每一列对应一种算法，每一行是同一幅模糊图像三种方法的恢复结果。

图4　清晰图像和模糊图像Fig.4　Clear image and the blurred image

图5　结果对比图像Fig.5　The comparison of different results

表1　图像复原结果对比（PSNR/SSIM）Tab.1 Comparison of the results of image restoration（PSNR/SSIM）

从复原结果对比可以看出，对于模糊不太严重的c图车牌，3种算法复原的结果都挺好，但是本文的PSNR和SSIM均有提高。对模糊较严重的a车牌和b车牌，Cho算法和Pan的处理结果虽然车牌能够看的更清晰，但是振铃现象较严重，本文在很大程度上减少了振铃现象，同时PSNR和SSIM都提高。

由此可见，本文算法与对比算法对车牌恢复的效果更好，既提高了峰值信噪比和结构相似度，也增加了车牌的清晰度，大大减少了振铃现象。

3　结　论

文中分析了车牌图像的特征，并与文本图像的特征作对比，得出车牌图像更密集，文本图像更稀疏，为了增加车牌图像的稀疏性，文中对车牌图像预处理，首先统计图像的灰度直方图，得到两个灰度值最多的点，取其中像素值小的点，与图像所有点作差。再利用车牌图像的灰度值和梯度值的L0正则化先验进行去模糊处理，增加了车牌的辨识率，取得较好的实验结果。

［1］Fergus R，Singh B，Hertzmann A，et al.Removing camera shake from a single photograph［C］//ACM Transactions on Graphics（TOG）.ACM，2006，25（3）:787-794.

［2］Li T H，Lii K S.A joint estimation approach for two-tone image deblurring by blind deconvolution［J］.Image Processing，IEEE Transactions on，2002，11（8）:847-858.

［3］Chen X，He X，Yang J，et al.An effective document image deblurring algorithm［C］//Computer Vision and Pattern Recognition（CVPR），2011 IEEE Conference on.IEEE，2011:369-376.

［4］Lou Y，Bertozzi A L，Soatto S.Direct sparse deblurring［J］. Journal of Mathematical Imaging and Vision，2011，39（1）:1-12.

［5］Cho H，Wang J，Lee S.Text image deblurring using text-specific properties［C］//Computer Vision-ECCV 2012.Springer Berlin Heidelberg，2012:524-537.

［6］Pan J，Hu Z，Su Z，et al.Deblurring text images via L0-regularized intensity and gradient prior［C］//Computer Vision and Pattern Recognition（CVPR），2014 IEEE Conference on. IEEE，2014:2901-2908.

［7］Xu L，Lu C，Xu Y，et al.Image smoothing via L0gradient minimization［C］//ACM Transactions on Graphics（TOG）.ACM，2011，30（6）:174.

［8］Krishnan D，Fergus R.Fast image deconvolution using hyper-Laplacian priors［C］.Advances in Neural Information Processing Systems，2009:1033-1041.

［9］Tomasi C，Manduchi R.Bilateral filtering for gray and color images［C］//Computer Vision，1998.Sixth International Conference on.IEEE，1998:839-846.

License plate image deblurring based on L0regularization

WANG Chao，CHEN Ya-yun
（School of Computer and Information，Hefei University of Technology，Hefei 230009，China）

With the development of video surveillance technology，surveillance cameras has become more and more popular. Thus the requirement for protecting individual information and monitoring the image deblurring technology is increasingly demanded.We can restore blurred text image by L0-Regularized Intensity and Gradient Prior.However，this method do not work efficiently when it comes to the restoration of license plate images，since it has less pixel witch the intensity is zero. According to the characteristics of histogram of pixel intensities，the paper will put forward an improved method，compare it with two methods and get better results.

image deblur；L0regularization；intensity histogram；gradient histogram

TN911.73

A

1674－6236（2016）05-0055-03

2015-04-08稿件编号：201504067

王 超（1989—），男，安徽滁州人，硕士。研究方向：图像与多媒体信息处理。