车牌识别系统中的超分辨率图像重建技术研究

林明儒

( 黎明职业大学 信息与电子工程学院，福建 泉州 362000 )

摘要：针对车牌识别系统中图像模糊和分辨率低而影响车牌识别效果的问题，提出利用超分辨率重建来提高车牌图像分辨率的解决方法.建立了凸集投影(POCS)算法的数学模型，研究了凸集投影超分辨率重建的实现过程，并用仿真实验进行了验证.实验结果表明：采用凸集投影算法进行图像重建，可以提高车牌图像分辨率，丰富图像细节信息，能够有效提高车牌识别的准确率，并且迭代次数越多，图像重建效果越好.

关键词：超分辨率； 图像重建； 凸集投影； 车牌识别

收稿日期：2015-06-24

基金项目：福建省教育厅科技研究项目(JB12290)；黎明职业大学校级课题研究项目(LZ2012102)；黎明职业大学科研团队建设项目(LMTD2014104)

文章编号：1004-4353(2015)03-0233-05

中图分类号：TP391.41

Research of super-resolution image reconstruction in license plate recognition system

LIN Mingru

(SchoolofInformationandElectronicEngineering,LimingVocationalUniversity，

Quanzhou362000,China)

Abstract：In the license plate recognition system,blurred image and low resolution affect the effect of license plate recognition. A method which uses the super-resolution image reconstruction to improve the resolution of plate image is proposed. In this paper,mathematical model of projection onto convex sets (POCS) is established and the process of image reconstruction based on POCS is researched. Simulation experiments are conducted to verify the research. Experimental results show that，image reconstruction based on POCS algorithm can improve the resolution of license plate image,rich detail information of the image,enhance the vehicle license plate recognition system performance. Through the experiments,the more iterations are made,the better effects of image reconstruction appear.

Key words： super-resolution; image reconstruction; projection onto convex sets; license plate recognition

0引言

车牌识别作为智能交通管理的重要组成部分，在违章车辆监控、高速公路不停车电子收费、智能停车场管理等领域得到广泛应用.车牌识别系统包括车牌图像采集、图像预处理、车牌定位、字符分割和字符识别等部分[1].在实际应用中，车牌图像的采集因为受到光照、成像设备、车辆运动快慢、图像传输等因素的影响，容易出现图像分辨率低、干扰噪声多、图像模糊等现象，影响车牌识别的准确率.为提高车牌图像的分辨率，通常采用硬件技术和软件处理来提高图像的分辨率.文献[2]通过改善硬件设备方法提高了车牌字符识别率，但该方法工作量大，成本高.文献[3]通过采用插值放大与双边滤波相结合的车牌图像超分辨率重建方法，提高了车牌图像的亚像素级精度.文献[4]基于马尔可夫随机场的车牌图像重建方法，对图像进行分块后通过建立模型进行字符训练，然后根据训练结果预测图像高频细节信息.文献[5]基于稀疏编码的超分辨率车牌图像重建技术建立了高低分辨率图像之间的关系，该方法先定位车牌的目标区域，然后再通过压缩感知重建高分辨率车牌图像.本文研究是基于凸集投影算法的超分辨率图像重建技术，从视频中提取多幅低分辨率车牌图像进行超分辨率重建，以此提高车牌图像质量.

1超分辨率图像重建技术

图像超分辨率重建技术就是利用一组低质量、低分辨率图像来产生单幅高质量、高分辨率图像[6].通过超分辨率重建，可以弥补硬件原因造成的图像像素丢失，消除图像的噪声，恢复图像的细节信息，获得高分辨率图像.超分辨率重建方法在遥感成像、医学影像等领域已经得到应用[7-8].超分辨率图像重建分为频域法[9]和空域法[10]两大类.频域法计算简单，但由于没有充分利用图像的先验信息，一般只用在全局平移运动的图像上，可对于运动模糊和干扰噪声的图像，其重建效果和灵活性较差.空域法能够较好地利用图像的先验知识，对运动模糊、全局或局部运动、噪声干扰等图像进行重建，应用范围广.常见的空域重建方法有基于插值重建法[11]、基于概率论方法[12]、基于集合论方法[13]和迭代反投影法[14].

随着超分辨率重建技术研究的深入，国内外许多学者提出了一些新的图像重建技术.Kim等[15]提出了基于稀疏回归的单帧图像重建技术，这是一种基于学习的图像超分辨率重建技术.文献[16]的作者通过先进行大量图像训练，建立图像梯度分布模型，然后利用模型中的梯度场对预重建图像的梯度场进行正则性约束，以实现增强图像进行重建.韩玉兵等[17]提出了基于MG-GMRES算法的图像重建方法，他们在概率估计和加权二乘的基础上，通过对非对称线性稀疏关系进行求解，来实现图像超分辨率重建，结果显示该算法重建效果较好.陈湘骥[18]提出了基于多尺度相似学习的图像重建方法，该方法先将图像拆分再进行多重匹配，以提高匹配精度，然后再结合近邻嵌入方法进行图像重建，该算法鲁棒性高.此外，文献[19]提出了基于曲率的迭代插值图像重建方法，文献[20]提出了基于学习和基于重构相结合的超分辨率重建方法.虽然超分辨率图像重建技术近年来得到大力发展和研究，但仍存在一些不足：图像信息密集区域重建后容易出现边缘模糊；大多图像重建方法只针对单帧图像，而从视频中获取的多帧运动模糊图像重建效果较差；图像重建方法大多是放大2n倍的图像重建，针对任意倍数放大的图像重建成功范例较少.

2基于凸集投影的超分辨率图像重建

凸集投影(POCS)算法具有观测模型灵活、算法简单、重建过程能够充分利用图像先验信息等优点，又因为车牌具有固定的规格，容易为凸集投影提供先验信息，因此车牌图像超分辨率重建适宜选用凸集投影法.

2.1　凸集投影算法数学模型

设m,n∈S，存在am+(1-a)n∈S(其中0≤a≤1)，则称S是一个凸集.

凸集投影法是根据约束凸集进行图像超分辨率重建，约束凸集分为误差噪声约束集、幅值约束集、数据一致性约束集3种[21]，约束凸集可以定义为

S(m,n)={f(m,n):|α(f)(m,n)|≤δ(m,n)},

(1)

式中δ(m,n)用来表示对观测结果信任度的参数，α(f)(m,n)表示低分辨率图像与拟重建的高分辨率图像之间的差值.

设r(m1,n1;m2,n2)为点扩展函数，则拟重建高分辨率图像f(m,n)各像素点在约束凸集S(m,n)上的投影G(m,n)[f(m,n)]可以表示为

(2)

根据8bit图像的先验知识可知，其取值范围为[0,255]，所以幅值约束集SA可以表示为

SA={f(m,n):0≤f(m,n)≤255}.

(3)

根据式(2)和式(3)，图像f(m,n)在幅值约束集SA的投影GA为

(4)

2.2　凸集投影超分辨率图像重建的实现

凸集投影超分辨率重建过程为：

1) 从视频获取连续多帧低分辨率图像序列；

2) 从获取的低分辨率图像序列中选择其中一幅作为初始图像，对其进行插值放大(插值放大倍数根据需要自行设置)后作为高分辨率图像的参考图像；

3) 设置迭代次数(迭代次数根据实际需要设置)，迭代次数初始值为1；

4) 读取下一帧，并计算参考帧与相邻帧图像像素之间的运动系数；

5) 根据运动系数，转化为高分辨率图像网格上的坐标；

6) 对各帧中的每个像素进行凸集运算，求得一个差值R；

7) 根据在步骤6)中所得的差值R对范围内各像素进行修正，直至差值R在(-1,1)之间；

8) 该帧图像像素全部修复完后，以该帧图像作为参考图像，重复步骤4)，直至所有图像序列全部重建完成；

9) 迭代终止，获得高分辨率图像.

3实验与结果分析

原始图像为从视频中获取的连续4帧低分辨率图像，分辨率为320×240，如图1所示.分别采用本文提出的凸集投影法、文献[4]提出的基于马尔可夫随机场和文献[14]提出的迭代反投影法对原始图像进行2倍放大图像重建，重建后图像分辨率为640×480，峰值信噪比PSNR值分别为24.252、22.370、21.688，重建效果图如图2所示.实验结果表明，采用凸集投影法进行图像重建的视觉效果明显优于基于马尔可夫随机场和迭代反投影法的重建效果，即采用凸集投影法进行图像重建的图像其细节信息更加丰富，图像信息密集区域重建后边缘更清晰，反映图像重建效果的PSNR值更高.

将在视频中获取的原始低分辨率图像(图1(a))和本文算法重建的高分辨率图像(图2(a))分别在Matlab编写的车牌识别系统中进行车牌定位和字符识别，其结果如图3和图4所示.这表明，采用凸集投影算法重建可以提高图像分辨率，进而提高系统的车牌定位和字符识别的准确率.

表1为采用不同迭代次数进行重建实验获得的PSNR值.从表1可知，迭代次数越多，PSNR值越大.这表明，迭代次数越多，重建算法精度越高，图像重建效果越好.

图1　视频获取的4帧低分辨率原始图像

图2　采用不同方法的超分辨率图像重建效果比较

图3　原始低分辨率图像进行车牌定位和字符识别的结果

图4　重建后高分辨率图像进行车牌定位和字符识别的结果

迭代次数PSNR值324.252425.130525.845626.215

4结论

本文实验结果表明，采用凸集投影法进行图像重建的视觉效果明显优于基于马尔可夫随机场和迭代反投影法的重建效果，即图像细节信息更加丰富，图像信息密集区域重建后边缘更清晰，反映图像重建效果的PSNR值更高，能够为车牌识别后续工作提供高质量的图像，进而提高车牌识别的准确率.实验还表明，迭代次数越多，图像重建质量越高.由于迭代次数越多，图像重建时间越长，因此在后续工作中，笔者将进一步研究图像重建效果和重建时间的关系，通过获取迭代次数最佳阈值，以进一步提高算法的效率.

参考文献：

[1]林明儒.基于边缘分析和纹理信息统计的车牌定位研究[J].阜阳师范学院学报,2010,27(3):66-69.

[2]李彦.探究车牌识别中的超分辨率算法[J].淮海工学院学报，2013,22(2):29-31.

[3]Yang Q X,Yang R G,Davis J,et al. Spatial depth super resolution for range images[C] //Proceedings of Computer Vision and Pattern Recognition Minneapolis. MN，USA: IEEE Computer Society Press,2007.

[4]吴炜,杨晓敏,卿粼波,等.基于马尔可夫随机场的低分辨率车牌图像复原算法[J].计算机应用研究,2010,27(3):1170-1172.

[5]姚振杰,易卫东.一种用于车牌识别的图像超分辨率算法[J].中国科学院研究生院学报,2013,30(1):137-143.

[6]李翠华,施华,戴平阳,等.引入格式塔理论的超分辨率图像重建技术[J].厦门大学学报,2011,50(2):261-270.

[7]钟九生,江南,胡斌,等.一种遥感影像超分辨率重建的稀疏表示建模及算法[J].测绘学报,2014，43(3):276-283.

[8]袁晶.基于超分辨重建数学模型的医学图像处理方法[J].计算机仿真,2014,31(5):243-245.

[9]Tsai R Y,Huang T S. Multiframe image restoration and registration[J].Advances in Computer Vision and Image Processing,1984,1:317-339.

[10]余永松,吴炜,陈为龙.基于凸集投影(POCS)的车牌图像超分辨率重建研究[J].计算机与数字工程,2009,37(2):139-142.

[11]王茜艳,陈力,李萌.基于插值的图像修复算法[J].汕头大学学报,2015,30(2):72-80.

[12]王春霞,苏红旗,范郭亮.图像超分辨率重建技术综述[J].计算机技术与发展,2011,21(5):124-127.

[13]孙玉刚.数字图像修复技术研究[D].南京:南京航空航天大学,2011.

[14]郭伟伟,章品正.基于迭代反投影的超分辨率图像重建[J].计算机科学与探索,2009,3(3):321-329.

[15]Kim K I，Kwon Y. Single-image super-resolution using sparse regression and natural image prior[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(6):1127-1133.

[16]Sun J,Xu Z,Shum H Y. Gradient profile prior and its applications in image super-resolution and enhancement[J]. IEEE Transactions on Image Processing,2011,20(6):1529-1542.

[17]韩玉兵,束锋,孙锦涛,等.基于MG-GMRES算法的图像超分辨率重建[J].计算机学报,2007,30(6):1028-1034.

[18]陈湘骥.基于多尺度相似学习的图像超分辨率重建算法研究[D].广州:华南理工大学，2014.

[19]Giachetti A,Asuni N. Real time artifact-free image up scaling[J].IEEE Transactions on Image Processing,2011,20(10):2760-2768.

[20]Yu J,Gao X,Tao D,et al. A unified learning framework for single image super-resolution[J]. IEEE Trans on Neural Networks and Learning Systems,2014,25(4):780-792.

[21]梅文兰.车牌识别中超分辨率算法的研究[D].成都:西南交通大学,2011.