基于流形学习的车牌图像超分辨率算法

刘 颖, 魏丽娜, 王殿伟, 李大湘

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121；2.西安邮电大学 计算机学院， 陕西 西安 710121)

基于流形学习的车牌图像超分辨率算法

刘 颖1, 魏丽娜2, 王殿伟1, 李大湘1

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121；2.西安邮电大学 计算机学院， 陕西 西安 710121)

为了解决视频监控系统中车牌图像分辨率较低、车牌字符难以辨识的问题，提出一种基于流形学习的车牌图像超分辨率重建算法。首先学习训练样本库中高、低分辨率图像之间的映射关系，然后利用线性判别分析(Linear Discriminant Analysis ,LDA)算法提取图像特征，并利用流形学习中的局部线性嵌入(Locally Linear Embedding ，LLE)算法对特征向量进行参数建模，最后通过特征映射关系获得高分辨率图像。实验表明，该方法对监控系统中的低分辨率车牌图像具有较好的超分辨率复原效果，不仅提高了字符的可读性，而且具有更高的峰值信噪比。

超分辨率；流形学习；车牌图像；局部线性嵌入

在视频监控系统中，由于摄像头与车辆的距离较远，成像设备获取的视频图像的分辨率低、数据的编码和存储过程中的有损压缩，以及光线强度和大气扰动等因素，导致获取车牌图像分辨率比较低，车牌数据的辨识能力低下，严重影响了这些视频图像在违章监管、案件侦破等工作中的应用价值。为了有效地提高车牌图像的分辨率，增加车牌识别的正确率，利用低分辨率的车牌图像复原出高分辨率的图像就显得尤为重要。

目前提高图像分辨率的方法主要有提高单位面积上的像素数量、改变成像系统探测元排列方式、增加成像芯片的尺寸以及采用超分辨率技术四大类。前三种提高成像分辨率的方法都是通过硬件技术进行的，成本较高。超分辨率技术是通过软件方法从单幅或多幅低分辨率图像中复原出高分辨率图像的方法，它是一种快速、低成本的提高图像质量的方法，具有很高的实用价值，所以一直是图像处理领域研究的热点[1]。

超分辨率技术有基于重建的超分辨率技术[2-3]和基于学习的超分辨率技术[4-5]两种复原方法。基于重建的超分辨率方法是从输入图像中得到可用信息，求解过程相当于信息提取和信息融合；基于学习的超分辨率方法依靠一个事先建立的图像训练库，对低分辨率图像进行超分辨率放大，能够弥补基于重建方法的很多不足，比较适合于具有固定模式的图像，如人脸和文字。车牌图像属于文字类型，所以本文将其应用于车牌图像[6]。

Baker等人[7]在2000年提出基于学习的图像超分辨率方法，将其用于人脸图像的分辨率增强。Freeman[8-9]等人提出了一种基于例子的超分辨率方法，利用马尔科夫网络建模，学习高分辨率(HR)图像与其对应的低分辨率(LR)图像之间的关系。Su[10]等讨论“近邻问题”，提出一种新的特征提取方法来提高图像超分辨率的重建性能。Chan[11]等提出的特征提取方法是利用一阶梯度和归一化亮度组成特征矢量，但该方法的效果也不是很令人满意。因此，需要更合适的特征来改进超分辨率的重建性能。香港科技大学的Chang[12]等学者提出一种基于邻域嵌入的超分辨率重建算法，假设高分辨率和低分辨率图像块的局部几何特征是类似的，通过学习训练集中LR图像及其对应的HR图像的映射关系，估计未知的超分辨率图像。Chang的算法效果很好，对后面学者的研究有重要的意义。但该算法也存在着不足：(1)用欧式方法计算距离，该算法易受到近邻点个数的影响；(2)选取的特征较为简单。本文将流形学习的思想用于车牌图像的超分辨率复原，针对以上两点做了改进，提出一种基于线性鉴别分析(Linear Discriminant Analysis ,LDA)和局部线性嵌入(Locally Linear Embedding ，LLE)相结合的车牌图像超分辨率重建方法。首先利用LDA算法提取图像特征，然后用LLE算法对其进行建模，通过学习模型获得高分辨率图像。

1 理论简述

Roweis等[13]在2000年提出了局部线性嵌入算法，假设两个点在高维空间中相邻，那么其映射到低维空间中的两个点也相邻,保存流形中的局部几何特征是其核心思想。

LLE[14]的具体算法实现为:设在高维欧氏空间RD中有数据集X={x1,x2,…,xN},该方法希望将X嵌入到一个相对低维的空间Rd中(d

LLE算法可以归纳为如下3个步骤。

步骤1 计算出每个样本点的k个近邻点；

步骤2 由每个样本点的近邻点计算出该样本点的局部重建权值矩阵；

步骤3 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。

为了客观地评价超分辨率算法的效果，通常使用峰值信噪比(PSNR)做衡量的指标。峰值信噪比(PSNR)定义为

PSNR=20×lg(L/RMSE),

(1)

其中RMSE(均方根误差)定义为

RMSE=

(2)

其中HR为原始的高分辨率图像；SR为低分辨率图像复原得到的超分辨率图像；M,N为图像的长度和宽度；对8_bit的图像来说，L=255。

2 算法重建

2.1 改进距离度量的局部线性嵌入算法

在文献[12]中，Chang首次将流形学习算法应用到超分辨率算法中，假设高分辨率与低分辨率图像块的流形结构是相似的，实验结果也证实了相邻的高分辨率图像块退化后的低分辨率图像块也相邻。如果数据点是从单个流形上采样得到时，欧式距离能够代表流形的局部几何结构，但当数据点是从多个流形结构采样得到时，欧式距离方法就不能精确描述流形的局部几何特征。因此，可以利用数据集的先验信息来学习新的距离度量，使局部邻域能够更精确地近似流形的局部几何结构。本文在传统LLE算法上对距离的求取进行改进，利用相关成分分析学习马氏距离来代替传统的欧式距离，马氏距离公式为

(3)

其中Xi,Xj为样本向量，S为协方差矩阵。这种新的距离方法使局部邻域能更精确近似流形的局部几何结构。

2.2LDA特征提取方法

线性判别分析(LDA)[15]，其主要目的是尽量减小同类样本间的距离，使不同类别的样本尽可能的分离。

在文献[12]中，Chang等在特征提取方面只是简单地提取了像素亮度值的一阶、二阶梯度，将其作为低分辨率图像块的特征，这种方法对噪声比较敏感，鲁棒性不是很好。本文提出了一种新的特征提取方法，将LDA算法引入到LLE算法中，可最大化不同类别数据间的可分性。

2.3 算法流程

基于流形学习的车牌超分辨率算法分为两个过程，即训练过程和学习过程。训练过程是对训练集中的数据进行处理，获取训练库中LR图像和HR图像的特征。学习过程是对输入的低分辨率图像进行处理，提取特征，利用训练过程获得的映射关系重建出超分辨率图像，算法流程如图1所示。

(a)训练过程流程

(b)学习过程流程

3 实验结果与分析

在实验中，以车牌为研究对象进行LLE+LDA模型下的基于流形学习的超分辨率复原。收集200幅车牌图像，图像大小为480×160，将采集的车牌图像作为训练集中的高分辨率图像，对其进行模糊、下采样后，得到训练集中的低分辨率图像。实验随机选择5幅车牌图像作为测试图像，其余的195幅车牌图像当做训练集。

为了验证所提出算法的有效性，将与Chang的算法及最近邻插值算法进行比较，结果如图2和图3所示。

(a) 低分辨率图像

(b) 最近邻插值结果

(c) Chang算法的结果

(d) 本文方法的结果

(a) 低分辨率图像

(b)最近邻插值结果

(c) Chang算法的结果

(d) 本文方法的结果

从图2和图3中可以看出，Chang的方法和本文的方法要明显的优于最近邻插值算法，这两种方法在处理细节方面都有较好的效果，而本文结果要比Chang的算法结果更清晰，更平滑。从图中还可以看出处理前的低分辨率图像的字符比较模糊，很难辨识，本文方法处理后的图像可以较好的辨识出各个字符，显著地提高了字符的可辨识性，具有较好的复原效果。经统计，本文方法处理后的字符具有较高的辨识率，表1是4种情况下处理前和处理后的字符可辨识率。

表1 字符可辨识率

图4为5幅测试样本不同方法的峰值信噪比，从图中可以看出，最近邻插值算法具有最低的峰值信噪比，本文方法比Chang的方法具有更高的峰值信噪比。

图4 车牌图像不同方法的峰值信噪比

4 结束语

为了取得更好的超分辨率复原效果，将流形学习中的LLE算法引入到超分辨率复原，采用LLE和LDA算法相结合的方法对车牌图像进行基于学习的超分辨率复原，并使用马氏距离度量方法对局部线性嵌入算法进行改进，可以更精确地近似流形的局部几何结构，在一定程度上缩短了分类时间。实验结果表明，本文提出的超分辨率方法显著提高了车牌字符的可辨识性，具有更高的峰值信噪比。

[1] 吴炜,陶青川.基于学习的图像增强技术[M].西安：西安电子科技大学出版社,2013:53-65.

[2] 杨宇翔.图像超分辨率重建算法研究[D].中国科学技术大学,2013:10-14.

[3] Park S C, Park M K, Kang M G．Super-resolution image reconstruction:a technical overview[J]．IEEE Signal Processing Magazine,2003,20(3):21-36.

[4] Yang Min Chun,Wang Yu Chiang Frank.A self-learning approach to single image superresolution[J]. IEEE Transactions on Multimedia, 2013, 15(3):498-508.

[5] 黄东军,侯松林.一种基于学习的非线性人脸图像超分辨率算法[J].计算机应用,2009,29 (5):1139-1344.

[6] 吴炜,杨晓敏,卿粼波.基于马尔可夫随机场的低分辨率车牌图像复原算法[J].计算机应用研究，2010,27(3):1170-1173.

[7] Simon B,Takeo K. Limits on super-resolution and how to break them[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2000,9(2): 372-379.

[8] Freeman W T, Jones T R, Carmichael O T. Learning low-level vision[J].International Journal of Computer Vision ,2000, 40(1):25-47.

[9] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J].IEEE Computer Graphics and Applications, 2002,22(2): 56-65.

[10] Su K，Qi T，Qing X，et al．Neighborhood issue in single frame image super-resolution[C]∥IEEE conference on Multimedia and Expo．Amsterdam：IEEE．2005 ,6(5):109-112．

[11] Chan Tak Ming，Zhang Junping，Pu Jian．et a1．Neighbor embedding based super-resolution algorithm through edge detection and feature se1ection[J]. Pattern Recognition Letters,2009,30(5):494 -502．

[12] Chang Hong, Yeung Dit Yan, Xiong Yimin. Super-resolution through neighbor embedding[C] // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. USA Washington DC, 2004,10(1): 275-282.

[13] Roweis S T , Saul L K .Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500):2323-2326.

[14] 罗四维,赵连伟.基于谱图理论的流形学习算法.计算机研究与发展,2006,43(7):1173-1179.

[15] 董吉文,赵磊，李秀丽. KPCA和NS-LDA相结合的人脸识别研究[J].计算机技术与发展，2013，23(5):100-114.

[责任编辑:祝剑]

A license plate super-resolution reconstruction algorithm based on manifold learning

LIU Ying1, WEI Lina2, WANG Dianwei1, LI Daxiang1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2.School of Computer Science and Technology,Xi’an University of Posts and Telecommunications,Xi’an 710121,China)

In order to address the problem of low resolution in surveillance video which causes the difficulty in recognizing license plates, a new license plate image super-resolution reconstruction method based on manifold learning is presented in this paper. Firstly, the mapping between low-resolution images and high-resolution images in training set is obtained by learning method. Secondly image feature vectors are extracted by linear discriminant analysis (LDA) algorithm and its parameters are modeled by locally linear embedding (LLE) algorithm. Finally the high resolution image is reconstructed by the mapping relation. The experimental results show that the proposed algorithm has good reconstructed performance for real surveillance system, which enhances video quality in terms of peak signal to noise ratio (PSNR) and improves interpretation of license plates.

super-resolution, manifold learning, license plate image, locally linear embedding

10.13682/j.issn.2095-6533.2014.06.005

2014-06-18

国家自然科学基金青年基金资助项目(61202183)；陕西省国际科技合作计划基金资助项目(2013KW04-05)；公安部科技强警基础工作专项基金资助项目(2014GABJC024，2014GABJC023);陕西省教育厅科学研究计划资助项目(14JK1680)

刘颖(1972-),女，博士，高级工程师，从事图像检索及图像/视频特征分析研究。E-mail: ly_yolamda@sina.com 魏丽娜(1989-),女，硕士研究生，研究方向为多媒体与应用研究。E-mail:weilina89@126.com

TN911.7

A

2095-6533(2014)06-0022-04