基于超分辨率重建的车牌图像增强算法

山显响，刘云清

（长春理工大学 电子信息工程学院，长春 130022）

车牌识别技术是目前智能交通系统的重要组成部分之一，其主要采用电子技术和图像处理技术对采集到车牌图像进行处理，主要步骤包括车牌图像预处理、车牌定位、字符分割和字符识别等。车牌图像预处理在整个识别过程中占据着重要的地位，是整个车牌识别过程成功与否的关键。但是在一些特殊情况下，例如，在监控设备中获取车牌信息，由于受环境和车体速度等条件的影响，拍摄到的车体图像分辨率比较低；在车载摄像机车牌识别技术中，由于车体相对运动、摄像机抖动、环境光线等因素的影响使得获取的图像分辨率较低，图像模糊。这些情况下普通的图像增强技术将不再适用。因此在本文中采用图像的超分辨率重建技术来解决车体图像分辨率较低的问题。超分辨率重建即从一低分辨率视频序列（LR）中重建出一幅高分辨率图像（HR），在高分辨率图像中包含了低分辨率图像中所有的纹理细节信息，从而提高车牌识别的精度。

超分辨率重建技术算法分类很多，且每个超分辨率重建算法都有其自身特点。频域处理的方法是最早提出的基于重建的超分辨率方法之一［1］；非均匀插值方法是最简单的超分辨率重建方法，但是其方法较为简单且适用性不强，因此在实际研究中较少；凸集投影（Projection onto convex sets，POCS）［2，3］是另一种比较经典的超分辨率重建算法，该算法思想比较简单，且方法形式灵活，但是其计算复杂度较高，收敛速度比较慢；最大后验率（Maximum a posterior，MAP）方法，是目前应用较多的方法之一，该算法比较灵活，尤其是在MAP方法的正则部分［1］，常用的正则项包括：双边全变差正则项、二范数正则项等。

图像的超分辨率重建通常包括两大部分，即图像的配准和图像的重建［4］。图像配准的精度对于整个过程中有着至关重要的地位，本文在第一部分对车牌图像的亚像素级配准进行了详细的叙述。图像重建是本文算法的核心部分，本文采用了各向异性的归一化卷积的超分辨率重建技术对低分辨率车牌图像进行重建，很好的提高了车牌图像的分辨率。

1 图像配准

图像配准的精确度直接影响着后续图像重建的效果。本文将图像配准分为两个过程，即整数倍像素估计和亚像素估计。整数倍像素估计采用了相位相关的算法进行实现，在整数倍像素估计的基础上利用了矩阵的离散傅里叶变换（DFT）的高倍数重采样的算法实现了亚像素的运动估计［5］。

1.1 整数倍像素运动估计

假设模板图像f1(x,y)和待配准图像f2(x,y)是由同一监控视频中获取的两帧相邻的大小为M×N的车牌图像信息，两帧车牌图像之间存在着Δx的位移关系，其中Δx=(x0,y0)，因此两帧车牌图像之间的关系为：

基于傅里叶变换中的平移定理，式（1）对应的频域关系表达式为：

式中，F1(u,v)和F2(u,v)分别为f1(x,y)和f2(x,y)的傅里叶变换。故两幅车牌图像之间的互相关功率谱Rfg为：［5，6］

式中，为F2(u,v)的复共轭为幅度归一化因子。由式（2）可知，F1(u,v)和F2(u,v)之间存在着幅值相同相位不同的关系，且相位之间相差2π(ux0+vy0)，即式（3）互相关功率谱中的相位值。因此空间域的位移只影响了频域中的相位值。通过对互相关功率谱的离散傅里叶逆变换（IDFT）将得到2维单位脉冲函数δ(x-x0,y-y0)，单位脉冲函数的坐标给出了两幅车牌图像的位移待配准关系，即(x0,y0)。通过该方法计算出的两幅图像的位移关系只是一个整数倍像素估计，由于车牌图像的超分辨率重建的过程中对图像像素精度要求较高，因此需要进一步对车牌的图像信息进行亚像素估计。下面将进一步介绍基于矩阵乘法的DCT重采样对图像位移的亚像素估计。

1.2 亚像素级运动估计

定义二维离散信号f(X,Y)，其对应的矩阵傅里叶变化为［6］：

式中,f(X,Y)是车牌图像中的大小为NA×NB的小区域；U=(u0,u1,…,uNB-1)T；X=(x0,x1,…,xNA-1)T；V=(v0,v1,…,vNB-1)T；Y=(y0,y1,…,yNA-1)T；其中k=0,1,2,…NA-1；i=0,1,2,…NB-1。

由上面所介绍的相位相关配准中，得到两幅车牌图像互功率谱的峰值(x0,y0)，取峰值位置的L邻域范围内的图像并对其进行n倍重采样的大小为NB×NB局部图像f(X,Y)，用U、V进行表示，则U=(u0,u1,…,uNB-1)T，V=(v0,v1,…,vNB-1)T，其中通过矩阵乘法的DCT的n倍重采样，得其像素位移估计参数为(Δx0,Δy0)。由于对局部图像进行了n倍重采样，因此得亚像素位移估计为

结合相位相关法得到的整数倍像素位移估计和矩阵乘法的DCT重采样得到的亚像素运动位移估计得到车牌图像的总体像素位移为：

2 图像超分辨率重建

低分辨率车牌序列图像之间的运动估计中，每一个车牌的低分辨率图像都包含有车牌图像中的唯一的信息，因此下一步将进行低分辨率车牌图像的融合，将不同序列中包含的不同车牌信息融合成一幅高分辨率图像。

2.1 归一化卷积介绍

归一化卷积［7］是将局部信号模型映射到一系列基函数的建模技术，通常采用的基函数是多项式基函数，即{1,x,y,x2,y2,xy…}。假设s0=(x0,y0)是图像中某一像素点的坐标，s=(x+x0,y+y0)是像素点s0某一邻域内的坐标，则坐标s处的像素值强度可以近似表示为在s0处的一个局部多项式级数展开［8］，即：

选定误差方程ε（s0），进行最小误差逼近，用以求解最佳投影系数P，其中：

式中，f(s)为输入信号的强度，a(s,s0)为适应度函数，c(s,s0)为确定度函数。为了使用函数来求解N个采样信号的车牌原图像，用加权的最小二乘法，则引入一个加权矩阵W，相应的最优投影系数为：

式中，f表示输入信号，是一个N×l的矩阵；B为基函数构成N×m矩阵；加权矩阵W是由确定度函数和适应度函数构成的对角矩阵。

确定度函数描述信号在采样点处的取值可信度，能够对孤立的噪声点进行稳健的处理，其取值范围为［0，1］，当取值为1时表示数据非常可信，0则表示数据完全不可采用，因此确定度函数可以表示为高斯加权函数：

式中，f(s)为输入信号的强度，(s,s0)为通过级数展开估计的信号强度，参数δr表示信号残差的可接收范围。

如式（10）所示为式（7）的解得矩阵形式，将其简化到零阶基函数，得到零阶归一化卷积解，即：

式中为插值图像，c⋅f表示适用度函数与灰度图像像素的乘积。

2.2 适用度函数的构造

当样本不足时所包含的车牌图像的结构信息较少，此时重建效果较差，因此需要得到车牌图像足够多的样本信息对车牌图像进行超分辨率重建。由于结构张量中包含了区域内图像的足够多的结构信息，因此构造图像的结构张量来获得更多的车牌图像信息。假设I(x)表示像素I(x,y)处的灰度值，那么像素的梯度信息可以用表示，而局部矢量梯度记为∇I(x)=[Ix,Ix]T，此时梯度结构张量（gradient structure tensor，GST）可定义为：

通常，为了从邻域中整合周围像素的结构信息，需要用高斯核函数对结构张量进行光滑，由此得到像素x处的局部结构张量：LST(x)=Gδ∗GST(x)；为了设计出局部结构自适应核函数，对像素x处的局部结构张量做主成分分析得：

式中，{λu,λv}(λu≥λv)为特征值，对应的特征向量记为{u，v}。这些特征向量包含了局部结构方向的分布信息。根据分布信息，沿u方向的像素灰度变化最快，而沿v方向的像素灰度变化最慢。此外，特征值{λu,λv}也体现了这两个方向上灰度的变化与局部区域内图像的形态信息。λu≈λv≈0描述了图像无明显结构变化的局部区域；λu≫λv≈0描述了图像中呈线性结构的局部区域；λu≫λv≫0描述了图像中角点处的局部区域。基于上述结构张量的计算，设计的核函数应该满足：在局部图像中包含有明显的结构信息时，核函数表现各项异性；在没有明显结构区域中，核函数表现为各项同性，因此在二维情况下设计的局部结构自适应高斯核函数可以表示为：

式中，d表示x0到x的矢量，{du，dv}为矢量d在{u，v}上的投影，{δu，δv}由各向异性A决定，在A＞β时，取：

式中，β为一固定参数本文中取0.5，A=(λu-λv)/(λu+λv)，δc为局部结构尺度，其公式为δc(x)=为局部结构Si上的灰度均值，δk,δl分别表示局部结构Si，Sj结构尺度的光滑函数，c1为一常数。

3 算法重建步骤及结果分析

3.1 算法重建步骤

本文基于相位相关和重采样算法实现车牌图像的高精度位移估计和基于归一化卷积的超分辨率重建算法对车牌图像信息进行重建，其主要步骤为：

步骤1：获取低分辨率的车牌图像序列。

步骤2：选取其中一幅低分辨率车牌图像作为参考图像，根据1.1中所述算法对车牌图像进行整数倍像素估计，根据1.2中所述算法对车牌图像进行亚像素运动估计，并得到各幅车牌图像的像素位移信息。

步骤3：利用已知的配准参数将低分辨率车牌图像序列投影到高分辨率网格上，形成非均匀采样数据。

步骤4：利用固定的适用度函数对已配准的高分辨率图像进行一次卷积得到第一幅高分辨率车牌图像HR0，并求解出车牌图像在x，y方向上的方向导数Ix和Iy。

步骤5：构造结构张量，并求解相应的特征值和特征向量，同时计算各向异性A，并构造其结构适用度函数，并进行第二次归一化卷积。

步骤6：根据最小二乘估计判断是否满足均方误差最小，若不满足则重复步骤5，若满足则输出高分辨率图像HR。

3.2 模拟仿真结果及分析

为了验证本算法的有效性，现获取一幅高分辨率的车牌图像，对理想高分辨率车牌图像进行：（1）模糊点扩展函数平滑（大小为3×3，标准差为0.5的高斯模板）；（2）添加均值为0，方差为0.005的高斯噪声而形成的模糊含噪声的高分辨率图像；（3）随机的亚像素平移；（4）经过下采样率4进行下采样产生10幅低分辨率图像，如图1所示。

为了更能说明本算法的有效性，分别用本文算法、正则化MAP法［11］、凸集投影（POCS）算法［9］、Papoulis-Gerchberg算法［12］、双三次插值算法［10］对上述十幅低分辨率图像进行超分辨率重建。如图2（a）～（e）图像，为各算法对上述10幅低分辨率车牌图像重建后的图像。从视觉的角度来看，由图（e）可知，本文算法效果最好，整个车牌区域能够很好的重构出来；图（a）为双三次插值算法重构出的图像，可以看出，图像质量较差，并没有什么改善效果。图（b）为利用PG算法重构出的图像，由图可知该算法重构出的图像存在着较为严重的“栅格”效应，在对图像进行放大处理时，该效应将会有严重的影响；图（c）为正则化MAP算法重建出的高分辨率图像，该图像噪声较为严重，且不清晰。图（d）为利用POCS算法重建的图像，其效果并不理想，图像中仍然存在着较大的模糊现象。

图1 高分辨率图像构建低分辨率图像序列

图2 多种超分辨率重建算法比较

峰值信噪比（PSNR）和均方误差（MSE）是图像质量评价的常用指标，PSNR值越大、MSE值越小表示图像质量越好，PSNR和MSE计算公式分别如式（15）和式（16）所示：

如表1所示，为不同算法重建效果的PSNR值和MSE值的比较，从表可以看出本文采用的算法PSNR值最大且MSE值最小，能够更好的获取高分辨率车牌图像。

表1 不同算法重建结果的PSNR和MSE比较

3.3 现实仿真结果及分析

现用手机拍摄一个低分辨率录像，获取其低分辨率序列并手工抠取其中的低分辨率的车牌图像［13］，如图3所示为其中两幅低分辨率车牌图像。图4（a）～（e）分别为双三次插值、PG算法、正则化MAP算法、POCS算法和本文算法对低分辨率图像重建的结果。通过观察可知，本文提出的算法处理效果优于其余四个算法，且有很好的结构保持性。其余四种算法中双三次插值法重建出的高分辨率图像和低分辨率图像相比没有太大的改善，结果最不能接受；PG算法有较严重的栅格效应，严重的影响了视觉效果；正则化MAP算法噪声污染较为严重，较低分辨率图像改善效果不大；POCS算法重建出的图像较为模糊，且边缘处有明显的锯齿形状。通过对比充分显示了本文算法的有效性。

图3 其中2幅低分辨率的车牌图像

图4 重建出的高分辨率图像

4 结语

在一些特殊情况下（例如从低分辨率的监控视频中获取车牌信息）的车牌图像增强中，本文提出了合理的方法，在车牌图像进行高精度配准的基础上，利用各向异性的归一化卷积的超分辨率重建技术重构高分辨率的车牌图像，与传统的超分辨率重建技术相比，该算法重建出的高分辨率图像质量更高，结构保持性更好。

［1］苏衡，周杰，张志浩.超分辨率图像重建方法综述［J］.自动化学报，2013（08）：1202-1213.

［2］陈健，王伟国，刘廷霞，等.基于梯度图的快速POCS超分辨率复原算法研究［J］.仪器仪表学报，2015（02）：327-338.

［3］谢甜.使用改进的POCS算法的超分辨率图像复原［J］.电子设计工程，2013（18）：142-144.

［4］Vandewalle P，Vetterli M.A frequency domain approach to registration of aliased images with application to super-resolution［M］.Hindawi Limited，2006.

［5］周武，胡跃明.基于相位相关和重采样的亚像素图像配准算法［J］.华南理工大学学报：自然科学版，2010（10）：68-73.

［6］王彩玲，程勇，赵春霞，等.局部相位相关用于图像亚像素级配准技术研究［J］.中国图象图形学报，2011（03）：427-432.

［7］徐枫，严锡君，黄陈蓉，等.特征驱动先验的归一化卷积超分辨率重建［J］.中国图象图形学报，2014（10）：1514-1523.

［8］Pham T Q.Robust fusion of irregularly sampled data using adaptive normalized convolution ［J］.EURASIP Journal on Advances in Signal Processing，2006（1）：1-12.

［9］罗国中，殷建平，祝恩.基于非局部POCS的超分辨率图像重建［J］.计算机科学，2014（08）：47-49.

［10］李展，韩国强，陈湘骥，等.基于Keren配准和插值的快速超分辨率图像重建［J］.华南理工大学学报：自然科学版，2011（05）：84-90.

［11］娄帅，丁振良，袁峰，等.一种空间自适应正则化MAP超分辨率重建算法［J］.计算机应用与软件，2009，26（12）：238-240.

［12］马俊，景维立，范冲.一种基于改进Keren空域配准方法的Papoulis-Gerchberg超分辨率重建［J］.测绘通报，2007（12）：14-17.

［13］Suresh K V，Kumar G M，Rajagopalan A N.Superresolution ofLicense Plates in RealTraffic Videos［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8（2）：321-331.