基于稀疏K-SVD的单幅图像超分辨率重建算法

陈亚运，蒋建国，王 超

(合肥工业大学 计算机与信息学院，安徽 合肥 230009)

基于稀疏K-SVD的单幅图像超分辨率重建算法

陈亚运，蒋建国，王 超

(合肥工业大学 计算机与信息学院，安徽 合肥 230009)

图像的超分辨率重建技术可以提升图像质量，改善图像视觉效果，在现实中具有很高的实用价值。针对基于K-SVD的超分辨率重建算法的不足，提出了一种基于稀疏K-SVD的单幅图像超分辨率重建算法。首先，采用稀疏K-SVD方法进行训练获得高低分辨率字典对，以待重建的低分辨率图像及其降采样作为字典训练的样本，提高了字典和待重建的低分辨率图像的相关性；然后，采用逐级放大的思想进行重建；最后，利用非局部均值的方法，进一步提高重建效果。实验表明，与基于K-SVD的超分辨率重建算法相比，本文算法重建图像的峰值信噪比平均提高了0.6 dB左右。重建图像在视觉效果上，也有一定程度的提升。

超分辨率；字典学习；稀疏K-SVD；非局部均值

受外界环境，硬件设备限制等因素的影响，在多数情况下只能获取低分辨率的图像，而这种低分辨率的图像往往不能满足实际需求。因此，图像的超分辨率(Super Resolution，SR)重建，即从低分辨率图像中重建出高分辨率图像具有十分重要的意义。

现有的图像超分辨率重建方法可以分成两类：基于多帧和基于单帧的超分辨率重建方法。基于多帧的SR重建方法利用多幅低分辨率图像之间存在的互补信息重建高分辨率图像，其中比较典型的方法有最大后验概率算法(MAP)[1]和凸集投影法(POCS)[2]。基于多帧的SR重建方法的优点是理论上并不需要利用太多的先验知识，只需使用多幅低分辨率图像就能进行SR重建，缺点在于很难对重建过程中的运动估计、配准等环节进行准确的把握，重建图像的质量并不是太高。

基于单帧图像的SR重建方法通常分为3类：基于插值[3-4]、基于重建[5]和基于学习[6-7]的方法。常见的基于插值的SR方法过程直观、有效，但是重建后的图像带有明显的锯齿效应。基于重建的方法本质上是通过对低分辨率观测图像的获取过程进行建模，利用正则化方法构造高分辨率图像的先验约束，由低分辨率观测图像估计高分辨率图像，最终将SR重建问题转变成对一个约束条件下的代价函数最优化问题。

为了使重建效果更好，越来越多的先验知识被应用到基于重建的方法中，如J. Mairal[5]等将非局部均值(Nonlocal Means，NLM)的思想引入到SR重建中，得到的高分辨率图像在纹理和边缘都更加清晰。但是当放大倍数比较大时，基于重建的方法仍不能有效恢复图像丢失的细节。基于学习的方法主要思想是寻找高、低分辨率图像之间的映射关系，通过估计得到低分辨率图像丢失的高频信息，相比较基于插值和重建的方法能够获得更多的细节信息。Yang[6]提出基于稀疏表示的SR重建算法从大量自然图片中学习得到一对高低分辨率字典，在压缩感知框架下重构出高分辨率图像。Zeyde[7]在Yang提出的算法的基础上采用K-SVD算法训练字典，大幅提高了字典训练的速度，同时保持了重建图像的质量。基于稀疏表示的SR方法关键在用于表示图像的字典的构造，当前常用的方法是通过对大量的高分辨率图像组成的样本库学习得到字典。但是，如果待处理的低分辨率图像和样本图像不相关，重建后的高分辨率图像就会带有明显的人工痕迹，直接降低了重建图像的质量。

因此，针对文献[7]提出的基于K-SVD字典学习的超分辨率重建算法存在的不足，本文提出一种基于稀疏K-SVD的单幅图像超分辨率重建算法。首先，采用稀疏K-SVD方法进行训练获得高低分辨率字典对，并以待重建的低分辨率图像及其降采样作为字典训练的样本，提高了字典和待重建的低分辨率图像的相关性；重建阶段采用逐级放大的思想，每一次重建放大较小的倍数，然后使用非均值方法对重建图像进行后处理，进一步提高重建效果，最后得到高分辨率图像。

1 基于K-SVD的SR重建算法

一般，字典学习问题可以描述为

(1)

式中：N表示图像X中所取图像块的个数；Ri表示提取图像X的第i个图像块算子；αi表示稀疏系数；Λ=[α1,α2,…,αN]为稀疏表示矩阵；D表示字典；T表示稀疏度。K-SVD字典学习方法在字典D和稀疏表示矩阵Λ均未知的情况下通过以下步骤求解式(1)：

步骤1，初始化：设D为DCT字典。

步骤2，稀疏表示：固定字典D，求解稀疏系数矩阵Λ。则式(1)可以转化为求解图像块RiY在字典D上的稀疏表示问题，采用正交匹配追踪算法即可求解。

步骤3，字典更新：利用步骤2)求解得到的稀疏系数，使用SVD方法，利用获得的稀疏系数对字典D的原子依次进行修正，同时更新与其对应的稀疏系数。

步骤4，重复步骤2)和步骤3)，直到满足收敛条件。

文献[7]通过以上步骤求出低分辨率字典Dl和稀疏系数矩阵Λ，并通过式(2)求出高分辨率字典Dh

Dh=XhΛ+=XhΛT(ΛΛT)-1

(2)

式中：Xh表示高分辨率图像块的样本集。

对于待重建的低分辨率图像Y，通过式(3)采用OMP算法求出每个图像块在字典Dl上的稀疏系数

(3)

(4)

2 基于稀疏K-SVD的SR重建算法

与文献[7]选取大量自然图像作为字典训练的样本集不同，本文在字典训练阶段，只选取待重建的低分辨率车牌图像Yl及其下采样Yll分别作为高、低分辨率字典的样本。这样就提高了待重建的低分辨率图像和字典的相关性，同时利用{Yl,Yll}图像对之间的关系能更好地指导Yl的重建。

2.1 样本图像的特征提取

常见的基于稀疏表示的SR重建算法在字典训练阶段，均把高分辨率图像减去其均值后作为特征，并在重建阶段以低分辨率图像插值放大后的图像均值加到字典重建的高分辨率图像上，这种近似的像素值与实际像素值的大小一定会有差距，而且直接影响到重建图像的质量。为了避免出现这种情况，本文采用高分辨率图像的残差作为高分辨率图像的特征。

图像残差提取过程如图1所示。

图1 HR图像残差的提取

如图1所示，X表示原始的高分辨率图像，Xb表示对低分辨率图像Y插值放大后的图像，Xr表示图像残差，在实验中，插值方法选择Bicubic(双三次插值方法)。

选择低分辨率图像的一阶和二阶的梯度作为低分辨率图像的特征。提取一阶和二阶梯度特征的滤波器如下式

(5)

2.2 稀疏K-SVD字典学习

文献[8]提出，字典D的原子本身在某些假定的基字典Φ上也表现出稀疏性，即

D=ΦΑ

(6)

式中：A是D在基字典Φ上的稀疏表示，固定Φ为过完备DCT基，则可以通过Φ中的原子个数和A来调整字典D的自适应性。相比传统的K-SVD算法，稀疏K-SVD的学习速度更快，学习得到的字典结构性更强，具有更优秀的图像表达能力，因此能更好地重建出图像。将式(6)代入式(1)可得稀疏K-SVD字典学习的模型

对标管理是企业精细化管理的重要组成部分，也是企业对标工作的关键。合成分厂将吸取经验教训，在今后的工作中，将对标管理在实践中的应用进行重点完善和改进，及时总结、及时分析、及时调整，持续改进和提高。

(7)

稀疏K-SVD算法的实现与K-SVD算法类似，具体可以参考文献[8]。

采取图1所示的过程对Yl进行残差的提取，利用式(5)所示的滤波器对更低分辨率的图像Yll提取其一阶二阶梯度特征；然后对高低分辨率的特征图像进行分块处理得到特征图像块集，由于样本图像块只能从待重建的低分辨率图像自身获取，数量较少，因此采用最大冗余度重叠分块的方式，将所有的图像块都用于稀疏K-SVD字典训练，本文利用稀疏 K-SVD 进行字典学习的过程如图2所示。

图2 字典学习流程

2.3 超分辨率重建过程

在获得高低分辨率字典对之后，在重建阶段，本文利用逐级放大的思想，分多步对低分辨率图像进行SR重建，重建过程的具体步骤如下：

2)使用OMP算法求解集合中每个特征图像块的稀疏表示系数

(8)

(9)

式中:Ylb表示Yl插值放大z倍后的图像。

重建过程示意图如图3所示。

图3 重建过程示意图

2.4 图像后处理

利用图像的非局部相似性可以很好地保持图像边缘的平滑和消除人工痕迹，其中非局部均值方法在图像去噪[9]、图像修复[10]等领域已经得到了广泛的应用。因此本文利用非局部均值方法对重建结果进行后处理，进一步提高重建效果。

非局部均值方法的主要思想是局部图像块Xi的中心像素点xi可以由与其相似的图像块Xj的中心像素点xj的加权平均来表示

(10)

式中：Pi是包含所有与Xi相似的图像块的集合；wij表示图像块Xi和图像块Xj相似度大小的权值系数，即

(11)

式中:h为一个全局平滑参数；G是一个高斯矩阵，反映了2个图像块之间的相似度，相似度越大，权值越大，反之权值越小。

为了减小计算量，在实验中以xi为中心，只在10×10的区域中寻找最相似的10个图像块进行计算。

3 实验结果与分析

首先分别使用Bicubic插值算法， 文献[7]提出的算法和本文算法对无噪图像进行重建，然后通过计算不同算法重建后图像的峰值信噪比(PSNR)和算法耗时进行对比。不同算法重建后图像的PSNR值如表1所示。

表1 不同算法重建后的PSNR值对比 dB

测试图像Bicubic文献[7]算法本文算法Butterfly24 026 026 7Parthenon26 026 727 2girl32 733 433 9leaves23 525 526 2plants31 132 633 1平均27 528 829 4

可以看出，本文算法相比Bicubic插值算法和文献[7]提出算法的PSNR平均值分别提高了1.9 dB和0.6 dB。图4列出了使用3种算法重建后的图像。从图4可以看出，Bicubic插值算法虽然增加了图像的部分细节信息，但是图像依然比较模糊。文献[7]提出的算法重建效果较插值算法有明显的提升，但是图像中含有一些明显的人工痕迹。而使用本文算法重建后的图像含有更少的人工痕迹，恢复出了更多的图像细节。

图4 不同算法对无噪图像重建结果对比

图5分别显示了不同算法对含噪图像的重建效果。从图5中可以看出，Bicubic插值算法对噪声很敏感，比如女孩鼻子的轮廓显得很模糊。虽然文献[7]提出的算法一定程度上抑制了噪声，但是图像的边缘和细节部分依然不清晰。本文提出的算法表现出更好的抑制噪声的能力，较文献[7]提出的算法重建效果更好。

图5 不同算法对含噪图像重建结果对比

在算法耗时上，文献[7]提出的算法在字典训练阶段得到的是一个统一的字典，所有图像都是利用同一个字典进行重建。本文算法对每一幅图像重建前，都需要利用该图像进行字典训练，不同的图像对应不同的字典。表2分别给出了2种算法在字典训练阶段和重建阶段的耗时。

表2 不同算法在不同阶段运行时间对比 s

测试图像文献[7]算法本文算法DTSRDTSRButterflyParthenongirlleavesplants500 53 3359 6117 173 3560 4016 293 3363 3116 623 3662 5617 293 3763 5116 98平均500 53 3561 8816 87

4 结论

针对Zeyde提出的基于K-SVD的图像的超分辨率重建存在的不足，本文提出了一种基于稀疏K-SVD的单幅图像超分辨率重建算法。

与Zeyde提出的算法相比，本文算法主要有以下2点改进：一是使用表达能力更强的稀疏K-SVD进行字典训练，且使用待重建的低分辨率图像及其降采样代替自然图像进行字典训练，提高了待重建图像和字典之间的相关性；二是为了获得更好的重建效果，采用分级重建的思想，并利用非局部均值的方法进行后处理，进一步提高重建效果。在实验部分，分别对有无噪图像和含噪图像进行了仿真，并与Zeyde提出的算法进行了比较。实验结果表明，本文算法能恢复更多的图像细节，在客观评价指标和主观效果上都取得了较好的结果。

[1] SCHULTZ R R， STEVENSON R L. A Bayesian approach to image expansion for improved definition[J].IEEE Trans. Image Processing，1994，3(3)：233-242.

[2] IRANI M， PELEG S. Improving resolution by image registration[J]. CVGIP： Graphical Models and Image Processing，1991，53(3)：231-239.

[3] LI X， ORCHARD M T. New edge-directed interpolation[J]. IEEE Trans. Image Processing，2001，10(10)： 1521-1527.

[4] LI M， NGUYEN T Q. Markov random field model-based edge-directed image interpolation[J]. IEEE Trans. Image Processing，2008，17(7)：1121-1128.

[5] MAIRAL J， BACH F， PONCE J， et al. Non-local sparse models for image restoration[C]//Proc. 2009 IEEE 12th International Conference on Computer Vision.[S.l.]：IEEE Press， 2009： 2272-2279.

[6] YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation[J]. IEEE Trans. Image Processing，2010，19(11)：2861-2873.

[7] ZEYDE R， ELAD M， PROTTER M. Curves and surfaces [M]. Berlin Heidelberg：Springer， 2012：711-730.

[8] RUBINSTEIN R， ZIBULEVSKY M， ELAD M. Double sparsity： learning sparse dictionaries for sparse signal approximation[J]. IEEE Trans. Signal Processing，2010， 58(3)：1553-1564.

[9] BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press，2005：60-65.

[10]WONG A， ORCHARD J. A nonlocal-means approach to exemplar-based inpainting[C]//Proc. 15th IEEE International Conference on Image Processing. [S.l.]：IEEE Press，2008：2600-2603.

陈亚运(1990— ),硕士生，主研数字图像处理；

蒋建国(1955— ),教授，博导，主要研究方向为数字图像分析与处理，分布式智能系统；

王 超(1989— ),硕士生，主研数字图像处理。

责任编辑：闫雯雯

Single Image Super-Resolution Reconstruction Based on Sparse K-SVD

CHEN Yayun，JIANG Jianguo，WANG Chao

(SchoolofComputer&Information,HefeiUniversityofTechnology,Hefei230009,China)

Super-resolution reconstruction can enhance the image quality and improve the visual perception, which plays an important role in the real world. For the problems in the image super-resolution method based on K-SVD, a new method based on sparse K-SVD is proposed and used for license plate images reconstruction. Firstly, the low-resolution (LR) license plate images and their downsampling versions are used as samples to train dictionary, which improves the relativity between the dictionary and the LR license plate image. And the sparse K-SVD method is used for dictionary training to obtain a pair of dictionaries. Then, a gradual magnification scheme is used for reconstruction. Finally, the non-local means is exploited to further improve the reconstruction performance. Experimental results on license plate images show that the PSNR is improved by nearly 0.6 dB compared to the image super-resolution method based on K-SVD, and this method also has a better visual improvement to certain extent.

super-resolution；dictionary learning；sparse K-SVD；non-local means

国家自然科学基金项目(61371155；61174170)

TN911.73

A

10.16280/j.videoe.2015.18.019

2015-04-03

【本文献信息】陈亚运，蒋建国，王超.基于稀疏K-SVD的单幅图像超分辨率重建算法[J].电视技术,2015，39(18).