基于K-SVD的自适应选择字典的超分辨率重建算法∗

基于K-SVD的自适应选择字典的超分辨率重建算法∗

薛冰王春兴

（山东师范大学济南250358）

超分辨率技术是由低分辨率图像复原出高分辨率图像的技术，在计算机视觉系统中发挥重要的作用。针对传统基于学习算法的不足，提出一种基于K-SVD的自适应选择字典的超分辨率重建算法。该方法基于稀疏超分辨率模型，利用图像相似性和冗余特性，并结合图像金字塔结构，采用低分辨率图像本身来训练高、低分辨率字典对。同时在稀疏重构时应用正则正交匹配追踪（Regularized Orthogonal Matching Pursuit，ROMP）提高重构的精度和速度；最后利用人眼的视觉特性，采用一种自适应选择字典的算法，提高了重建的效率。实验结果表明，与传统的超分辨率算法相比，该算法不但有更高的峰值信噪比（Peak Signal to Noise Ratio，PSNR）结构相似性（Structural Similarity，SSIM），且计算速度更快。

图像超分辨率；稀疏字典；图像金字塔

Class NumberTP301.6

1 引言

图像超分辨率重建技术［1～2］就是采用信号处理技术，从单帧或多帧低分辨率图像中估计出质量较好的高分辨率图像。该技术广泛应用于高清数字电视、卫星成像、公共安全和医学成像等领域。目前，图像的超分辨率算法包括：基于插值的算法、基于重建的算法［3～4］和基于学习的算法。基于插值的方法最直观且算法简单易行，可用于并行计算，但高频细节损失明显，从而造成图像模糊。基于重建的方法利用图像的降质模型，引入不同的先验信息来重建图像，虽然重建结果保留了更多图像细节，但当分辨率提升要求较高（4倍以上）时，先验假设存在较大误差，造成获取的亚像素运动信息不准确，重建效果一般不理想。

基于学习的方法是利用高分辨率图像库和图像退化模型获得一个高低分辨率的图像训练库，然后通过一定的学习方法得到高低分辨率图像之间的关系，最后利用优化算法对待重建的低分辨率图像进行优化，重构出相应的高分辨率图像。1999年，Freeman等［5］提出利用马尔可夫网络模型来表示训练库中高、低分辨图像块的对应关系，然后根据贝叶斯最大后验估计（Maximum A Posteriori，MAP）准则和最速下降法求出局部最大值。该方法使用更多的先验信息，重建的图像细节也更丰富，但是该方法需要耗费大量的训练时间来构建图像块对生成马尔可夫网络。Yang［6～7］（SCSR）等提出基于稀疏表示的超分辨率重建算法从大量自然图像中学习得到高低分辨率字典对，运用稀疏表示原理重构出高分辨率图像。Zeyde在［8］Yang提出算法的基础上采用K-SVD［9］算法训练字典，很大程度地提高了字典训练的速度，同时保持了重建图像的质量。基于稀疏表示的超分辨率方法关键在于字典的构造，当前常用的方法是通过学习由大量高分辨率图像组成的样本库得到字典。但是，如果待处理的低分辨率图像和样本图像相关度不高，重建后的高分辨率图像就会带有明显的人工效应，降低重建图像的质量。

因此，针对以上问题，本文提出了一种基于K-SVD的自适应选择字典的超分辨率重建算法。本文在稀疏表示的超分辨率模型基础上，利用图像自相似性［10～11］和冗余特性，并结合图像金字塔结构，采用低分辨率图像自身训练得到高、低分辨率块之间的对应关系，建立稀疏字典对，减少了对图像库的依赖；同时在稀疏重构时应用正则正交匹配追踪（Regularized Orthogonal Matching Pursuit，ROMP）［12］提高重构的精度和速度；最后利用人眼的视觉特性，采用一种自适应选择字典的算法，提高了重建的效率，减少重建时间。

2 基于稀疏表示的超分辨率重建模型

图像的稀疏表示是图像或图像信号可以利用过完备字典原子库［13～15］中一系列合适的原子进行线性组合来进行逼近。给定图像y和过完备字典D，可以利用D中一系列合适的基线性组合来表示图像y。其中的数学关系可表示为式（1）：

其中：α为表示稀疏系数。‖‖0是NP-难问题，可以采用基追踪BP算法、OMP算法、ROMP算法等进行求解。利用稀疏表示理论建立高、低图像块之间的关系如下：

该最小化问题使用K-SVD字典学习算法同时确定字典和稀疏系数。只要选择合适的高、低分辨率字典对，理想的高分辨率图像在合适的高分辨率字典下的稀疏表示可近似由低分辨率图像在低分辨率字典Dl下的稀疏表示来表征，即αh=αl。通过伪逆计算高分辨率字典Dh：

所求高分辨率图像由下式获得：

3 高低分辨率字典对学习算法

通常高低分辨率图像训练集是由高分辨率图像训练库和图像退化模型获得的，但是这种方法获得的图像训练集重建时间太长。Glasner等［16］研究表明，图像块具有跨尺度相似性，因此本文提出采用图像自身获得训练样本对，以实现字典对的学习，提高重建速度。

为了获得高低分辨率字典对，首先对低分辨率图像X进行分块并反复利用Gaussian滤波器对图像进行滤波，得到的训练高分辨率图像Gaussian金字塔。对于输入低分辨率图像的图像块m1可以在低分辨率图像（第三次、第四层）找到相似的图像块m2、m3，而这些低分辨率图像块也可以在其上一层中找到对应的相似的高分辨率图像块n2、n1，利用不同层间高低分辨率图像块之间的关系形成图像金字塔，图1图像金字塔结构为图像金字塔。假设该Gaussian金字塔第一层为高分辨率图像，第i层为(X)，图1所示为图像Gaussian金字塔结构。然后对获得的高分辨率图像金字塔结构中的每个图像进行下采样和插值放大，下采样因子和放大倍数为k，得到对应的低分辨率图像金字塔结构，即：

其中：filter函数表示用Gaussian滤波器对图像进行滤波，amplify函数为插值函数。最后通过计算高、低分辨率图像金字塔差值，获得高分辨率图像的高频信息金字塔，即：

因此，根据所获得的高低分辨率图像金字塔结构即可获得高低分辨率图像训练样本。获得高低分辨率图像训练样本对之后，由K-SVD算法训练高低分辨率字典对{Dh,Dl}。

图1 图像Gaussian金字塔

4 自适应选择重建字典

由于人眼对高频信息更敏感对平滑区域相对较弱的视觉特性。而基于字典的重建算法是处理图像块的，不同大小的图像块会影响到图像重建的效率和质量。因此通过边缘检测算法将图像边缘检测出来，根据图像区域是平滑区域还是边缘区域来选择不同大小尺寸的字典，提高重建效率和质量。本文应用快速有效的Sobel边缘检测技术来检测图像边缘信息。

对于给定的图像f(x,y)的梯度定义为向量式：

该向量的幅值表示式为

通常，该向量用绝对值▽f≈|Gx|+|Gy|来近似。这个近似值避免了平方和开方计算，简化了计算复杂度，并且其在平滑区域的值为零，在像素值变化区域其幅值与亮度变化程度成比例。实际中我们通常将梯度的幅值称为梯度。梯度向量的基本属性是它指向f在坐标(x,y)处最大变化率的方向，最大变化率出现的角度定义为

图2显示了一个大小为3×3的Sobel边缘检测器掩膜，其中各个Z代表不同邻域的像素值，分别用图2（b）和（C）作为两个掩膜对图像进行滤波，然后相应梯度图像的近似可以通过计算两个滤波后的图像绝对值的和获得。在x方向和y方向导数用一幅图像中的小邻域上的像素值的差值来近似。在区域（如z5）的中心点的x方向的导数的近似为

类似的，y方向的导数由下面的差值近似：

那么一个邻域的中心点处的梯度为

图2 大小为3×3的Sobel边缘检测器掩膜

图像经过Sobel掩膜后如图3所示，其中检测出的边缘部分，我们使用较小图像块字典，而平滑区域使用较大图像块字典。并且可以看出，图像平滑部分占了整幅图像的大部分，所以图像重建过程中可大大提高算法搜索时间。

图3 自适应选择字典

5 实验结果与分析

实验中，为了对比的一致性，本文方法与Bicu⁃bic、Yang的方法一样都采用5×5图像块、字典大小为512、放大倍数为3，有2个像素重叠的重建方式，并给出所有方法的重建图像与原始图像进行PSNR和SSIM对比，并给出各个重建方法的重建图像效果图，如图4所示。

如图3所示（以head、leaf、parthenon、lena为例），从实验结果可以看出Bicubic插值方法重建图像比较模糊，边缘也比较粗糙；Yang等的算法较前两种算法实验结果有明显改善，但边缘信息仍存在模糊现象。实验表明，本文算法所的结果比前面两种算法在图像边缘和细节方面有进一步的提高。

图4 不同方法的重建结果图

表1 三种不同重建方法的PSNR值

表2 三种不同方法的SSIM值

为了进一步验证本文算法，采用峰值信噪比PSNR和结构相似性SSIM对算法进行客观的评价。从表1和表2可以看出本文方法的PSNR值和SSIM值相对于其他两种方法有不同程度的提高。

此外，本文采用低分辨率图像自身训练字典对，不但避免对训练图像库的依赖，而且结合ROMP算法提高稀疏编码的速度，减少字典训练的时间。图5显示了用本文算法和其他两种字典算法对lena、face、leaf、parthenon进行超分辨率所需时间的对比结果，由图5可以看出本文算法重建时间更短。

图5 自适应选择字典与固定字典算法时间对比图

6 结语

本文在稀疏表示的超分辨率模型基础上，提出结合金字塔结构并用低分辨率自身训练高低分辨率字典，提高重建的质量；其次应用ROMP提高了稀疏编码的效率，并应用一种自适应选择字典的算法提高重构的精度和速度，提高重建效率。实验结果表明，本文提出的基于K-SVD的自适应选择字典的超分辨率重建算法能够获得更好的重建效果。此外，本文不需要训练大量的图像，一方面提高了对不同图像类型的自适应性，另一方面也加快了字典训练速度，节省了时间提高了重建效率。如何利用图像的自身特性获得更强的稀疏表示能力以及进一步提高算法的效率，提高算法的实时性将是下一步的研究工作。

［1］方振宇.图像超分辨率重建技术的研究及应用［D］.武汉：武汉理工大学，2012.

FANG Zhenyu.Research and Application of Image Su⁃per-Resolution Reconstruction Technology［D］.Wuhan：Wuhan University of Technology，2012.

［2］Vandewalle P.Super-resolution from unregistered aliased images［D］.Ecole Polytechnique Federale de Lausanne，2006.

［3］W.Dong et al.，Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regulariza⁃tion［J］.IEEETrans.ImageProcess.2011，20（7）：1838-1857.

［4］J.Yu et al.，A unified learning framework for single image superresolution［J］.IEEE Trans.Neural Netw.Learn.Syst，2014，25（4）：780-792.

［5］Choi J，Yu K，Kim Y.A new adaptive component-substitu⁃tionbased satellite image fusion by using partial replace⁃ment［J］.IEEE Transactions on Geoscience and Remote Sensing，2011，49（1）：295-309.

［6］J.Yang，J.Wright，T.Huang，et al.Image super-resolu⁃tion as sparse representation of raw image patches［J］. IEEE Conference on Computer Vision and Pattern Recog⁃nition（CVPR）.Washington，DC USA：IEEE Computer Society，2008：1-8.

［7］Yang J，Wright J，Huang T S，et al.Image super-restora⁃tion via sparse represenlation［J］.IEEE Trans.Image Pro⁃cessing，2010，19（11）：2861-2873.

［8］R.Zeyde，M.Protter，M.Elad，On single image scale-up us⁃ing sparse-representations，curves and surfaces［M］.Lect Notes Comput Sci.Springer，2012：711-730.

［9］Aharon M，Elad M，Bruckstein A.The K-SVD：An algoro⁃thm for design of dictionaries for sparse representation［J］. IEEE Trans Signal Process，2006：4311-4322.

［10］Thung K-h，Paramesran R，Lim C-L.Content-based im⁃age quality metric using similarity measure of moment vectors［J］.PatternRecognition，2012，45（6）：2193-2204.

［11］H.Zhang，et al.Image and video restorations via nonlocal kernel regression［J］.IEEE Trans.Cybern，2013，43（3），1035-1046.

［12］D.Needell.Topics in Compressed Sensing［D］.Davis： University of California，2009.

［13］Avcibas I，Sankur B，Sayood K.Statistical evaluation of image quality measures［J］.Joural of Electronic Imaging，2002，11（2）：206-213.

［14］杨玲，刘怡光，黄蓉刚.新的基于稀疏表示的单张彩色超分辨率重建算法［J］.计算机应用，2013，33（2）：472-475.

YANG Ling，LIU Yiguang，HUANG Rong gang.A new color super-resolution reconstruction algorithm based on sparse representation［J］.Computer Application，2013，33（2）：472-475.

［15］徐国明，薛模根，崔怀超.基于过完备的鲁棒性单幅图像超分辨率重建模型及算法［J］.计算机辅助设计与图像学学报，2012，24（12）：1599-1605.

XU Guoming，XUE Mogen，CUI Huaichao.Single image super resolution reconstruction model and algorithm based on complete robustness［J］.Journal of computer aided design and imaging，2012，24（12）：1599-1605.

［16］Glasner D，Bagon S，Irani M.Super-resolution from a sin⁃gle image［C］//Proceedings of the 12th IEEE Internation⁃al Conference on Comouter Vision，Kyoto，Japan，2009：349-356.

版权声明

本刊已许可万方数据库、中国学术期刊(光盘版)电子杂志社在中国知网及其系列数据库等产品中以数字化方式复制、汇编、发行、信息网络传播本刊全文。著作权使用费与本刊稿酬一并支付。作者向本刊提交文章发表的行为即视为同意我编辑部上述声明。

《计算机与数字工程》编辑部

Super-resolution Reconstruction Algorithm Based on K-SVD Adaptive Selection Dictionary

XUE BingWANG Chunxing
（Shandong Normal University，Jinan250358）

Super-resolution technology is a technique for recovering high-resolution images from low-resolution images，and plays an important role in computer vision systems.To solve the deficiency of traditional learning algorithm，a super-resolution re⁃construction algorithm that adaptive selected dictionary based on K-SVD is proposed.This method which is based on the sparse su⁃per-resolution model uses the image self-similarity and redundancy and low-resolution image itself to train the low-resolution and high-resolution dictionary pairs in combination with image pyramid structure.At the same time，regular orthogonally matched track⁃ing（ROMP）is applied in sparse reconstruction to improve the accuracy and reconstruction speed.Finally，by using the human visu⁃al characteristics，an adaptive selecting dictionary algorithm is adopted to improve the reconstruction efficiency.Experimental re⁃sults show that the proposed algorithm not only has a higher Peak Signal to Noise Ratio（PSNR）and Structure Similarity（SSIM），but also has a faster computation speed than the traditional super-resolution algorithm.

image super-resolution，sparse dictionary，image pyramid

TP301.6

10.3969/j.issn.1672-9730.2017.05.036

2016年11月10日，

2016年12月20日

国家自然科学基金“用于癫痫发作预测的脑电特征深度学习研究”（编号：61501283）资助。

薛冰，女，硕士研究生，研究方向：信号与信息处理。王春兴，男，博士，教授，硕士生导师，研究方向：图像处理、多媒体信息安全、智能仪器设计与应用。