一种新的基于稀疏表示的超分辨率重建算法

端木春江 戚河平

摘 要：为提高图像清晰度，文中提出一种基于稀疏表示的图像超分辨率重建算法。首先将训练集图像进行连续三次90°旋转，其次对原图和三幅旋转后的图像进行翻转，从而将训练集扩大为原来的八倍。再使用锐度测量指标将训练集分成三类，接着分别使用K-SVD算法联合训练出三个子字典对，最后使用稀疏重建算法重建出清晰的超分辨率图像。实验表明，改进的稀疏重建算法相较于经典的稀疏重建算法，重建效果显著提升。

关键字：超分辨率；图像重建算法；扩大训练集；训练样本分类；多字典对

中图分类号：TP273 文献标识码：A 文章编号：2095-1302（2018）08-0-04

0 引 言

图像超分辨率（Super Resolution，SR）是指使用一幅低分辨率图像或多幅低分辨率图像序列恢复出高分辨率图像的过程。随着信息技术和视觉通信技术的发展，人们对于图像清晰度要求越来越高。单纯从硬件方面提高图像清晰度不仅成本较高且技术上也达到一定的瓶颈。从软件方面提高图像分辨率，一定程度上克服了硬件不足的问题。因此，近年来图像超分辨率重建成为研究热点之一。

超分辨率重建算法大体上可分为三类[1]：基于插值的算法、基于重建的算法和基于学习的图像超分辨率重建。基于插值的算法是利用当前待插值点周围已知的像素值来估计当前位置的像素值，实现图像放大[2]。典型的包括最近邻插值（Nearest）、双线性插值（Bi-linear）和双三次插值（Bi-cubic）等[3]。基于重建的算法在获得高分辨率图像时，将图像的先验知识如平滑先验、重建先验等作为约束条件[4]。基于重建的方法主要有迭代反投影算法[5]（Iterative Back Projection，IBP）和凸集投影算法（Projections On Convex Sets，POCS）等[6]。基于学习的方法是目前研究的热点，基于学习的算法先通过一一对应的高、低训练集学习两者之间的关系，在利用训练集重建出超分辨率图像。根据训练集构建的方法不同和分为基于样例（Example-Based）的方法[7]、基于稀疏

表示[8]（Sparse Representation，SR）的方法和基于深度学习的方法等[9]。

本文在Zeyde [10]的基础上进行改进，首先通过旋转和翻转扩大训练集，再使用基于锐度指标的方法将训练集分为三类，对分类后的三个训练子集{P1}，{P2}和{P3}使用K-SVD算法进行训练得出三个子字典对。当输入一幅低分辨率图像时，同样使用样本集分类的方法将其分为三类，然后选取对应字典分别进行稀疏重建，最终得出较好的图像。

1 图像超分辨率重建问题描述

当人眼观测一幅图像时，整个观测过程如图1所示。

单图像超分辨率目的是根据单个低分辨率图像重建出高分辨率图像。在这里，我们假设LR图像L是通过对原始HR图像H进行模糊、下采样和添加噪声操作来产生的，则降质模型[12]可表示为：

（1）

式中：S表示下采样算子，B表示模糊算子，n表示外界噪声。

若给出一幅低分辨率图像却有无穷多幅高分辨率圖像满足降质模型（1），因此超分辨率重建是一个严重不适定的逆问题。传统的超分辨率方法一般根据输入的低分辨率图像重建出高分辨率图像，利用各种类型的先验知识进行预测。添加M个正则化项，则超分辨率重建问题可表示为：

（2）

式中：λi表示正则化参数，用来平衡保真项和正则化项；ri表示正则化项，本文采用系数稀疏约束作为正则化项。

2 相关算法

2.1 图像块SM值计算

每个图像块都要首先计算出其SM值，SM值根据梯度算子的大小可以定义为：

（3）

式中：Gh和Gv分别表示水平梯度和垂直梯度，N1和N2分别表示图像块的水平维度和垂直维度。根据文献[13]证明SM值具有图像放大近似不变性，SM值能够较好地反应一个图像块的梯度变化情况，且图像块的梯度信息能够有效地反应图像的纹理情况，因此本文使用SM值作为图像块的分类指标。

2.2 基于稀疏表示的SR重建算法

基于稀疏表示的SR重建算法最初是由Yang等人提出的，后来Zeyde等人在此基础上做了一些改进，重建效果有了显著提高。稀疏重建算法[11]借鉴的是压缩感知的思想，通过低分辨率图像和高分辨率图像的稀疏表示、训练降维实现整个超分辨率在整个学习样本空间中的优化求解。其稀疏表示模

型为：

（4）

其中α表示稀疏系数，F表示特征提取算子，Y表示低分辨率图像，ε表示足够小的阈值。为了求解方便这里把||α||0替换为||α||1，并运用拉普拉斯乘子法可得：

（5）

式中：γ系数用来权衡稀疏系数和重建误差。

整个稀疏表示SR重建算法可分为两个阶段：字典训练阶段和图像重建阶段。

在字典训练阶段，首先从数据库中取出N幅训练样本图，进行降质操作得到对应的低分辨率图像，然后使用K-SVD方法对这些高分辨率和低分辨率图像块进行字典训练，最后得到冗余字典Dl和Dh。

在重建阶段，当一幅低分辨率图像Y输入后，首先使用双三次插值算法扩大3倍，再使用一、二阶水平和垂直导数提取放大后的LR图像特征，接着低分辨率字典DL和LR图像Y特征采用OMP算法计算出该测试图像对应的稀疏系数α，其系数计算公式为

（6）

最后使用公式X=Dha*，求解出高分辨率图像块，将X中的图像块放在图像的对应位置，有重叠的区域取平均，从而重建出最终的HR图像。

3 方 法

3.1 扩大训练集

本文采用SM字典分类的方法提高稀疏表示重建算法的性能，但考虑到若仅使用训练集中的91幅图像，在分类后每类分得的图像块会相对较少，不能满足冗余字典训练的需求。因此，将这91幅图像分别进行90°，180°，270°旋转并对得到的4×91幅图像进行翻转，最终得到2×4×91幅图像，从而将原有训练集扩大为原来的8倍，提高字典的精确度。图像旋转和翻转的示意图如图2所示。

3.2 计算图像块的SM值及分类

训练集中的一百多万个图像块使用公式（3）计算出的SM值，作为图像块分类的属性指标。再将这些图像块根据SM值进行升序排列并记录图像块在图像中的索引号，其分类方法如图3所示。

3.3 本文算法的具体步骤

字典训练阶段具体步骤如下：

输入：图像训练集、算法用到的参数值。

输出：三个子字典对DL1和DH1，DL2和DH2，DL3和

DH3。

（1）输入高分辨率图像训练集，设置所需参数值如字典大小。

（2）将输入的91幅高分辨率训练图像旋转90°，180°和270°，再把得到的图像分别进行翻转，最终训练集扩大为原来的8倍。

（3）通过将高分辨率图像分成多个小块，并减去每个小块的均值提取高分辨率图像块的特征，即得到高频特征。

（4）对每一幅高分辨率图像进行模糊和下采样操作得到对应的低分辨率图像。

（5）将低分辨率图像分成多个块，并计算每个块的SM值作为每个块的分类指标。然后把这些块根据SM值由小到大排列，均分成{PL1}，{PL2}和{PL3}三类，得出分类标签。

（6）使用双三次插值算法将低分辨率图像放大到与原有高分辨率图像相同大小。使用特征提取滤波器提取低分辨率特征XL。

（7）利用步骤5得到的分类标签把低分辨率特征和高分辨率特征分为相应的三类。

（8）三类特征对使用K-SVD算法进行联合训练，得出

三个子字典对DL1和DH1，DL2和DH2，DL3和DH3。

重建阶段具体步骤如下：

输入：测试LR图像，算法所需参数。

输出：HR图像。

（1）当有一幅低分辨率图像Y输入。

（2）使用训练阶段的步骤5将Y的图像块分成相应的三类{PY1}，{PY2}和{PY3}。

（3）使用双三次插值将输入的低分辨率图像放大3倍，使用特征提取滤波器提取低分辨率特征。

（4）输入图像的三类低分辨率特征集分别训练得出的三类子字典分别对应Y1-DL1和DH1，Y2-DL2和DH2，Y3-DL3和DH3。

（5）通过OMP算法分别计算相应的稀疏系数、和。

（6）使用公式求解出高分辨率图像块PX。

（7）将得出的高分辨率块{PX}融合成一幅HR图像。

此外，考虑到当输入一幅低分辨率图像，若使用双三次插值放大到原图大小，会有一定的估算误差，这样的误差会对后来的重建效果产生一定的影响，因此使用相对较好的插值方法lanczos2算法代替传统的双三次插值放大。在训练阶段Zeyde采用先训练出低分辨率字典在利用其中得出的稀疏系数求解对应的高分辨率字典，这里采用低分辨率和高分辨率字典联合训练的方法同时训练得出，增强了字典对之间的相

关性。

4 实验结果和分析

这一部分将提出的改进方法与双三次插值、Yang等人提出的重建方法以及Zeyde等人提出的基于稀疏表示重建算法进行比较。以峰值信噪比（Peak Signal to Noise Ratio，PSNR）作为比较指标，PSNR的值越大说明重建图像与原始图像越接近，重建效果越好。由于人们对于图像亮度比较敏感，因此在实验中我们首先将彩色RGB图像转换为YUV图像再对亮度通道Y进行超分辨率重建，而对于其他U和V通道我们仅使用简单的双三次插值方法进行简单放大。本研究的算法参数设置如下：训练样本块个数为1 084 648，分为3类，训练字典大小为1 000，低分辨率图像块大小为3×3，图像放大倍数为3，即把输入的低分辨率图像长宽各方法3倍，输出重建的高分辨率图像X。PC机配置CUP 2.6 GHz，内存为8 GB，整个实验是在Matlab 2013b软件的仿真平台上进行的。PSNR值的比较见表1所列。

从14幅经典测试图像中随机抽取5幅作为实验数据，考虑测试图像不一定是3的倍数，因此在实验中对测试图像进行预先修剪，方便重建的超分辨率图像和原始图像进行对比。表3中比较了改进的方法、文献Yang和文献Zeyde的PSNR值大小，并在图4中绘制了直观的曲线图。从表中可以看出本文提出的算法在重建效果上有显著提高，其中改进算法比Zeyde文献中的算法平均高0.2 dB左右。PSNR的计算公式

如下：

（7）

式中：表示重建出的图像在点的像素值，Xhi表示原始图像在点的像素值，N表示重建图像总的像素个数。

以上几种算法对同一幅测试图像的超分辨率重建效果如图5所示。从图中可以看出双三次插值算法的重建结果较为模糊，Yang和Zeyde算法相对双三次插值算法均有明显提高，而文中算法重建出的图像细节信息更加完善，优于其他三种方法具有较好的视觉效果。

5 结 语

本文提出了一种新的图像SR重建算法。該算法使用SM的尺度不变性作为训练和重建模型中图像块分类的依据，文中将训练集分为三类再使用K-SVD算法联合训练出三个子字典对。在重建阶段，LR块的SM值用来选择它所属的集群，其次所选集群的子字典对DLi和DHi用来重建未知的HR块，这样可以有效地提高重建信息的准确性。另外，考虑训练集分类后的图像块较少不能满足训练冗余字典的需求，采用图像90°，180°，270°旋转和相应图像翻转的方法，将训练集图像扩大为原来的八倍，进一步提高了该方法的重建效果。通过实验证明所提出的算法优于采用单个字典对的算法。在五幅测试图像上进行的PSNR数值测试和视觉观测都揭示了该算法相对传统的基于稀疏表示的图像重建算法有显著提高。

参考文献

[1] OUWERKERK J D V. Image super-resolution survey [J]. Image &vision; computing，2006，24（10）：1039-1052.

[2]符祥，郭寶龙. 图像插值技术综述[J]. 计算机工程与设计，2009，30（1）：141-144.

[3]贾永红. 数字图像处理[M]. 武汉：武汉大学出版社，2015.

[4] BAKER S，KANADE T. Limits on super-resolution and how to break them [J]. IEEE Transactions on pattern analysis & machine intelligence，2000，24（9）：1167-1183.

[5] IRANI M，PELEG S. Improving resolution by image registration [J]. Cvgip graphical models & image processing，1991，53（3）：231-239.

[6]杨宇翔. 图像超分辨率算法研究[D]. 合肥：中国科学技术大学，2013.

[7] FREEMAN W T，PASZTOR E C. Learning low-level vision [J]. International journal of computer vision，2000，40（1）：25-47.

[8] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution as sparse representation of raw image patches [C] // IEEE Conference on computer vision & pattern recognition，2008：1-8.

[9] CUI Z，CHANG H，SHAN S，et al. Deep Network Cascade for image super-resolution [M] // Computer vsion eccv 2014. springer international publishing，2014：49-64.

[10] ZEYDE R，ELAD M，PROTTER M. On single image scale-up using sparse-representations [C]. Springer-verlag berlin heidelberg，2012：711-730.

[11] HAN Y，ZHAO Y，YU H. Adaptive regularized -boosting on clusteredsparse coefficients for single image super-resolution [J]. The institution of engineering and technology，2017 ：517-529.

[12] ELAD M，FEUER S. Restoration of a single super resolution image from several blurred，noisy，and under-sampled measured image [J]. IEEE transactions on image processing a publication of the ieee signal processing society，1997，6（12）：1646-58.

[13] FAEZEH Y， MAHMOUD N，MURAT U，et al. Image super-resolution via sparse representation over coupled dictionary learning based on patch sharpness [C]. 2014 European modelling symposium，2014：203-208.

[14] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution via sparse representation [J]. IEEE signal processing society，2010，19（11）：2861-2873.