结合压缩感知与非局部信息的图像超分辨率重建

陈伟业　孙权森

摘要：

针对现有的超分辨率重建算法只考虑图像块的灰度信息，而忽略了纹理信息，并且大多数非局部方法在强调非局部信息的同时，没有考虑局部信息的问题，提出一种结合压缩感知与非局部信息的图像超分辨率重建算法。首先，根据图像块的结构特征计算像素之间的相似性，同时考虑了图像块的灰度信息和纹理信息；然后，合并图像的局部和非局部信息来估计相似像素的权重，构造结合局部和非局部信息的正则项；最后，将图像的非局部信息引入到压缩感知框架中，通过迭代收缩算法求解稀疏表示系数。实验结果表明，所提算法与现有的基于学习的超分辨率算法相比，重建图像的峰值信噪比和结构相似度取值更高，并且在恢复图像纹理细节的同时有效抑制了噪声。

关键词：

超分辨率重建；压缩感知；非局部信息；稀疏表示；结构特征

中图分类号：

TP391.41

文献标志码：A

Abstract：

The existing superresolution reconstruction algorithms only consider the gray information of image patches， but ignores the texture information， and most nonlocal methods emphasize the nonlocal information without considering the local information. In view of these disadvantages， an image superresolution reconstruction algorithm combined with compressed sensing and nonlocal information was proposed. Firstly， the similarity between pixels was calculated according to the structural features of image patches， and both the gray and the texture information was considered. Then， the weight of similar pixels was evaluated by merging the local and nonlocal information， and a regularization term combining the local and nonlocal information was constructed. Finally， the nonlocal information was introduced into the compressed sensing framework， and the sparse representation coefficients were solved by the iterative shrinkage algorithm. Experimental results demonstrate that the proposed algorithm outperforms other learningbased algorithms in terms of improved Peak SignaltoNoise Ratio and Structural Similarity， and it can better recover the fine textures and effectively suppress the noise.

英文關键词Key words：

superresolution reconstruction； compressed sensing； nonlocal information； sparse representation； structural feature

0引言

随着软硬件技术的发展，图像的空间分辨率越来越高。高分辨率图像不仅可以给人们带来视觉上的享受，而且能够提供丰富的图像细节信息。然而，在图像获取过程中，有许多因素会导致图像分辨率的下降。通过改进硬件系统的性能来提高图像分辨率，主要受到当前制造技术的限制，而且高精密的光学元件和传感器价格昂贵，并不适合一般的商业应用。为了克服制造工艺和生产成本的限制，利用图像处理技术提高图像分辨率的方法受到了越来越多的关注，相关的算法被称为图像超分辨率重建。

目前，图像超分辨率算法主要有三类，包括基于插值的算法、基于重建的算法和基于学习的算法。基于插值的算法有双线性插值、双三次插值等，它们计算复杂度小、运行速度快，但容易导致严重的模糊，并且丢失大量细节信息。基于重建的算法[1-3]结合图像的降质模型，利用先验信息约束超分辨率重建过程，该类算法重建图像的质量比插值算法有所提高，但可能丢失部分高频信息。基于学习的算法[4-7]是目前的研究热点。该类算法的目的是寻找高分辨率图像和低分辨率图像之间的对应关系，常用的手段有根据训练样本学习字典来表示图像或建立高、低分辨率图像在特征空间中的某种映射。Yang等[4]提出了基于稀疏编码的超分辨率算法，该算法为高、低分辨率图像块分别训练对应的字典，并且使它们具有相同的稀疏表示，但当训练样本和测试图像差距较大时，字典的性能会随之下降。Zeyde等[5]将测试图像自身作为训练样本学习字典，使用K奇异值分解（KSingular Value Decomposition， KSVD）求解低分辨率字典，再利用最优方向法求解高分辨率字典，但该算法很难得到能够稀疏表示所有

图像块的全局字典。Chang等[6]受流形学习思想的启发，提出了基于邻域嵌入的超分辨率算法，但高、低分辨率块之间存在一对多的映射关系，因此流形假设不一定成立。为了解决该问题，Gao等[7]在邻域嵌入法的基础上，同时训练两个投影矩阵，将高、低分辨率图像的特征空间映射到一个统一的特征子空间中，但该算法要求低分辨率图像块相似的同时，要求高分辨率图像块也相似，这导致算法的适用范围受到限制。

在图像超分辨率重建中，利用图像的非局部信息进行高频细节恢复是另一种研究思路。该类算法使用图像自身结构的相似性来定义像素之间的差异，并根据相似图像块之间提供的互补信息重建高分辨率图像，从而更有效地保护图像的结构信息。近年来，已有学者将压缩感知理论与图像的非局部相似性引入到图像超分辨率重建领域[8-11]。Pan等[8]提出了一种结合压缩感知框架和结构自相似性的图像超分辨率算法，该算法利用图像结构自相似性所提供的附加信息，通过压缩感知框架实现图像重建，并在重建过程中仅使用了待处理低分辨率图像的插值图像作为KSVD字典学习的样本。在该算法的基础上，潘宗序等[9]利用非局部方法和基于图像金字塔的KSVD字典学习算法，提出了基于多尺度结构自相似性的算法，将蕴含在相同尺度和不同尺度相似图像块中的附加信息加入重建图像。Dong等[10]提出了自适应字典选取与正则化算法，该算法对图像库中的样本进行聚类，并对每一类分别训练字典，将非局部信息作为正则化约束项加入到图像重建过程中。Dong等[11]进一步提出了非局部集中稀疏表示算法，该算法将降质图像的稀疏编码与未知原始图像的稀疏编码之差定义为稀疏编码噪声，并利用图像的非局部信息来减小稀疏编码噪声，从而提高图像的重建质量。上述算法在计算像素相似性时，只考虑图像块的灰度信息，而忽略了纹理信息。纹理特征也会影响像素相似性的计算，灰度值相同的两个像素邻域结构可能存在较大差别。此外，大多数非局部方法在强调非局部信息的同时，没有考虑局部信息，只是简单地将两者等同看待，这可能导致在一些特征变化较明显的区域，如边缘部分，重建的图像过度平滑。为了解决现有算法中存在的问题，本文提出了一种新的结合压缩感知与非局部信息的图像超分辨率重建算法。该算法在计算像素相似性时，同时考虑了图像块的灰度特征和纹理特征，并且合并了图像的局部和非局部信息，从而利用了更加丰富的先验知识；接着，将改进后的非局部正则项加入到压缩感知超分辨率重建框架中；最后，通过与其他图像超分辨率算法的比较验证了该算法的有效性。

1理论基础

图像超分辨率重建是指根据一幅或者多幅低分辨率图像获得高分辨率图像的过程，属于维数增加问题，其解通常是不确定的。在压缩感知理论[12-14]中，由测量值获得原始信号也是一个从低维到高维的维数增加问题，与超分辨率重建类似。因此，借鉴压缩感知的相关思想研究图像超分辨率算法具有实质性的意义。图1给出了使用传统方法与使用压缩感知理论获取和处理图像信号的对比。

3实验分析

为了验证本文算法的有效性，将所提出的算法与其他典

型的图像超分辨率算法进行比较，并讨论了输入噪声的影响。对于测试的高分辨率图像，先使用标准差为1.6，大小为7×7的高斯模糊核对高分辨率图像进行模糊操作，然后按照缩放因子3对模糊图像在水平和垂直方向下采样，获得对应的低分辨率图像。与其他算法比较时，用于相似性估计的图像块大小设置为3×3，局部信息和非局部信息的调节参数设置为0.8，搜索窗口的大小设置为9×9，相似性阈值设置为0.8，小于该阈值时，像素之间的相似性设置为0。为了抑制边缘效应，对实验图像进行重叠分块，低分辨率图像按照3×3分块，在相邻块之间存在1个像素的重叠部分，对应了9×9分块的高分辨率图像，在相邻块之间重叠3个像素，对于重叠部分，取平均值作为重建结果。为了客观评价各种算法的重建效果，使用峰值信噪比（Peak SignaltoNoise Ratio， PSNR）和結构相似度（Structural Similarity， SSIM）作为评价指标。

3.1不同算法重建结果的比较

本节选取8幅常见的自然图像，给出不同算法间的对比实验结果，并进行客观评价指标下的定量分析。选取的对比算法包括双三次插值（Bicubic），Yang等[4]的稀疏编码超分辨率算法（Sparse Coding SuperResolution， SCSR），潘宗序等[9]的多尺度结构自相似性超分辨率算法（Multiscale Structural Selfsimilarity SuperResolution， MSSSR）和Dong等[11]的非局部集中稀疏表示算法（Nonlocally Centralized Sparse Representation， NCSR）。其中，文献[9]与文献[8]中的算法相比，有所改进，文献[11]与文献[10]中的算法相比，有所改进，作者在原文的实验中已经予以证明，因此，本文使用文献[9]和文献[11]中的算法进行对比。由于文献[4]中的算法不能同时提高分辨率和去模糊，按照作者的建议，实验中对该算法重建的图像使用迭代反向投影来去除模糊。

图5给出了Lena图像使用五种超分辨率算法重建的结果，其中第一行为整幅图像，第二行为局部细节图。从图中可以看出，双三次插值算法重建的图像模糊严重且很多细节无法分辨，尤其纹理复杂的区域，如人物的头发；SCSR算法一定程度上提高了边缘的锐度，恢复了部分高频信息，但是纹理保持能力较差，图像仍然较模糊；后三种算法均同时考虑了图像的稀疏性和非局部相似性，从整幅图像上来看，重建图像的质量均明显提高，视觉效果更加舒适。但从局部细节图来看，MSSSR算法和NCSR算法放大图像后部分区域过度平滑，尤其是纹理结构相差较大的边缘部分，这是因为这些区域特征变化明显， MSSSR算法和NCSR算法在计算相似像素权重时没有很好地权衡局部信息和非局部信息之间的关系；相比其他算法，本文算法重建平滑和纹理区域都十分有效，能够恢复更多和更整洁的细节信息。

3.2對噪声的鲁棒性分析

由图2给出的图像降质过程可知，在图像获取过程中不可避免地受到噪声干扰。在图像中由于噪声和边缘都对应着高频成分，因此在超分辨率重建过程中保持边缘细节和抑制噪声是一对矛盾，需要受到更多关注。在图像超分辨率重建中抑制噪声的影响主要有两种思路，其一是将重建过程分成不相交的两个步骤：先去噪，再超分辨率。然而，这种策略重建图像的质量很大程度上取决于具体的去噪算法，并且在去噪时低分辨率图像中的任何破损都将保持甚至扩大到后面的超分辨率过程。另一种思路是同时完成超分辨率和去噪，基于压缩感知的算法和基于非局部相似性的算法都采用了这种思路，如文献[11]提出的NCSR算法既适用于图像超分辨率重建，又适用于图像去噪。本文算法在压缩感知框架下将非局部信息引入图像超分辨率重建，同时考虑了图像的稀疏性和非局部相似性，即算法在超分辨率重建的同时，既能有效抑制图像中的噪声，又能较好地保护边缘细节信息。

为了测试本文算法对噪声的鲁棒性，选取Bridge图像和Milk图像进行实验，其中，Bridge图像纹理结构复杂，Milk图像纹理结构简单。在低分辨率输入图像中添加不同程度的高斯噪声，高斯噪声标准差的范围从0递增到12，每次增加2，共7组取值。图6、7分别给出了Bridge图像和Milk图像在不同噪声水平下重建结果的PSNR和SSIM值的变化情况。从图中可以看出，随着噪声的增加，各种算法重建图像的PSNR和SSIM值均有所下降，但本文算法（Proposed）的下降程度最小，并且在相同噪声的情况下，本文提出的算法可以获得相对更高的PNSR和SSIM取值，这说明了在图像含噪的情况下，本文算法的重建效果更好，抗噪性能更佳。

4结语

本文将图像的非局部信息用于超分辨率重建，在基于压缩感知的图像重建模型中引入合并了图像局部和非局部信息权重的正则项，并通过迭代收缩算法求解稀疏表示系数。该算法在求取图像块特征时，同时考虑了灰度信息和纹理信息，提高了像素相似性计算的准确性。与其他几种基于学习的算法相比，本文算法重建图像的PSNR和SSIM值均有所提高，纹理细节更加清晰，抗噪性能更佳。在后续的工作中，可以研究如何根据图像的特征自适应地设置参数，从而进一步提高算法的有效性。

参考文献：

[1]

FATTAL R. Image upsampling via imposed edge statistics [J]. ACM Transactions on Graphics， 2007， 26（3）： 1-8.

[2]

SUN J， XU Z， SHUM H. Image superresolution using gradient profile prior [C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2008： 1-8.

[3]

TAI Y， LIU S， BROWN M S， et al. Super resolution using edge prior and single image detail synthesis [C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 2400-2407.

[4]

YANG J， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2681-2873.

[5]

ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations [C]// ICCS 2010： Proceedings of the 7th 2010 International Conference on Curves and Surfaces. Berlin： Springer， 2010： 711-730.

[6]

CHANG H， YEUNG D， XIONG Y. Superresolution through neighbor embedding [C]// CVPR 2004： Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004，1： 275-282.

[7]

GAO X， ZHANG K， TAO D， et al. Joint learning for singleimage superresolution via a coupled constraint [J]. IEEE Transactions on Image Processing， 2012， 21（2）： 469-480.

[8]

PAN Z， YU J， HUANG H， et al. Superresolution based on compressive sensing and structural selfsimilarity for remote sensing images [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（9）： 4864-4876.

[9]

潘宗序，禹晶，胡少興，等.基于多尺度结构自相似性的单幅图像超分辨率算法[J].自动化学报，2014，40（4）：594-603.（PAN Z X， YU J， HU S X， et al. Single image super resolution based on multiscale structural selfsimilarity[J]. Acta Automatica Sinica， 2014， 40（4）： 594-603.）

[10]

DONG W， ZHANG L， SHI G， et al. Image deblurring and superresolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing， 2011， 20（7）： 1838-1857.

[11]

DONG W， ZHANG L， SHI G， et al. Nonlocally centralized sparse representation for image restoration [J]. IEEE Transactions on Image Processing， 2013， 22（4）： 1620-1630.

[12]

DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.

[13]

TSAIG Y， DONOHO D L. Extensions of compressed sensing [J]. Signal Processing， 2006， 86（3）： 549-571.

[14]

CANDES E J， WAKIN M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine， 2008， 25（2）： 21-30.

[15]

DAUBECHIES I， DEFRISE M， DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint [J]. Communications on Pure and Applied Mathematics， 2004， 57（11）： 1413-1457.

[16]

ZHANG X， BURGER M， BRESSON X， et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction [J]. SIAM Journal on Imaging Sciences， 2010， 3（3）： 253-276.

[17]

ZHANG Z， RAO B D. Extension of SBL algorithms for the recovery of block sparse signals with intrablock correlation [J]. IEEE Transactions on Signal Processing， 2013， 61（8）： 2009-2015.

[18]

ZHOU H， ZHENG J， WEI L. Texture aware image segmentation using graph cuts and active contours [J]. Pattern Recognition， 2013， 46（6）： 1719-1733.