改进的稀疏表示超分辨率图像重建

廖成 郭心悦 韩彦芳

摘 要：为了能从单幅低分辨率图像中利用超分辨率技术重建出高分辨率图像，提出一种基于稀疏表示的改进算法。首先求出在低分辨率图像过完备字典上的稀疏表示系数，将稀疏表示系数与高分辨率图像的过完备字典相结合，得到高分辨率图像块，再联合输入的低分辨率图像块与生成的高分辨率图像块，求解出其在高低分辨率字典对上的稀疏系数，最后结合高分辨率图像字典，得到更加精确的高分辨率图像块。经仿真实验验证，该改进方法有效提升了重建图像质量，增强了重建图像的还原度。

关键词：稀疏表示;超分辨率;图像重建;高低分辨率图像块;稀疏系数

DOI：10. 11907/rjdk. 181745

中图分类号：TP317.4文献标识码：A文章编号：1672-7800（2019）002-0137-04

Abstract： In order to reconstruct high-resolution images from single low-resolution images， we proposed an improved algorithm based on sparse representation. we solved the low resolution images' sparse representation coefficients on the complete dictionary and combined with high resolution images of the complete dictionary to get high resolution image patches by the sparse linear combination of the dictionary through jointing input low-resolution image and generated new high-image patches， and then used the sparse coefficients combined with the dictionary and outputed more accurate high-resolution image patches. The results of simulation experiments show that the improved algorithm is effective to improve the quality of the reconstruction of high-resolution image.

Key Words：sparse representation;super-resolution; image reconstruction; high and low resolution image patches; sparse coefficient

0 引言

图像超分辨率重构一直是数字图像处理领域的研究热点之一。提高图像质量一般有两种方法，一是改善硬件设备，二是图像超分辨率重建技术（Super_Resolution Reconstrction，SSR）。通过硬件设备提升图像质量，将大幅提高成本，且不易实现。因此，通常利用超分辨率重建技术获取细节更加丰富的高分辨率图像[1]。

20世纪60年代，Harris等首次提出图像超分辨率重建概念;20世纪80年代，Tsai & Huang[2]从单幅低分辨率图像（Low Resolution，LR）中重建出高分辨率图像（High Resolution，HR）;1996年，Olshausen等[3]在《Nature》上提出自然图像具有稀疏性的本质。经过几十年的发展，目前图像超分辨率重建技术大致可分为基于重构[4]的方法与基于学习的方法两大类。基于重构的方法主要包含凸集投影法[5]、非均匀插值法[6]、迭代反投影法[7]、领域嵌入法[8]与正则化方法[9-10]等。Freeman等[11-12]最早提出基于学习的重建方法。在以信號稀疏表示模型为基础的压缩感知（CS，Compressive Sensing）理论[13]提出后，Yang[14]将该理论应用到图像重建中，利用LR与HR图像在对应的过完备字典下具有相同稀疏性的特征，达到重建高分辨率图像的目的。

Yang的方法虽然有效提高了重建后的HR图像质量，但其未联合HR与LR图像块对稀疏系数进行求解，在算法上未能保持一致。因此，本文在Yang算法基础上进行改进，联合输入的LR图像块与重建的HR图像块在对应的字典上求解稀疏系数，再将得到的稀疏系数与HR图像字典相结合，得到最终输出的HR图像块。本文对单幅低分辨率图像进行超分辨率重建，与Yang[15]的方法相比，本文方法进一步提升了重建图像质量。

1 稀疏表示的重建模型

通常情况下，得到的图像都是经过光学降质而来的。假设[Yh]表示一幅高分辨率HR图像，LR图像[Yl]则是通过光学降质处理得到的[16]，其表达式为：

2 联合字典训练

在式（15）中，N和M分别表示高、低分辨率图像块向量形式的维度。

输入LR和HR图像样本集，再通过上述方法，利用稀疏编码进行字典训练，最终可得到高低分辨率字典[Dh]和[Dl]。

3 算法改进

其中，N、M分别表示高低分辨率图像块向量形式的维度。

本文算法流程如下：①先使用双三次插值法（Bicubic  Interpolation）将LR图像[Yl]放大，得到图像[Y？l]。取图像块[y？l]，并计算出像素均值m;②对式（10）使用特征查找法进行求解，得到图像块[y？l]在LR图像过完备字典[Dl]上的稀疏系数，再将α带入式（4），便可得到HR图像块[yh];③联合HR图像块[yh]与LR图像块[y？l]得到[YR]，再用正交匹配法求解[YR]在字典[DR]上的稀疏系数[α*];④用[α*]与字典[Dh]结合，得到最终的HR图像块，[y？=Dhα*+m]。

4 實验结果及分析

式（20）中，[u]为图像均值，[σ]是图像方差或协方差，[c1]和[c2]为确保分母不为零的常数。SSIM的数值越大（最大值是1），表明重建图像与输入图像越接近。本文实验仿真计算在Matlab2016b下进行。

本次实验采用Lena、Child等图像，比较分别用3种不同方法对图像进行两倍放大后的图像质量，本文使用的字典训练库与Yang所用的相同，重建后的图像效果如图（1）-图（4）所示，重建图像的PSNR与SSIM值如表1所示。

由表1可以看出，本文算法获得的重构图像有最大的峰值信噪比与最大的结构相似度。结合表1与文献[21]可知，在3种算法对图像质量的数学标注方面，本文算法最优。

5 结语

本文对Yang算法进行了改进，通过联合输入的低分辨率图像块与对应生成的高分辨率图像块，求解其在高低分辨率字典对上的稀疏表示系数，再将系数与高分辨率字典结合，得到更精确的高分辨率图像块，从而改善使得到的重构高分辨率图像质量。

参考文献：

[1] 张良培，沈焕锋，张洪艳，等. 图像超分辨率重建[M]. 北京： 科学出版社，2012.

[2] TSAIRY，HUANG T S. Multi-frame image restoration and registration[J]. Advances in Computer Vision and Image Processing，1984（2）：317-339.

[3] OLSHAUSEN B A，FIELD D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature， 1996，381（6583）： 607-609.

[4] PARK S，PARK M，KANG M. Super-resolution image reconstruction： a technical overview[J]. IEEE Signal Processing Magazine，2003，20（3）：21-36.

[5] STARK H，OSKOUI P. High resolution image recovery from image plane arrays， using convex projections[J]. Opt Soc Am A，1989，6（11）：1715-1726.

[6] HOU H S，ANDREWS H C. Cubic spline for image interpolation and digital filtering[J]. IEEE Transaction on Signal Pressing，1978，26（6）：508 -517.

[7] IRANI M，PELEG S. Improving resolution by image registration[J]. CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[8] CHANG H，YEUNG D，XIONG Y. Super-resolution through neighbor embedding[C]. Proceedings of IEEE Conference of CVPR，2004： 275-282.

[9] NGUYEN N，MILANFAR P，GOLUB G. A computationally efficient superresolution image reconstruction algorithm[J]. IEEE Transactions on Image Processing，2002，10（4）：573-583.

[10] HARDIE R C，BARNARD，ARMSTRONG K J，et al. Joint MAP registration and high-resolution image estimation using a sequence of under-sampled images[J]. IEEE Transactions Image Processing，1997，6（12）：1621-1633.

[11] FREEMAN W T，PASZTOR E C，CARMICHAEL O T. Learning low-level vision[J].  Int'l Journal of Computer Vision，2000，40（1）：25-47.

[12] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution[J]. Computer Graphics & Applications IEEE，2002， 22（2）：56-65.

[13] DONOHO D L.Compressed sensing[J]. IEEE Transaction on Information Theory，2004， 54（4）： 1289-1306.

[14] YANG J，WRIGHT J，HUANG T，et al. Image super-resolution as sparse representation of raw image patches[C]. IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

[15] YANG J C，WRIGHT J，MA Y. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

[16] 葛广重，杨敏. 基于稀疏表示的单幅图像超分辨率重建[J]. 计算机技术与发展，2013，23（9）：103-106.

[17] AMALDI E， KANN V. On the approximability of minimizing nonzero variables or unsatisfied relations in linear systems[J]. Theoretical Computer Science，1998，209（1-2）：237-260.

[18] DONOHO DL. For most large underdetermined systems of equations， the minimal l1-norm near-solution approximates the sparsest near-solution[J]. Communications on Pure and Applied Mathematics， 2006，59（7）：907-934.

[19] DONOHO D L.For most large underdetermined systems of linear equations， the minimal l1-norm solution is also the sparsest solution[J]. Communications on Pure and Applied Mathematics，2006，59（6）：797-829.

[20] WANG Z，BOVIK A C，SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity[J]. IEEE Transaction on Image Processing，2004，13（4）：600-612.

（責任编辑：黄 健）