基于反向投影的单帧图像超分辨率重建方法

王乐

（四川大学计算机学院，成都610065）

基于反向投影的单帧图像超分辨率重建方法

王乐

（四川大学计算机学院，成都610065）

针对单帧图像超分辨率重建提出一种基于反向投影的单帧图像超分辨率重建方法。根据迭代反向投影算法的思想，使用估计高分辨率图像得到4幅模拟低分辨率图像，并将其与实际低分辨率图像的误差图像进行反向投影。在反向投影过程中，自适应地对其权重进行计算，用来更新原先的估计高分辨率图像。实验结果表明，该方法对于不同的降质模型有较好的鲁棒性，计算量小，能有效提高单帧图像超分辨率重建的质量。

超分辨率重建；迭代反向投影；自适应；鲁棒性

0　引言

图像的分辨率在一定程度上反映图像所记录的信息量，越高的分辨率代表着对细节的分辨能力越强，图像记录的信息也就越多。随着多媒体技术的发展，人们对于图像的分辨率也有着更高的要求。如遥感、视频监控、医学成像［1］、水下视觉等领域，都对图像的分辨率有着较高的要求。提高分辨率可以通过硬件和软件两种途径。硬件方式往往是通过减小传感器上的像素尺寸，提高单位面积上的像素密度来实现的。该方法会随着传感器尺寸的减小引起散粒噪声，同时也增加了硬件成本。并且在一些特定条件下，如因传输带宽的限制，环境的限制，并不能运用硬件方法提高分辨率，所以“超分辨率重建技术”应运而生，用来克服硬件条件的限制，通过软件的方法达到提升分辨率的目的。超分辨率重建在单帧图像超分辨率重建，多图像超分辨率重建，以及视频超分辨率重建方面都有着广泛的研究。对于单帧图像的超分辨率重建，也有很多的方法，基于邻域嵌入的方法［2］，基于样本学习的方法［3］，基于稀疏表示的方法［4］，基于神经网络的方法［5］等。本文利用传统插值方法结合迭代反向投影方法［6］的主要思想，提出了一种基于反向投影的单帧图像超分辨率重建方法，相对于传统插值方法，该方法在超分辨率重建结果上有一定的提高。而相比与迭代反向投影方法，本文方法不需要具体的降质模型，也不需要进行迭代，具有更快的速度以及更好的实用性。为了验证本文提出的方法的有效性，对于不同的降质模型进行了实验。

1　降质模型

为了进行超分辨率重建，并且使得重建结果有一个客观的参照，往往需要先从高分辨率图像得到一幅低分辨率图像。一幅低分辨率图像，可以看成是一幅高分辨率（High-Resolution，HR）图像经过模糊，降采样以及添加噪声后的结果。本文通过对输入的高分辨率图像X用退化函数对退化过程进行建模，并添加噪声来得到一幅低分辨率（Low-Resolution，LR）图像Y。用公式表示为：

其中D为降采样矩阵，H为模糊矩阵，E为加性高斯白噪声。由于高斯噪声多被用于低照度下成像传感器噪声的一种近似，所以本文选择高斯噪声作为添加的噪声。

本文采用两种不同的降质模型来说明本文所提出的方法并不只对某单一的降质模型有效。第一种降质模型使用模糊函数将图片的每个像素点的灰度值变为包括其本身在内的相邻4个像素点的像素值的平均值，然后使用降采样函数将图像的分辨率变为一半，最后加入25dB的高斯噪声。

第二种降质模型，前2个步骤和第一种降质模型一致，在步骤2执行之后，再对降采样后的图像再进行一次模糊，使得降采样后图像的每个像素点的灰度值再变为包括其在内周边4个像素点灰度值和的1/4，最后再加上25dB的高斯噪声，以模拟更为恶劣的降质过程。

2　迭代反向投影

图像插值在超分辨率图像重建中是一种基础，但同时也很重要的一种方法。迭代反向投影（Iterative Back-Projection，IBP），也是一种利用图像插值的超分辨率重建方法。图像插值是在已知像素的有限的邻域内对插值像素进行估计，一维信号插值可表现为下图所示：

图1　一维图像插值

经典的插值算法有最近领域插值，双线性插值，三次样条插值，双三次样条插值［7］等。上述几种插值方法的本质都属于多项式插值，其插值序列可以写成如下的形式：

其中C（xk）为插值系数，β（x）为插值基函数。本文采用双三次样条插值方法，来对低分辨率图像进行插值。该插值方法是内插的，所以可以直接用x_k处的像素值f（xk）来替换C（xk），省去了对插值系数的估算过程。

在文献［6］提出的迭代反向投影方法中，通过使用模拟LR图像与输入LR图像的误差进行迭代反向投影得到HR图像。其依据是如果通过超分辨率重建得到的图像接近原始的高分辨率图像，那么该通过超分辨率重建得到的图像通过同样的降质模型得到的低分辨率图像，应该与输入的LR图像尽量的接近，然后将两者的误差投影到高分辨率图像上，通过反复的迭代便能得到效果更好的高分辨率图像。其流程如下：

图2　迭代反向投影过程

迭代反向投影方法，通过将误差反向投影去更新估计的HR图像，通过反复的迭代，能够较好地减少重构误差，使获得的HR图像满足相应的需求。在降质（投影）过程中，IBP算法依赖于实际的降质模型，而降质模型在实际中应用中是未知的，也难以估计。

3　本文方法

由上述IBP方法可以看出，该方法依赖于图像的降质模型，而在实际情况下，降质模型往往是无法准确得到的。在多帧图像超分辨率重建过程中，图像的配准往往也会花费较多的时间，配准的效果也对结果有着很大的影响。同时，在迭代反投影方法中，迭代的过程需要经过多次的插值，投影以及反投影过程，花费的时间较长。因此，本文根据迭代反向投影的思想，提出一种快速的基于反向投影的单帧图像的超分辨率重建方法。该方法包括五个步骤：1）通过插值方法得到估计的HR图像；2）对得到的HR图像，进行降采样，到四幅模拟LR图像；3）通过计算模拟LR图像和原始LR图像的差值，得到差值图像；4）对差值图像进行反投影，得到4幅反投影后的差值图像；5）使用4幅反投影后的差值图像对估计的HR图像进行更新。

本文的方法可用如下公式表示：

其中f0为估计HR图像。f1为更新后的HR图像。e1，e2，e3，e4为四幅误差图像。a，b，c，d是四幅误差图像的权重系数，P为反投影操作。

其中4幅低分辨率图像的获得方法如图3所示：

图3　估计HR图像降采样过程

从HR图像获得4幅LR图像的过程中，因为不依赖于图像的降质模型，直接取估计HR图像中的像素值，以获得较多的信息，同时也获得4幅具有较高相似度的图像。使用LR1，LR2，LR3，LR4与原始输入LR图像的差值图像进行反向投影。

对于投影权重系数a，b，c，d确定的方法如下：1）分别计算LR1，LR2，LR3，LR4和原始输入LR图像之间的相关系数ce1，ce2，ce3，ce4。令四幅模拟LR图像的权重分别如下所示：

这一步可以保证和输入LR图像相关度较高的模拟LR图像有较高的权重，也从一定程度减少了错误，或者噪声对于反向投影的干扰；2）计算四幅误差图像e1，e2，e3，e4的平均灰度me1，me2，me3，me4，如果平均灰度值小于0，则将其对应的权重系数置为负，若平均灰度值大于0，则不变。

4　实验结果分析

本文对图4（a）原始HR图像，使用2.1节中描述的第一种降质模型，对HR图像进行降质，图4（b）为得到原始LR图像，使用双三次样条插值得到图4（c）估计HR图像，然后进行降采样得到四幅LR图像，再进行反向投影得到图4（d）更新后的HR图像。

为了客观地反映图像的超分辨率重建效果，本文使用使用峰值信号信噪比PSNR，来描述图像的超分辨率重建效果。首先计算所得图像和原始图像的均方误差MSE：

图4　效果对比

对于不同的降噪模型以及不同的图像，基于双三次样条插值的实验结果如表1和表2所示。

由以上实验数据可以看出，在不需要先验知识作为支撑的情况下，本文所提出的方法对于传统的基函数是内插的插值方法在重建效果上有一定的提高，并且具有较少的计算量和时间开销。同时对于不同的降质模型都有着不错的效果。

表1　降质模型1实验结果PSNR值

5　结语

对于单帧图像的超分辨率重建问题，本文提出了一种基于传统插值和反向投影的的单帧图像超分辨率重建方法。本文提出的基于反向投影的单帧图像超分辨率重建方法，对于不同的降质模型都能取得较好的重建效果，具有较好的适应性以及较小的计算开销，是一种快速的，鲁棒性较高的单帧图像超分辨率重建方法，并且不依赖与图像的降质模型，具有较高的实用性。

［1］T.M.Lehman，C.Conner and K.Spitzer.B-Spline Interpolation in Medical Image Processing［J］，IEEE Trans.Med.Imaging，2001，20，660-665.

［2］H.Chang，D.Y.Yeung，and Y.Xiong.Super-Resolution Through Neighbor Embedding［C］.IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Washington，DC，USA，2004，1：275-282.

［3］W.T.Freeman，R.R.Jones，E.C.Pasztor.Example-Based Super-Resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56-65.

［4］J.Yang，J.Wright，T.Huang，Y.Ma.Image Super-Resolution Via Sparse Representation［J］.IEEE Transactions on Image Processing，2010，19（11）：2861-2873.

［5］M.Awad，S.E.EI-Khamy and M.M.Abd Elnaby.Neural Modeling of Polynomial Image Interpolation［C］.Proceeding of International Conference on Computer Engineering and System，Cairo，2009：469-474.

［6］M.Irani and S.Peleg.Improving Resolution by Image Registration［J］.CVGIP：Graphical Models and Image Processing，1991，53（3）：231-239.

［7］J.K.Han and H.M.Kim.Modified Cubic Convolution Scaler with Minimum Loss of Information［J］.Optical Eng.2001，40，540-546.

Single-Frame Image Super-Resolution Reconstruction Based on Back-Projection

WANG Le
（College of Computer Science，Sichuan University，Chengdu 610065）

Proposes a single-frame image super-resolution reconstruction method based on back-projection.According to the thought of iterative back-projection algorithms，uses the high-resolution image to get 4 simulate low-resolution images，uses the error image between simulated low-resolution images and the actual low-resolution images to do back-projection.In the projection process，the weights of error images are adaptive，uses these error images to update the high-resolution image.The experimental results show that the proposed algorithm for different degradation models has good robustness，and small amount of calculation.The method can improve the quality of single frame image super-resolution reconstruction.

Super-Resolution Resconstruction；Iterative Back-Projection；Adaptive；Robustness

1007-1423（2016）23-0050-04DOI：10.3969/j.issn.1007-1423.2016.23.013

王乐（1992-），男，江苏镇江人，研究生，研究方向为超分辨率重建

2016-06-02

2016-08-10

国家自然科学基金面上项目（No.61071162）