基于两阶段邻域回归的图像超分辨率重建

端木春江 沈碧婷

摘  要： 针对现有的邻域回归超分辨率算法仅通过一次方案从低分辨率空间映射到高分辨率空间，不能很好地表示复杂的映射关系，提出了一种两阶段邻域回归的图像超分辨率重建方法。在第一阶段，用传统的邻域回归方法重建初始高分辨率图像，然后把一个正则化项加入超分辨率重建模型中，以提高重建图像的精度。在第二阶段，以增强的方式训练残差字典和残差回归学习，降低映射误差。与别的邻域回归方法不同，采用了四个方向的Sobel算子代替一阶梯度和二阶梯度来提取低分辨率图像特征。实验结果表明，所提出的方法性能优于传统的超分辨率重建方法。

关键词： 邻域回归; 两阶段; 残差字典; 残差回归

中图分类号：TP391          文献标识码：A     文章编号：1006-8228（2020）01-10-04

Abstract： In order to solve the problems existed in the existing neighborhood regression super-resolution algorithms that map from low-resolution space to high-resolution space in only one scheme， and cannot represent the complex mapping relationships well， an image super-resolution reconstruction algorithm based on two-stage neighborhood regression is proposed. In the first stage， the original high-resolution image is reconstructed by the traditional neighborhood regression method， and then a regularization term is added to the super-resolution reconstruction model to improve the accuracy of the reconstructed image. In the second stage， the residual dictionary and residual regression are trained in an enhanced manner， reducing mapping errors. Different from the other neighborhood regression method， the Sobel operator in four directions is used instead of one order gradient and two order gradient to extract low-resolution image features. The experimental results show that the proposed method outperforms the traditional super-resolution reconstruction method.

Key words： neighborhood regression; two-stage; residual dictionary; residual regression

0 引言

圖像超分辨率重建是用一定的算法，把低分辨率图像恢复到高分辨率图像的方法。由于该方法简单且高效，已经被广泛运用在卫星遥感、视频监控、城市交通等领域[1]。

图像超分辨重建的方法可分为三大类：基于插值、基于重建、基于学习的方法。目前基于学习的方法是该领域的研究的热点。Yang[2]依据稀疏编码原理，提出稀疏表示的超分辨率算法。Zeyde[3]采用主成分分析方法对低分辨率图像特征向量进行降维，用ksvd方法训练字典，极大加快了重建速度。Timofte提出锚定邻域回归的方法（ANR）[4]和其改进的方法（A+）[5]，训练阶段训练出字典原子的映射矩阵，重建阶段把低分辨率图像块特征与最匹配的字典原子的映射矩阵相乘，重建出高分辨率图像，在一定程度上提高图像质量且不增加时间。Dong首次把卷积神经网络应用在图像超分辨率重建中，提出基于深度卷积网络的非线性回归超分辨率重建方法（SRCNN）[6]。

虽然邻域回归重建效果不错，但是存在着一些不足之处：低分辨率图像和高分辨率图像之间的映射关系是复杂和非线性，仅使用一组简单的线性函数去表示该映射关系是不够的。

为了更好表示低分辨率图像和高分辨率图像之间复杂的映射关系，本文在A+方法的基础上，提出两阶段邻域回归的超分辨率方法，近似表示低、高分辨率图像之间映射关系。所提出的方法有两个阶段，在第一阶段，用邻域回归方法恢复初始高分辨率图像，在目标约束函数中加入一个先验知识，优化高分辨率图像。在第二阶段，分别进行残差字典训练和残差回归学习。此外，低分辨率图像特征用四个Sobel算子提取，提取的特征更丰富。

1 基于邻域回归的图像超分辨率重建原理

首先回顾基于邻域回归的超分辨率重建算法。假设[pilNsi=1]和[pihNsi=1]分别表示从训练集中提取出来的低、高分辨率图像块的特征，低分辨率字典[D=dkKk=1]从低分辨率空间训练得到。对每个原子[dk]，在低分辨率空间中找到它的max个最近邻，组成锚点的邻域[Nl，k]，并在高分辨率空间中找到其对应的邻域[Nh，k]。采用岭回归和[l2]范数正则化最小回归的方法，来获得每对低、高分辨率图像块特征的邻域[Nl，k，Nh，kKk=1]的映射矩阵，这个问题用式⑴表示：

把残差图像[e]当作第二阶段的高分辨率图像训练集，把第一阶段重建的高分辨率图像[X1]当作第二阶段的低分辨率图像训练集，按照第一阶段训练低分辨率字典和高分辨率字典的方法，得到第二阶段的残差低分辨率字典[RDl]和残差高分辨率字典[RDh]。训练得到的残差字典具有较小的冗余性，能更好的适应图像的高频细节。

同样的，按照第一阶段求解字典原子的映射矩阵的方法，在第二阶段进行残差回归学习，得到第二阶段的残差字典原子的映射矩阵[F2，k]。

2.4 图像重建阶段

本文提出的方法在重建阶段算法如下：

Step1 输入低分辨率测试图像;

Step2 对测试图像分块，并用PCA方法对测试图像块进行降维;

Step3 为每一个测试图像块在[Dl]中找到最近原子，按照式（18）重建高分辨率图像块，把所有测试图像块遍历完，拼接高分辨率图像块，得到初始高分辨率图像;

Step4 根据式⑺对初始高分辨率图像进行优化，得到第一阶段的高分辨率图像;

Step5 把第一阶段的高分辨率图像作为第二阶段的低分辨率测试图像，重复Step2;

Step6 给第二阶段的每一个测试图像块在[RDl]中找到最近原子，根据式⒅从低分辨率空间映射到高分辨率空间，组合所有高分辨率图像块后，得到第二阶段的初始高分辨率图像;

Step7 按照式⑺对第二阶段初始高分辨率图像进行优化，得到输出高分辨率图像。

3 实验结果与评价

为了验证所提方法的有效性，本文使用了标准的图像测试集：Set14，进行放大3倍超分辨率重建，并和Zeyde、ANR、A+和SRCNN等方法进行比较。

实验中，训练集使用91幅图像，[Dh，Dl]和[RDh，RDl]的原子数目均取1024，原子的近邻数取2048，迭代次数[t=120]，提取图像块大小取[9×9]。

本文采用峰值信噪比（PSNR）作为图像重建效果的客观评价指标。表1给出了五种方法比较结果，对比表中数据，本文提出的方法平均峰值信噪比分别比Zeyde高1.74dB、比ANR高0.63dB、比A+高0.15dB、比SRCNN高0.28dB。实验结果表明：本文所提出的方法在性能指标上比传统的超分辨率方法好。

为了进一步分析所提出算法的有效性，图1，图2和图3分别给出comic、monarch和ppt3这三幅图像在放大三倍情况下的视觉效果对比图像。从人的感官上看，所提出的算法重建得到的图像有更丰富的细节信息，而且也不存在虚假的边缘。

5 结束语

本文提出两阶段邻域回归的超分辨率重建方法，用来解决从低分辨率空间映射到高分辨率空间的映射关系不够理想的问题。通过两阶段的学习，有效的降低原始高分辨率图像和重建高分辨率图像之间的误差。通过实验数据和视觉效果对比，表明本文提出的方法优于传统的超分辨率方法。但本文所提出的方法仍不能较好的表示低分辨率图像映射到高分辨率图像之间的映射关系，因此接下来可以考虑进一步优化该映射关系，进一步提高图像的质量。

参考文献（References）：

[1] Zhang Y，Fan Q，Bao F，et al. Single-Image Super-Resolution Based on Rational Fractal Interpolation[J]. IEEE Transactions on Image Processing，2018：1-1.

[2] Yang J，Wright J，Huang T S，et al. Image Super-Resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing，2010.19（11）：2861-2873

[3] Roman Zeyde，Michael Elad， Matan Protter.On Single Image Scale-Up Using Sparse-Representations[C]// International Conference on Curves and Surfaces. Springer-Verlag，2012：711-730

[4] Timofte R，De V，Gool L V.Anchored Neighborhood Regression for Fast Example-Based Super-Resolution[C]// IEEE International Conference on Computer Vision. IEEE Computer Society，2013：1920-1927

[5] Timofte R，Smet V D，Gool L V.A+：Adjusted Anchored Neighborhood Regression for Fast Super-Resolution[C]// Asian Conference on Computer Vision.Springer，Cham，2014：111-126

[6] Dong C，Loy C C，He K，et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Trans Pattern Anal Mach Intell，2014.38（2）：295-307

[7] Dong W，Zhang L，Shi G，et al.Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J].IEEE Transactions on Image Processing，2010.20（7）：1838-1857

[8] 楊敏，李敏，易亚星. 一种改进的稀疏表示红外图像超分辨率重建[J].电光与控制，2016.12：1-4，共4页.