改进的基于邻域嵌入的图像超分辨率重构

李　强，刘　哲，南炳炳，顾淑音

(西北工业大学 理学院，西安 710129)

改进的基于邻域嵌入的图像超分辨率重构

李强，刘哲*，南炳炳，顾淑音

(西北工业大学 理学院，西安 710129)

摘要：为了提高传统的基于邻域嵌入的图像超分辨率重构算法的时间效率，采用了一种利用图像块方向信息进行邻域选择和训练集分类的新方法。该方法首先利用图像块方向的不同对训练集进行分类，然后在分类后的子训练集中选择与待重构图像块的方向相似的图像块作为邻域进行重构，并对重构结果进行迭代反投影全局后处理，进一步提高重构质量，最后对改进方法进行数值实验验证。结果表明，该方法不仅把超分辨率重构的时间效率提高了10倍以上，而且重构质量也得到了改善，具有较好的实际应用价值。

关键词：图像处理；超分辨率重构；邻域嵌入；方向；迭代反投影

*通讯联系人。E-mail: liuzhe@nwpu.edu.cn

引言

在信息技术空前发展的今天，人们对高分辨率图像的需求越来越大，通过硬件技术提升分辨率的方法难以突破物理瓶颈，因此，利用图像超分辨率重构算法来提高分辨率成为解决这个问题的突破口。

CHANG等人[1]首次把流形学习[2]的思想引入超分辨率重构中，在假设低分辨率(low-resolution,LR)图像块和对应的高分辨率(high-resolution,HR)图像块在特征空间上具有相似局部几何结构的流形的前提下，提出了基于邻域嵌入(neighbor embedding,NE)的超分辨率方法。FAN等人[3]提出了基于NE的图像幻构方法，采用了新的图像块特征，发展了此类方法。CHAN等人[4]利用相位一致性[5]边缘检测方法将图像块分为边缘块和非边缘块，两种图像块区别处理;同时，他们联合能更好地保持邻域关系的标准亮度信息[6]和包含高频信息的1阶梯度信息作为图像块特征进行重构，提高了重构质量。LIAO等人[7]则采取联合标准亮度和代表高频信息的稳定小波变化系数来表征图像块特征。CAO等人[8]采用离散余弦变换系数来表示图像块特征，重构过程中自适应地选择邻域图像块数目，重构效果进一步提高。

目前基于NE的超分辨率算法的研究几乎都是通过选择更好的特征表示方法来提高算法的重构质量，算法的时间效率却没有提高，并且忽略了图像块的几何特征。本文中将图像块的方向信息[9]这一几何特征引入到基于NE的超分辨率算法中，利用图像块的方向不同来对训练集分类，得到代表不同方向信息的子训练集；相应地，在选取邻域时选择方向特征最接近的K个图像块作为邻域；最后，为了进一步提高重构质量，把重构图像作为原始图像进行迭代反投影[10](iterative back-projection,IBP)后处理。实验结果表明，本文中算法的时间效率提高明显，同时，重构质量也有了很大提高。

1基于邻域嵌入的超分辨率重构

基于NE的超分辨率重构[1]假设LR图像块和对应的HR图像块有相似的局部几何流形，通过寻找LR图像块的K近邻表示得到相应的HR图像块K近邻表示，然后把HR图像块的K近邻表示按权值线性组合得到重构图像块。以下分别以Xt表示待重构的LR图像，Yt表示预期的重构图像，Xs表示训练集中的LR图像，Ys表示训练集中相应的HR图像，以xt,q,yt,q,xs,p,ys,p分别表示图像Xt,Yt,Xs,Ys的图像小块向量，其中，p,q=1,2…。

对于任意一个LR图像Xt中的局部块xt,q，首先要在整个训练集中搜索到与xt,q的欧式距离最近的K个图像块组成邻域集Nq。在得到邻域后，计算Nq中每个图像块的重构权值，重构权值是通过求解重构误差最小化问题得到的：

那么Yt中相应的图像块yt,q可以通过下式计算：

在得到Yt中所有图像块的初始估计值后，通过平均相邻图像块间重叠区域的像素值来保证图像块间的兼容性和平滑性。

2改进的邻域嵌入算法

基于NE的超分辨率重构算法搜索邻域的方式是计算待重构图像块与训练集中所有图像块的欧式距离，选择距离最小的K个图像块作为邻域。计算一个欧式距离包含多个平方运算、多个加法运算和一个开方运算，并且训练集中往往有上万个图像块，而一幅待重构低分辨率图像又可以分成上千个图像块，可想而知，搜索邻域所包含的运算量是非常大的，导致该类算法的时间效率低。因此，要提高该类算法的时间效率，必须选择更好的邻域搜索方式。本文中将图像块的方向引入进来，利用方向的不同来搜索邻域和对训练集分类，大大减少了运算量，提高了时间效率。

2.1　局部图像块的方向

对于局部图像块，根据其方差的大小可以把它划分为平滑块和非平滑块，当方差小于某个阈值Tth时，判定其为平滑块；否则判定为非平滑块。非平滑块又可以分为随机块和方向块[9]，图像块的方向是对其梯度图像进行奇异值分解(singular value decomposition,SVD)计算得到的。

小于某个阈值R*时，该图像块则被看作是随机块，否则该图像块为方向块。其中，S1,1,S2,2分别是S的对角元素。图像块的方向γ可以通过下式估计[12]：

2.2　本文中的改进算法

本文中的改进之处主要有两点：利用图像块方向的不同对训练集分类，以减小每次搜索邻域的范围，提高搜索效率；选取与待重构图像块xt,q的方向最接近的K个训练集图像块作为邻域，这种选取方式只需要计算减法运算，减小了运算量。

在建立训练集时，计算训练集中每一个LR图像块xs,i的方差为vs,i，判断vs,i>Tth是否成立，如果不成立，则把该图像块从训练集中删除；否则，利用(3)式计算xs,i的主方向测度Rs,i,判断Rs,i

在选取邻域时，原来的利用欧式距离选取的方法计算量太大，本文中利用图像块方向的相似程度来选取邻域。对于任意一个LR图像Xt中的方向块xt,q，假设其方向角度为γt,q，计算下式：

式中，γs,i是与角度γt,q相对应的子训练集内图像块的方向角度。di越小，则表示方向角度越接近，因此，选取di最小的前K个图像块作为xt,q的邻域。在重构时，首先根据平滑性及方向特征对每一个图像块归类，如果是平滑块直接进行双三次插值放大；如果是方向块或随机块，则利用(5)式在相应的子训练集内搜索邻域，然后通过计算(1)式和(2)式获得估计块。为了进一步提高重构质量，把重构结果作为原始图像，进行迭代反投影全局后处理。

2.3　本文中的算法步骤

通过以上分析，本文中的重构算法步骤可以总结如下。

输入：训练集中的HR图像Y和LR图像X，待处理LR图像Xt。

步骤(1)：对Y和X进行特征提取和分块，删除平滑块并利用(4)式计算剩余块的方向，方向的角度范围取0°~180°，为方便处理，定义随机块的方向为a(a<0)。

步骤(2)：对图像块按照角度分类，随机块分为一类，方向块每间隔一定的角度分为n类，每类之间保持一定角度的重叠，以此建立HR训练集Ys和LR训练集Xs。

步骤(3)：对LR图像Xt提取特征并分块，利用(3)式和(4)式计算图像块的方向。

步骤(4)：对于任意一个图像块xt,q，如果是平滑块则直接进行双三次插值放大；否则，通过(5)式选取其邻域，利用(1)式计算邻域块的权值，最后利用(2)式得到估计的HR图像块yt,q。

步骤(5)：由所有的HR图像块yt,q组合得到初步的重构图像，然后进行IBP后处理获得最终的重构HR图像Yt。

输出：HR重构图像Yt。

3实验结果及分析

实验中的计算机配置为：Intel(R)Core(TM)2QuadCPUQ6600@2.4GHz，主频2.39GHz，3.37GB内存，WindowsXP操作系统。编程环境和运行平台为MATLAB2012b。

Fig.1　Training images in the test

Fig.2　Reconstruction result of girl image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

为了验证本文中算法的有效性以及实验参量和训练集的大小对本文中算法重构结果的影响，分别进行了以下4组实验。实验中，训练集共分为19类，其中方向块每隔10°分为一类，每类之间保持3°的重叠；重构时选取LR图像块像素大小为3×3，放大倍数为3倍，相邻图像块间的重叠像素为2，阈值Tth和R*分别取20和0.3。实验中用到的图像同参考文献[1]中的一样，如图1所示。

3.1　重构效果及时间效率比较

为了验证本文中算法的重构效果及时间效率，选取像素大小为280×280的girl图像和像素大小为255×384的plant图像用本文中算法进行超分辨率重构，并与参考文献[1]、参考文献[4]和参考文献[8]中的算法进行比较，结果如图2和图3所示。其中，本文中算法选取的邻域大小K=100，图像特征选择联合标准亮度和1阶梯度[8]。训练集的建立过程是可以离线进行的，所以建立训练集的时间不计入在内。

图像的重构质量使用均方根误差(root-mean-squareerror，RMSE)、峰值信噪比(peaksignal-to-noiseratio，PSNR)[13]和结构相似度(structuralsimilarity，SSIM)[14]来衡量，RMSE越小、PSNR和SSIM越大，则表示图像质量越好。为了更好地和参考文献[1]、参考文献[4]比较，本文中的算法和参考文献[4]中算法的训练集图像与参考文献[1]中的保持一致，girl图像用的训练集由图1中第1行的两幅图像组成，plant图像用的训练集由第2行的两幅组成。4种算法的重构效果如图2、图3和表1所示。

Fig.3　Reconstruction result of plant image

a—LRimageb—reference[1]c—reference[4]d—reference[8]

e—ourmethodf—ourmethod+IBPg—HRimage

首先从算法的时间效率来看，由表1中的数据可以看到，其它3种算法所耗费的时间都比较长，时间效率很低；而本文中算法对训练集进行了分类，并选取了计算量很小的邻域选择方法，时间效率提高了10倍以上。从算法的重构质量来看，无论是图2和图3的视觉效果还是重构质量评价指标，在没有经过IBP后处理的情况下，本文中算法的重构结果也明显优于其它算法，原因是因为本文中的算法采用了更适合表征邻域的邻域选择方式，选取了更多的邻域块来提高重构质量。可以看到，对重构结果进行IBP后处理，重构质量又进一步得到了改善。

Table 1　Comparison between our method and other methods

3.2　邻域图像块数目K对重构结果的影响

基于NE的超分辨率方法根据欧氏距离，选择最相似的K=5个图像块作为待处理图像块的邻域；本文中算法是根据图像的方向信息相似程度来选择邻域块，如果选择K=5，本文中的重构效果不理想。为了验证K对本文中算法重构效果的影响，分别选取K=10,20，…，200，然后对girl图像和plant图像进行超分辨率重构，实验结果如图4所示。

Fig.4　Effect of different K on reconstruction result

a—PSNR with differentKof the girl imageb—PSNR with differentKof the plant imagec—time with differentKof the girl and plant images

由图4a和图4b可以看出，重构结果的PSNR指标随着K值的增加而增加，但是当K>100时PSNR增幅变得很小；由图4c可以看出，算法的时间效率随着K值的增加降低。考虑到重构效果和时间效率的平衡，选取K=100时，重构效果比较理想，同时时间效率也比较高。

3.3　训练集的大小对重构结果的影响

从理论角度分析，训练集越大，所包含的图像块种类和图像信息越丰富，重构的效果会越好；但同时使得搜索范围扩大，时间效率降低。为了验证训练集大小对本文中算法重构效果的影响，采用 girl图像和plant图像进行实验。实验中，分别选取训练集的图像块个数为104,2×104，…，6×104块，取K值的大小为100。实验结果如表2所示。

从表2中的数据可以看到，当训练集的大小为104块时，本文中算法的重构质量已经比较理想；随着训练集的变大，重构质量慢慢变好，幅度很小，可以忽略不计。由此可知，本文中算法的另外一个优势就是,只需要少量的训练集图像就能获得比较理想的重构结果，对数据量的要求较小。

Table 2　Effect of train-set size on reconstruction results

4结论

针对基于NE的超分辨率算法的时间效率低和重构效果不理想的不足，本文中的算法在NE的理论框架下对其进行了改进，把图像块的方向特征引入到基于NE的超分辨率方法中。实验结果证明，本文中算法的时间效率提高了10倍以上，重构结果图像的细节更加丰富、清晰。由于本文中算法的重构效果和时间效率与K和训练集的大小及分类有关，因此在实际应用中，可以通过选取典型的、有代表性的、同时又包含适中数目的图像建立训练集，重构时选择适当的K值来实现效果更好的超分辨率重构。另外，对训练集的分类更细致，可进一步提高算法的时间效率。

参考文献

[1]CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York,USA:IEEE,2004:1-8.

[2]SEUNG H S, LEE D D. The manifold ways of perception[J]. Science, 2000, 290(5500): 2268-2269.

[3]FAN W, YEUNG D Y. Image hallucination using neighbor embedding over visual primitive manifolds[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2007.New York, USA:IEEE, 2007: 1-7.

[4]CHAN T K, ZHANG J P, PU J,etal. Neighbor embedding based super-resolution algorithm through edge detection and feature selection[J]. Pattern Recognition Letters, 2009, 30(5): 494-502.

[5]KOVESI P. Image features from phase congruency[J]. Journal of Computer Vision Research, 1999, 1(3): 1-26.

[6]SU K, TIAN Q, XUE Q,etal. Neighborhood issue in single-frame image super-resolution[C]// IEEE International Conference on Multimedia and Expo, 2005.New York,USA:IEEE, 2005:4.

[7]LIAO X X, HAN G Q, WO Y,etal. New feature selection for neighbor embedding based super-resolution[C]// 2011 International Conference on Multimedia Technology (ICMT). New York, USA:IEEE, 2011: 441-444.

[8]CAO M M, GAN Z L, ZHU X C. Super-resolution algorithm through neighbor embedding with new feature selection and example training[C]// 2012 IEEE 11th International Conference on Signal Processing (ICSP). New York, USA:IEEE, 2012: 825-828.

[9]YANG S Y, WANG M, CHEN Y G,etal. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]. IEEE Transactions on Image Processing, 2012, 21(9): 4016-4028.

[10]WAN B, MENG L, MING D,etal. Video image super-resolution restoration based on iterative back-projection algorithm[C]// IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, 2009.New York, USA:IEEE, 2009: 46-49.

[11]EDELMAN A. Eigenvalues and condition numbers of random matrices[J]. SIAM Journal on Matrix Analysis and Applications, 1988, 9(4): 543-560.

[12]BIGUN J, GRANLUND G H, WIKLUND J. Multidimensional orientation estimation with applications to texture analysis and optical flow[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(8): 775-790.

[13]SAYOOD K. Statistical evaluation of image quality measures [J]. Journal of Electronic Imaging, 2002, 11(2):206-213.

[14]WANG Z, BOVIK A C, SHEIKH H R,etal. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004, 13(4): 600-612.

Improved image super-resolution reconstruction based neighbor embedding

LIQiang,LIUZhe,NANBingbing,GUShuyin

(School of Science, Northwestern Polytechnical University, Xi’an 710129, China)

Abstract：In order to improve the time-efficiency of traditional super-resolution reconstruction based on neighbor embedding, a new method was proposed using direction information of image patches to choose neighborhood and classify the training set. Firstly, the training set was classified through the differences of patches directions. Secondly, the neighborhood used to reconstruct was chosen in the sub-sets by selecting training patches with the similar direction, and then the iterative back-projection was applied during the reconstruction to further enhance the super-resolution image quality. Finally, numerical experiments were conducted to verify the new method. The results show that the proposed algorithm increases time-efficiency more than 10 times and super-resolution performance is improved. The new method has better practical value.

Key words:image processing；super-resolution; neighbor embedding; direction; iterative back-projection

文章编号：1001-3806(2015)01-0019-04

收稿日期：2014-01-07；收到修改稿日期：2014-02-17

作者简介：李强(1989-)，男，硕士研究生，现主要从事图像超分辨率重构的研究。

中图分类号：TN911.73

文献标志码：A

doi:10.7510/jgjs.issn.1001-3806.2015.01.003