纹理约束的局部自学习单幅图像超分辨率算法

谭台哲，尚 鹏

(广东工业大学计算机学院，广东广州 510006)

超分辨率算法的目的是利用一幅或者多幅低分辨率图像来获得一幅清晰的高分辨率图像。由于高分辨率图像在很多领域(例如视频监控、高清电视等)都有应用，因此超分辨率一直是一个比较热门的研究话题。现有的超分辨率算法主要可以分为3类:基于插值、基于重建以及基于学习。

基于插值的超分辨率算法认为图像在空域里是平滑的，并且可以通过多项式函数充分逼近，例如双线性、双三次或者水平集函数［1－2］等。这种假设对自然图像通常是不准确的，因此过平滑的边缘等缺陷经常出现在插值后的高分辨率图像中。基于重建的超分辨率算法利用多幅相同场景的低分辨率图像来恢复原始的高分辨率图像［3－4］，这种算法是基于图像的成像原理，其中每一幅低分辨率图像对未知的高分辨率图像都有一组线性约束，当有足够多的低分辨率图像时，算法就可以恢复出相应的高分辨率图像，然而这种算法受限于两倍的缩放因子［5－6］。基于插值的算法和基于重建的算法两者都需要比较多的先验知识，其中与边缘相关的先验知识用的比较多［7－11］，这主要是为了能够得到比较清晰的边缘。然而，边缘在平滑和降采样的过程中被削弱了，除此以外，在重建后的图像中，一些边缘点在实际的高分辨率图像中根本不存在。

基于学习的超分辨率算法采用分块的思想，并通过一组有代表性的图像集来学习低分辨率图像块与高分辨率图像块之间的映射关系，利用这种映射关系得到高分辨率图像。Freeman等［12－13］首次提出了基于学习的超分辨率算法，并且通过Markov网络学习低分辨率图像块与高分辨率图像块之间的映射关系。文献［14］采用了局部线性嵌入的方法。在文献［15－16］中，学习的过程中融入稀疏表达的方法。由于超分辨率算法在重建纹理方面的不足，Sun等［17］提出了利用先验知识来重建纹理的方法，Xiong等［18］建议在超分辨率之前先对图像特征进行增强，文献［19］利用了纹理上下文来学习重建超分辨率图像，文献［20］在学习的过程中结合了纹理上下文与稀疏表达的方法。近几年，文献［21－23］提出了基于自学习的超分辨率算法，这种算法只需要一幅输入图像即可。Glasner等［21］结合了传统的和基于学习的超分辨率算法，Freedman等［22］发现并在超分辨率算法中运用了局部缩放不变性原理。

本文提出了一种新的基于自学习的超分辨率算法，为了得到比较理想的纹理特征，算法利用了纹理上下文来搜索得到高分辨率图像块。实验结果证明，这种搜索方法可以引入更合理的纹理，从而使得超分辨率重建后的图像看起来更自然真实。

1 局部自学习

Freeman等［22］发现，在自然图像中很多奇异点(例如边缘等)在以很小的比例缩放后是不变的，如图1所示(原图为彩色图片)。黄色框中的图像块在下采样之后与红色框中图像块很像。在算法中，利用这种特性来学习低分辨率图像块与高分辨率图像块之间的映射关系。由于只是在一个局部区域进行学习，因此很大程度上缩短了学习时间。

图1 局部缩放不变性

假设原始图像为I0，首先用双三次插值函数u对其进行插值，得到的插值图像为

其中，L1缺少高频成分，这些缺失的高频成分将通过之后的局部自学习算法来获得，学习的图像块从图像L0中得到

式中:D指的是降采样操作;G为高斯核。对于图像L1中的每一个图像块p，在图像L0中对应的局部区域里搜索与之最为相似的图像块q(p)。图像块q的高频成分为

式中:H0用于还原插值后图像中缺失的高频成分，即

具体流程如图2所示。

图2 局部自学习流程

2 纹理约束搜索

纹理上下文没有一个明确的定义，它只是纹理特征的一种表现形式，与文献［19－20］中纹理上下文定义不同，受到文献［24］对生物视觉研究的启发，本文定义一个图像块的纹理上下文为它对一个拥有4种滤波器的滤波器组的响应，这4种滤波器分别为

式中:R表示图像块对滤波器的响应。

这些滤波器可以有效地获取图像不同方向的空间结构，如图3所示。图像块S1与S2的纹理相似度可以通过χ2来衡量

图3 图像对不同滤波器的响应

针对每一个图像块p，搜索找出与其纹理最为相似的5个图像块q，利用这5个图像块来还原缺失的高频成分。

3 后处理

为了进一步保证重建后得到的高分辨率图像的准确性，当获得一个高分辨率图像Ih后，将其转换成相应低分辨率图像并与原低分辨率图像Il进行对比。若二者之间有很大的差异，则说明得到的高分辨率图像中有错误。为了纠正这些错误，首先构造了一个能量函数

其梯度为

式中:U为上采样操作，然后通过梯度下降法对其进行优化求解，从而保证得到的高分辨率图像与原低分辨率图像的一致性。

4 实验结果

为了验证算法的有效性，在计算机上做了仿真实验，对于彩色图像，首先将它们从RGB空间转换成YIQ空间。对于Y通道用相应的超分辨率算法，对于I和Q通道直接用双三次插值算法，然后再重新转换成RGB空间。

以wheel和child两幅标准图像放大4倍为例来说明本算法的有效性，其中分块大小7×7，与5×5和9×9大小的分块相比，7×7大小的分块比较适中，重建后的效果更为自然真实，如图4所示。为了保证图像块之间的兼容性和平滑性，块间重叠3个像素。以下分别从重建图像的主观质量和客观RMSE这两个方面对本文算法加以分析。图5对比了本文算法与双三次插值算法以及文献［25］中提出算法的效果，图6对比了本文算法与文献［10，13］以及文献［21］提出的算法的效果。

图4 不同分块大小效果对比

图5 wheel图像效果对比

由图5的对比效果可以看出本文算法可以重建得到比较清晰的边缘，由图6的对比效果可以看出本文算法在重建纹理方面效果较好(主要体现在帽子上)，因此重建后的图像看起来更真实自然。

图6 child图像效果对比

5 结语

纹理约束的局部自学习单幅图像超分辨率算法利用自然图像中的局部缩放不变性原理在输入图像中的局部区域学习低分辨率图像块与高分辨率图像块之间的映射关系，从而很大程度上缩短了学习时间。同时，为了更好地重建纹理特征，算法利用纹理上下文来进行搜索，实验结果表明算法重建的高分辨率图像在视觉效果上有明显的提高，是一种简单有效的算法，具有较高的实用价值。

:

［1］MORSE B，SCHWARTZWALD D.Image magnification using level set reconstruction［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai，USA:IEEE Press，2001:333－340.

［2］PARK S，PARK M，KANG M.Super－resolution image reconstruction:a technical overview［J］.IEEE Signal Processing Magazine，2003(20):21－36.

［3］IRANI M，PELEG S.Improving resolution by image registration［J］.Computer Vision，Graphics and Image Processing，1991，53(3):231－239.

［4］FARSIU S，ROBINSON M，ELAD M，et al.Fast and robust multiframe super resolution［J］.IEEE Trans.Image Processing，2004，13(10):1327－1344.

［5］BAKER S，KANADE T.Limits on super－resolution and how to break them［J］.IEEE Trans.PAMI，2002，24(9):1167－1183.

［6］LIN Z，SHUM H.Fundamental limits of reconstruction－based superresolution algorithms under local translation［J］.IEEE Trans.PAMI，2004，26(1):83－97.

［7］LI X，ORCHARD M.New edge directed interpolation［J］.IEEE Trans.Image Processing，2001，10(10):1521－1527.

［8］WANG Q，WARD R.A new orientation－adaptive interpolation method［J］.IEEE Trans.Image Processing，2007，16(4):889－900.

［9］TAI Y，TONG W，TANG C.Perceptually－inspired and edge－directed color image super－resolution［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York，USA:IEEE Press，2006:1948－1955.

［10］FATTAL R.Image upsampling via imposed edge statistics［J］.ACM Trans.Graphics，2007，26(3):95.

［11］SUN J，XU Z，SHUM H.Image super－resolution using gradient profile prior［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Anchorage，USA:IEEE Press，2008:211－219.

［12］FREEMAN W，PASZTOR E，CARMICHAEL O.Learning low－level vision［J］.International Journal of Computer Vision，2000，40(1):25－47.

［13］FREEMAN W，JONES T，PASZTOR E.Example－based super－resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［14］CHANG H，YEUNG D，XIONG Y.Super－resolution through neighbor embedding［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004.Washington，USA:IEEE Press，2004:275－282.

［15］YANG J，WRIGHT J，HUANG T，et al.Image super－resolution via sparse representation of raw image patches［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Anchorage，USA:IEEE Press，2008:156－162.

［16］YANG J，WRIGHT J，HUANG T，et al.Image super－resolution via sparse representation［J］.IEEE Trans.Image Processing，2010，19(11):2861－2873.

［17］SUN J，ZHENG N，TAO H，et al.Image hallucination with primal sketch priors［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Madison，USA:IEEE Press，2003:729－736.

［18］XIONG X，SUN X，WU F.Image hallucination with feature enhancement［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Miami，USA:IEEE Press，2009:131－139.

［19］SUN J，ZHU J，TAPPEN M.Context－constrained hallucination for image super－resolution［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco，USA:IEEE Press，2010:96－101.

［20］LIANG Y，YUEN P，LAI J.Image super－resolution by textural context constrained visual vocabulary［J］.Signal Processing:Image Communication，2012，27(10):1096－1108.

［21］GLASNER D，BAGON S，IRANI M.Super－resolution from a single image［C］//Proc.IEEE International Conference on Computer Vision.Kyoto，Japan:IEEE Press，2009:349－356.

［22］FREEDMAN G，FATTA R.Image and video upscaling from local selfexamples［J］.ACM Trans.Graphics，2009，28(4):106.

［23］YANG C，HUANG J，YANG M.Exploiting self－similarities for single frame super－resolution［C］//Proc.Asian Conference on Computer Vision.Queenstown，New Zealand:［s.n.］，2010:497－510.

［24］BERGEN J，ADELSON E.Early vision and texture perception［J］.Nature，1988，333(6171):363－364.

［25］SHAN Q，LI Z，JIA J，et al.Fast image/video upsampling［EB/OL］.［2013－07－10］.http://www.cse.cuhk.edu.hk/～ leojia/projects/upsampling/.