基于Gabor变换的图像邻域嵌入超分辨率放大

武晓敏, 徐 健,2, 范九伦, 王彦梓

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121; 2.西安交通大学 电子与信息工程学院， 陕西 西安 710049)

基于Gabor变换的图像邻域嵌入超分辨率放大

武晓敏1, 徐 健1,2, 范九伦1, 王彦梓1

(1.西安邮电大学 通信与信息工程学院， 陕西 西安 710121; 2.西安交通大学 电子与信息工程学院， 陕西 西安 710049)

为了改善图像超分辨率放大的效果，提出一种基于Gabor变换的超分辨率放大算法。通过将图像块与多方向、多尺度的Gabor滤波器求卷积，来提取图像块的局部特征；利用欧几里得距离度量标准，为提取了Gabor特征的测试图像块寻找准确的近邻图像块，并通过联合学习高、低分辨率图像块对的方法，求出图像块对之间的关系；将寻找到的近邻图像块进行线性组合，求得所需的高分辨率图像块。实验结果显示，图像的Gabor特征能够帮助测试图像块找到更准确的近邻图像块，从而提高超分辨率算法的性能。

超分辨率放大；Gabor特征；邻域嵌入；联合学习；映射矩阵

图像的超分辨率放大(Super-resolution, SR)就是从一幅或几幅低分辨率(Low-resolution, LR)图像中恢复其高频信息来得到其对应的高分辨率(High-resolution, HR)图像。超分辨率技术在生物医疗、软硬件民用设备、刑侦图像和遥感图像处理等方面都有广泛应用。SR方法主要分为三大类，即基于插值的方法[1-3]、基于重建的方法[4-7]和基于学习的方法[8-19]。

基于学习的SR方法利用图像在高频细节上的相似性，即通过学习LR图像和对应HR图像之间的关系来指导图像超分辨率放大的过程[20]。

文[11]将HR图像块和相应的LR图像块作为样本，利用马尔可夫网络模型描述在高分辨率重建过程中原始图像与样本块之间的关系，这种算法的结果与训练样本有着密切的联系，且会引入一些较明显的人工痕迹。

文[12]提出一种典型的基于邻域嵌入(Neighbor Embedding，NE)算法，此算法从流型学习引入了局部线性嵌入(Locally Linear Embedding, LLE)[21]，即LR图像块与它对应的HR图像块在结构上是局部相似的。但是，一个LR图像块可能对应多个HR图像块，影响了此算法的重建效果。

文[13]在文[12]的基础上利用分组图像块对(Grouping Patch Pairs，GPPs)来寻找近邻点的位置，并结合了联合学习的方法来实现图像的超分辨率放大，此算法能较好地解决一对多的问题。但是，它是基于提取图像的梯度特征来寻找近邻图像块的，而梯度特征只能代表图像两个方向(垂直和水平)的纹理信息，对于所选近邻块的准确性有一定影响。

为了提取更能代表图像纹理信息的特征，本文将尝试利用Gabor滤波器来提取图像多方向多尺度的局部信息，提出一种基于Gabor变换的图像邻域嵌入超分辨率放大(GTNE-SR)算法。由于Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似，即Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，常常被用来表示和描述图像纹理，因此，提取图像的Gabor特征也许能帮助找到更准确的近邻图像，进而提高图像超分辨率放大的性能。

1 GTNE-SR算法

GTNE-SR算法的具体流程如图1所示。

图1 算法流程

1.1 算法分解

1.1.1 训练过程及寻找近邻点位置

基于NE的SR本质上是利用机器学习的方法得到高低分辨率图像间的映射关系。为了让机器模拟图像生成的过程，需要有能供学习的训练样本，且训练样本不仅要包含LR图像，还要有对应的HR图像。这样在输入一张LR测试图时，就可以通过学习到的映射关系生成对应的HR图像。

虽然图像的Gabor滤波特征对外界环境如光照、图像旋转等具有较强的鲁棒性，但当滤波器个数较多时，其构成的Gabor特征维数太高。比如选取W个滤波器，其实部与虚部一共就有2W个滤波器，这样若图像在分块时的尺寸为q×q时，那么一个图像块所有的Gabor特征级联后，其特征维数就为q×q×2×W，很明显维数较高，这样就会使得存储困难、计算量加大而耗时。故考虑将Gabor小波特征仅用以寻找近邻点的位置，而其后的重建过程则采用维数较低(q×q×4)的梯度特征。

首先定义LR梯度特征训练集

它对应的HR图像训练集为

对于输入的低分辨率测试图像，首先定义其梯度特征集为

它对应的高分辨率图像块

对于Gabor特征集中的每一个低分辨率测试图像块，可以求出其与低分辨率训练集中每个图像块的距离

(1)

1.1.2 训练图像块对的联合学习

假设Li∈d×K(i=1,2,…,M)是由K个d维的列向量按列排放在一起的矩阵，这些向量是第i个测试图像块的近邻点集合Ni中K个近邻位置所对应的训练样本块，即}r∈Ni。同样可得其对应的Hi∈m×K(i=1,2,…,M)和}r∈Ni。

根据先验知识，训练集中同一索引对应的高低分辨率块在结构上应该是相似的，但由于特征向量维数的不一致，无法直接判断其相似性，所以将它们分别通过两个不同的映射函数映射到维数相同的子空间后，就可以直接比较其相似性。为了求解

(2)

需要计算出映射函数

fl:d→p,

fh:m→p。

假设用映射矩阵Pl∈d×p和Ph∈m×p来代替映射函数fl和fh，式(2)可以写成

(3)

将式(3)的求和部分展开可得[13,24]

tr{[(Li)TPl-(Hi)TPh]T[(Li)TPl-(Hi)TPh]}=

其中I是一个K×K的单位矩阵，假设

则式(3)可以简写成

s.t.PTQQTP=I,PTQl=0.

(4)

这里l表示一个2K维的全1向量。令

E=QAQT,F=QQT,

这样P就可以由

EP=λFP

经特征值分解的方法求得。

为了更有效地解决上述的特征值分解问题，可将EP=λFP变化为

Li(Li)TPl-Li(Hi)TPh=λLi(Li)TPl,

(5)

Hi(Hi)TPh-Hi(Li)TPl=λHi(Hi)TPh。

(6)

根据式(6)，可以得到

(7)

把式(7)入式(5)，就可以得到

Li(Hi)T[Hi(Hi)T]-1Hi(Li)TPl=

(1-λ)2Li(Li)TPl。

(8)

假设

G=Li(Hi)T[Hi(Hi)T]-1Hi(Li)T,

J=Li(Li)T,

则式(8)就可写成

GPl=(1-λ)2JPl,

(9)

这样，只要根据式(9)求出Pl，将其代入式(7)就可以求出对应的Ph。它们将高、低分辨率图像块映射到了同样维数的子空间。这里有一点需要注意，由于Hi(Hi)T不一定可逆，为了防止其奇异，一般可取

Hi(Hi)T=Hi(Hi)T+τI,

其中τ是一个极小的正数(如10-6)[24]，I是一个单位矩阵。

1.1.3 后处理过程

由于初始生成的图像可能受到噪声等的降质影响，为了使图像更适合人类视觉系统，需要对最初生成的高分辨率图像先经过去除噪声，然后再进行图像增强。

假设X是高分辨率图像，Y是其对应的低分辨率图像，它是X经过模糊B，下采样D和受到噪声η干扰后所生成的降质图像，即

Y=DBX+η。

(10)

首先，采用全变分法(Total Variation, TV)[22]法进行图像去模糊，然后用反投影迭代法(Iterative Back-projection, IBP)[23]的方法进行图像增强，IBP过程可表示为

其中μ是用来均衡平滑先验和反投影迭代的约束因子(不妨设其为1)，X0是去噪后的高分辨率图像，可以采用梯度下降法等优化方法求得最优解X*。

1.2 算法描述

根据此前的流程分解，可把GTNE-SR算法总结如下。

输入

(1) 低分辨率测试图像Y和图像块尺寸q×q。

(2) 训练数据集

(3) 近邻数K,映射矩阵的维数p。

(4) Gabor滤波器参数,包括核方向变量个数

V=3 (v=0,1,2)，

尺度变量个数

U=4 (μ=0,1,2,3),

Gabor小波的窗口大小h×w，其余参数参考文献[25]。

输出 HR图像X*。

步骤1 将Y的梯度图像和Gabor特征图像分别有重叠地分割成q×q的图像块(重叠像素可以是1个或者2个)，构成测试数据集

步骤2.3 利用Nj中位置处对应的训练图像块构成矩阵L和Hi，然后通过式(6)(7)(8)计算出映射矩阵Pl和Ph。

步骤2.5 为使重建的误差达到最小，用最小二乘的方法求出最优的权值向量

步骤2.6 运用最优权值重建

步骤4 用TV法对X0进行去噪，用IBP法对图像进行增强，最后输出高分辨率图像X*。

2 实验参数设置及实验结果

2.1 实验参数设置

实验所用训练样本下载自Yang[14]的主页，共69幅具有各种类型的图像作为高分辨率训练图，另外8幅不同类型的测试图是很多研究者常用来做实验的标准图像，如图2所示，为了后面描述方便，将这些测试图像从1到8依次编序。

(a) 第1幅 (b) 第2幅(c) 第3幅(d) 第4幅

(e) 第5幅(f) 第6幅(g) 第7幅(h) 第8幅

图2 测试图像

为了模仿图像从LR图像形成HR图像的过程，将HR训练样本进行4倍下采样作为本实验的LR训练图像。由于人类视觉系统对于亮度的敏感性比色度要强，我们将所有的图像先进行彩色空间的转化，即将RGB彩色空间转化到YCbCr彩色空间。对于最初输入的LR测试图像，将其亮度部分先通过插值方法放大2倍得到其中低频信息，并以此时得到的图像Y0作为低分辨率测试图像，在此基础上进行超分辨率放大至4倍来恢复其高频信息。对于其色度部分，直接进行插值放大至4倍即可。对于LR训练图像，其亮度部分也先放大两倍得到插值后的图像Y1。

提取图像的Gabor特征时，首先选取Gabor滤波器的个数W为12(因为当滤波器个数增加至40时，第7幅测试图像的峰值信噪比(Peak Signal to Noise Ratio, PSNR)的值只增加了0.001 7 dB，但运行时间却为滤波器个数为12时的3倍，见图3)，将低分辨率图像通过与Gabor核卷积运算分别生成24幅Gabor特征图像，其中包含12幅实部特征图像和12幅虚部特征图像；然后将所有的低分辨率Gabor特征图像分成4×4的图像块，将每个低分辨率图像块的Gabor特征按列排放，即为4×4×24=384维的列向量。Gabor特征的维数较高，若使用Gabor特征来计算映射矩阵和最优权值，计算量很大，这也是只选择用Gabor特征来找近邻点位置的一个重要原因。

图3 第7幅测试图像的峰值信噪比及对应运行时间

接下来提取图像的梯度特征，对于高、低分辨率训练图像和2倍插值后的LR测试图像，将其与式

f1=[-1,0,1],

f3=[1,0,-2,0,1],

(11)

的4个一维滤波器卷积可得到每幅图像的4幅梯度特征图像。

为了保证训练集中图像块的有效性，需要将每个训练图像块去直流,同时，还要进一步筛选含有纹理(方差大于90，见图4)的图像块作为训练样本。这样实验的训练集中就有55 829个高低分辨率图像块对。为了保证放大后图像的连续性，在对图像分块的时候要有重叠部分。

图4 第4幅测试图在不同方差时的峰值信噪比值

2.2 近邻数对实验的影响

近邻图像块的数目对实验有一定的影响。为了测试GTNE-SR算法中近邻数K的最佳值，将近邻数的范围设为从1～20，Gabor滤波器窗口大小设为5×5，映射矩阵维数为10，实验结果如图5所示。从图5(a)可见，随着近邻数K的增加，均方根误差(Root-mean-square Error, RMSE)的整体变化趋势是逐渐减小，直至K=19的时候达到最小。图5(b)中的峰值信噪比(Peak Signal to Noise Ratio，PSNR)曲线呈现出相反趋势，最终在K=19的时候达到最大值。综上所述，近邻数K=19的时候性能较好。

(a) 第5幅测试图像近邻数与RMSE的关系

(b) 第5幅测试图像近邻数与PSNR的关系

2.3 Gabor小波核窗口大小对实验的影响

Gabor小波核窗口的大小对实验的结果也是有一定影响的。窗口太大可能会将大量细节模糊，而窗口过小可能引入一些非细节的噪声等。因此，为了验证核窗口大小对实验的影响，我们将窗口的高度h设为3、5、7、9，窗口宽度w与高度h一致。实验结果如图6所示，它们分别是第6幅测试图像的实验结果。从图6(a)可见Gabor核窗口的高度为5时，其RMSE为最小，从图6(b)可见Gabor核窗口的高度为5时，其PSNR达到峰值。因此，当Gabor窗口大小为5×5时，性能达到最好。

(a) Gabor核高度与RMSE的关系

(b) Gabor核高度与PSNR的关系

另外，实验过程中还考虑了映射矩阵维数和Gabor滤波器的个数这两个参数对本实验的影响，实验结果证明，当映射矩阵维数较高或滤波器个数增加时，算法的复杂度增加且耗时，但对实验的结果却无明显改善。

2.4 实验结果对比

为了评估GTNE-SR算法的性能，现将其与双三次插值、Freeman[11]、NESR[12]、JLSR[13]4种算法进行对比。为了公平对比，几种算法选用同样的训练图像，且每一种算法的参数设置都按照原文献中所设置的最佳参数，并选择RMSE、PSNR、结构相似性(Structural Similarity Index Measurement，SSIM)[26]和特征相似性(Feature Similarity Index Measurement, FSIM)[27]作为4种客观标准，相关数据见表1。

表1 测试图经过不同方法4倍放大的客观标准对比

从表1可见,GTNE-SR算法的每幅测试图的SSIM和FSIM比其他4种算法都高，大部分测试图的PSNR也高于其他4种算法，而其对应的RMSE大部分低于其他算法。

各算法4倍放大视觉图像对比结果如图7和图8所示，3倍放大的对比结果如图9所示，其中图9(c)为ASDS(Adaptive Sparse Domain Selection)算法[18]的实验结果。由此可见GFNE-SR算法的有效性，即GTNE-SR算法振铃少，边缘清晰，纹理细节较多且人工痕迹较少。

(a) 双三次插值 (b)Freeman (c)NESR

(d)JLSR (e)GTNE-SR (f)原始高分辨率图

图7 第2幅测试图像不同方法的4倍放大结果

(a)为双三次插值

(b)Freeman

(c)NESR

(d)JLSR

(e)GTNE-SR

(f)原始高分辨率图

图8 第5幅测试图不同方法的4倍放大结果

(a) 双三次插值 (PSNR: 30.3286) (b) JLSR (PSNR: 30.6965) (c) ASDS (PSNR: 32.6098) (d) GTNE-SR(PSNR: 32.1820)

图9 第3幅测试图像不同方法的3倍放大效果

3 结论

利用二维Gabor滤波器具有在空间域和频率域同时取得最优局部化的特性，提取图像多方向多尺度的纹理信息作为特征来寻找近邻点的位置,随后利用联合学习的思想构建两个映射矩阵，将不同维数的高低分辨率图像块映射至同一维数的特征空间，从而可以构建最优权值。从实验结果可以看出，GTNE-SR算法比双三次插值、Freeman、NESR和JLSR算法有更好的性能。

寻找能够更加有效地度量近邻块位置的距离标准将是未来工作的主要方面，另外，还可以考虑引入模糊C-均值聚类[28]或其他聚类，以降低算法的复杂度。

[1] Mallat S, Yu Guoshen, Super-resolution with sparse mixing estimators[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2889-2900.

[2] Chaves-Roman H, Ponomaryov V. Super resolution image generation using wavelet domain interpolation with edge extraction via a sparse representation[J].IEEE Geoscience and Remote Senssing Letters, 2014, 11(10): 1777-1781.

[3] Zhang David, Wu Xiaolin. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]. IEEE Transactions on Image Processing, 2006, 15(8): 2226-2238.

[4] Huang T S, Tsai R Y. Multi-frame image restoration and registration[J]. Advances in Computer Vission and Image Processing, 1984, 1(2): 317-339.

[5] Li Xuelong, Hu Yanting, Gao Xinbo, et al. A multi-frame image super-resolution method[J]. Signal Processing, 2010, 90(2): 405-414.

[6] Protter M, Elad M, Takeda H, et al. Generalizing the nonlocal-means to super-resolution reconstruction[J]. IEEE Transactions on Image Processing, 2009, 18(1): 36-51.

[7] Gao Xinbo, Wang Qian, Li Xuelong, et al. Zernike-moment-based image super resolution[J]. IEEE Transactions on Image Processing, 2011, 20(10): 2738-2747.

[8] Dong Weisheng, Zhang Lei, Shi Guangming and Li Xin. Nonlocally centralized sparse representation for image restoration[J]. IEEE Transactions on Image Processing, 2013, 22(4): 1620-1630.

[9] Timofte R, de Smet V, Gool L V. Anchored neighborhood regression for fast example-based super-resolution[C]//Proceeding of international Conference on Computer Vision. New York: IEEE, 2013: 1920-1927.

[10] Chen Xiaoxuan, Qi Chun. Low-rank neighbor embedding for single image super-resolution[J]. IEEE Signal Processing Letters, 2014, 21(1): 79-82.

[11] Freeman W T, Jones T R, Pasztor E C. Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2): 56-65.

[12] Chang Hong, Yeung Dit-Yan, Xiong Yimin. Super-resolution through neighbor embedding[C]//Proceeding of Conference on Computer Vision and Pattern Recongnition. New York: IEEE, 2004: 274-282.

[13] Gao Xinbo, Zhang Kaibing, Tao Dacheng. Joint learning for single-image super-resolution via a coupled constraint[J]. IEEE Transactions on Image Processing, 2012,21(2): 469-480.

[14] Yang Jianchao, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[15] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representation[C]//International Conference on Curves and Surfaces. Berlin:Springer, 2010: 711-730.

[16] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//Proceeding of International Conference on Computer Vision. New York: IEEE, 2009: 349-356.

[17] Yang Chih-Yuan, Huang Jiabin, Yang Ming-Hsuan. Exploiting self-similarities for single frame super-resolution[C]//Proceeding of Asian Conference on Computer Vision.Berlin:Springer,2010: 497-510.

[18] Dong Weisheng, Zhang Lei, Shi Guangming, et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J]. IEEE Transactions on Image Processing, 2011, 20( 7): 1838-1857.

[19] Zhang Kaibing, Gao Xinbo, Tao Dacheng, et al. Single image super-resolution with multiscale similarity learning[J]. IEEE Transactions on Neural Networks and Leaning Systems, 2013, 24(10): 1648-1659.

[20] 卓力，王素玉，李晓光.图像/视频的超分辨率复原[M].北京：人民邮电出版社，2011：253-266.

[21] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323-2326.

[22] Lloyd S. Least squares quantization in PCM[J]. IEEE Transactions on Information Theory, 1982, 28( 2): 129-137.

[23] Irani M, Peleg S, Improving resolution by image registration[J]. Graphical Models and Image Processing, 1991, 53(3), 231-239.

[24] Li Bo, Chang Hong, Shan Shiguang, et al. Low-resolution face recognition via coupled local preserving mappings[J]. IEEE Signal Processing Letters, 2010, 17(1): 20-23.

[25] Liu Chengjun, Wechsler H. Gabor Feature Based Classification Using the Enhanced Fisher Linear Discriminant Model For Face Recognition[J]. IEEE Transactions on Image Processing, 2002, 11(4): 467-476.

[26] Wang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Transactions on Image Processing., 2004, 13(4): 600-612.

[27] Zhang Lin, Zhang Lei, Mou Xuanqin, et al. FSIM: A feature similarity index for image quality assessment[J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386 .

[28] 范九伦. 抑制式模糊C-均值聚类研究综述[J]. 西安邮电大学学报，2014，19(3)：1-5.

[责任编辑:王辉]

Image super-resolution based on Gabor-transformed-neighbor-embedding

WU Xiaomin1, XU Jian1,2, FAN Jiulun1, WANG Yanzi1

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China；2.Image Processing and Recognition Center, Xi’an Jiaotong University, Xi’an 710049, China)

An algorithm based on Gabor transformation is proposed to improve the performance of image super-resolution (SR). In this algorithm, the local features of images can be obtained by the convolutions of the image patches and the multi-scale and multi-orientation Gabor filters. The K-nearest-neighbors (KNNs) can be found out for each test image patch by computing the Euclidean distances between it and image patches in the training set. The relationships between the low-resolution (LR) and the high-resolution (HR) image patch pairs can be obtained by joint learning method. The required HR image patch can be computed by the linear combination of the corresponding KNNs. Experimental results show that the Gabor features which extracted from image patch can help the test image patch to find its more accurate KNNs and thus improve the performance of SR.

super-resolution, Gabor feature, neighbor-embedding, joint learning, projection matrix

10.13682/j.issn.2095-6533.2014.06.008

2014-06-18

国家自然科学基金资助项目(61102095，61202183，61340040)

武晓敏(1989-),女,硕士研究生,研究方向为图像处理和模式识别。E-mail:wuxiaomin_0110@163.com 徐健(1981-),女,副教授,从事数字图像处理研究。E-mail：xujian_paper@126.com

TP391.4

A

2095-6533(2014)06-0038-10