基于耦合特征空间下改进字典学习的图像超分辨率重建

詹　曙,方　琪,杨福猛,常乐乐,闫　婷

(1.合肥工业大学计算机与信息学院,安徽合肥 230009;2.三江学院电子信息工程学院,江苏南京210012)



基于耦合特征空间下改进字典学习的图像超分辨率重建

詹曙1,方琪1,杨福猛2,常乐乐1,闫婷1

(1.合肥工业大学计算机与信息学院,安徽合肥 230009;2.三江学院电子信息工程学院,江苏南京210012)

针对目前基于字典学习的图像超分辨率重建效果欠佳或字典训练时间过长的问题,本文提出了一种耦合特征空间下改进字典学习的图像超分辨率重建算法.该算法首先利用高斯混合模型聚类算法对训练图像块进行聚类,然后使用更改字典更新方式的改进KSVD字典学习算法来快速获得高、低分辨率特征空间下字典对和映射矩阵.重建时根据测试样本与各个类别的似然概率自适应地选择最匹配的字典对和映射矩阵进行高分辨率重建.最后利用图像非局部相似性,将其与迭代反向投影算法相结合对重建后的图像进行后处理获得最佳重建效果.实验结果表明了本文方法的有效性.

超分辨率;字典学习;KSVD;稀疏表示;混合高斯模型

1　引言

图像超分辨率 (Super-Resolution,SR) 重建,一直是一个热门的研究领域,在不需要增加硬件成本的前提下显著地提高了图像的分辨率,改善了视觉效果.由于SR不需要过高的硬件要求,只需通过软件的方法来实现图像的高分辨率,因此该技术已广泛的应用在视频监控、卫星遥感、军事侦查、医学影像处理等领域.

在不考虑噪声的前提下,低分辨率(Low resolution,LR)图像X和高分辨率(High resolution,HR)图像Y二者关系可以表示为:

X=LY

(1)

其中,L表示HR、LR图像之间的投影矩阵.超分辨率重建就是根据已知的LR图像求解HR图像的过程,这是一个典型的病态问题.要解决此类问题,通常需要利用先验知识合理的设定某些约束条件来求最优解.目前主流的SR重建算法大致可分为基于重建和基于学习两大类[1].基于重建的SR方法在SR重建过程中引入一定的先验信息作为约束条件,如迭代反投影[2]、凸集投影法[3]等.基于学习的方法通过对HR训练样本的学习,建立一种高低分辨率的对应关系.目前基于学习的SR重建是近年来的研究热点[4,5,8～12,17].

基于学习的重建算法中,比较经典的算法是Freeman[4]提出的基于例子的重建算法,该算法最先在重建算法中利用图像块间的约束,通过马尔可夫网络建立高低分辨率图像块对应关系.但这种算法需要大量的训练样本,训练过程中也消耗大量时间,同时对图像中的噪声极为敏感.Chang等人[5]提出了邻域嵌入的SR算法,该算法需要较少的样本,且对噪声具有较好的鲁棒性.稀疏表示理论是近年来信号处理领域的研究热点,已经在图像去噪[6]、人脸识别[7]等领域获得了广泛的应用,2010年Yang.J等人[8]开创性的将稀疏表示用于图像的SR重建.其假设,HR、LR图像块在各自的空间下具有相同的稀疏表示系数,从而用LR图像块的稀疏系数来重构对应的HR图像块,有效地降低了算法的复杂度.Zeyde等人[9]在Yang.J基础上进行改进,利用主成分分析对训练样本的特征进行降维,并使用K-SVD的方法进行字典训练,进一步地提高的字典训练的效率.Dong.W等人[10]使用K-均值对训练图像块进行聚类,然后通过自适应地选择图像的稀疏域,来重建HR图像块,有效地提高了重建后图像的效果.Wang.S等人[11]提出训练HR、LR图像块及其的映射关系构造半耦合字典,有效地改善了重建后图像的效果.Li.H等人[12]利用beta先验分布训练耦合特征空间的字典对,也取得较好的效果,但字典训练同样需要消耗大量时间.

针对目前基于字典学习的图像SR重建效果欠佳或字典训练时间过长的问题,本文在文献[8]和[10]的基础上提出了一种耦合特征空间下改进字典学习的图像SR重建算法.该算法首先利用高斯混合模型聚类算法对训练图像块进行聚类处理,然后通过使用更改字典更新方式的改进KSVD字典学习算法来快速获得HR、LR特征空间下字典对和映射矩阵.重建时根据测试样本与各个类别的似然概率自适应地选择最匹配的字典对和映射矩阵进行SR重建.最后利用图像非局部相似性,将其与迭代反向投影算法相结合对重建后的图像进行后处理以获得最佳的重建效果.

2　相关工作

2.1基于字典学习的图像超分辨率重建

按照图像稀疏表示理论[6],图像在过完备字典下,总存在稀疏的表示,即大部分稀疏表示系数为零,只有少数的非零系数.假设D∈Rn×K是维数为n、原子数为K的过完备字典,x∈Rn为图像子块的向量表示,则x的稀疏表示为:

min‖α‖0,s.t. x=Dα

(2)

式中,α∈RK为x的最稀疏表示.式(2)是NP难问题,通常只考虑其近似解法,可通过匹配追踪以及其改进的正交匹配追踪算法(OMP)等贪婪算法来近似求解.Donoho等人[13]指出在信号的稀疏分解中,对于足够稀疏的信号表示系数,可以用l1范数取代式(2)的l0范数进行稀疏分解,使上述问题转换为凸优化的问题,从而式(2)可以转换为式(3)进行稀疏表示:

(3)

对于基于字典学习的图像SR重建,通常需要两个过完备字典,其中一个是在LR特征空间下训练得到的LR字典Dl,用于对LR图像进行稀疏分解,另一个是在HR特征空间下训练得到的HR字典Dh,用于进行HR图像重建.对于输入的LR图像块x利用式(2)或式(3)进行稀疏分解,得到x的稀疏表示系数α,然后将稀疏系数α作用在HR字典Dh,得到对应HR图像块y:

y=Dhα

(4)

2.2本文的超分辨率重建模型

由于自然图像中包含多重结构形态的复杂信号,图像的不同部分其结构信息变化很大,而高度冗余的通用字典Dh和Dl中存在大量的不相干原子,当用这些不相干的原子来表示不同的图像块,可能会存在潜在的不稳定性从而导致重构后图像产生视觉上的伪影.而传统的字典学习SR重建是建立在HR、LR图像块在对应的HR、LR特征空间下具有相同稀疏系数为约束条件的,然而HR图像块的稀疏系数并不是精确相等,如何有效刻画稀疏系数在不同特征空间下的联系,在图像重建中起着重要的作用.综合以上多重考虑,本文提出了基于耦合特征空间下改进字典学习的图像超分辨率重建.图1是本文算法流程框图.

该算法主要思想:首先利用高斯混合模型聚类算法对训练图像块进行聚类处理,然后通过使用改进KSVD字典学习算法来快速获得高、低分辨率特征空间下字典对.为了刻画稀疏系数在不同特征空间的关系,使用岭回归方法获得映射矩阵.重建时根据测试样本与各个类别的似然概率自适应地选择最匹配的字典对和映射矩阵进行SR重建.最后利用图像非局部相似性,将其与迭代反向投影算法相结合对重建后的图像进行全局重建约束进一步提高重建效果.

3　耦合特征空间下改进字典学习算法

3.1高斯混合模型图像块聚类

假设{Ih} 和{Il}分别表示HR、LR图像训练样本,本文使用Yang.J[8]的方法对高低分辨率图像训练样本进行特征提取、分块,并向量化,得到各自向量化的图像块集合,分别记为{y}和{x}.对低分辨率图像块{x}进行聚类.假设利用高斯混合模型对图像块{x}进行聚类,可得到C个子类.则这组样本数据由混合分布p产生,即有C个子高斯分布.这组样本的分布未知,但可由C个高斯密度函数的加权和来近似表示,如式(5):

(5)

(6)

其中μc为该高斯分布的均值,Σc为该高斯分布的协方差.由式(6)可知,高斯混合模型的每个高斯分布是由均值和协方差进行描述的,因此必须对该模型的参数进行求解.本文使用EM(expectationmaximization)算法[14]对高斯混合模型进行参数估计,可得到每个类的似然分布参数πc、μc和Σc,根据式(6)计算每个图像块对各个图像块类别的似然概率,取得最大似然概率者即为该图像块所属的类别.

3.2改进的KSVD字典学习算法

字典学习的实质问题可表示为下式所示的优化问题:

(7)

为了解决上式的优化问题,本文使用文献[15]提出的一种改进K-SVD的字典学习算法,与K-SVD字典学习算法相同,该算法将式(7)优化问题分为两个步骤求解,即稀疏编码阶段和字典更新阶段.由于K-SVD算法字典更新阶段不仅对字典中原子进行更新,还对系数矩阵A中与原子相乘的非零系数进行更新,根据K-SVD字典训练思想,字典更新目标是寻找更新后的字典D和系数矩阵A中完备的非零支集.那么式(7)的字典优化问题可以转化为:

(8)

式中A⊙M是两个相同尺寸矩阵的Schur积,其中掩膜矩阵M={|A|=0},M是由元素0和1组成,该式等效于如果A(i,j)=0则M(i,j)=1,否则为0.因此A⊙M=0能使A中所有零项保持完备.式(8)的优化问题相对于(7)式更简单,但仍然是个非凸问题,因此可以使用块坐标下降方法来求解此约束问题.式(8)的求解过程也分为稀疏编码和字典更新这两个步骤.

首先,假设字典D已经确定,通过求解式(9)来修正系数矩阵A:

(9)

由于稀疏系数矩阵A的最优问题存在封闭解,因此分别对A的每一列进行处理,只考虑A中各列的非零元素而使零元素项保持完备,则式(9)转换为下式进行求解:

(10)

其中,Di是D对应A的非零支集的子矩阵,αi是A第i列的非零部分.式(10)的优化问题可以使用正交匹配追踪算法(OMP)[23]进行求解.对每一列进行处理后可以得到更新后的稀疏系数矩阵A.

其次,利用得到稀疏系数矩阵对字典的原子依次进行更新.假设系数矩阵A和字典D已知,则式(8)补偿项可以写为如下形式:

(11)

3.3耦合特征空间下的字典学习

(12)

McAlc=Ahc

(13)

式中Alc和Ahc分别表示每个子字典的稀疏系数矩阵,Mc是高低分辨率特征空间的稀疏系数映射矩阵,用来刻画稀疏系数在不同特征空间下的联系.式(12)使用3.2节的改进KSVD字典训练算法获得HR、LR字典Dhc、Dlc以及对应的稀疏系数矩阵Ahc和Alc.则式(13)可以转换为下式得到映射矩阵Mc:

(14)

由于Ahc和Alc是稀疏矩阵,式(14)是个不适定问题,如果直接使用传统的最小二乘法求解Mc,可能会使求解的结果误差较大.为了将式(14)转换为适定问题,在式(14)中引入一个正则项来控制模型的复杂度,则目标函数变为:

(15)其中,Γ=σI,I为单位矩阵,σ为正则项平衡参数.式(15)是个岭回归问题,可以直接通过下式求解映射矩阵Mc:

(16)

4　图像超分辨率重建

对耦合特征空间下训练样本进行字典训练后,可得到C组HR、LR字典以及映射矩阵.对于输入的LR测试图像的每个子块在进行超分辨率重建时需要自适应地选择合适的字典和映射矩阵进行稀疏分解和重建.本文通过式(17)计算LR测试图像块x与各个低分辨率训练图像块类别的似然概率,取得最大似然概率者即为该测试图像块x所属的类别:

(17)

式(17)中的f(x|μ,Σ)表示训练样本的高斯混合模型的概率分布,μι和Σi为该高斯混合模型的模型参数,通过计算式(17)自适应的选择与测试图像块x最匹配的子字典Dhc、Dlc和映射矩阵Mc进行SR重建.对测试图像块x进行SR重建,首先需求出x在LR字典Dlc下的稀疏系数αl:

(18)

式(18)的稀疏编码过程使用Yang.J的方法进行求解,得到LR稀疏系数αl.然后使用映射矩阵Mc将LR特征空间的稀疏系数αl映射到HR特征空间上,求出HR稀疏系数,即:

αh=Mcαl

(19)

将HR稀疏系数αh结合HR字典Dhc重建出HR图像块y:

y=Dhcαh

(20)

对LR测试图像的每个子块进行SR重建,即可得到重建后的HR图像Y0.由于由式(18)局部模型求解的αl并不能保证LR图像块x和Dlαl准确相等,为了进一步提高重建后图像的效果,本文利用图像中存在非局部冗余自相似性[16],并将其与迭代反投影算法[2]相结合对重建后的HR图像进行全局约束,能够进一步减少重建误差,使得重建后图像在整体视觉效果上得到明显的提高,该全局约束的目标函数如下式:

(21)

5　实验结果与分析

本文算法程序采用Matlab语言编写,软硬件运行环境为:64位windows7SP1操作系统、MatlabR2012b、Inteli3-4130 3.4GHz处理器、4GB运行内存.本文试验中图像训练集采用Yang.J算法[8]以及Zeyde算法[9]所使用的自然图像训练库,随机选取10万个图像块作为训练样本,分成32个子类,子字典大小为256.将LR图像分成若干个5×5大小的图像块,相应的HR图像块大小为15×15.稀疏平衡因子λ=0.1,正则项参数α=0.01,对输入的测试LR图像进行3倍重建.由于人类视觉系统对亮度信息更为敏感,对于彩色RGB测试图像先转化为YCbCr信号,然后选择亮度通道Y进行SR重建,对Cb、Cr通道直接进行插值放大.

为了验证本文所提方法的有效性,本文将HR图像通过使用双三次插值进行3倍下采样得到低分辨率测试图像.实验以Bicubic插值作为基准算法,图2～5分别是Monarch、Girl、Parrot、Zebra重建后的局部图像,并将本文重建结果与Bicubic插值、Yang.J方法[8]、SCDL方法[11]和原始图像做对比.表1和表2分别是对本文算法重建的结果计算峰值信噪比PSNR和结构相似度SSIM,并与Bicubic插值、迭代反向投影IBP[2]、Yang.J方法[8]、Zeyde方法[9]、SCDL方法[11]和BPJDL方法[12]进行客观对比.本文试验中Yang.J方法、Zeyde方法和BPJDL方法的参数设置相同,即训练图像块个数为10万个、图像块大小为5×5、字典尺寸为1024、稀疏平衡因子λ=0.1,SCDL方法参数设置为:训练图像块个数为50万个、大小5×5、分为32类、子字典尺寸为256.

通过观察图2～5局部图像可以发现,Yang.J方法和SCDL方法相比Bicubic插值有较大提升,但是Yang.J方法在边缘部分仍然比较模糊,SCDL方法中的边缘部分出现锯齿效用、细节过于平滑,而本文方法相比前三者更接近原图,而且重建后图像基本消除锯齿效用,边缘改进较明显,可以恢复出更多的细节信息.在图3中,本文方法重建结果可以清晰看出女孩的双眼皮以及鼻尖部分的雀斑,而前三者重建图像的细节部分比较模糊.在图5中的斑马纹理部分,本文方法的重建结果基本与原图一致,白色条纹的边缘部分更清晰且没有出现锯齿效应,而Yang.J方法纹理部分出现模糊现象,SCDL方法出现了边缘锯齿效用以及细节过平滑的不自然视觉效果.

表1和表2分别给出各种算法的PSNR和SSIM对比,表中的本文方法1为使用单一的全局字典的重建结果,本文方法2为使用高斯混合模型聚类后的多组字典的重建结果.从中可以看出本文方法2重建图像的PSNR、SSIM相比其它方法均有所提高,其中方法2的PSNR相比Bicubic插值、IBP方法、Yang.J方法、Zeyde方法、SCDL方法和BPJDL方法分别增加了1.6dB、0.7dB、0.6dB、0.7dB、1.1dB和0.2dB.方法2重建图像的SSIM比Bicubic插值和IBP方法有较大的提升,相比Yang.J方法、Zeyde方法和SCDL方法分别提高了1、0.8和1.8个百分点,与BPJDL方法基本相当.从表1和表2中可以看出本文方法2重建结果的PSNR和SSIM相比方法1均有所提高,由此可以的出使用高斯混合模型对训练图像块聚类后的多组字典在SR重建中优于单一的全局字典重建结果.

表1　各种算法的PSNR对比

表2　各种算法的SSIM对比

表3　各种算法字典训练时间对比(min)

6　结论

针对目前基于字典学习的图像SR重建效果欠佳或字典训练时间过长的问题,考虑到高斯混合模型能简单有效地体现类内数据的分布特点,本文算法首先利用高斯混合模型聚类算法对训练图像块进行聚类处理,然后通过使用更改字典更新方式的改进KSVD字典学习算法来快速获得HR、LR特征空间下字典对和映射矩阵.重建时根据测试样本与各个类别的似然概率选择最匹配的字典对和映射矩阵进行HR重建.最后利用图像非局部相似性,将其与迭代反向投影算法相结合对重建后的图像进行后处理以获得最佳重建效果.实验结果表明,本文算法不仅提高重建后图像的质量,同时也有效地降低了字典训练时间.

[1]史郡,王晓华.基于改进K-SVD字典学习的超分辨率重构[J].电子学报,2013,41(5):997-1000.

Shi Jun,Wang Xiao-hua.Image super-resolution reconstruction based on improved K-SVD dictionary learning[J].Acta Electronica Sinica,2013,41(5):997-1000.(in Chinese)

[2]Irani M,Peleg S.Improving resolution by image registration[J].CVGIP:Graphical Models and Image Processing,1991,53(3):231-239.

[3]Stark H,Oskoui P.High-resolution image recovery from image plane arrays using convex projections[J].Journal of the Optical Society of America A:Optics,Image Science and Vision,1989,6(11):1715-1726.

[4]Freeman T,Jones T R,Pasztor E.Example based superresolution[J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[5]Chang H,Yeung D,Xiong Y.Super-resolution through neighbor embedding [A].IEEE International Conference on Computer Vision and Pattern Recognition[C].Washington,DC,USA:IEEE,2004.275-282.

[6]Aharon M,Elad M,Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation [J].IEEE Trans Signal Process,2006,54(11):4311-4322.

[7]詹曙,王俊,等.基于Gabor特征和字典学习的高斯混合稀疏表示图像识别[J].电子学报,2015,43(3):523-528.

Zhan Shu,Wang Jun,et al.Gaussian mixture sparse representation for image recognition based on gabor features and dictionary learning[J].Acta Electronica Sinica,2015,43(3):523-528.(in Chinese)

[8]Yang J,Wright J,Huang T,et al.Image super-resolution via sparse representation [J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[9]Zeyde R,Elad M,Protter M.On single image scale-up m using sparse representations[A].Proceedings of the 7th International Conference on Curves and Surfaces[C].Avignon,France:Springer,2012.6920:711-730.

[10]Dong W,Zhang L,Shi G,et al.Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].Image Processing,IEEE Transactions on,2011,20(7):1838-1857.

[11]Wang S,Zhang L,Liang Y,et al.Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[A].IEEE International Conference on Computer Vision and Pattern Recognition[C].Providence,RI,USA:IEEE,2012.2216-2223.

[12]Li He,Hairong Qi,Zaretzki R.Beta process joint dictionary learning for coupled feature spaces with application to single image super-resolution[A].IEEE International Conference on Computer Vision and Pattern Recognition[C].Portland,OR,USA:IEEE,2013.345-352.

[13]Chen S,D Donoho,M Saunders.Atomic decomposition by basis pursuit[J].SIAM Journal on Scientific Computing,2001,43(1):129-159.

[14]P Dempster,M Laird,B Rubin.Maximum likelihood from incomplete data via the EM algorithm[J].Journal of the Royal Statistical Society.1977,B(39):1-38.

[15]Smith LN,Elad M.Improving dictionary learning:multiple dictionary updates and coefficient reuse[J].IEEE Signal Processing Letters,2013,20(1):79-82.

[16]Buades A,Coll B,Morel JM.A non-local algorithm for image denoising[A].IEEE International Conference on Computer Vision and Pattern Recognition[C].Anchorage,Alaska,USA:IEEE,2005.60-65.

[17]潘宗序,禹晶,等.基于自适应多字典学习的单幅图像超分辨率算法[J].电子学报,2015,43(2):209-216.

Pan Zong-xu,Yu Jing,et al.Single image super resolution based on adaptive multi-dictionary learning[J].Acta Electronica Sinica,2015,43(2):209-216.(in Chinese)

詹曙男,1968年生于安徽合肥.副教授、硕士生导师,合肥工业大学计算机与信息学院.研究方向为三维人脸识别和医学图像处理.

E-mail:shu-zhan@hfut.edu.cn

方琪男,1991年生于安徽灵璧.硕士研究生,合肥工业大学计算机与信息学院.研究方向为数字图像处理.

E-mail:fq9110@mail.hfut.edu.cn

Image Super-Resolution Reconstruction via Improved Dictionary Learning Based on Coupled Feature Space

ZHAN Shu1,FANG Qi1,YANG Fu-meng2,CHANG Le-le1,YAN Ting1

(1.SchoolofComputer&Information,HefeiUniversityofTechnology,Hefei,Anhui230009,China;2.SchoolofElectronicInformationEngineering,SanjiangUniversity,Nanjing,Jiangsu210012,China)

Image super-resolution reconstruction via Improved Dictionary Learning based on Coupled Feature Space is studied in the paper,in order to solve the following problems:1 the dictionary training process is time-consuming,2 the results are not satisfactory in the existing algorithms.In the proposed algorithm,at first,the Gaussian mixture model clustering algorithm is employed to cluster the training image blocks,secondly,quickly obtain high and low resolution feature space of dictionary and mapping matrix by using dictionary updating based on improved KSVD dictionary learning algorithm,and then,the Super-Resolution image is reconstructed according to the likelihood probability of test samples,in which each category adaptively selected the most matching dictionary and mapping matrix for high-resolution reconstruction,finally,the non-local similarity and iterative back-projection are exploited to furtherly improve the quality of the reconstruction image.The experimental results demonstrate the validity of the proposed algorithm.

super-resolution;dictionary-learning;ksvd;sparse representation;gaussian mixture model

2014-12-17;

2015-09-14;责任编辑：蓝红杰

国家自然科学基金(No.61371156);安徽科技攻关计划(No.1401B042019)

TP391

A

0372-2112 (2016)05-1189-07

电子学报URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.025