基于稀疏表示的单帧超分辨率算法

王馨悦，辛志薇（四川大学计算机学院，成都　610000）

基于稀疏表示的单帧超分辨率算法

王馨悦，辛志薇
（四川大学计算机学院，成都610000）

超分辨；稀疏表示；图像金字塔；Lab颜色空间

0　引言

图像超分辨率 （Super Resolution，SR）是指从一幅低分辨率图像（Low Resolution，LR）或者一组低分辨图像序列中重构出高分辨率图像（High Resolution，HR）。高分辨率图像不仅能带给人们更好的视觉享受 （因为分辨率越高，细节信息越丰富），还在很多领域有着至关重要的作用。如：医学领域，更高分辨率的图像能帮助医生更好地判断病人的病情。一般而言，单幅图像的超分辨率要获得更好的重建效果就需要依赖先验知识，而基于图像序列的超分辨率重建则更多的根据图像降质模型和多幅低分辨图像序列间存在的差异信息估计出图像的高频细节信息。也因此，这些图像序列需要是关于同一场景且存在亚像素等级上的差异。通常，将超分辨率重建算法分为三类:基于插值的方法、基于重建的方法和基于学习的方法。

基于插值的算法（如Bicubic插值［1］等）采用某种数学模型拟合数据，以其选中像素点的值结合相应数学公式估计出待插入位置的像素值。这类算法实现简单，能符合实时应用的需求。但其重建效果只有在超分辨提高因子较小时比较好。因为其未利用任何先验知识，其重建图像中易产生模糊的边缘。基于重建的方法将图像超分辨问题看作是一个逆转化问题，利用多帧图像和一系列的先验知识完成图像重建，如文献[2]。这类算法可以重建出较好的边缘。而现实生活中，很难得到足够的低分辨图像，且这类算法可利用的知识有限，所以其重建效果只有在超分辨提高因子在2以下的时候才能有较好的重建效果。基于学习的方法使用训练后的模型来预测低分辨图像中丢失的高频信息，通常采用高低分辨率图像块对作为训练数据，以期望得到高低分辨率图像间的映射关系。代表方法有Freeman等［3］提出的方法、Chang等［4］提出的方法和Yang等［5］提出的方法。他们分别应用了马尔可夫随机场、局部线性嵌入规则和稀疏表达（Sparse Representation，SR）。文献[3]中的方法虽然能得到较好的重建效果，但却需要大量的训练样本。这就使得该方法的计算时长很长。而文献[4]在流型学习中利用局部线性嵌入规则，减少了训练时所需的样本，大大减少了算法时间。但因其通过线性组合固定数目的近邻块来完成高分辨图像块的重建，使得重建结果易产生欠拟合或过拟合现象。Yang等［5］提出的基于SR的超分辨算法则克服了前两个方法的缺点，利用稀疏表示系数自适应地选择最相近的字典原子完成重建。但该方法的耗时依然过长。它与传统的基于学习的超分辨率算法一样，对训练图像库的依赖性大。一旦待重建图像与训练库中的样本相差过大，重建图像的质量就会急剧下降。

针对这些问题，本文提出一种基于稀疏表示的单帧图像超分辨率算法。即，在稀疏表示的基础上，利用低分辨率图像自身训练得到高低分辨率块之间的对应关系，以提高整个算法的自适应性。同时利用不同尺度间存在的重复块训练字典，以得到一个更紧凑的字典。此外，在彩色图像的超分辨重建中，现存的方法大都是将RGB转到YCbCr（如文献[5]采用的就是该方法）下，对亮度通道进行重建，其他通道进行简单的插值处理。而对不同通道进行不同的操作是会降低图像一致性的。因此，利用Lab颜色空间的特点来避免这一操作对图像一致性造成的影响。

实验结果表明，较传统的基于学习的方法而言，该种算法获得的超分辨率图像视觉效果更好，峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）也更高。

1　基于稀疏表示的图像超分辨率

设输入的单张低分辨率图像为X，超分辨率算法的目的是根据超分辨率提高因子k，恢复其高分辨率图像Y。根据超分辨率学习算法的基本思想，首先需要训练得出高、低分辨率图像块之间的对应关系，建立稀疏字典对。本文相应的学习方法在2.2节详细讲述。

然后通过上述建立好的高、低字典库来重建高分辨图像。假设同一图像的不同分辨率图像在高、低字典库中的稀疏表示相同，只要求出低分辨率图像X在低分辨率字典库中的稀疏系数，在应用于高分辨率字典库即可完成重建工作。即：

其中:x为低分辨图像X中的任意图像块，α为关于字典DL的稀疏表示，ε是非常小的正数。再由式（1）求得的α到高分辨字典DH中选择相应的原子，通过线性组合完成重建。

2　本文算法

2.1字典的建立

利用图像的自相似性，本文提出采用图像自身获得训练样本。由式（2）得到Hi，其中H0表示原低分辨率图像X，B表示高斯核，↓s表示下采样操作，尺度因子为s。再由式（3）对Hi各层抽取低频信息，得到低分辨率金字塔GL（X）。其中L表示一个低频信息抽取造作，本文利用的Gaussian滤波器，以避免振铃现象。

接着由式（4）得到高分辨率金字塔GH（X），包含了图像的高频信息。

低分辨率字典DL所需样本由GL（X）的图像块5×5构成，而对应的高分辨率字典DH的样本由Hi中的图像块5k×5k构成。每个图像块的提取按光栅扫描顺序，相邻块间不含重叠区域。高分辨率字典和低分辨率字典中的图像块大小差了k倍。

2.2字典对的学习

由[6]可得不同尺度间存在重复块，用它们训练字典。对于H0中的任意一块x，按照高斯加权距离度量，找到其在Hi中存在的重复块P1，P2，…，Pn，n为x在Hi中找到的重复块的总数。按照降层的逆操作，找到Pi在H0中对应的图像块，记为，，…，。依次将P1与配对，P2与配对，…，Pn与配对，行成用于训练的高、低分辨率图像块对。重复多次上述操作（随机抽取H0中的块，实验中只抽取了H0中块总数的20%）组成最终的训练数据。利用文献[5]中训练字典对的方法，如式（5）所示。

其中：N和M分别为高、低分辨率图像块的向量形式的维度，‖Z‖1项用于增强稀疏性。

2.3超分表率图像重建

由于Lab颜色空间中三个通道间没有相关性，故在该种颜色空间下对不同通道进行的不同操作，亮度通道进行重建，其他通道进行简单插值，不会引起图像一致性的退化。故，选择在该颜色空间下完成图像重建操作。本文使用式（6）进行变换［7］。

图1　不同尺度的放大图像

式（6）中的转换矩阵是一个可逆矩阵，因此，很方便地便能从Lab空间再次转回到RGB空间。

重建步骤如下：①利用字典得出重建的高分辨率块YH，方法如第一节所示；②将原LR图利用Bicubic插值法放大k倍，得到YL；③将YH附加到YL得到Y；④对Y进行BP（Back-Projection）操作得到最终的超分辨率图像。之所以进行BP操作，一方面是为了加强重建图像和输入图像间的一致性，另一方面是为了弥补由采样时块与块间没有重叠区域而造成的相邻块间一致性的缺失而引入的不必要的噪音，因其能有效地保有相邻块间的一致性。

3　实验结果和分析

为验证算法的有效性，选用一些图片：face、girl和butterfly分别进行尺度放大2倍、3倍和4倍的仿真实验。实验效果如图1所示。

将本文算法与Bicubic插值、Yang等[5]的方法相比。从视觉角度看，图2中的Bicubic算法结果细节相对模糊；Yang算法较前者有明显改进，但丢失了一些细节信息；本文算法所产生的图像则显示了更多的细节。

为了进一步验证本文算法，采用所得结果图像的PSNR进行客观评价。一般而言PSNR值越大，算法所得图像质量越好。本文算法与其他算法的PSNR结果如表1，可以看出本文方法的PSNR值相对于其他方法有不同程度的提高。

表1　不同超分辨率算法所得结果RPSNR对比dB

4　结语

针对单帧图像的超分辨率重建问题，本文在稀疏表示的超分辨率模型基础上，提出利用金字塔结构以低分辨率图像自身建立高、低分辨率字典，并利用不同尺度间存在的重复块训练字典。同时，在Lab颜色空间重建，所得图像保持了颜色通道的一致性。实验结果表明，本文所提出的方法能获得更好的重建效果。

[1]KEYS R G.Cubic Convolution Interpolation for Digital Image Processing[J].IEEE Transactions on Acoustics,Speech,and Signal Processing,1981,29(6):1153-1160．

[2]M Irani，S Peleg.Improving Resolution by Image Registration[J]．CVGIP：Graphical Models and Image Proc．，1991，53(5)：231-239．

[3]Freeman W T,Pasztor E C,Carmichael O T.Learning Low-Level Vision[J].International Journal of Computer Vision,2000,40(1):25-47.

[4]CHANG H,YEUNG D-Y,XIONG Y-M.Super-Resolution through Neighbor Embedding[C]Washington,DC:IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,2004:275-282.

[5]YANG J C,WRIGHT J,HUANG T S,et al.Image Super-Resolution Via Sparse Representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[6]Daniel Glasner,Shai Bagon,Michal Irani.Super-Resolution from a Single Image[C].Kyoto:ICCV,2009:349-356.

[7]NING Q,CHEN K,YI L,et al.Image Super-Resolution Via Analysis Sparse Prior[J].Signal Processing Letters,2013,20(4):399-402.

Super Resolution;Sparse Representation;Image Pyramid;Lab Color Space

A Single Image Super-Resolution Slgorithm Based on Sparse Representation

WANG Xin-yue，XIN Zhi-wei
（College of Computer Science,Sichuan University，Chengdu 610000）

王馨悦（1990-），女，四川成都人，研究生，研究方向为图像超分辨

2016-01-12

2016-02-22

目前的基于学习的超分辨率算法大都存在一个问题：图像与样本库差异较大，超分辨的结果就会变得很差。为此提出一种基于稀疏表示的单帧超分辨率算法，使用图像金字塔建立字典。同时，利用不同尺度间存在的重复块训练字典。对于彩色图像，为避免由颜色通道相关性而造成的重建图像质量的下降，在Lab颜色空间对彩色图像进行重建。实验结果表明，该算法可获得更好的视觉效果和更高的峰值信噪比。

辛志薇（1990-），女，研究生，研究方向为网络与安全

At present,most of the super resolution algorithms based on the learning method have a problem,once the image is different from the sample library,the super resolution will become very poor.Proposes an improved method based on sparse representation,uses image Pyramid to build dictionary.At the same time,the repetitive patches across different image scales are used to learn dictionary.For color image,in order to avoid the degradation of the reconstructed image quality caused by the color channel's correlation,the color image is reconstructed by the Lab color space.Experimental results show that the proposed algorithm can obtain better visual effect and higher peak signal to noise ratio.