图像过完备稀疏表示理论及应用综述

陈垚佳，张永平

(1.宁波工程学院电子与信息工程学院，浙江 宁波 315211;2.太原理工大学信息工程学院，山西 太原 030024)

图像表示问题是图像处理任务中的重要组成部分。小波变换一直是图像处理领域里应用广泛的变换分析工具与表示方法。但是小波变换只能表达奇异点位置等一维奇异特性，不能有效表示图像的方向性、各向异性等特征。在处理高维信号的过程中，由一维小波基张成的高维小波基达不到最优稀疏逼近，不能很好地表达图像纹理和边缘信息。

为了检测、表示、处理高维奇异性，寻找图像等高维信号的稀疏表示，研究者提出了多尺度几何分析方法。它是基于脊波、曲波、轮廓波等完备基上的一种变换结果，能够很好地提取线奇异特征，也一直是图像处理领域的的研究热点。

过完备稀疏表示方法采用过完备基来代替传统的正交基函数，在过完备基里寻求少量元素来表示图像的特征，由于其采用的基函数的冗余性，因此其具有更好的稀疏表达能力。近年来，过完备稀疏表示作为一种有效表示模型广泛应用于图像去噪、图像恢复等图像处理领域以及图像识别等任务中。首先介绍过完备稀疏表示的理论框架以及主要研究方向，然后分别从重构性和区分性两个方面对其在图像处理及图像分析领域的应用进行综述。

1 过完备稀疏表示理论

1.1 过完备稀疏表示问题的提出

过完备稀疏表示是针对不确定方程组的求解问题提出的。对于一个不确定性方程组Ax=b，A∈IRn×m，且n＜m。在A满秩的条件下，由于方程数目小于未知数的个数，方程有无数组解。给定不同的正则约束函数，不确定性方程组的解也会不同。过完备稀疏表示模型是从解的稀疏性来给不确定性方程组一种约束，使得方程组有唯一解。将其引入到信号表示理论中，信号的过完备稀疏表示即是从过完备字典里寻求最少原子的线性组合来表示信号［1－4］。

1.2 图像稀疏表示模型

一般情况下自然图像的数据信息也具有冗余性，因此可以在冗余字典上进行稀疏表示。如果将图像信号看作一维向量b，其稀疏表示是指信号b在冗余字典A下的低维投影，投影系数即为稀疏表示系数x。图像稀疏表示问题可描述为式(1)，由于式(1)是NP问题，所以往往通过式(2)来近似求解

式中:‖x‖0为x的l0范数，即向量x中非零元素的个数，x^为信号x在过完备字典A上的稀疏表示。

1.2.1 字典构建方法

构造合适的过完备字典有助于得到最优稀疏表示。过完备字典的构建方法可以划分为两类。一方面，可以通过数学模型来构建字典。由于其模型较简单，正交和双正交变换的字典构建方法一度占据主导地位。然而研究表明这种构建方法得到的字典不能保证信号表示的稀疏性，进而影响信号的重构准确度。文献［5］提出利用适合刻画图像几何边缘的Bandlet基、适合刻画纹理的Gabor基、适合刻画轮廓的Curvelet基等不同形状的基函数组合构建字典。另一方面，可以通过训练图像样本来学习一组适合某一类信号特征的字典。字典学习的算法有MOD算法、组合正交基学习算法、广义PCA算法、K－SVD算法等［6］。最常用的方法是ELAD于2006年提出的K－SVD学习算法［7］。该方法交替执行信号在当前字典的稀疏表示与原子的更新过程，来达到学习字典的目的。

1.2.2 稀疏分解算法

除字典构建步骤外，设计快速有效的稀疏分解算法同样是关系到信号表示是否最优的关键步骤。文献［8］将现有的稀疏分解算法归纳为贪婪追踪算法、基于lp范数正则的算法、迭代收敛算法。贪婪追踪算法包括有匹配追踪算法(MP)以及在其基础上改进的正交匹配追踪算法(OMP)。此类算法是以贪婪思想为核心，在每一步迭代过程中，从字典里选择与残差最匹配的原子来参与稀疏逼近。基于lp范数正则算法采用lp(0≤p＜1)范数来代替非凸性的l0范数来对问题的解进行稀疏约束，其中具有代表性的方法是基追踪算法(BP)。该算法中，l1范数取代了l0范数，利用l1范数能促使小系数收缩为零的特点，将基函数选择问题转化成线性规划问题。迭代收敛算法顾名思义是对稀疏系数初始化后，按照类似式(3)的迭代公式不断进行迭代直至收敛的过程，公式为

式中:Tθ()为收敛函数。

2 过完备稀疏表示在图像处理与分析中的应用现状

2.1 基于重构性的图像处理领域的应用

图像处理是通过各种技术将源图像处理成为视觉更能接受的图像。图像统计表明图像碎片在过完备字典上能稀疏表示。稀疏表示理论表明信号稀疏表示能对信号进行准确的重构。基于过完备稀疏表示的图像重构是将源图像进行过完备稀疏表示后，再进行图像重构的处理技术。下面就该技术在图像去噪、图像恢复、图像融合、图像超分辨力等图像重构应用领域进行综述。

2.1.1 图像去噪方面的应用

图像在传输过程中常受到成像设备和外部环境噪声干扰等影响，成为含噪图像。去噪处理是从被噪声污染的图像中去除噪声恢复干净图像的处理过程。去噪过程要尽可能地保持原有信息的完整性，而去除信号中的无用信息。目前图像去噪算法有空间域滤波、变换域滤波、基于偏微分方程、变分法、形态学噪声滤除方法等。基于过完备稀疏表示模型，研究者们提出不同的图像去噪算法［9－14］。

文献［9］提出一种全局过完备稀疏表示模型的去噪方法。该方法借助K－SVD字典学习算法的思想，给定过完备字典和所求的无噪图像以及稀疏表示系数中的两项，求解第三项，直至收敛得到所求的无噪图像。通过对含零均值的均匀高斯白噪声的灰度图像进行试验，结果显示在噪声等级σ＜50的情况下去噪效果良好且优于当前提出的其他算法。

另外，文献［11－14］也均在文献［9］的基础上利用稀疏域模型提出新的图像去噪算法。文献［11］提出适用于彩色图像的字典学习方法，并将文献［9］中去噪算法应用于彩色图像去噪技术中。文献［12］将文献［9］中的模型在时间域扩展应用到图像序列或者视频去噪处理中，对football，tennis，garden，mobile 等图像序列进行实验，结果表示与 VBM3D(28.9 dB)、NL(27.92 dB)、文献［9］的去噪方法(27.08 dB)相比，本方法获得更高的信噪比(29.23 dB)。文献［13］中将过完备稀疏表示模型应用到心电图去噪算法中，去噪结果信噪比相比软阈值法去噪后的图像提高4 dB，相比平滑滤波方法处理后的图像提高2 dB。文献［14］将结构相似度作为图像最优稀疏逼近的评价指标，提出了一种新的去噪方法。与文献［9］中结果相比，其去噪处理后的图像与源图像的结构相似度更高。

2.1.2 图像修补方面的应用

利用损坏图像的已知信息，按照一定的规则对损坏区域进行修补，使修复后的图像达到或接近源图像的视觉效果。对破损区域进行修补，即是对破损区域的像素值进行估计的过程。基于稀疏表示的图像修补方法是通过对图像破损边缘碎片进行稀疏表示，然后对破损部分像素进行估计的一种方法［9，15－20］。

文献［9］将过完备稀疏表示模型去噪算法应用到彩色图像修补技术中，但是该方法只能修补含较小损坏区域的图像。文献［15］提出一种适用于大区域修补的方法，该方法中，假定相似图像区域的像素值形成子空间，使用稀疏表示寻找与破损区域相似的子空间，通过对相似子空间的像素信息进行参数估计，得到需要修补区域的像素值。修复后的图像没有模糊区域和块特征，且被修复的区域在纹理与结构上都符合视觉的需要。

文献［16］也采用过完备稀疏表示模型研究出一种图像修补算法。首先对破损边缘区域的图像块进行稀疏表示，由图像中完整区域的像素值对应的表示系数来计算被损坏的像素值，直到图像完全修复。为了得到更优稀疏表示，文献［17］提出一种多尺度字典学习模型。将该模型应用到彩色图像和视频修复处理中，取得较好的修复效果。

2.1.3 图像超分辨力方面的应用

由于图像传感器产生的图像分辨力的限制，超分辨力问题已成为需解决的热点问题。以前的超分辨力技术是通过多个图像进行融合得到高分辨力图像，现在只通过处理一幅单图像就可以获取高分辨力图像。已有的基于重构的超分辨力方法很多，但是随着放大系数的提高，这些方法得到的图像已不能满足实际需求。

基于稀疏表示的图像超分辨力方法在文献［21－24］中被提出。文献［21－22］首先在稀疏表示系数相同的条件下，学习高分辨力和低分辨力两组字典。将低分辨力图像用低分辨力字典里的原子稀疏表示得到系数，与高分辨力字典进行重构得到高分辨力图像。文献［23］提出不同的字典学习方法，在采用稀疏表示模型之前，对低分辨力图像进行预处理，这种改进使整个计算框架得到简化。

2.1.4 图像压缩方面的应用

随着数字化信息技术的发展，人们对数据信息的需求量日益增大。为了降低信号存储以及传输成本，通常在采集信号的同时对其采取压缩处理。

文献［25］从自然信号的冗余性出发，采用稀疏表示模型对数字全息图像数据进行压缩，获得压缩系数为300的图像数据，节省了图像存储空间和数据采集时间。结果显示重构图像与源图像的相关度高达95%。

2.1.5 图像融合方面的应用

图像融合是将多源信道所采集到的关于同一目标的图像经过某种规则处理得到一幅高质量的新图像。大量有效的图像融合算法都是在采用小波及多尺度分析的基础上提出的。

文献［26］提出基于稀疏表示的多聚焦图像融合方法。该方法将待融合的源图像块在过完备字典上进行稀疏表示，采用比较其模值绝对值大小的规则融合出一组新系数，由新系数与冗余字典重构融合图像。实验表明，融合图像很好地保留了源图像的边缘信息，且具有较高的清晰度。

2.2 基于区分性的目标识别领域的应用

图像分类为目标的识别提供了重要判断依据。目前已经有很多方法被提出来，例如PCA，ICA，LDA，Bayesian分类方法。对于缺损图像的识别，部分已提出的方法却显得无能为力。过完备稀疏表示理论的发展，为图像分类与识别，尤其是对缺损图像的识别，引导了一种新的途径。该模型不仅可以通过重构得到更能被视觉所接受的图像，而且从表示系数中可以获得一些与被表示信号相关的语义信息，这种语义信息则可以为图像提供分类的依据。

2.2.1 人脸识别方面的应用

基于过完备稀疏表示的人脸识别是采用该模型进行图像分类的最典型应用［28－32］。文献［28］以该模型为基础提出一种人脸识别算法。以人脸图像库中人脸图像作为原子构建过完备字典，计算被识别图像在此字典上的稀疏表示系数，根据系数中的非零项来判断被识别图像的身份。通过对人脸图像库的多项试验，表明该方法是一种有效的识别方法，且对含有噪声和闭塞的人脸图像具有较强稳健性。

文献［30］提出了基于区域稀疏表示的人脸识别算法。将各个区域的表示结果进行加权，通过加权后的结果对人脸表情进行识别。该算法正确识别率达到95.3%，并且能识别缺损范围为25%的图像。相比基于整体脸部识别的算法，对于同一缺损图像，该算法识别率更高。

文献［31］将稀疏表示分类算法推广到时域人脸图像识别中，通过试验得出，与SIFT算法的识别率93.83%相比，该算法识别率成功的提高到了94.45%。

2.2.2 其他识别领域的应用

过完备稀疏表示在文字检测、图像分类等其他识别领域也得到了广泛的应用［33－38］。文献［33］利用稀疏表示的稀疏度来衡量待认证的艺术作品与真品的相似度，由相似度来区分珍品与模仿品，由试验结果得出该方法优于基于小波分解的方法。

文献［34－35］提出采用稀疏表示模型进行文字检测的方法。文字检测是从带有文字的图片中将文字检测出来。文献［34］中首先对文字边缘进行采样学习得到过完备字典，使用Canny算子检测出图片里的边缘，将这些边缘在学习到的字典上稀疏表示，根据稀疏表示模型得到的系数进行判断是否为文字边缘，从而达到文字检测的目的。文献［35］的方法不同之处是该方法学习了两类不同的字典——关于文字内容的字典和关于背景内容的字典，然后根据在两组字典上进行稀疏表示的重构误差大小来判断待检测图像块是文字还是为背景。采用该方法对不同类别的图像试验，结果表明可以从图像中检测出不同尺寸、颜色、字体的文字。

3 总结

本文介绍了过完备稀疏表示模型理论框架，重点对其在图像处理与分析领域的应用进行综述。过完备稀疏表示模型进一步丰富了图像稀疏表示领域，它作为一种自适应表示方法，在图像去噪、图像修复、图像超分辨力、图像融合、图像压缩、图像分类与识别等领域都得到了有效的运用。但是过完备稀疏表示问题属于一种优化问题，涉及到字典学习和稀疏求解的计算过程比较复杂，设计出更为简单的稀疏求解算法和更适合特定类别信号的字典构建方法在未来的研究中显得尤其重要。

［1］BARANIUK R G，CANDES E，ELAD M，et al.Applications of sparse representation and compressive sensing［J］.Proceedings of the IEEE，2010，98(6):906－909.

［2］WRIGHT J，YI M，MAIRAL J，et al.Sparse representation for computer vision and pattern recognition［J］.Proceedings of the IEEE，2010，98(6):1031－1044.

［3］FADILI M J，STARCK J L，BOLIN J，et al.Image decomposition and separation using sparse representations:an overview［J］.Proceedings of the IEEE，2010，98(6):983－994.

［4］ELAD M，FIGUEIREDO M A T，YI M.On the role of sparse and redundant representations in image processing［J］.Proceedings of the IEEE，2010，98(6):972－982.

［5］PEYRE G.Best basis compressed sensing［J］.Lecture Notes in Computer Science，2007，4485:80－91.

［6］RUBINSTEIN R，BRUCKSTEIN A M，ELAD M.Dictionaries for sparse representation modeling［J］.Proceedings of the IEEE，2010，98(6):1045－1057.

［7］AHARON M，ELAD M，BRUCKSTEIN A M.The K－SVD:an algorithm for designing of overcomplete dictionaries for sparse representations［J］.IEEE Trans.Image Process，2006，54(11):4311－4322.

［8］YANG Jingyu，PENG Yigang，XU Wenli，et al.Ways to sparse representation:an overview［J］.Science in China Series F:Information Sciences，2009，52(4):695－703.

［9］ELAD M，AHARON M.Image denoising via sparse and redundant representation over learned dictionaries［J］.IEEE Trans.Image Processing，2006，15(12):3736－3745.

［10］ELAD M，AHARON M.Image denoising via learned dictionaries and sparse representation［C］//Proc.Conf.Computer Vision and Pattern Recognition.New York:［s.n.］，2006:17－22.

［11］MAIRAL J，ELAD M，SAPIRO G.Sparse representation for color image restoration［J］.IEEE Trans.Image Process，2008，17(1):53－49.

［12］PROTTER M，ELAD M.Image sequence denoising via sparse and redundant representations［J］.IEEE Trans.Image Process，2009，18(1):27－35.

［13］GHAFFARI A，PALANGI H，BABAIE－ZADEH M，et al.ECG denoising and compression by sparse 2D separable transform with overcomplete mixed dictionaries［C］//Proc.IEEE International Workshop on Machine Learning for Signal Processing.Grenoble:IEEE Press，2009:1－6.

［14］RWHMAN A，ZHOU W，BRUNEI D，et al.SSIM－inspired image denoising using sparse representations［C］//Proc.2011 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).Prague:IEEE Press，2011:1121－1124.

［15］MOBAHI H，RAO S R，YI M.Data－driven image completion by image patch subspaces［C］//Proc.27th Conference on Picture Coding Symposium.Piscataway，NJ:［s.n.］，2009:241－244.

［16］SHEN B，HU W，ZHANG YIMIN.Image inpainting via sparse representation［C］//Proc.2009 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).Taipei:IEEE Press，2009:697－700.

［17］MARIAL J，SAPIRO G，ELAD M.Learning multiscale sparse representations for image and video restoration［J］.SIAM Multiscale Modeling and Simulation，2008，7(1):214－241.

［18］MAIRAL J，BACH F，PONCE J，et al.Non－local sparse models for image restoration［C］//Proc.IEEE 12th International Conference on Computer Vision.Kyoto:IEEE Press，2009:2272－2279.

［19］FADILI M J，STARCK J L，MURTAGH F.Inpainting and zooming using sparse repressentations［J］.The Computer Journal，2009，52(1):64－79.

［20］VALIOLLAHZADEH S M，NAZARI M，BABAIE－ZADEH M，et al.A new approach in decomposition over multiple－overcomplete dictionaries with application to image inpainting［C］//Proc.IEEE International Workshop on Machine Learning for Signal Processing.Grenoble:IEEE Press，2009:1－6.

［21］YANG J C，WRIGHT J，HUANG T，et al.Image super－resolution as sparse representation of raw image patches［C］//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage，AK:IEEE Press，2008:1－8.

［22］YANG J C，WRIGHT J，HUANG T S，et al.Image super－resolution via sparse representation［J］.IEEE Trans.Image Processing，2010，19(11):2861－2873.

［23］ROMAN Z，ELAD M，PROTTER M.On single image scale－up using sparse－representation［C］//Proc.7th International Conference on Curves Surfaces.Avignon，France:［s.n.］，2010:711－730.

［24］WANG Jinjun，ZHU Shenghuo，GONG Yihong.Resolution enhancement based on learning the sparse association of image patches［J］.Pattern Recognition Letters，2010，31(1):1－10.

［25］MEMMOLO P，PATURZO M，PELAGOTTI A.Compression of digital holograms via adaptive－sparse representations［J］.Optics Letters，2010，35(23):3883－3885.

［26］YANG B，LI S T.Multifocus image fusion and restoration with sparse representation［J］.IEEE Trans.Instrumentation and Measurement，2010，59(4):884－892.

［27］YANG B，LI S T.Pixel－level image fusion with simultaneous orthogonal matching pursuit［J］.Information Fusion，2012，13(1):10－19.

［28］WRIGHT J，YANG A Y，GANESH A，et al.Robust face recognition via sparse representation［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2009，31(2):210－227.

［29］YI Chen，DO T T，TRAN T D.Robust face recognition using locally adaptive sparse representation［C］//Proc.17th IEEE International Conference on Image Processing(ICIP).Hong Kong:IEEE Press，2010:1657－1660.

［30］COTTER S F.Weighted voting of sparse representation classifiers for facial expression recognition［EB/OL］.［2011－12－20］.http://media.aau.dk/CRISSP/2010/09/paper－of－the－day－pod－weightedvoting－of－sparse－representation－classifiers－edition.html.

［31］NASEEM I，TOGNERI R，BENNAMOUN M.Sparse representation for video－based face recognition［J］.Lecture Notes in Computer Science，2009，5558(2009):219－228.

［32］LI Xiaoxing，JIA Tao，ZHANG Hao.Expression－insensitive 3D face recognition using sparse representation［C］//Proc.IEEE Conference on Pattern Recognition.Miami，FL:IEEE Press，2009:2575－2582.

［33］HUGHES J M，GRAHAM D J，ROCKMORE D N.Quantification of artistic style through sparse coding analysis in the drawings of Pieter Bruegel the Elder［J］.PNAS，2010，1079(4):1279－1283.

［34］PAN W，BUI T D，SUEN C Y.Text detection from scene image using sparse representation［C］//Proc.19th International Conference on Pattern Recognition.Tampa FL:IEEE Press，2008:1－5.

［35］ZHAO Ming，LI Shutao，KWOK J.Text detection in images using sparse representation with discriminative dictionaries［J］.Image and Vision Computing，2010，28(12):1590－1599.

［36］PATEL V M，NASRABADI N M，CHELLAPPA R.Automatic target recognition based on simultaneous sparse representation［C］//Proc.17th IEEE International Conference on Image Processing.Hong Kong:IEEE Press，2010:1377－1380.

［37］CHEN Y，NASRABADI N M，TRAN T D.Sparsity－based classification of hyperspectral imagery［C］//Proc.2010 IEEE International Conference on Geoscience and Remote Sensing Symposium.Honolulu:IEEE Press，2010:2796－2799.

［38］MARTIN A，FUCHS J J，GUILLEMOT C，et al.Sparse representation for image prediction［EB/OL］.［2011－12－20］.http://www.irisa.fr/temics/publis/2007/SparseRepresentationForImagePrediction10_06.pdf.