基于鲁棒主成分分析的图像放大算法

范九伦， 张小丹， 徐 健， 郭茹侠

(1. 西安邮电大学 通信与信息工程学院， 陕西 西安 710121； 2. 长安大学 信息工程学院， 陕西 西安 710064)

基于鲁棒主成分分析的图像放大算法

范九伦1， 张小丹1， 徐 健1， 郭茹侠2

(1. 西安邮电大学 通信与信息工程学院， 陕西 西安 710121； 2. 长安大学 信息工程学院， 陕西 西安 710064)

给出一种采用鲁棒主成分分析去噪的图像超分辨率算法。对高分辨率训练图像进行Haar小波变换，使用鲁棒主成分分析法得到去噪后的近似子带字典和细节子带字典；将低分辨率测试图像的近似子带作为相应高分辨率测试图像的近似子带，通过细节子带字典恢复出高分辨率测试图像细节子带；通过逆Haar小波变换得到高分辨率测试图像，利用多级增强进一步提高图像的质量。实验结果显示，用所给方法得到的字典对噪声有鲁棒性，且高分辨率重建图像峰值信噪比较高。

小波变换；字典学习；稀疏表示；鲁棒主成分分析法；超分辨率重建

借助图像超分辨率(Super-resolution, SR)技术，可由低分辨率(Low-resolution, LR)图像获得高分辨率(High-resolution, HR)图像，并同时恢复高分辨率细节信息。

基于插值的SR方法简单高效，但会损失很多高频细节。基于重构的SR方法通常情况下需要假设降质模型，然而一个不佳的模型设计可能会导致质量受损。基于学习的SR方法通过学习高低分辨率图像块对之间的映射关系来实现图像的超分辨重建，不拘泥于数学模型约束，颇受关注[1-6]。

基于学习的SR涉及信号稀疏表示[3]，字典生成是其中一个重要环节。在生成字典的样本训练阶段，主成分分析(Principal Component Analysis, PCA)往往被用以提取样本的主成分，但此方法对大噪声图像鲁棒性较差[4]。相对而言，鲁棒主成分分析(Robust Principal Component Analysis, RPCA)方法的性能则要优越得多[5-7]。

本文将结合RPCA对噪声和奇点的鲁棒性，给出一种Haar小波域内RPCA去噪的图像超分辨率重建算法(RPCA-based Denoising SR, RDSR)。

1 算法描述

1.1 Haar小波变换

为了避免图像中不相似的部分对细节恢复造成影响，需将图像进行Haar小波变换[8]，对所得不同子带分别处理，只利用相似的近似子带作为先验信息来恢复高分辨率细节。

经Haar小波变换[8]

图1 同一场景高低分辨率图像的Haar小波变换结果

1.2 鲁棒主成分分析

RPCA方法可用核范数和1范数来表示[9]，如

s.t.M=A+E，

式中‖‖*为核范数，‖‖1为1范数，λ是折中因子,实际计算中，取

m1和n1分别为待降维矩阵M的行数和列数，A为低秩矩阵，E为稀疏矩阵。

这是一个凸优化问题，在其众多求解方法中[9-11]，精确增广拉格朗日乘子算法(ExactAugmentedLagrangeMultiplier,EALM)不仅计算量小，而且运行时间短。

增广拉格朗日函数的形式如

式中〈,〉为内积，‖‖F为F范数，Y为拉格朗日乘子，μ为大于0的常数。

用EALM算法交替迭代矩阵A和E，直至满足收敛条件

L(A,E,Y,μ)<ε=1×10-7。

算法的具体更新过程可描述如下。

步骤1将Y和μ分别固定为Y1和μ1，A和E依次相互更替。

步骤2当E=El时，用El来更替Al+1，即

其中l为迭代次数，El是l次迭代中E的值，Al+1是l+1次迭代中A的值，svd表示奇异值分解，U和V分别为左右奇异向量，S为奇异值矩阵。

步骤3根据得到的Al+1，更新矩阵El+1如

其中El+1是l+1次迭代中E的值。

步骤4判断Al+1和El+1是否满足条件

L(Al+1,El+1,Yl,μl)<ε,

若是，执行下一步骤，否则，返回步骤2和步骤3继续更替A和E。

步骤5将A和E分别固定为Al+1和El+1，更新矩阵Yl和参数μl如

其中ρ为大于1的常数。

步骤6判断Yl+1和μl+1是否满足条件

L(Al+1,El+1,Yl+1,μl+1)<ε,

若是输出低秩矩阵A=Al+1及稀疏矩阵E=El+1，否则，将Y和μ分别固定为Yl+1和μl+1，重复步骤4。

得到低秩矩阵A后，对其可用PCA方法求解主成分字典，即先求解协方差矩阵

Ω=ΦΛΦT,

可得训练字典

D=ΦT。

DRSR算法通过RPCA训练得到近似子带字典和细节子带字典，即先将子带矩阵分解为低秩矩阵和稀疏矩阵，再对得到低秩矩阵用PCA方法训练，最终得出子带字典。

1.3 DRSR算法

算法的训练过程和测试过程分别如图2和图3所示。

图2 训练过程

图3 测试过程

(1) 训练过程

由于人眼对彩色图像的亮度信息比其他两个分量更为敏感，所以仅对亮度信息进行超分辨率放大处理，而其他两个色彩分量直接用双三次插值放大。

为了节省内存和降低时耗，借鉴文献[11]的聚类方法，将训练图像块分为K类，对每个类别学习一个鲁棒主成分分析子字典。对于字典学习，采取联合稀疏编码模型[12]来训练主成分字典，对应表达式子如

‖(dsk)r‖2≤1,

‖(dsk)r‖2≤1。

训练过程可具体描述如下。

步骤2的流程如图4所示。

图4 各子带特征矩阵的构成

步骤3用RPCA训练字典。先用K均值方法将近似子带特征矩阵Ws聚类为K个类。再用RPCA方法训练每类近似子带特征矩阵Wsk，即先将Wsk分解为低秩矩阵Ask和稀疏矩阵Esk，对Ask进行PCA训练得到近似子带子字典Dsk。其中Ask为得到的第k类主成分，Esk为对应的噪声和奇点。联立K个近似子字典Dsk构成近似子带字典

Ds=[Ds1,Ds2,…,DsK]。

求解Wsk的近似子带稀疏系数

Ask=(Dsk)TWsk。

用伪逆求解细节子字典

(2) 测试过程

同一场景的高低分辨率图像经Haar小波变换后得到的近似子带具有相似性，据此先验信息可对低分辨率图像进行超分辨率放大。

测试阶段步骤具体描述如下。

步骤1对低分辨率测试图像Y双三次插值放大，得Yb,再对Yb进行Haar小波变换得到测试图像近似子带wt。

(3) 多级增加

用高分辨率测试图像X1代替双三次插值图像Yb，重复测试过程得到1级增强高分辨率测试图像X2。再用X2代替X1，重复测试过程得到2级增强高分辨率测试图像X3。仿此进行多级增强，可进一步提高测试图像的分辨率。

2 实验及结果分析

2.1 实验参数设置

选取69幅不同类别的高分辨率训练图[14]为训练样本，先取常用标准实验图像为测试图像(图5)。为了模仿图像从低分辨率图像到高分辨率图像形成过程，将高分辨率训练样本用双三次插值下采样结果作为本实验低分辨率训练图像。为适应人类视觉感知，将所有图像从RGB彩色空间转至YCbCr彩色空间。对于输入的低分辨率测试图像，先将其亮度部分通过插值放大2倍得到低频信息，再通过超分辨率方法来恢复出高频细节信息。对于色度部分，直接进行插值放大。

图5 测试图像

(1) 小波变换、块大小和重叠像素

为找到适合小波基，利用Haar、Daubechies、Symlets、Biorthogonal 四种小波变换进行RDSR重建比较。基于不同小波变换的实验结果如表1所示，可见，基于Haar小波的RDSR重建效果最好。

表1 不同的小波变换放大2倍的客观指标比较

不同大小的图像块在不同重叠像素下得到的平均信噪比如图6所示。图像块的大小b从2测试到5，重叠像素数从1测试到b-1。选取峰值信噪比(Peak Signal To Noise Ratio，PSNR)和结构相似度( Structural Similarity，SSIM)作为评价标准。

图6 不同的块大小和像素重叠数的PSNR均值比较

由图6可见，图像块较小时，容易找到所归属的类，且相应的峰值信噪比较高；重叠像素较大时，图像超分辨率结果更平滑，更满足自然图像的平滑先验知识。当图像块大小为3，重叠像素数为2时，图像平均信噪比最大，故实验可据此选取图像块的大小为3，重叠像素数为2。

(2) 聚类数

为了确定最佳聚类数K，选取信噪比提升最大的鹦鹉图作为测试图像，按照K从50到800依次训练，寻求最佳类别数，相关结果如图7所示。

图7 鹦鹉测试图像不同聚类数的峰值信噪比

由图7可见，聚类数太小时，图像的峰值信噪较小，每个样本类中所包含的结构相对复杂， RPCA训练的主成分字典也会比较复杂；当聚类数太大时，较少的数据样本被归为一类，RDSR方法将类似于邻域嵌入方法；而当聚类数在450～550时，图像的信噪比不仅较大，且区别于邻域嵌入。对于不同的测试图像，最大信噪比所对应的聚类数均有差异。经对比发现，聚类数为530时，信噪比有提升的图片张数最多，故取聚类个数为530。

2.2 实验结果

(1) 带噪声实验

为了评估RDSR算法的去噪性能，对带噪声LR测试图像分别用双三次插值、Zeyde[15]、ANR[16]、Wu[4]、RDSR算法进行SR重建，其中LR测试图像噪声的标准差 分别为2、4、6、8。从图8可知，相比于其他方法，RDSR算法对噪声、奇点更具鲁棒性,标准差 为2或4或6或8的图像，RDSR算法重建出的图像的峰值信噪比最大。

(a) σ=2

(b) σ=4

(c) σ=6

(d) σ=8

(2) 不带噪声实验

为了评估RDSR算法的超分辨率性能，现将其与双三次插值、Zeyde[15]、Yang[14]、ANR[16]4个算法进行比较。所有算法选取相同的训练图像，且参数都按默认参数进行设置。表2中RDSR(0)方法是未使用多级增强算法，RDSR(Max)是多级增强后信噪比的最大增加值。

表2 测试图不同方法的放大2倍实验结果的比对

从表2可知， RDSR算法中每幅测试图像的PSNR值大于他算法，且大多数测试图像的SSIM也高于其他算法；多级增强算法RDSR (Max)每幅测试图像的PSNR 相比于RDSR(0)都有所提高。为进一步对比实验结果，将测试图像进行局部放大，与原始高分辨率图像进行对比，结果如图9和图10所示。可见，RDSR算法更有效，不仅振铃痕迹少，边缘清晰，且纹理细节较多，人工痕迹较少。

图9 测试图小姑娘不同方法放大2倍效果

图10 测试图鹦鹉不同方法的放大2倍效果

2.3 复杂度分析

在测试阶段，当测试图像块的维数为d2时，相应的梯度特征的维数为4d2。对于每一个特征样本，采用欧氏距离从K个聚类中找到最近聚类数，若与该样本最近邻聚类大小为kq，则该过程算法复杂度为O(4kqd2)。稀疏表示阶段，若RPCA子字典大小为kr，则稀疏表示的算法复杂度为O(4krd2)，细节恢复阶段的算法复杂度为O(3krd2)。相比而言，RDSR算法比Zeyde算法的平均运行时间稍长，但比稀疏编码超分辨率方法(Sparse Coding Super-resolution, SCSR)的平均运行时间小很多。

3 结语

对LR图像进行SR放大的同时，为较好抑制图像的噪声，根据LR图像的近似子带与相应的HR图像的近似子带相似这一先验知识，可得出在Haar小波域内RPCA去噪的图像超分辨率重建算法。在Haar小波域中用RPCA训练除去噪声和奇点的HR图像的近似子带与细节字典关系，据此恢复出待测试的LR图像的高分辨率细节子带，通过逆小波变换得到相应的HR测试图像。实际测试结果表明，用鲁棒主成分分析法得到的字典对噪声、奇点有更好的鲁棒性，RDSR算法获得的高分辨率重构图像具有更好的视觉效果和更高的峰值信噪比。

[1] Chavez H, Ponomaryov V. Super Resolution Image Generation Using Wavelet Domain Interpolation With Edge Extraction via a Sparse Representation[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 10(11): 1777-1781.

[2] Zhang Kaibing, Gao Xinbo, Tao Dacheng, et al. Single image super-resolution with non-local means and steering kernel regression[J]. IEEE Transactions on Image Processing, 2012, 21(11): 4544-4556.

[3] Agrawal M, Dash R. Image super-resolution by interpolating high frequency sub-bands of image using surface fitting[C]// International Conference on Signal Processing and Communication. Noida: IEEE, 2013: 430-434.

[4] Wu Xiaomin, Fan Jiulun, Xu Jian, et al. Wavelet domain multi-dictionary learning for single image super-resolution[J/OL]. Journal of Electrical and Computer Engineering, 2015.http://www.hindawi.com/journals/jece/2015/526508.

[5] Liu Guangcai, Lin Zhouchen, Sun Ju. Robust subspace segmentation by low-rank representation[C]//Proceedings of the 27th International Conference on Machine Learning. Haifa: IEEE, 2010: 663-670.

[6] 范九伦,王彦梓,徐健,等.基于核典型相关分析的图像放大算法[J].西安邮电大学学报,2015,20(2):52-57.

[7] Tai Yuwing, Liu Shuaicheng, Brown S, et al. Super resolution using edge prior and single image detail synthesis[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010: 2400-2407.

[8] Gonzalez C, Woods E. 数字图像处理[M]. 北京: 电子工业出版社, 2003: 87-108.

[9] Wright J, Ganesh A, Rao S, et al. Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization[C]//Advances in neural information processing systems. New York: IEEE, 2009: 2080-2088.

[10] Kim I, Franz O, Scholkopf B. Iterative kernel principal component analysis for image modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(9): 1351-1366.

[11] Glasner D, Bagon S, Irani M. Super-resolution from a single image[C]//IEEE 12th International Conference on Computer Vision. Kyoto: IEEE, 2009: 349-356.

[12] Yang Jianchao, Wright J, Huang S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[13] Irani M, Peleg S. Irani M,et al. Improving resolution by image registration [J]. Graphical Models and Image Processing, 1991, 53(3): 231-239.

[14] Yang Jianchao, Lin Zhe, Cohen S. Fast image super-resolution based on in-place example regression[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE, 2013: 1059-1066.

[15] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[M].Berlin: Springer,2012:711-730.

[16] Timofte R, De V, Gool V. Anchored Neighborhood Regression for Fast Example-Based Super-Resolution[C]//IEEE International Conference on Computer Vision. Sydney: IEEE, 2013: 1920-1927.

[责任编辑:瑞金]

Image super-resolution based on robust principal component analysis

FAN Jiulun1, ZHANG Xiaodan1, XU Jian1, GUO Ruxia2

(1.School of Communication and Information Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121, China;2. School of Information Engineering, Chang’an University, Xi’an 710064, China)

In order to improve the robustness of the low resolution images with noises, an image super-resolution algorithm based on PRCA denoising is proposed. Firstly, the high resolution training images are transformed by Haar wavelet, and then the robust principal component analysis is employed to get denoised approximate subband dictionary and detail subband dictionaries. Secondly, the approximate subband of low resolution test image is regarded as its corresponding high resolution test image, and the detail subbands of high resolution test image are restored by detail subband dictionaries. Finally, the high resolution test image is reconstructed by inverse Haar wavelet transform. A multilevel enhancement process is used to further improve the image resolution. Experimental results show that the dictionary obtained by robust principal component analysis is robust to noises and singularities, and the high resolution image obtained by the proposed method has better visual effect and higher peak signal to noise ratio (PSNR).

wavelet transform, dictionary learning, sparse representations, robust principal component analysis, super-resolution reconstruction

2015-06-05

国家自然科学基金资助项目(61340040,1202183,61102095)

范九伦(1964-)，男，博士，教授，博导，从事图像处理与模式识别研究。E-mail: jiulunf@xiyou.edu.cn 张小丹(1988-)，女，硕士研究生，研究方向为图像超分辨率重建。E-mail: zxd393@163.com

10.13682/j.issn.2095-6533.2015.06.009

TN911.73

A

2095-6533(2015)06-0037-08