基于自训练字典学习的单幅图像的超分辨率重建

张 强，张爱梅，王华敏，陈 鹏

基于自训练字典学习的单幅图像的超分辨率重建

张 强，张爱梅，王华敏，陈 鹏

（郑州大学机械工程学院，河南 郑州 450001）

针对单幅低分辨率图像的超分辨率重建问题，提出了一种基于自训练字典学习的超分辨率重建算法。首先根据图像的退化模型，对输入的低分辨率图像进行降质处理，然后利用K-SVD方法训练字典，获得重建所需要的先验知识，最后根据先验知识重建高分辨率图像。仿真实验的结果表明，利用该方法获得的高分辨率图像在视觉效果和客观评价上均优于传统方法，同时算法的时间效率也有很大的提升。

超分辨率重建；稀疏表示；自训练字典学习；K-SVD

0 引言

图像超分辨率技术是指由一幅或几幅低分辨率图像复原出高分辨率图像的方法。在不改变现有系统硬件设备的前提下，快速、低成本地提高图像的分辨率。随着图像在各个领域的应用越来越广，人们对图像分辨率要求也越来越高。在医学成像、军事遥感和安全监控领域中，超分辨率技术都有着广阔的应用前景[1-2]。目前，超分辨率技术主要有以下几种方法：基于插值的算法、基于重构的算法和基于学习的算法[3]。基于插值的算法主要以双三次插值为主，算法简单，然而重建效果不好，重建的图像有锯齿效应；基于重建的方法是依赖多幅低分辨率图像进行重建，在实际应用中受限制，且当目标放大倍数较大时，重建效果急剧下降。基于学习的算法充分利用了图像本身的先验知识，在不增加输入图像样本数量的情况下，仍能产生高频细节，获得较好的复原效果[4]。

近年来，基于稀疏表示的图像超分辨率重建理论得到了大家的广泛关注并取得了一系列突破。Yang[5-6]等人提出了超分辨率重建的稀疏表示框架，其基本思想是低分辨率图像块和对应的高分辨率图像块具有相同的稀疏表示系数。低分辨率图像的每个图像块能够在一个低分辨率超完备字典上得到一组稀疏表示系数，高分辨率图像的图像块能够用同样的稀疏表示系数在给定的高分辨率超完备字典上重建，然后将高分辨率图像快连接得到完整的高分辨率图像。该方法重建效果好但是需要大量低分辨率图像和高分辨率图像样本进行联合训练，运算量大，重建时间长。Elad[7]在Yang思想的基础上，利用一幅高分辨率图像来训练字典，也能获得较好的重建效果。Zeyde[8]等人在文献[5-6]的基础上利用主成分分析进行降维和采取正交匹配追踪算法进行稀疏编码对其进行改进，使重建速度得到了提高，并取得了较好的效果。

本文在上述算法的基础上，结合稀疏表示的超分模型，提出了一种基于自训练字典学习的超分辨率重建算法，在重建效果和算法效率方面都有较大的提升。本文算法中超分辨率重建所需要的先验知识由输入的低分辨率图像提供，不需要额外的训练样本，保证了重建高分辨率图像信息的真实性。

1 基于超完备字典的图像稀疏表示理论

信号的稀疏表示就是从给定的字典中选择最佳线性组合的一定数量原子去稀疏逼近原始信号[9]。字典的选择是信号稀疏表示理论的一个基本问题。近年来超完备字典算法被广泛应用于信号的稀疏表示。这种新的信号表示理论用一种称为字典的超完备基替代传统的正交基，由于字典的选择没有任何的限制，因此它能有效的表达出原始信号的结构。

给定一个集合＝{d,＝1,2,3,…,}，它的每一个元素是张成希尔伯特空间＝R的单位矢量，其中>>，称为超完备字典，它的每一列元素称为一个原子。对任意给定的信号，都可以表示为字典原子的一组线性组合：

＝(1)

式中：为稀疏系数矩阵。字典训练算法的目标是求解字典和对应的稀疏表示系数，并保证信号残差－和稀疏表示系数的非零项均为最小，其数学模型为：

常用的字典学习算法有迭代最小二乘字典学习算法[10]、在线字典学习算法[11]和K-SVD算法[12]。本文采用K-SVD字典学习算法来训练字典。该算法收敛速度快，能够快速建立稀疏冗余字典。K-SVD训练字典时首先给定一个初始化字典0，把信号在该字典上进行稀疏分解，得到稀疏表示系数，然后升级字典原子，得到信号在新字典上的稀疏表示系数。K-SVD与其他方法的不同之处在于字典的逐列更新。在字典升级的过程中，只对字典中的一个原子进行更新，其他原子保持不变。假设系数和字典都是固定的，要更新字典的第列d，稀疏矩阵中与d相乘的第行记做，则目标函数可以重写为：

式中：表示去掉第个原子的残差矩阵；d表示字典中要升级的原子。如此循环的对所有原子进行更新，最终求得字典。

2 自训练字典学习算法框架

设低分辨率图像为l，超分辨率重建的目标为获得相应的高分辨率图像h。定义超分辨率重建操作为，那么图像超分辨率重建的数学模型可以描述为：

h＝l(4)

在重建处理过程中，我们将低分辨率图像进行分块处理。设低分辨率图像l分解为图像块lÎR×l，相应的高分辨率图像块h。

2.1 先验知识的获取

在本文的算法中，通过输入的低分辨率图像l来获取先验知识。定义为模糊操作，为图像下采样操作。根据图像的退化模型可知，每个低分辨率图像块都可以通过对应的高分辨率图像块模糊后下采样得到[13]。高分辨率和低分辨率图像之间的模型可以表示为：

l＝(h*)s(5)

通过对输入低分辨率图像l的模糊和下采样后得到ll，以此来模拟超分辨率重建的逆过程。基于图像稀疏表示理论，定义l为通过输入低分辨率图像训练得到的超完备字典。这时把ll看作是低分辨率图像块，l看作是相对应的高分辨率图像块，那么相应的低分辨率图像块ll可以在低分辨率字典上l得到稀疏表示：

ll＝l(6)

式中：为稀疏表示系数。利用优化后的正交匹配追踪算法来求解系数表示系数。根据图像的稀疏表示理论，高分辨率图像块l可以用同样的稀疏表示系数在高分辨率字典h上稀疏表示：

l＝h(7)

由高分辨率图像块l和稀疏表示系数可以得到高分辨率字典h。联合低分辨率字典l和高分辨率字典h组成了超分辨率重建的先验知识（l，h）。

2.2 利用先验知识重建高分辨率图像

通过上述步骤得到先验知识（l，h）后，接下来利用该先验知识重建高分辨率图像块h。将l看作是低分辨率图像块，h看作是相对应的高分辨率图像块。低分辨率图像块l在低分辨率字典l上稀疏表示：

l＝l(8)

新的稀疏表示系数通过求解一个基于错误容差的优化问题得到：

此时，需要重建的高分辨率图像块h由同样的稀疏表示系数在高分辨率字典上重建得到：

h＝h(10)

求解式(10)可得高分辨率图像块h。最后将所有重建得到的高分辨率图像块融合起来可得到完整的高分辨率图像h。

2.3 高分辨率图像的误差修正

为了保证重建得到的高分辨率图像和输入的低分辨率图像保持一致，采用迭代反向投影法对重建的得到的高分辨率图像进行误差修正。首先将重建得到的高分辨率图像h进行下采样操作得到s。然后计算s与低分辨率图像l的差值图像d：

d＝l－s(11)

把得到的差值图像d进行双三次插值得到b，然后将它与一个高斯低通滤波器进行卷积操作。将得到的结果和h求和，即可得到校正后的高分辨率图像：

＝h＋b*(12)

3 实验结果及分析

在仿真实验中，分别用双三次插值算法、Yang的算法和本文的算法对同一幅低分辨率图像进行超分辨率重建，然后对比重建效果，判断算法的优劣。本文采用峰值信噪比（PSNR）作为评价重建图像质量的统一标准。PSNR的计算值越高，重建图像的质量越高：

3.1 参数设置

原始高分辨率图像大小为256×256，通过对其1/2下采样操作得到一幅128×128的低分辨率图像作为输入图像。目标放大倍数为2倍。超完备字典的大小为1000，图像块大小为5×5，稀疏度设置为4，迭代次数40次。

3.2 仿真结果

仿真实验测试图像采用国际标准测试图像，对同一测试图像分别采用双三次插值算法、Yang的算法和本文的算法进行重建。3种算法的超分辨率重建效果如图1和图2所示。

图1 3种算法重建的效果图像（Lena）

图2 3种算法重建的效果图像（butterfly）

对比重建效果图像可知，双三次插值算法产生了比较模糊的图像，视觉效果差。Yang的算法和本章的算法都能得到满意的效果。仔细对比细节图像可以发现，Yang的算法重建出现较多的人工效应，本文算法重建的高分辨率图像有效地减小了人工痕迹，图像的高频细节更加真实自然，更接近于原始图像。表1所示为不同算法重建图像的PSNR值，从表中数据可以看出，本文算法的PSNR值均为最优，与Bicubic算法和Yang的算法相比，PSNR值均有很大的提升。

表1 不同算法重建图像PSNR值的比较

4 结束语

本文从图像超分辨率重建的实际工程应用出发，对基于稀疏表示的超分辨率算法进行了改进，提出了一种基于自训练字典学习的超分辨率算法。该算法不需要额外的训练样本，利用自身低分辨率图像的信息，快速高效地进行高分辨率重建。通过实验验证，本文的算法相较于传统插值算法和Yang的算法在重建图像的视觉效果和客观评价上均显示出相当大的优势，同时算法的时间效率也有很大的提升，使得其在工程领域的应用成为可能。

[1] 王自桦, 刘燕文. 基于稀疏表示的图像超分辨率重建[J]. 现代计算机, 2014(3): 35-39.

Wang Zi-hua, Liu Yan-wen. Image super-resolution reconstruction based on sparse representation[J]., 2014(3): 35-39.

[2] 江静, 张雪松. 图像超分辨率重建算法综述[J]. 红外技术, 2012, 34(1): 24-30.

Jiang Jing, Zhang Xue-song. A review of super-resolution reconstruction algorithms [J]., 2012, 34(1): 24-30.

[3] 浦剑, 张军平, 黄华. 超分辨率算法研究综述[J]. 山东大学学报: 工学版, 2009, 39: 27-32.

Pu Jian, Zhang Jun-ping, Huang Hua. A survey of super resolution algorithms [J].:，2009, 39: 27-32.

[4] 郑梅兰, 章品正, 郭伟伟, 等. 基于学习的人脸图像超分辨率重建方法[J]. 计算机工程与应用, 2009, 45: 170-175.

Zheng Mei-lan,Zhang Pin-zheng, Guo Wei-wei, et al. Learning-based super-resolution reconstruction of face image [J]., 2009, 45: 170-175.

[5] Yang J C, Wright J, Huang T, et al. Image super -resolution as sparse representation of raw image patches[C]//, Washington, DC, USA: IEEE Computer Society, 2008: 1-8.

[6] Yang J C, Wright J, Huang T, et al. Image Super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[7] Elad M.[M]//. [s.l.]: Springer Press, 2010.

[8] Zeyde R, Elad M, Protter M.[C]//,. Heidelberg: Springer Press, 2012, 6920: 711-730.

[9] Zhang J, Zhao C, Xiong R, et al. Image super -resolution via dual- dictionary learning and sparse representation[C]//, Seoul, Korea, May 20-23, 2012: 1688-1691.

[10] Kjersti Engan, Karl Skrettin, John Håkon Husøy. Family of iterative LS-based dictionary learning algorithms, ILS-DLA, for sparse signal representation[J]., 2007, 17(1): 32-49.

[11] Mairal J, Bach F, Ponce J, et al. Online dictionary learning for sparse coding[C]//, 2009: 689-696.

[12] Aharon M, Elad M, Bruckstein A. K-svd: an algorithm for designing over complete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[13] Glasner Daniel, Shai Bagon, Michal Irani. Super-resolution from a single image[C]//12, 2009: 349-356

Single Image Super-resolution Reconstruction Based on Self-learning Dictionary

ZHANG Qiang，ZHANG Ai-mei，WANG Hua-min，CHEN Peng

(，，450001，）

Based on the self-learning dictionary, a super-resolution reconstruction method of single image is proposed. First of all, according to the image degradation model, the low-resolution image input is processed with blurred and downsampled operations. Then the dictionary is trained with K-SVD method, and we obtain the priori knowledge for reconstruction. Finally, the high-resolution image is reconstructed based on the priori knowledge. The result of simulation experiment shows that the method is superior to conventional methods in the visual effects and objective evaluation, and the time efficiency of the algorithm is also significantly improved.

super-resolution reconstruction，sparse representation，self-learning dictionary，K-SVD

TP391

A

1001-8891(2015)09-0736-04

2015-06-10；

2015-07-30.

张强（1991-），男，硕士研究生，主要从事图形图像处理的研究。E-mail：zqs359@163.com。

张爱梅（1964-），女，教授，硕士研究生导师，主要研究方向为图形图像处理与模式识别。