一种梯度正则化稀疏表示的图像超分辨率重建方法

黄淑英，胡晓燕，吴 昕，吴佳俊，许亚婷

(江西财经大学 软件与物联网工程学院，南昌 330032)

1 引 言

单幅图像SR重建是指从一幅输入的LR图像恢复出HR图像的技术[1].SR重建技术是当前计算机视觉和图像处理领域的研究热点，许多SR重建算法相继被提出，主要有基于插值的方法、基于重建的方法、基于学习的方法.基于插值的图像SR重建方法[2-4]简单且易实现，其思想是重建图像中待补充的像素点利用周围的像素点加权获得，加权像素点距离补充像素点的距离越近加权的比重就越大，但重建出的图像边缘往往比较模糊.基于重建的图像SR重建方法[5，6]根据图像观测模型进行建模来估计HR图像，并结合先验知识来约束重建图像，以得到更多的图像细节信息，主要方法包括：凸集投影法[7]、迭代反投影法[8]和最大后验概率法[9]等，在图像先验信息不足的情况下基于重建的方法得到的重建结果不理想.

基于学习的SR重建方法[10]是目前比较流行的SR重建技术，其主要思想是利用图像训练集来学习LR图像块到HR图像块之间的映射关系.该思想最初是由Freeman和Paztor[11]等人提出.基于学习的SR方法优势是充分利用了图像自身的先验知识，能得到较准确的重建结果.Chang等人[12]提出了局部线性嵌入(Local Linear Embedding，LLE)的方法，认为HR/LR图像块在两个不同的特征空间中具有相似的局部几何形状流形.该算法应用训练集重构HR图像，通过重叠目标HR图像中的块，实现了块之间的局部兼容性，增加了平滑度约束.2010年Yang等人[13]运用压缩感知(Compressive Sensing，CS)的思想提出了基于稀疏表示的SR重建算法，该算法用图像对联合训练两个过完备字典，将LR图像块用LR字典表示的系数与HR图像块用HR字典表示系数来重建图像.该算法实现了对图像块更紧凑的表示，从大量LR图像学习先验知识，图像重建效果较好，但学习过完备字典需要耗费大量时间.Zeyde等人[14]在Yang基础上改进算法，用K-SVD算法和正交匹配追踪算法(Orthogonal Matching Pursuit，OMP)进行字典训练，缩短了运行时间且得到了更好的重建结果.2011年，Dong等人[15]提出了自适应稀疏域选择和自适应正则化的图像SR算法，将样例图像块学习自回归模型引入到算法中规范化图像局部结构，提高重建图像的质量.后来Dong等人[16]在稀疏模型中考虑到稀疏编码对噪声的影响提出了非局部集中稀疏表示(Non-locally Centralized Sparse Representation，NCSR)方法，加入非局部自相似性约束来更精确地估计稀疏编码系数，在图像去噪、去模糊、SR重建方面均表现出色.近年来，由于深度学习具有强大的学习能力，基于深度学习的方法[17，18]也越来越被重视，并且有一系列方法被提出.Dong等人[19]首次将3层卷积神经网络(Convolutional Neural Network,CNN)引入图像SR中，效果上取得了显著的提升.虽然基于深度学习的方法已取得很好的重建结果，但是需要大量的数据训练，目前真实场景的训练数据集很难获得，数据集中的LR大多是通过双3次插值降采样等操作模拟获得，因而对处理真实场景的LR图像效果并不好.因此，本文将重点针对稀疏表示的SR重建方法进行研究.

虽然稀疏表示的方法取得了较好的效果，但还有许多值得改进的地方.由于LR图像受到噪声和模糊的影响，重建算法往往对噪声不够鲁棒，在恢复图像质量去除噪声的同时也丢失了大量图像的高频信息.针对稀疏表示的SR重建存在的问题，本文在非局部稀疏表示的基础上，结合邻域回归的方法，提出一种图像梯度信息正则化来增强重建图像的纹理细节.本文也通过大量的实验验证了所提出的梯度正则化稀疏表示的SR重建方法对含有噪声的LR图像重建能获得很好的重建结果.

2 图像SR重建相关理论

2.1 图像降质模型

在图像获取的过程中，通常会受到图像采集设备的影响，或者恶劣的天气环境、抖动、光照等外界因素的影响，所获得的图像大多分辨率比较低、质量比较差.在图像SR领域，建立符合实际成像的退化模型十分重要.图像的降质过程模型[6]如下：

y=Hx+n

(1)

其中，y是获取的LR图像，x是理想的HR图像，H表示下采样和模糊矩阵，n代表加性噪声.图像的SR重建与上述图像降质过程相反，包括提升LR图像的分辨率、去噪、去模糊等操作.

2.2 信号稀疏表示理论

对于给定的正交字典或过完备字典，信号稀疏表示理论是指用该字典中尽可能少的原子来表示信号，并且总是可以求出一组大多数元素为零的稀疏解，其中字典生成和信号稀疏分解是该理论的关键.信号x用一组过完备字典Φ=[Φ1,…,Φi,…,Φk]表示为：

x=Φα

(2)

其中，α=[α1,α2,…，αk]为稀疏编码系数，其特点是大部分元素都为零，只有较少的非零元素.因此，稀疏系数求解又可以用L0优化问题[20]表示为：

(3)

其中，‖α‖0表示系数的L0范数.为了解决优化问题，上述L0最小化问题可以转化为近似L1范数最小化，要求是α有足够少的非零元素，可表示为：

(4)

为了求解，可以把上式中约束项x≈Φα转换成惩罚项得到下式：

(5)

其中，λ是正则化参数，用来平衡系数稀疏度和图像重建误差之间的权重.

2.3 基于稀疏表示的图像SR重建

图像SR重建是图像降质的逆过程，利用所获得的退化图像y，恢复出HR图像x.稀疏表示在图像复原领域表现优异，图像的稀疏先验信息可以有效提高图像重建质量，恢复图像可以用字典原子的线性组合来逼近.假设LR图像y和HR图像x在过完备字典上的稀疏编码系数非常接近，首先需要求得LR图像在字典Φ上的稀疏系数αy，再根据x=Φαy就可以估计出HR图像x.根据上节信号稀疏表示理论，图像y在字典Φ上的稀疏系数αy求解为：

(6)

学习到一个好的字典，不仅能获取图像中所包含的信息，而且使得图像在该字典上的表达更稀疏，进而提高SR重建的质量，这也是图像稀疏表示的目的.从式(6)中可以看出，在求解系数αy时，构建合适的字典是重建图像的关键，同时构建合适的正则化项可以提高稀疏系数的求解精度.

3 提出的图像SR重建方法

3.1 重建模型

传统的稀疏表示SR重建方法对含有噪声的LR图像进行SR重建时，为了减少噪声对重建结果的影响，通常会损失部分的高频信息，从而导致重建的HR图像出现模糊现象和斑块效应.本文在图像自适应稀疏表示的基础上，结合邻域回归[21]知识，通过构建一个图像梯度正则化项，提出一种基于稀疏表示的图像SR算法.该方法在减少噪声影响的同时，可以增强重建图像细节.本文构建的SR重建模型表示如下：

(7)

(8)

(9)

其中W是归一化因子，h是用来控制平滑程度的全局参数.

稀疏非局部正则项虽然在图像重建过程中能够减少噪声的影响，同样也会导致图像一部分纹理信息的丢失.针对此问题，本文在此基础上通过构建一种基于邻域回归的梯度正则项来增强重建图像的细节信息.下面将对图像SR重建中字典学习、图像块稀疏域的选择及邻域回归正则项做详细地描述.

3.2 字典学习

(10)

其中，Sk表示聚类后的子数据集，αk为Sk在Φk上的系数矩阵.

3.3 自适应稀疏域选择

(11)

(12)

(13)

3.4 邻域回归梯度正则项的构建

(14)

(15)

(16)

其中，NG是与Ng对应的HR空间的梯度邻域.

针对图像重建过程中出现的边缘纹理模糊的现象，本文利用上述邻域回归的方法来对评估图像进行清晰纹理细节的重建，来修正重建图像的梯度信息，即在重建过程中让重建图像的梯度信息更接近评估的纹理信息.其能量函数定义如下：

min‖2

(17)

该能量函数在公式(7)中作为SR重建模型的一个正则项，在图像重建过程中用来增强估计HR图像的纹理细节.

3.5 SR模型的求解

(18)

在每次迭代获得评估图像后，利用下面公式来更新图像块的稀疏系数，其公式如下：

(19)

对获得的稀疏系数αi利用公式(8)的非局部均值进行更新，采用迭代收缩算法更新稀疏编码系数，公式如下：

(20)

其中Sτ是软阈值函数，c是辅助参数，用来保证收缩函数是可优化的.稀疏编码系数更新完之后，则图像块重构表示为：

(21)

重建HR图像为：

(22)

4 实验结果及性能分析

为了验证所提出模型的有效性，本文做了大量的对比实验并与近年来一些方法做了比较，比较方法包括：Bicubic、NCSR[16]、EPLL[22]、NRSR[21]、INSR[23]、REPS-SR[24]方法.本节主要选取了12张测试图像如图1所示，来展示各方法的重建结果，其中包括6张彩色图像(其名分别为：Butterfly、Hat、Parrots、Zebra、Plants、Bird)和6张灰度图像(其名分别为：Flower、baby 、barbara、flowers、 baboon、Comic).在实验中采用如下步骤对测试图像进行降质：首先，对测试图像用标准偏差为1.6，尺寸大小为的7×7的高斯函数进行模糊；然后，对模糊后的图像进行下采样，下采样的尺度因子分别为2、3、4；最后，对下采样得到的LR图像加入不同水平的高斯噪声得到最后的LR图像.实验中根据经验设置基本参数如下：图像块的尺寸为6×6，聚类数k为64，重叠像素点数为4，δ为7，c为0.35，λ2为0.1.下面将利用实验结果对我们提出的模型的有效性进行验证，并对各个方法所获得SR重建图像分别在主观方面和客观方面给出评价.

图1 测试图像Fig.1 Test images

4.1 梯度正则化有效性验证

如图2所示，图2(a)为没有应用邻域回归正则项获得的重建图像的梯度图，图2(b)为使用一次邻域回归正则项后获得的重建图像的梯度图.为了方便观察，我们将局部区域进行了放大，从放大区域我们可以看到图2(a)中蝴蝶的翅膀边缘模糊，有明显的断裂痕迹，而在图2(b)中经过一次邻域回归正则项获得的重建图像的梯度更加清晰，断裂区域明显地减少了.由此可见，利用加入邻域回归正则项后的SR重建方法能恢复出更多的图像边缘信息.

图2 使用邻域回归正则化前后重建图像梯度对比Fig.2 Image gradient comparison before and after regularization by neighborhood regression

4.2 实验结果对比

本节将从主观和客观两方面与其余方法比较来证明我们提出方法的有效性.图3是对图像Butterfly放大3倍时的视觉图，图4是对图像Parrots放大4倍时的视觉图.为了方便观察，我们剪切了局部区域进行放大，从图中的放大区域，可以明显地观察到其中Bicubic、NRSR方法重建的图像损失了大量的纹理细节、边缘模糊且含有一定的噪声，如图4中鸟眼睛周围的纹路几乎无法分辨；EPLL方法重建的图像光滑区域仍存在很多噪声且重建的边缘存在锯齿；NCSR、INSR方法重建图像较EPLL方法质量稍有提升，但仍存在边缘模糊情况；REPS-SR方法对噪声更具鲁棒性可以很好地恢复出HR图像，但在消除图像噪声的同时也损失了图像的纹理细节；本文方法重建的图像的边缘相比于其它方法更为清晰同时也保留了图像更多的纹理细节信息.

图3 放大倍数为3，噪声为8时不同算法对图像Butterfly重建视觉效果对比Fig.3 Visual comparison samples of different methods on ′Butterfly′ image with a scale factor of 3, noise level of 8

图4 放大倍数为4，噪声为5时不同算法对图像Parrots重建视觉效果对比Fig.4 Visual comparison samples of different methods on ′Parrots′ image with a scale factor of 4, noise level of 5

为了更好地说明本文方法在重建图像质量方面的优越性及对噪声的鲁棒性，我们对前面给出的12幅测试图像在多种噪声水平降质的情况下进行了实验比较.图5显示了当噪声水平逐渐增加时，所有对比方法在对图像放大3倍的情况下得到的重建结果的PSNR/SSIM平均值.从图中可以看出，相比于其他的SR重建方法，我们提出的方法获得的PSNR是最好的，SSIM指标也相对较高，并且在噪声逐渐增大的时候我们提出的方法下降趋势更慢.随着噪声水平增加，NCSR方法的PSNR和SSIM值比其他方法下降得更快；INSR方法SSIM值下降较快；EPLL方法虽然PSNR一直处于较低水平，但在噪声增大时SSIM指标呈上升趋势.综上所述，我们的方法在高噪声时达到了较高的PSNR/SSIM值，实验表明我们的方法在不同噪声水平下重建效果都优于所比较的方法.

图5 不同方法在不同噪声水平下图像放大3倍PSNR/SSIM均值Fig.5 PSNR / SSIM average values of different methods under different noise levels with a scale factor of 3

我们也给出了所对比的几种方法针对12幅测试图像在不同放大倍数和不同噪声水平下的重建图像的客观评价结果表1、表2和表3分别为放大倍数为2噪声水平为10，放大倍数为3噪声水平为8，放大倍数为4噪声水平为5时的PSNR/SSIM结果.其中指标测定值的最佳结果以粗体表示，下划线表示结果处于第2高，从客观结果可以看出我们提出的方法的PSNR/SSIM值在绝大部分情况下相比于其他对比方法效果更好，所有的PSNR和SSIM平均值均高于其他对比方法，这表明了本文提出的方法对边缘模糊的LR图像梯度信息重建是有效的.

表1 放大倍数为2噪声为10时PSNR/SSIM结果Table 1 PSNR/SSIM results with a scale factor of 2 and noise level of 10

表2 放大倍数为3噪声为8时PSNR/SSIM结果Table 2 PSNR/SSIM results with a scale factor of 3 and noise level of 8

表3 放大倍数为4噪声为5时PSNR/SSIM结果Table 3 PSNR/SSIM results with a scale factor of 4 and noise level of 5

5 结 论

本文在自适应稀疏表示的基础上，针对当前重建图像存在边缘模糊的情况，提出了一种梯度正则化稀疏表示的图像SR重建算法.该算法在自适应稀疏表示SR重建方法的基础上，为了重建出更多的图像细节信息，结合邻域回归的思想，对评估的HR图像在HR梯度数据集中查找相似的纹理结构来实现清晰纹理细节的重建，构建一种邻域回归的梯度正则化项，以实现增强重建HR图像的边缘纹理信息的目的.实验结果表明，我们提出的基于梯度正则化的图像SR重建算法重建结果优于比较的其他方法，能恢复出更精细的边缘信息.