基于自回归正则化和稀疏表示的图像超分辨率重建

李丽敏，冉 峰，郭爱英，郁怀波，沈华明

(1.上海大学 微电子研究与开发中心，上海 200444； 2.上海大学 新型显示技术及应用集成教育部重点实验室，上海 200444； 3.上海大学 机电工程与自动化学院，上海 200444)

高分辨率图像(High Resolution, HR)在生活中的诸多领域具有举足轻重的作用，但是由于现有成像系统器件等物理条件的限制，HR图像的获取有一定的难度，其成本也高.图像超分辨率重建(Super-Resolution, SR)技术[1-2]可以很好地解决这个棘手的问题，即用计算机技术通过重构算法来对低分辨率图像(Low Resolution, LR)进行处理，获得相对应的高分辨率图像.SR技术在安全监控、卫星遥感、军事侦查、医学成像和高清视频等领域得到了广泛的应用.

由于应用的需求，LR图像重建出HR图像的方法相继被提出.首先为最简单的基于插值的方法，例如最邻近点插值和双线性插值等，虽然此法计算量小且运算简单，但存在重构图像不够清晰、边缘模糊的问题，从而无法满足实际应用中的质量要求.其次为基于重建的方法通过多帧LR图像反向投影出HR图像,通用的方法有迭代反投影法(Iterative Back Projection, IBP)[3]和最大后验概率估计法(Maximum A Posteriori, MAP)[4]等，其能够重建出较好的图像质量,但这类方法的参数很难估计，所以提高图像分辨率的能力有限，且易产生过度光滑现象.更加有效的方法为基于学习的方法，对大数量的高低分辨率图像样本集进行学习训练，得到HR、LR图像的关系作为先验知识来指导重构[5].机器学习(Machine Learning, ML)[6-7]技术的目的是对低分辨率特征块和高分辨率图像块进行训练而得到两者的关系，效果比较理想，然而其所需要的样本训练图像数量达到了百万量级，工作量之大使复杂度增高.在基于学习的重构算法中，Yang等[8-9]开创的超分辨率重建算法是稀疏表示方法的领导者，通过自然高分辨率图像集训练一个相对应于高低分辨率图像的字典对，随之根据稀疏系数相同重建出LR图像相对应的HR图像.该算法的重建图像具有较好的视觉效果，但是其缺乏一定的正则性.在此算法的基础上多位学者又进行了研究.首先为正则化提供理论基础的是Tikhonov等，在其文献[10]中利用正则化理论求解信号的病态逆问题.正则化已经成功应用于图像压缩和插值[11].Wu等[12]指出AR模型是从图形的局部计算而来，在边缘重构方面取得了好的效果，但是从初始图像估算到的模型常会产生伪影.

基于上述讨论，本文针对稀疏系数和图像重建质量问题，提出稀疏编码结合空间自适应正则化算法.利用K-SVD方法构造相对应于高低分辨率图像的字典，根据稀疏系数相同的特点在字典的作用下完成高分辨率图像块的重建，同时通过自适应正则化项对稀疏系数求解进行进一步的约束，然后在全局约束下对重建图像进行整体优化.本文算法整体分为3个部分： (1) 超分重建部分主要介绍了稀疏原理和稀疏表示的局部和全局约束；(2) 字典的建立介绍了字典训练算法和特征提取算子；(3) 正则项的建立对稀疏系数函数进行约束.实验结果表明，本文算法的重建图像PSNR指标与稀疏编码等方法比有了一定的提升且图像重建效果也有所提高，其中，图像的平均重建PSNR为34.58dB，比Bicubic的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏编码的平均值高0.13dB.

1 相关理论

设X为HR图像，其相对应的LR图像为Y，则Y为X经过下采样和模糊而得到的，其退化模型为：

Y=EHX，

(1)

其中：E为向下采样滤波器；H为模糊算子.求解SR的过程为病态的逆问题，对于给定的LR图像Y，有无限多的HR图像X满足上面约束，这里用X的图像块x的稀疏先验来解决这个问题.

若取任意信号x∈RN,则x可由矩阵D中有限个列向量通过线性组合来近似表示.用式表示如下：

(2)

关于稀疏系数α的求解，也可以近似的写为下式：

(3)

利用稀疏先验知识，首先用局部约束来恢复局部图像块的高频细节，其次利用全局优化对整个图像进行约束，使得目标图像更加的一致和自然.

1.1 稀疏表示的局部约束

设x为HR图像X的图像块，y为相应的LR图像Y的特征块，则由稀疏理论可知，x=Dhα，其中Dh∈RN×L为HR图像训练所得的字典，α为稀疏系数.对于低分辨率特征块，由于会在测量中引入噪声，所以对于y，有y=Dlα+n,其中Dl∈RN×L为低分辨率图像训练所得的字典.假设n为高斯白噪声,则低分辨率图像的稀疏优化问题可以写为下式的形式：

(4)

其中：ε为大于0的实数，表示噪声强度或稀疏表示误差.由于式(4)的计算量非常大，所以将l0范数转换为l1范数的凸优化问题,同时考虑到低分辨率图像中的特征提取，则式(4)可以改为以下形式：

(5)

其中：F为特征提取算子，用来提供一个具有感知意义的约束.此条件约束了在字典Dl作用下的低分辨率特征块和输入低分辨率特征块的匹配度.

对于图像块的扫描是从左到右、从上到下而不是随机选取的，所以要考虑到在重建过程中每一个图像块和其周围块的兼容性，即对图像块y的超分辨率重建Dhα进行约束,可以进一步得到下式[9]：

(6)

其中： 矩阵P的作用是提取当前图像块和之前重构得到的HR图像块的交叉区域；ω是之前在交叉区域重建的HR图像.此条件约束了HR、LR图像块之间的兼容性.

式(6)可以采用Lagrange Multipliers进一步进行改进得到下式：

(7)

1.2 整体优化

对扫描选取的输入LR图像的特征块进行处理，得到其相对应的HR图像的估计值X0，由于重构的结果不完全相等及噪声的影响，我们将X0投影到Y=EHX的解空间中来消除误差，定义目标函数

(8)

上述优化问题可以采用反向投影算法,重建约束下的全局模型会去除局部约束可能产生的伪影.上式的计算结果就是超分辨率重建的目标HR图像的估计值.

2 字典的建立

2.1 高低分辨率的字典训练

高分辨率图像块Xh直接由高分辨率图像得到，低分辨率图像块Yl是Y插值放大后取特征而得到的.我们将Xh和Yl合在一起成为一个训练样本.用此样本来学习得到高、低分辨率字典.

为了对HR图像块和LR特征块统一进行稀疏关联学习,将采样后的训练样本对定义为M={Xh,Yl},其中,xi(1≤i≤n)∈Xh表示HR图像块，yi(1≤i≤n)∈Yl为相应LR图像特征块.为了便于图像的重建，HR图像的图像块和LR图像的特征块应具有相同的稀疏表达系数.字典可分别通过下式求得[13]：

(9)

(10)

其中A为稀疏表达系数矩阵.由于要使HR、LR图像具有相同的稀疏表示系数，式(9)和(10)可以联合优化求解为：

(11)

其中N和M分别为高低分辨率图像块的维数.将(1)式进一步简化为：

(12)

因此，可以使用相同的学习方法来联合构造两个字典.值得注意的是，Dh和Dl不能进行简单的线性连接，而是要进行归一化处理，否则，训练过程仅会因高分辨率图像块而变动.

字典D在超分辨率重建中占有很重要的作用,字典质量会影响最终的重建结果.本文采用稀疏K-SVD字典方法进行构造.首先进行稀疏表示，设D已知，用该字典对给定数据进行稀疏表达.其次进行字典更新，初始字典下的稀疏系数和原数据有较大差别.在满足稀疏的前提下，将字典逐列进行优化，减小整体误差且逼近估计字典.利用式(12)求解HR和LR图像相对应的字典Dh和Dl.

2.2 特征提取

为了更好地获得图像信息，超分辨率重建在训练样本和图像重构阶段都会有特征提取，目的是提取出图像的特征纹理来确保计算系数拟合低分辨率信号的最相关部分.本文向上采样借鉴文献[13]中的方法用局部自适应插值将原始LR图像采样，减少SR预处理过程中的误差,从而提高重构图像的质量.

最能代表图像信息的为图像中高频分量且高频信号对预测HR图像至关重要，故重建通常会选择高频信号作为特征.由于微分梯度的简洁有效性，本文使用微分来提取LR图像的特征块并加入边缘提取算子来突出图像特点，本文对Yang等的特征算子进行改进，4个改进的一维滤波算子如下：

其中： T为转置符号；f1为一阶梯度滤波算子水平分量；f2为垂直分量；f3为二阶水平分量；f4为二阶垂直分量.将4个一维滤波器应用到每个图像块可以得到相对应的4个特征向量，将其连接成一个特征向量作为此图像块的特征表示即特征块.实际上，滤波器直接应用到整幅图像上，生成4幅梯度图，将4幅图的同一位置的图像块取出并将4个小块连接在一起，就形成了图像的特征向量.增加的边缘提取算子用来提取图像的边缘信息，其为：

fe=[1,0,2,0,1].

3 基于稀疏表示与自回归正则化的超分辨率重建

3.1 自适应正则化

当下采样矩阵和噪声产生小幅度摆动时，重构结果将受到外界的干扰从而产生比较大的变化，且一幅图的局部可视为平稳过程可以进行建模，因此本文方法采用空间自适应正则化项进一步对求解方程进行约束，使得稀疏系数解更加的稳定.通过建模加入自适应正则化(Auto-Regressive，AR)模型来约束求解公式，实现图像重构的自适应控制.从集群高质量训练图像块中学习一组AR模型，并自适应地选择一个正则化模型以使输入图像块正则化.对于正则化项的构造，可分模型的训练和自适应选择两步.

1) 模型的训练 从集群HR图像集中训练多组AR模型，然后自选择其中的一个来约束输入图像块.对于整个训练数据集，本文将其分为k个子训练数据集Si(1≤i≤k)，对于每一个Si，用其所拥有的全部样本块来学习出一个AR模型.本文用来训练模型的高清图像块为方形，训练此模型的最终目的是利用相邻的像素大小来预测图像块的中心像素.考虑到模型的阶数对于建模至关重要且阶数越高越可能会导致数据过度拟合，故本文实验中的图像块设为3×3像素大小即阶数为8.设ai为第i个子训练数据集Si的模型向量，则ai可由下式简单求得：

(13)

其中：sj是子训练数据集Si中图像块Sj的中心像素值；qj是由sj周围像素组成的模型参数向量，这些都由AR模型支持.对于每个子图像训练集都用上述计算过程训练，则可以得到一系列的正则化模型{a1,a2,…,ai,…,ak},这些模型会被应用于SR重建的局部自适应.

(14)

(15)

其中：η为折中参数，用于调节模型的影响.为了表达的方便，我们将最后一个约束项进行简化，则式(15)可写为

(16)

其中：E为单位矩阵；A(i,j)的取值如下：

3.2 超分辨率重建流程

超分辨率重建流程见图1.超分辨率重建算法主要分为4部分，分别为训练样本提取阶段、高低分辨率字典训练阶段、AR模型建立和图像重构阶段.其中图像重构阶段为紫色框流程.

本文算法的整体流程如下：

输入： 测试图像Y0，字典训练图像M，AR模型样本图像R.

1) 对图像进行训练得高分辨率字典Dh和低分辨率字典Dl.

2) 从样本图像R中训练得到AR模型，将正则项加入到目标函数中.

3) 初始化： 提取Y0对应的LR特征图像Y.

4) 对Y进行分块得到图像块y，由式(16)来计算最优稀疏系数估计值α*.

5) 根据x=Dhα*得到高分辨率块x，进而得到高分辨率图像初始值X0.

6) 由式(8)得到最终高分辨率图像的最优估计值X*，满足全局重建约束.

输出： 高分辨率图像X*.

图1 超分辨率重建流程Fig.1 Super-resolution reconstruction process

4 实验与分析

本文采用MATLAB2013a作为仿真实验平台，计算机的配置如下，CPU： Inter(R) Core(TM) i5-3210 M CPU @ 2.50GHz；主频为2.50GHz；内存4GB；系统类型： 64位操作系统.

实验选择了标准测试集自然图像库Set5和Set14[14-15].选用文献[9]中的91幅高分辨率图像作为字典训练的图像集.实验中对比了本文算法、基于邻域嵌入(Neighbor Embedding,NE)[16]和稀疏编码重建(Sparse Coding Reconstruction, SCR)等算法.实验结果采用主观和客观两种评价方法来进行评价，其中后者采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)指标来进行评测，若其值越高，则重建质量效果越好.PSNR值优于其他的评价指标[17]的一点是它可以更好地表达出人的视觉和感知效果.

4.1 字典的选择

图2 字典大小对PSNR值的影响Fig.2 Influence on the PSNR value of size of dictionary

训练样本的个数为100000个，字典大小分别设置为256,512,1024和2048，对自然图像Butterfly采用多种方法进行处理，其放大倍数为2倍.由于双三次插值与字典训练无关故不计入对比结果.峰值信噪比的对比结果如图2所示.训练时，大小为256字典训练时间为3h左右，大小为512为4.3h左右，大小为1024达到了5.5h，而大小为2048时间将近8h且可能导致代码中的矩阵接近奇异值.理论来说，图像块数量越多字典越大，重建效果越好，但是随之而来的计算量也越大.由曲线图可以看出随着字典的增大，PSNR值在增大，但1024后增大的幅度较小，为了对质量和效率有一个折衷，本文字典的大小选择为1024.

4.2 重建效果对比

选择样本块数量为100000个，字典大小为1024进行实验对比.考虑到文章篇幅有限，这里仅仅展示了两幅自然图像通过不同算法分别进行2倍、3倍尺度的图像重构.图3是对放大2倍的Pepper图像的重建结果，其像素大小为512×512，图4是对放大3倍的Girl图像的重建结果，其像素大小为255×258.通过比较图3和图4中同一区域的细节大图可以看出图x(c)Bicubic方法重构图像产生了平滑现象仍然模糊.图x(d)的NE算法产生平滑效果，边缘处有锯齿效应.图x(e)稀疏编码算法在边缘和纹理上效果增强.图x(f)表明本文算法不仅边缘锐化效果好，而且图像更加清晰，特征细节和振铃现象都处理的较好.基于正则项改进的原理在仿真中具有好的效果.由此可见本文算法在主观视觉效果上有了一定地提升.

图3 Pepper测试图像放大2倍的不同方法超分辨率结果对比Fig.3 Comparison of pepper images with upscaling factor of 2 for different methods

图4 Girl测试图像放大3倍的不同方法超分辨率结果对比Fig.4 Comparison of girl images with upscaling fator of 3 for different methods

表1为不同算法在测试集自然图像中放大2倍时的峰值信噪比.表1数据表明，本文算法在评价指标下要优于双三次插值、邻域嵌入和稀疏编码等方法.其中，图像的平均重建PSNR为34.58dB，比Bicubic方法的平均值高2.58dB；比NE方法的平均值高1.01dB；比稀疏编码方法的平均值高0.13dB.

表1 本文方法与其他超分辨率重建方法效果对比

5 结 语

本文针对超分辨率重建图像质量的提高，将稀疏编码和正则化项有效结合，提出了一种空间自适应正则化超分辨率重建算法.该算法在稀疏表示的基础上利用自回归模型来对图像的局部进行自适应的调整，有效的提高了稀疏表示系数的精确度.实验结果表明，本文方法与多种图像超分辨率重构算法相比具有有效性，而且无论是在视觉上还是图像质量上都能得到较好的重建效果.