联合L1和L0先验模型的超分辨率重建算法*

李利，尹增山，石神

(中国科学院微小卫星创新研究院， 上海 201203； 中国科学院大学， 北京 100049； 上海科技大学信息科学与技术学院， 上海 201210) (2020年1月23日收稿； 2020年5月5日收修改稿)

高分辨率(high resolution, HR)图像在遥感、视频监控、医学图像、军事侦察等领域有重要应用价值。然而，图像在获取时往往会受到各种因素的影响，如距离、噪声、运动、设备抖动和欠采样等，导致分辨率受限，不能满足当前空间图像应用的要求。因此，提升图像的分辨率至关重要。超分辨率重建通过信号处理的方式，融合多帧具有亚像素位移的低分辨率(low resolution, LR)图像，估计出HR图像。该技术可以有效地克服硬件成像分辨率的限制。

1984年Tsai和Huang[1]首先提出频域超分辨率重建方法，并应用于卫星图像。此后，国内外学者对超分辨率重建技术进行后续研究，提出更有效的超分辨重建方法[2]。目前，超分辨率重建算法主要是在空间域上实现分辨率的提升，可分为基于插值、基于学习和基于建模3大类方法。基于插值的方法[3]是利用已知的相邻像素来估计未知的像素，优点是计算量较小，但该方法未考虑局部几何结构相似性等信息，会引入“锯齿”、“马赛克”等虚假信息，造成边缘不清晰，图像整体模糊。基于学习的方法[4]利用训练数据集学习LR图像和HR图像之间的映射关系预测HR图像，重建结果优于基于建模的方法。然而学习过程需要足够多的图像数据，算法一般针对特定类型的图像进行处理，在帧数有限的LR图像序列中难以满足。基于建模的方法从影响图像成像因素出发，建立退化模型进行重建。基于建模的方法在求解时，可以加入先验信息对重建问题进行约束，将病态的超分辨率重建问题转化为良性问题，成为超分辨率重建的主流方法之一。该方法主要包括迭代反投影(iterate back projection, IBP)法[5]、凸集投影(projection onto convex sets, POCS)法[6-7]和最大后验(maximum a posteriori, MAP)概率方法[8-10]等。IBP方法简单直观，可用于复杂运动的退化模型，但此方法不易加入先验，无法求得唯一的解。POCS方法可得到锐利的边缘和清晰的纹理，且加入先验方便，然而解依赖于初始值的设定，算法的计算量大，收敛速度和稳定性也有待提升。MAP方法尽管计算量较大，收敛速度较慢，但易于引入先验，确保解存在且唯一，是一种较优的重建方法。

在基于建模的方法中，添加的先验模型主要包括Tikhonov先验模型[11]和TV先验模型[12-13]及其改进先验模型。Tikhonov先验模型易于优化，而先验项限制了高频分量，重建图像无法得到锐利的边缘。TV先验模型因其保边性能好，是应用较多的先验模型之一。然而，该模型不能根据图像在不同区域的特性实现自动处理，导致在平坦区域存在“阶梯效应”。对此，Yuan等[14]根据图像的空间信息进行加权限制，提出空间加权(spatially weighted total variation，SWTV)正则化算法，有效改善重建图像的“阶梯效应”。Villena等[15]进一步优化TV先验模型，从梯度图像的水平方向和垂直方向选取不同权重值，提出L1先验模型，有效保持边缘的同时平滑图像，但此算法在平滑离散区域噪声时表现效果不佳。

基于上述分析，为重建出边缘保持且噪声低的HR图像，对L1先验模型进行改进，提出联合L1和L0先验模型的超分辨率重建算法。利用L0范数[16-17]的稀疏性，锐化图像的主要边缘而去除幅度较小的纹理或噪声，以去除因“阶梯效应”产生的噪声。将本文算法与双三次插值、TV先验模型和L1先验模型作对比，通过仿真实验数据和真实实验数据的分析，从客观评价指标和主观评价指标上证实本文算法重建的HR图像质量更高。

1 基于MAP的超分辨率重建

在图像的获取过程中，许多因素会导致图像质量下降，得到低分辨率图像。在经典的退化模型中，影响因素有运动形变、模糊、下采样和噪声，其数学表达式如下

yi=ABWix+ni, (i=1,2,…,k),

(1)

式中：yi∈mn表示第i帧LR图像，共k帧LR图像A∈mn×MN表示下采样矩阵；B∈MN×MN表示模糊矩阵；Wi∈MN×MN表示运动形变矩阵；x∈MN表示HR图像；ni∈mn表示加性噪声。

超分辨率重建是上述退化过程的逆过程，是一个典型的病态问题。本文采用MAP方法对x进行估计：

(2)

(3)

假设第i帧图像的噪声是均值为0且方差为(2βi)-1的高斯白噪声，则每帧LR图像对应的条件概率p(yi|x)表示为

(4)

假设LR图像序列之间的噪声是独立同分布的，则条件概率p(y|x)为

(5)

先验概率p(x)可以减少对x估计的不确定性，从而得到稳定的重建结果。结合L1先验模型pL1(x)的保边特性和L0先验模型pL0(x)的去噪特性，本文提出混合先验模型p(x)=pL1(x)pL0(x)。其中，L1先验模型的概率密度函数如下

pL1(x|αh,αv)∝(αhαv)MNexp{-[αh‖Δh(x)‖1+

αv‖Δv(x)‖1]}，

(6)

L0先验模型的概率密度函数如下

pL0(x|λ)∝λMNexp{-λC(x)}，

(7)

式中：C(x)=‖Δ(x)‖0表示HR图像的梯度图像中非零元素的个数，λ是参数。

因此，将式(5)、式(6)和式(7)代入式(3)得目标函数

αv‖Δv(x)‖1+λC(x)，

(8)

2 联合L1和L0先验模型的超分辨率重建算法

L1先验项和L0先验项无法直接应用梯度下降法，采用majorization-minimization(MM)算法[12]和the half-quadratic splittingL0minimization method[16]分别对L1先验项和L0先验项进行优化。

2.1 L1先验项的优化

MM算法的准则是找到目标函数的一个易于优化的上界函数，通过优化该上界函数获得原问题的解。首先考虑以下不等式，对任意的a≥0和b≥0有

(9)

然后，对L1先验项应用不等式(9)，则L1先验项的上界函数可表示为

(10)

QL1(x|x(t))=xTDTU(t)Dx+cte，

(11)

式中：cte为常数项。

2.2 L0先验项的优化

参考文献[16]所提的the half-quadratic splittingL0minimization method算法，对L0范数引入增广变量进行优化，则λC(x)变换为

(12)

式中：C(H,V)=#{p‖Hp|+|Vp|≠0}表示|Hp|+|Vp|在p处不为零的个数。当参数γ趋于无穷大时，H趋近于水平方向的梯度图像Dhx，V趋近于垂直方向的梯度图像Dvx。此时，C(H,V)的非零元素个数趋近于C(x)的非零元素个数。

将式(11)和式(12)代入式(8)得目标优化函数：

(13)

对式(13)进行分步求解：

1) 求解HR图像x(t+1)：

(14)

2) 求解辅助变量H和V：

(15)

基于上述分析，联合L1和L0先验模型的超分辨率重建算法如算法1所示。

--------------------

Algorithm1image SR reconstruction algorithm by combining l1 and 10 prior model

--------------------

Input: sequensesyi,i=1, 2,…,k

2: choose blur matrixH

3: estimate registration matrixWand parametersβ,αh,αv

4:fort:=0 to maxiterdo

5:U(t):= diag [Uh(t)Uv(t)]

6: initializeγ0,γmax,λ

7:forγ:=γ0toγmaxdo

8: withx(t), solveHandVwith equation (15)

9: withHandV, solvex(t+1)with equation (14) by Preconditioned Conjugate Gradients algorithm

10:endfor

11:if‖x(t+1)-x(t)‖2/‖x(t)‖2

12: break

13:endif

14: updateW,β,αh,α

15:endfor

--------------------

3 实验结果及分析

实验部分包含仿真实验数据和真实实验数据的分析, 选取双三次插值、TV先验模型、L1先验模型作为对比算法。仿真实验数据选取4幅124×124 HR图像，即图像Cartap、图像Crahouse、图像EIA和图像Lena，相应的参考LR图像和HR图像如图 1所示。其中LR图像序列由HR图像经过以下步骤获得：

1) 随机地平移旋转；

2) 使用3×3的均值模糊算子进行模糊退化；

3) 隔行隔列下采样；

4) 根据信噪比(signal-noise ratio, SNR)加入高斯噪声。

仿真实验采用峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性指数(structure similarity index measure, SSIM)来评价算法的性能。PSNR值越高表明重建图像的信噪比越高，质量越好。SSIM值越接近1，表明2幅图像的结构相似性越高。

表1给出SNR=30 dB时，本文算法与对比算法的PSNR和SSIM结果对比。由表 1可看出，本文算法的PSNR和SSIM均高于被对比算法。图 2给出与表 1一致的重建结果对比图。由图 2可看出，本文算法在保持边缘的同时，在非边缘区域的去噪效果更优，尤其是非边缘区域较多的图像Cartap和图像EIA。

真实实验数据选取8帧100×100 LR图像Car、16帧100×100 LR图像Noel、30帧49×57 LR图像Text、15帧66×76 LR图像Adyoron和10帧256×256 LR图像Plant。实验结果如下所示，图3为上述图像的参考LR图像，图4至图8分别是图像Car、图像Noel、图像Text、图像Adyoron和图像Plant的超分辨率重建结果对比图。

图1 仿真测试图像的LR图像及其相应的HR图像Fig.1 LR images and its corresponding HR images of simulations

表1 不同算法的超分辨率重建结果对比Table 1 Comparison of SR reconstruction results with different methods

图2 图 1中仿真测试图像的超分辨率重建结果图Fig.2 SR reconstruction results of simulations in Fig.1

从图4至图8对比可看出，双三次插值的结果图边缘不清晰，噪声明显，图像整体模糊。TV先验模型和L1先验模型重建的边缘较好(如图4 Car车窗上的字母和图5 Noel的鼻子和耳朵)，然而在非边缘区域存在“阶梯效应”(如图4和图5的白色区域，图7的平坦区域和图8的放大部分)。相比之下，本文算法的保边效果不低于TV先验模型和L1先验模型(如图6中字母边缘部分)，且在非边缘区域噪声抑制效果明显。

图3 真实LR图像Fig.3 Real LR images

图4 图像Car的超分辨率重建结果图Fig.4 SR reconstruction results of “Car” image

图5 图像Noel的超分辨率重建结果图Fig.5 SR reconstruction results of “Noel” image

图6 图像Text的超分辨率重建结果图Fig.6 SR reconstruction results of “Text” image

图7 图像Adyoron的超分辨率重建结果图Fig.7 SR reconstruction results of “Adyoron” image

图8 图像Plant的超分辨率重建结果图Fig.8 SR reconstruction results of “Plant” image

4 结论

本文针对L1先验模型存在的“阶梯效应”，提出联合L1和L0先验模型的超分辨率重建算法。实验结果表明，本文算法的PSNR和SSIM值高于双三次插值、TV先验模型和L1先验模型，重建结果的保边效果和去噪效果优于被对比算法，有效提高超分辨率重建图像的质量。而本文算法因L0先验模型的引入，该先验的参数无法实现自动化求解，可进一步研究探讨。