一种基于MAP的图像超分辨率重建算法

洪逸飞，姚琦敏，张贻雄

(厦门大学信息科学与技术学院通信工程系，福建厦门361005)

图像的超分辨率重建是基于信号处理技术将多幅模糊且带有噪声的低分辨率(Low Resolution，LR)图像或低分辨率视频序列之间的相关信息融合，生成一幅去模糊去噪声的高分辨率图像或高分辨率视频序列。超分辨率重建已经有不少经典方法，例如Henry Stark和PeymaOskoui提出的凸集投影图像复原(POCS)方法［1］;Schultz等人首先提出了采用基于马尔科夫随机场先验模型的多帧MAP(最大后验概率)算法进行超分辨率图像重建［2］。

在MAP框架下，超分辨率重建是一个基于马尔科夫随机场先验模型的统计推断问题，即在给定低分辨率图像序列的条件下，通过选取与设计合理的马尔科夫随机场先验模型，使得超分辨率重建估计的高分辨率图像的后延概率达到最大。Cheeseman等［3］采用基于高斯分布的先验概率模型，运用雅可比(jacobi)迭代法求解高分辨率图像，但是这种算法容易使图像中的边缘等重要几何信息产生模糊。Hardie等［4］提出了一种联合估计高分辨率图像和运动参数的MAP参数，但是这种算法收敛速度过慢。Ng等［5］提出一种基于数字全变差模型的图像视频序列的超分辨率重建算法，这种算法的运动估计是基于光流算法，光流估计算法在物体没有发生运动但背景光照发生变化的帧间能观测光流，而对于灰度等级缺乏足够变化的区域就很难检测到实际运动。由Michael Elad提出的传统MAP/POCS混合算法［6］是利用POCS方法容易引入先验约束集合的特点，将MAP估计作为一个凸集约束集加入到POCS的约束集中，从而构造一个新的凸集解空间来进行超分辨率重建，从像素点对图像的局部特征进行重建优化，从而使得锐化效果更佳。但该算法只是简单地将这两者进行串行结合运算，相当于每个算法的运算是独立的，因此这样混合算法无法充分利用各自的优点进行互补，导致效果不如预期的理想。Babacab等［7］采用L1范数的全变差模型对高分辨率图像进行估计并采用基于高斯光流的光流算法(Lucas—Kanade)对低分辨率图像序列进行运动估计，虽然从实验结果来看这种算法有较好的效果，但仍存在两个缺点:一是平坦区域在噪声抑制的过程中容易产生阶梯效应［8］;二是纹理结构等小尺寸的图像细节在噪声抑制过程中容易损失［9］。

本文根据传统的重建方法，在传统的MAP/POCS混合算法上加入了CPF图像配准方法，并把POCS的残差约束集合加入到基于CPF图像配准的MAP正则化算法中［10］，同时在每一次迭代重建过程中利用CPF对低分辨率图像进行配准并且对重建图像的像素点进行约束，且在此过程中几个关键算法都不是独立分开运算，这种改进的方法可以更好地结合这几种算法的优点，从而获得相对传统重建方法更理想的效果。

1 关键点滤波匹配算法研究

关键点滤波配准法［11－12］在生成低分辨率图像的同时，保持图像内每一个关键像素点的灰度和位置信息，而且不需包含任何先验知识。

1.1 多尺度图像的分解

设原始图像的高度与宽度分别为M和N，其中M=N=2n(n为任意正整数)。图像任意位置(i，j)处的灰度值为gi，j。令当前尺度为m层(0≤m≤n)，图像大小为2m×2n，则m层的4个图像可以由m+1层图像分解求得，关键点滤波器的数学表达式［13］为

假设 α =minx≤t≤x+1，β =maxx≤t≤x+1，则上述 4 种子图像可以表述为

在配准过程中，首先采用g(m，0)对极小值进行匹配，其次是g(m，1)和g(m，2)对两类鞍点进行匹配，最后采用g(m，3)极大值进行匹配。

1.2 子图像的映射

假设映射方向是从源图像映射到目标图像。映射过程采用自顶向下的方式，从最高层(最低分辨率)开始直到最底层(原始分辨率)。源图像到目标图像的双射子映射表示为

式中:f(m，s)(i，j)=(k，j)表示源图像的点在目标图像内的对应点为。

1.3 映射能量

映射能量也称作为代价函数，主要由3部分组成:与像素强度相关的能量、与边缘强度相关的能量、与映射距离相关的能量。

1)与像素强度相关的能量

该能量由源图像和目标图像之间的像素强度差决定，可以表示为

2)与边缘强度相关的能量

该能量主要是为了保证对图像内物体的边缘更好地匹配，对灰度变化和集合变形具有较强的鲁棒性。边缘图像分为水平边缘图像以及垂直边缘图像，采用Sobel算子进行边缘检测。

该能量可以表示为

3)与映射距离相关的能量

该能量主要是用于保证映射的平滑性，由源图像和目标图像像素点的位置决定，而与像素灰度值无关。该能量定义为

式中:η≥0是一个实数。

式中:D0由(i，j)和f(m，s)(i，j)=(k，j)的距离决定，防止源图像的像素点被映射到目标图像中距离太远的像素点位置;D1表示为当前像素点和相邻像素点的映射距离差，用来保证映射的平滑性。

1.4 匹配算法流程

由上文得到映射总能量为

2 基于CPF图像配准的MAP/POCS算法

传统光流法为了确定物体移动的速度和方向，通过检测图像像素点的强度随时间的变化来进行确定，这样势必存在一定的局限性，特别是对视频序列而言在背景光照变化较大的帧间并不适用。

关键点滤波能不仅有够效地表达各种非平移的运动，同时还可实现图像的自动配准;MAP算法具有解唯一和去噪能力强的特点;POCS算法的边缘和细节保持能力较优，本文结合这3种算法的优点，在CPF图像匹配算法的基础上，在MAP算法的每次迭代中加入了POCS残差约束集合来进行图像重建，而不是传统算法中仅仅只是将几种算法做串行运算。

2.1 目标函数的设计

考虑到MAP算法和POCS算法的数据一致性约束［14］，因为总变分［15］(Total Variation，TV)正则化可以克服超分辨率重建问题的病态性，且L1+TV的约束方法不仅与L2+TV约束法有同样的边缘保持能力，还提高了算法的运行速度，同时图像重建过程中的中值估计比均值估计更具有鲁棒性［16］，因此这里MAP算法采用L1范数的数据保真度项和总变分算子作为正则化项，可得

式中:k为低分辨率的帧数;假设低分辨率图像序列的分辨率为M×N，(m，n)为坐标值，则1≤m≤M，1≤n≤m;yk是低分辨率图像;X是重建的高分辨率图像;Ak是系统矩阵，包含下采样、模糊和形变。MAP算法的先验模型采用全变分的正则化方法。是低分辨率图像的每一个像素点与重建帧中对应的区域的像素点经过系统函数作用后的到的低分辨率图像的估计值的残差值。δ0是POCS算法的残差约束，λ为平衡数据保真项和正则项的正则化参数。ε是一个极小数，保证了函数的零点可微性，Ω是图像的支持域或称为图像平面的像素集合，Δx表示可以为不连续的离散像素点。

式(10)中的第一个式子是MAP算法的一致性约束，而第二个式子是POCS算法的数据一致性约束，即残差约束。可以看出，MAP算法是对整幅图像的全局残差进行约束，而POCS算法是对图像的每个像素点进行约束。因此在MAP算法的迭代过程中嵌入POCS的凸集投影算子进行约束，可以实现两种方法的紧密结合而不是单纯地串行运算。

2.2 正则化参数选取

式(10)中第一个式子的第二项通常称为正则化项，λ称为正则化参数。由于超分辨率重建问题的不适定性，因此需要正则化来保证以得到稳定的最优解。同时，正则化都是关于原始图像系统先验模型的一种描述，因此在超分辨率重建过程中能够帮助去除结果中的奇异值，以提高算法的速率。本文在基于CPF图像配准的超分辨率重建算法中加入了自适应正则化参数，在重建过程中，以此利用当前重建获得的高分辨率图像来调整正则化参数，使得正则化参数和图像重建结果同时达到最优。

本文的算法是L1范数数据保真项和总变分正则化项的方式，同时参考基于比例的动态调整法［17－18］，并对其进行改进，得到适合本文重建算法形式的自适应正则化参数为

式中:Xk是经过第k次迭代后所求的的重建图像;λk+1是第k+1次迭代后的正则化参数;r是一个极小的数，用于保证分母不为零;ε是修正因子，通过调整该因子来改变正则化参数的大小，从而达到更好的重建效果，一般可以选一个固定的常数;ψ(Xk)表示正则化项。

2.3 目标函数的求解

基于CPF图像配准的MAP/POCS算法的基本思路是在基于CPF图像配准的MAP估计的迭代过程中，加入了POCS的残差约束。

1)最小值求解

利用求解欧拉—拉格朗日方程，对式(10)中第一个式子求解得到

采用迭代方法最速下降(Steepest Desecent，SD)法，其基本思想是函数沿着梯度方向具有最大变化率，即函数沿着负梯度方向下降得最快。迭代方程为

式中:Gn为梯度，n=1，2，…，为迭代次数;α为迭代步长;Ak=BkFkDk为模糊矩阵Bk，形变矩阵Fk，下采样矩阵Dk的累积;Fk=P{}由关键点滤波匹配法获得。

整个求解过程步骤如下:

(1)初始化迭代次数n为0，用插值得方法获取初始值。

(2)采用关键点滤波(CPF)图像配准算法对低分辨率图像序列进行配准。

(3)求梯度方向Gn。

(6)当满足迭代停止条件或者n达到最大迭代次数，结束程序;最后n+1即为所求的的超分辨率重建后的高分辨率图像。

2)残差约束求解

每一次迭代中，将低分辨率图像的每一个像素点与重建帧中对应区域的像素点经过系统函数作用后得到

综上可得该MAP/POCS混合超分辨率重建算法的主要步骤，相比于单独运算式(10)的第一个式子有所不同，整个步骤如下:

(1)初始化迭代次数n为0，用插值的方法获取初始值，采用基于关键点滤波配准算法对低分辨率图像序列进行配准。

(2)求梯度方向Gn。

(6)若满足迭代停止条件或者达到大迭代次数nmax，结束程序;最后即为所求的的超分辨率重建后的高分辨率图像。

3 仿真实验与分析

为了验证本文算法，分别选用了Lena等静态图像、akiyo等视频图像序列的第3帧来进行仿真实验分析。为了验证本文算法的有效性，采用了3种方法对低分辨率图像序列进行重建对比:1)L1+TV+LKOFlow［19］(Lucas－Kanade Optical Flow，卢卡斯卡纳德光流法)算法;2)L1+TV+CPF算法;3)L1+TV+CPF+POCS。模拟Lena和pepper等低分辨率图像序列间的运动估计采用第1帧参考帧，而视频图像序列akiyo等低分辨率序列间的运动估计均采用第3帧为参考帧，并将第1、2、4和5帧作为重建图像的帧［20］。重建结果见图1～图4以及表1。

图1 超分辨率重建的Lena图像

结合重建结果的PSNR和对Lena和pepper等重建图像的观察认识，可以看出，加入了关键点滤波的L1+TV+CPF方法相对于传统的L1+TV+LKOFlow方法并没有太多改进，这是因为低分辨率图像序列是通过同一张高分辨率图像生成的，背景里的物体并没有出现局部运动，只存在全局运动，同时相邻低分辨率帧的背景亮度也没有改变，因此加入了CPF和采用LKOFlow计算出来的运动矢量并没有太多差别，从而重建结果比较一致。对结合了POCS的改进算法以后，两幅图像相对于之前的算法而言，PSNR有了明显地提升，且从主观效果上来看，二者的整体锐化清晰度有明显提升，而且局部的细节体现得更明显，例如Lena图像在头像的边缘以及头发的纹理更加凸显，头像也较前方法逼真，pepper图像上来看，在一些图像灰度值变化较大的边界处能够体现得更加明显，使得细节体现得更清晰。

图2 超分辨率图像重建的pepper图像

图3 超分辨率图像重建的akiyo图像

图4 超分辨率图像重建的hall图像

表1 超分辨率重建图像的PSNR dB

从视频图像重建的结果来看，L1+TV+CPF算法在加入了CPF配准算法后，在背景物体出现局部较大运动的情况下，依然具有较好的配准性能，从而使得重建后的图像更加清晰。而光流法只实现估计全局运动参数，而视频图像段存在内部局部运动，因此L1+TV+CPF重建后的高分辨率图像边缘更加凸显，同时也更加逼真。采用L1+TV+CPF+POCS算法的重建结果图像也好于L1+TV+CPF算法，从局部放大的效果来看，可以看出改进的MAP/POCS算法对于边缘信息的锐化效果相较于L1+TV+CPF的效果更清晰明显。例如，akiyo中人物头像边缘较为平滑的hall中柜子的层次条纹也更为明显，能够清楚看到层次，这也凸显了改进的MAP/POCS混合算法能够更好地还原视频序列图像边缘信息以及凸显边缘信息。

以上结果表明，将POCS的残差约束和幅度约束引入到基于关键点滤波图像配准的重建算法的迭代中去，在每一次迭代的过程中，MAP方法全局重建优化，CPF配准算法在背景物体出现局部较大运动的情况下，依然有较好的配准性能，同时POCS对重建的高分辨率图像的像素点进行局部约束，可以更好地保持重建后图像的边缘信息，而且还提升了图像整体清晰度，使锐化效果更好。此外，从客观PSNR而言，都较于以往传统的重建方法有了明显提升，说明了这种混合算法的有效性。

4 总结

传统图像超分辨技术中的图像匹配，较多采用块匹配或光流等算法，匹配精度不够，导致超分辨技术无法应用于视频图像。对此，本文将基于关键点滤波的图像匹配技术引入到超分辨中，并结合基于L1范数的MAP方法，提出一种改进的MAP/POCS超分辨方法。把POCS的残差约束加入到基于CPF图像配准的MAP算法的迭代中去，在每一次迭代的过程中，对重建的高分辨率图像的像素点进行约束。实验结果表明，经过改进的MAP/POCS算法相对于传统的重建方法，PSNR(静态图像客观质量)值有所提高。对于静态图像和视频图像主观质量上来看，本文的算法所重建后的图像清晰度也更高，特别是对于视频图像序列而言，可以更好地保持重建后的图像边缘信息，能够更凸显细节部分。

［1］ STARK H，OSKOUI P.High－resolution image recovery from imageplane arrays，using convex projections［J］.Journal of the Optical Society of America A，1989，6(11):1715－1726.

［2］ SCHULTZ R，STEVENSON R.Extraction of high－resolution frames from video sequences［J］.IEEE Trans.Image Processing，1996，5(6):996－1011.

［3］ CHEESEMAN P，KANEFSKY B，KRAFT R，et al.Super－resolved surface reconstruction from multiple image［EB/OL］.［2013－10－15］.http://hanson.gmu.edu/image.pdf.

［4］ HARDIE R，TUINSTRA T，BOGNAR J，et al.High resolution image reconstruction from digital video with global abd non－global scene motion［C］//Proc.International Conference on Image Processing，1997.［S.l.］:IEEE Press，1997:153－156.

［5］ MICHAEL K，SHEN H，EDMUND Y，et al.A total varitation regularization based super－resolution reconstruction algorithm for digital video［EB/OL］.［2013－10－15］.http://www.researchgate.net/publication/26620262_A_Total_Variation_Regularization_Based_Super－Resolution_Reconstruction_Algorithm_for_Digital_Video.

［6］ ELAD M，FEUER A.Restoration of a single super－resolution image from several blurred，noisy，and under－sampled measured image［J］.IEEE Trans.Image Processing，1997，6(12):1646－1658.

［7］ BABACAB S，MOLINA R，KATSAGGELOSA.Variational bayesian super resolution［J］.IEEE Trans.Image Processing，2011，20(4):984－999.

［8］ CHAN T，MARQUINA A，MULET P.High order total variation－based image restoration［J］.SIAM Journal on Scientific Computing，2000，22(2):503－516.

［9］ MEYER Y.Oscillating patterns in image processing and nonlinear evolution equation［EB/OL］.［2013－10－15］.http://dl.acm.org/citation.cfmid=516207.

［10］ RIEDINGER C，KHEMAKHEM M，CHOLLETG.A study of some super resolution techniques in video sequence［C］//Proc.2012 6th International Conference on Sciences of Electronics，Technologies of Information and Telecommunications(SETIT).［S.l.］:IEEE Press，2012:386－392.

［11］ AREEYAPINAN J，KANONGCHAIYOSP.Facemorphing using critical point filters［C］//Proc.2012 International JointConference on Computer Science and Sofrware Engineering(JCSSE).［S.l.］:IEEE Press，2012:283－288.

［12］ ZHANG Yixiong，WANGWeidong，ZHENG Lingxiang.Image interpolation using multiresolutional crtical point filters with unconstrained boundary extension［C］//Proc.2010 3rd International Congress on Image and Signal Processing.(CISP2010).［S.l.］:IEEE Press，2010:1190－1194.

［13］ XIHuiqin，XIAO Chuangbai，BIAN Chunxiao.Edge halo reduction for projections onto convex sets super resolution image reconstruction［C］//Proc.2012 International Conference on Digital Image Computing Techniques and Applications(DICTA).［S.l.］:IEEE Press，2012:3－5.

［14］ YUE H，RAMANIS，JACOBM.A fastmajorizeminimize algorithm for higher degree total variation regularization［C］//Proc.2013 IEEE 10th International Symposium on Biomedical Imaging(ISBI).［S.l.］:IEEE Press，2013:326－329.

［15］ ZHAN Meiquan，DENG Zhiliang.L_1 norm of total variation regularization based super resolution reconstruction for images［J］.Science Technology and Engineering，2010，10(28):6903－6906.

［16］ LEE E，KANG M.Regularized adaptive high－resolution image reconstruction considering inaccurate subpixel registration［J］.IEEE Trans.Image Processing，2003，12(7):826－883.

［17］ SHEN Huanfeng，LIPingxiang，ZHANG Liangpei，etal.Amap algorithm to super－resolution image reconstruction ［C］//Proc.ICIG 2004.［S.l.］:IEEE Press，2004:544－547.

［18］ KESRARAT D.Experimental study efficiency of robust models of lucas kanade optical flow algorithms in the present of non－gaussian noise［C］//Proc.2012 4th International Conference on Knowledgeand Smart Technology(KST).［S.l.］:IEEE Press，2012:43－48.

［19］ GOGSHIS.Limitation of super resolution image reconstruction for video［C］//Proc.2013 5th International Conference on Computational Intelligence，Communication Systems and Network(CICSyN).［S.l.］:IEEE Press，2013:217－221.