一种改善图像边缘效果的POCS超分辨率重建方法

谢 寒，赵勋杰，李成金，张雪松

(1.苏州大学物理科学与技术学院，江苏苏州215006;2.光电信息控制和安全技术重点实验室，河北燕郊065201)

1 引言

红外成像系统由于探测器阵列数目及探测器结构的限制，空间采样频率通常无法满足采样定理，容易产生混频现象，导致图像模糊。提高探测器阵列的空间采样频率可以有效减轻混频效应，但该技术受到了成本和制作工艺的限制，所以如何在现有探测器的基础上提高图像的空间分辨率成了近些年研究的热点。SRR指的是由一组关于同一场景且含有互补信息的低分辨率图像，重建一幅或多幅高分辨率图像的技术。它能有效提升图像空间分辨率，在数字电视、医疗影像、军事、气象等领域都有着广泛的应用［1］。

SRR算法可以分为两大类:频域算法和空间域算法。1984年，Tsai和Huang首先提出了频域的SRR方法［2］。频域SRR算法局限于全局平移，图像退化模型具有空间不变性。空间域方法能包含各种先验知识，具有更广的适应性和更多的灵活性。目前，比较有代表性的重建方法包括 IBP(Iterative Backward Projection)［3］、POCS(Projection onto Convex Sets)［4］、MAP(Maximum a Posterior)［5］及混合MAP/POCS方法［6］等。其中，POCS算法原理简单，易于实现，成为重要的超分辨率重建方法之一。

POCS算法的优点是可以容易地加入各种先验知识，然而其缺点也很明显，例如重建结果依赖于初始值，重建图像边缘容易出现振荡现象等。针对上述问题，本文对POCS算法进行改进，首先用边缘保持效果好的可控核回归插值［7］方法估计高分辨率图像的初始值，然后将PSF由高斯核修正为可控核，以改善POCS算法的边缘振荡问题。

2 POCS重建算法

2.1 成像模型

在超分辨率图像重建中，首先要建立一个联系高分辨率图像和低分辨率图像序列的图像成像模型，可表示为:

其中，gl(m1，m2)为第 l帧低分辨率观测图像在(m1，m2)处的像素值;f(n1，n2)为原始高分辨率图像在(n1，n2)处的像素值，h(m1，m2;n1，n2)表示系统PSF，v(m1，m2)表示加性噪声。

2.2 POCS算法原理

针对SRR问题的不适定性，POCS算法中加入了各种约束以限制SRR问题的解空间。这些约束条件是关于原始图像先验信息的一种描述，一般包含了噪声的概率分布特性、非负性、能量有界性、平滑性等，每种先验信息作为重建解空间的一个约束条件对应到向量空间中的一个凸集合，SRR问题的解空间就是这些凸限制集的交空间。

POCS算法的基本步骤是:1)选取一幅低分辨率图像为参考帧，插值放大后作为初始估计;2)将低分辨率观测图像序列与参考帧进行图像配准;3)根据配准结果及PSF计算估计值与实际观测值的误差;4)如果误差超出允许范围，修正初始估计使得灰度估计值与实际值的误差减小到所要求的范围内;5)迭代修正直到获得满意的重建结果。

PSF是由具体成像系统决定的，许多光学系统采用高斯函数作为PSF，其表达式为:

其中，σ为标准差，决定了模糊的程度;x0和y0是点扩散函数的中心点坐标;S表示h(x0，y0)的支撑域;C为归一化常数。

假设f^k(s，t)表示当前的高分辨率参考帧;gl(i，j)是当前低分辨率观测帧。逐个处理观测序列中的所有像素，如果观测帧中的(i0，j0)像素点映射到高分辨率估计上的位置为(s0，t0)，则观测帧中该像素的实际值与估计值之间的残差可以由式(3)得到。

若残差r(i0，j0)在阈值范围之外，则对其予以修正，反之，则不修正。

3 POCS算法的改进

3.1 高分辨率图像初始估计的改善

在采用POCS算法进行图像重建时，首先要对一帧低分辨率图像插值，作为POCS重建的初始估计。初始估计值对于重建图像的质量影响较大。传统POCS算法在获取高分辨率估计值时一般采用双线性插值，但是双线性插值具有平滑作用，插值后的图像细节会产生退化，图像的轮廓也比较模糊。近几年，不少学者就如何获得更好的初始估计进行了许多的研究。文献［8］介绍了一种处理方法，该方法对双线性插值后的初始估计先进行盲恢复再进行POCS重建。文献［9］采用基于梯度插值算法对参考帧进行插值。可控核回归插值方法充分利用了图像中各像素点之间的近邻性关系，很好地保持了图像的边缘及细节信息。因此，本文采用可控核回归插值方法以改善超分辨率重建图像的初始估计。

设采样点的坐标为xi=(xi1xi2)T，对应的灰度值为yi，插值图像为z(xi)，εi为测量值和估计值之间的误差，P是采样点个数，满足:

核回归插值可以表示为:

传统核函数只考虑像素点之间的距离，对处理边缘和纹理区域存在缺陷。为此，Takeda［7］提出了steering kernel(可控核)方法，该方法对Η矩阵进行了改进，用图像局部的采样密度和边缘(或纹理)信息来控制Η矩阵，使核的大小和尺寸能与图像局部特征相适应。图1显示了可控核取样窗核函数的选取特性。

图1 经典核和可控核取样窗核函数的选取特性Fig.1 kernels function selection of classic kernels and steering kernels sampling window

从图1可以看到，经典核的大小和形状在边缘方向上是保持不变的，而可控核首先用梯度算子对图像局部结构进行初始估计，然后利用这个初始估计来自适应地控制局部核，在平坦的区域，取样窗核函数覆盖范围大且保持圆形形状;在图像边缘，取样窗核函数发生拉伸和旋转变换并形成一个沿边缘方向伸展的拉长椭圆状的核函数。

可控核具体推导过程见文献［7］，核函数表示为:

其中，Ci是协方差矩阵;h是平滑参数;ui是获取数据样本局部密度的一个标量(本文中取1)。可控核是用局部空间梯度向量的协方差矩阵Ci来控制核函数的尺寸和形状。有了这样的局部自适应可控核后，就可以有效地恢复图像的边缘信息，使插值图像较好地保持了图像的细节。

协方差矩阵Ci可以分解为:

3.2 边缘振荡效应的改善

POCS算法虽然可以很方便地加入先验知识，但重建图像的边缘容易产生振荡。产生边缘振荡的原因是POCS算法的PSF是高斯函数，高斯函数只考虑了图像空间关系，没有考虑图像灰度的影响。假设低分辨率观测帧中边缘方向上的像素值较小，其映射到当前估计的高分辨率图像中对应像素点也在边缘上且像素值较小，PSF作用范围内会包含像素值较大的非边缘像素点，这样经过模拟后的低分辨率估计值就要比实际的大，根据式(5)进行修正，高分辨率估计的对应像素值会向灰度值减小的方向修正，最终得到的高分辨率图像中该点颜色就会变得更深，即所谓的边缘振荡效应，反之亦然。针对边缘振荡，本文用可控核替代高斯核进行重建，这样PSF会给予边缘处垂直于边缘的像素点较少的权重并以此来抑制振荡，本文采用式(6)的函数作为PSF，用局部协方差矩阵Ci来控制PSF，这样可以有效的减少振荡，改善重建效果。

4 实验结果及分析

首先通过实验对比了双线性插值图像、双立方插值图像和可控核回归插值图像的效果。限于篇幅的限制，在这里将不讨论可控核参数对插值效果的影响的。实验参数选择为:窗口大小5×5，λ'=1，λ″=10－6，α =0.05，h=0.5。实验结果如图2 所示。从图2中可以看出，可控核回归插值图像，其边缘保持更好，细节清晰。计算了三幅图像的峰值信噪比(PSNR)，其中双线性插值图像的PSNR为36.5223，双立方插值图像的PSNR为36.7373，可控核回归插值图像的PSNR为37.4336，也说明了可控核回归插值的效果好。

图2 三种方法插值图像对比Fig.2 Comparison of the interpolation methods

其次，分别以双线性插值和可控核回归插值图像作为初始估计，采用POCS算法进行超分辨率重建(PSF为高斯函数)，并计算了重建图像的PSNR和重建时间。实验过程为:首先根据低分辨率成像模型，将一幅高分辨率图像进行平移(平移1个像素)、高斯模糊、下采样(因子2)，得到一组低分辨率图像，取零位移下采样图像为参考图像。将这一组低分辨率图像作为输入图像，首先采用角点匹配方法计算不同帧间的位移和旋转，然后根据运动向量进行超分辨率重建，重建图像的分辨率提高2倍。窗口大小取7 ×7，λ'取 0.1，λ″取 10－6，(α 取 0.5，h取0.5。实验结果列在表1中。从结果可以看出，达到相同的图像质量(PSNR值接近)所用的迭代时间和迭代次数相差很大。

表1 重建实验结果对比Tab.1 Comparison of the experimental results

最后，研究了可控核作为PSF对振荡效应的改善效果，该实验采用可控核回归插值图像作为初始估计，图3显示的是对一组模拟图像重建结果。模拟方法是:将一幅128×128的图像进行平移和旋转(位移和角度是随机的)、高斯模糊、下采样(因子2)，得到4幅低分辨率图像，然后对该组图像进行重建(分辨率提高2倍)，算法设定迭代次数30次。

图3 仿真结果对比Fig.3 Comparison of the simulation results

图3中，(a)为原始高分辨率图像;(b)是低分辨率参考帧;(c)为PSF采用高斯核重建的图像;(d)是PSF采用可控核重建的图像。从主观视觉上可以看出(c)图像边缘处出现振荡现象，而图像(d)细节保持良好，边缘振荡现象也得到了有效的抑制。同时我们计算了两幅图像的PSNR值，(c)图像和(d)图像的PSNR值分别为31.1543和33.0305。

为了进一步验证算法，对实拍图像进行了高分辨率重建，实验方法是:手持摄像头(以使不同帧间产生随机运动)拍摄一段视频，在视频中任意取相邻4帧图像进行超分辨率重建。核函数参数取值同上。图4(a)是原始视频中的一帧(帧尺寸66×66)，(b)为PSF采用高斯核重建的图像，(c)是PSF采用可控核重建的图像。分辨率均提高2倍，迭代次数为39。

图4 视频超重建率结果对比Fig.4 Comparison of the results of video image super-resolution

以上实验结果说明本文提出的方法可以有效地改善重建图像的质量。

5 结束语

本文分析了POCS重建算法与可控核回归方法的原理，对POCS超分辨率图像重建算法进行了改进。首先，针对POCS算法依赖于初始估计的特点，采用可控核回归插值图像作为高分辨率图像初始估计以提高初始估计图像的质量;其次，将PSF的核函数由高斯核改为可控核，以抑制重建图像的边缘振荡效应。实验结果表明，本文方法能有效地改善重建图像的质量，抑制边缘处的振铃效应。

［1］ WAN Xuefeng，YANG Yi，CUI Jian.Research on superresolution image reconstruction［J］.Laser ＆ Infrared，2011，41(11):1278 －1281.(in Chinese)万雪芬，杨义，崔剑.图像超分辨率重建处理算法研究［J］.激光与红外，2011，41(11):1278 －1281.

［2］ Tsai R Y，Huang T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，1:317 －339.

［3］ Irani M，Peleg S.Improving resolution by image restoration［J］.Computer Vision，Graphics and Image Processing，1991，53:231 －239.

［4］ Patti A J，Sezan M I，Tekalp A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE Transaction on Image Processing，1997，6(8):1064 －1076.

［5］ Schultz R R，Stevenson R L.Extraction of high-resolution frames from video sequences［J］.IEEE Transactions on Image Processing，1996，5(6):996 －1011.

［6］ Elad M，Feuer A.Restoration of a single super-resolution image from several blurred，noisy and undersampled measured images［J］.IEEE Transactions on Image Processing，1997，6(12):1646 －1658.

［7］ Takeda H，Farsiu S，Milanfor P.Kernel regression for image processing and reconstruction［J］.IEEE Transactions on image Processing，2007，16(2):349 －366.

［8］ YAO Qi，WANG Peikang.Image super-resolution reconstruction based on POCS with blind restoration［J］.Electronic measurement technology，2012，35(5):63 －65.(in Chinese)姚琦，王培康.基于盲恢复的POCS图像超分辨率重建［J］.电子测量技术，2012，35(5):63 －65.

［9］ XIAO Jiexiong，WANG Shilin，LI Shenghong.A POCS algorithm for super-resolution image reconstruction based on edge maintenance［J］.Information security and communications privacy，2009(1):66 －68.(in Chinese)肖杰雄，王仕林，李生红.基于边缘保持的POCS超分辨率图像重建［J］.通信技术，2009(1):66－68.