具有边缘保持特性的POCS 超分辨率图像重建方法

刘红喜，孙 凯，孙宏彬，孙俊喜

(1.长春工程学院电气与信息工程学院，长春130012;2.长春理工大学电子信息工程学院，长春130022; 3.东北师范大学计算机科学与信息技术学院，长春130024)

具有边缘保持特性的POCS 超分辨率图像重建方法

刘红喜1，2，孙 凯1，孙宏彬1，孙俊喜3

(1.长春工程学院电气与信息工程学院，长春130012;2.长春理工大学电子信息工程学院，长春130022; 3.东北师范大学计算机科学与信息技术学院，长春130024)

为解决利用经典的POCS(Projection onto Convex Set)算法进行图像重建时所产生的边缘模糊问题，提出了具有边缘保持特性的POCS超分辨率重建算法。根据待插值点的邻域特征判断该点所在区域是边缘区域还是非边缘区域，利用改进的双线性插值算法构建参考帧，减小了传统算法重建后图像边缘的模糊现象。结果表明，该方法能得到具有较好边缘质量的高分辨率重建图像。

超分辨率;POCS算法;双线性插值;边缘检测

0 引 言

超分辨率重建技术已成为图像处理领域的研究热点，其主要应用于遥感勘测、视频监控、医学成像处理和公共安全等方面。它是将同一场景的多帧图像序列，通过提取图像序列中包含的不同细节信息，重构出更高分辨率的图像。重构过程包括:1)构造参考帧;2)进行图像配准和运动估计;3)进行迭代修正。超分辨率重建方法主要分为频率域和空间域两类。主要方法有最大后验概率(MAP)、迭代反投影(IBP)、凸集投影(POCS:Projection onto Convex Set)等。Xiang等［1］提出了一些实用算法和集成各种算法的超分辨率图像恢复软件包，恢复效果较好，但也有一定的局限性。根据低分辨率图像的欠采样会导致频谱混叠的理论，郝鹏威等［2］推导出序列欠采样低分辨率图像在频域的解混叠公式，洪功义等［3］提出了联合图像配准和POCS的超分辨率重建算法。赵书斌等［4］为抑制可能存在的锯齿等失真和振铃，提出基于RSRR框架的超分辨率重建算法。由于POCS算法具有简单有效，可以嵌入先验知识等优势，在实际中应用较多。在POCS重建算法中，构建参考帧是POCS算法的关键一步，参考帧的好坏会直接影响重建图像质量。构建参考帧常用的方法是插值法(最邻近插值、双线性插值和3次插值)，而通用的插值方法并没有考虑到图像边缘像素问题，所以插值后的图像边缘过渡不平滑，后续处理容易造成边缘模糊［5］。为此，笔者对监控视频序列的边缘像素和非边缘像素分别进行插值。

1 POCS算法原理

POCS算法是一种基于几何理论的图像重建方法，所重建图像的可行域是一组凸约束集合的交集，它本质上是一种迭代算法，相应的凸约束集合的投影算子将解空间中的点投影到距离凸集表面最近的点上，经过有限次迭代，最终找到一个收敛于凸约束集的交集解［6］。简化图像的退化模型可表示为

其中Yk为第k帧低分辨率图像，X为原始高分辨率图像，Nk为噪声向量，Hk为退化矩阵，由采样矩阵、模糊矩阵和变换矩阵组成，定义第1帧低分辨率图像

由于在实际成像过程中存在噪声干扰，所以在线性平移模糊约束的基础上引入了噪声影响，从而使得到的图像以某种统计置信度属于一个约束集合。点扩散函数(PSF)是联系LR图像和HR图像的关键，如何确定PSF是超分辨率重建的关键。PSF一般由成像系统自身的特性所决定，但从实际的成像系统中考虑，一般用高斯函数模拟点扩散函数。有了PSF函数后，可得到模拟降质系统。Ik(x，y)表示当前估计的高分辨率参考帧，Mk(i，j)表示低分辨率观测帧。对观测帧中的每个像素Mk(i0，j0)进行处理，得到映射在参考帧Ik(x，y)中，坐标点为(x0，y0)的像素点为Ik(x0，y0)，根据降质模型可得到模拟低分辨率的像素值为

于是，观测帧中的实际像素值与估计值之间的残差为

当Ik(x，y)为理想高分辨率图像时，r(x，y)的局部统计与噪声统计相等，残差的阈值r0可通过噪声的统计数据得到。从而可通过残差进行修正，即残差r(x0，y0)在阈值范围内，不需要修正;若残差大于阈值r0，说明当前估计值偏小，则向增大方向修正;反之，向减小方向修正，具体方法表示如下如此经过迭代就可以得到接近理想高分辨率图像的重建图像［5］。

2 具有边界保持特性的POCS算法的超分辨率重建方法的实现

针对双线性插值法会使图像的边界信息产生模糊的弊端，笔者提出了改进算法。基本思路是将图像分为边缘区域和非边缘区域，对图像的局部结构分别进行插值，基本步骤如图1所示。

图1 算法实现的基本步骤Fig.1 The basic steps of the algorithm

如何判断待插值点位于所在区域是改进算法的关键，笔者预先设定一个阈值t(t=16)，通过与待插值点相邻的4个像素点在水平、竖直和对角线4个方向上的差值分别进行比较，判断插值点所在区域。如果4个方向上(0°，45°，90°，135°)的像素与待插值点像素差值的均值比阈值小，则待插值点属于非边缘区域;反之，则属于边缘区域。属于非边缘区域的使用双线性插值，属于边缘区域的采用双3次插值。具体步骤如下。

设定X表示原始图像，其大小为M×N，将图像放大2倍，用Y表示。原始图像上的像素点用Xa，b表示，放大后图像对应的像素点用Y2a，2b表示(见图2)。图2中分别对应原始图像上的像素点

图2 待插值像素点所属区域判定Fig.2 Region inference to be interpolated pixels

根据POCS算法的基本原理，笔者的具有边界保持特性的 POCS算法的超分辨率重建步骤如下。

1)构造参考帧。选择一帧低分辨率视频图像作为参考帧，判断像素点位于边缘区域还是非边缘区域，选择合适的插值方法进行插值，对参考帧插值后的图像做初始估计。

2)图像的运动估计。对低分辨率视频图像序列和参考帧做运动估计，对插值后的每帧图像与插值后的参考帧之间进行图像配准，进而得到配准参数。

3)对参考帧进行修正。通过计算残差和投影的差值对参考帧进行修正，同时判断迭代条件，若不满足迭代条件，则认为迭代完成，可输出图像;否则，继续重复步骤3)。

3 实验结果及分析

笔者分别对Lena和自己采集的Video图像采用双线性插值法、未区分边缘像素的POCS算法和区分边缘像素的POCS算法的实验结果如图3所示。由图3可见，利用插值的方法结果使图像的边缘比较模糊，传统的POCS方法会使重建后的图像边缘缺失，而笔者提出的算法克服了双线性插值方法和传统POCS方法缺点，有效地保持了重建图像的边缘，并使图像的边缘都比较清晰。表1给出了3种方法的峰值信噪比(PSNR)，可见区分边缘像素的POCS重建方法PSNR较高。

图3 不同方法重建图像对比Fig.3 Comparison of differentmethods

表1 不同方法的评价标准Tab.1 Evaluation standard of differentmethods

经过大量的实验发现，不同迭代次数和不同的阈值设定对重建图像质量有较大的影响(见图4)。可以看到，迭代次数并不是越多越好，随着迭代次数的增加，存在的噪声也会被放大，图像中的噪声点增多，影响图像质量;阈值也不是越低越好，理论上阈值越接近0越好，但当阈值设置较低时，图像的噪声也会增强，图像反而会变得更不清晰。

图4 不同迭代次数和不同的阈值设定对重建图像质量的影响Fig.4 Different iteration number and threshold setting effects on the quality of the reconstructed image

4 结 语

笔者提出了具有边界保持特性的POCS视频图像序列重建算法，把目标图像先进行边缘区域和非边缘区域的划分，对不同区域采用不同的插值方法，得到了较好的结果。并且同双线性插值方法和传统的POCS方法做了对比，验证了该方法的有效性，特别是在模糊视频监控图像的应用上提供一种有效方法。

［1］XIANG Zhu，FILIPPEYMAN MILANFAR.Deconvolving PSFs for a Better Motion Deblurring Using Multiple Images［C］∥12th European Conference on Computer Vision.Florence，Italy:［s.n.］，2012:636-647.

［2］郝鹏威，朱重光.数字图像空间分辨率改善的插值-模拟采样迭代方法［J］.电子学报，1999，27(6):19-22. HAO Pengwei，ZHU Chongguang.An Iterative Method of Interpolation and Simulated Sampling for Spatial Resolution Improvement of Digital Images［J］.Acta Electronica Sinica，1999，27(6):19-22.

［3］洪功义，姜昱明.基于图像配准的POCS超分辨率图像重建［J］.计算机仿真，2004，21(6):145-147. HONG Gongyi，JIANG Yuming.POCS Super-Resolution Image Reconstruction Based on Image Registration［J］.Computer Simulation，2004，21(6):145-147.

［4］赵书斌，彭思龙.基于小波域HMT模型的图像超分辨率重建［J］.计算机辅助设计与图形学学报，2003，15(11): 1347-1352. ZHAO Shubin，PENG Silong.Wavelet-Domain HMT-Based Image Superresolution［J］.Journal of Computer-Aided Design＆Computer Graphics，2003，15(11):1347-1352.

［5］禹晶，苏开娜，肖创柏.一种改善超分辨率图像重建中边缘质量的方法［J］.自动化学报，2007，33(6):577-582. YU Jing，SU Kaina，XIAO Chuangbai.Edge Artifact Reduction for Super-Resolution Image Reconstruction［J］. Acta Automatica Sinica，2007，33(6):577-582.

［6］徐宏财，向健勇，潘皓.一种改进的POCS算法的超分辨率图像重建［J］.红外技术，2005，27(6):477-480. XU Hongcai，XIANG Jianyong，PAN Hao.An Improved POCS Algorithm for Super-Resolution Image Reconstruction［J］. Infrared Technology，2005，27(6):477-480.

(责任编辑:刘东亮)

Super-Resolution Image Reconstruction of POCSwith Edge Preserving

LIU Hongxi1，2，SUN Kai1，SUN Hongbin1，SUN Junxi3

(1.School of Electrical and Information Engineering，Changchun Institute of Technology，Changchun 130012，China; 2.School of Electronic Information Engineering，Changchun University of Science and Technology，Changchun 130022，China; 3.School of Computer Science and Information Technology，Northeast Normal University，Changchun 130024，China)

In order to solve the problem of edge blur in image reconstruction using the traditional POCS (Projection onto Convex Set)algorithm，A super-resolution image reconstruction of POCSwith edge preserving is proposed.According to the neighborhood of interpolation pixel，the area of the pixel is the edge region or the non edge region.Reference frame is constructed by the improved bilinear interpolation algorithm，reducing the blur of the image edge after the reconstruction of the traditional algorithm.Experiment results demonstrate it can obtain high resolution reconstruction images and image edge isbetter.

super-resolution;projection onto convex set(POCS);BI-linear interpolation;edge detection

TP391

A

1671-5896(2015)06-0620-05

2014-12-01

科技部863基金资助项目(2012AA040104);吉林省科技厅基金资助项目(20120332);吉林省发改委基金资助项目(2013C048);吉林省科技厅国际合作基金资助项目(20140105)

刘红喜(1977—)，男，长春人，长春工程学院讲师，主要从事图像处理、DSP技术和计算机视觉等研究，(Tel)86-18946729029(E-mail)ccitdsp@163.com。