一种改进的视频序列超分辨率重建算法及应用

周 芳1, 2，蒋建国1，王培珍2



一种改进的视频序列超分辨率重建算法及应用

周 芳，蒋建国，王培珍

（1. 合肥工业大学计算机与信息学院，安徽合肥230009；2. 安徽工业大学电气信息学院，安徽马鞍山243002）

在凸集优化基础上，充分利用最大后验概率和凸集投影技术，提出了一种高效强鲁棒性视频序列分辨率提升算法。首先，在空域设计一个简单的预处理共轭梯度估计器，预测原始高分辨率图像；然后，在小波域分别创建帧间和帧内两个不同的凸集，并实施不同的投影运算，提取出隐含在相邻低分辨率图像中的细节信息；最后，利用空域估计器中相邻因子间的关系约束凸集投影解的可行域，保证快速获得图像重建的唯一最优解。仿真实验和实际交通监测系统应用结果均表明，该方法较其他方法不仅可获得更高的峰值信噪比和更好的可视化效果，而且收敛更快，鲁棒性更强。

计算机应用；超分辨率重建; 预处理共轭梯度；凸集投影；视频序列

绝大多数的数字图像应用都需要高分辨率清晰图像。高清图像所提供的更多细节信息会在诸如医疗诊断、模式识别、远程监控等应用中起到至关重要的作用。而一般来讲，人们获得的图像跟现实场景相比都是低分辨率的。因为在图像获取和传输过程中，不可避免地会受到采样、量化、混淆、噪声以及摄像机的物理局限和畸变等因素的影响。

为了得到高清图像，文献[1]中首次提出了超分辨率(SR)算法，运用信号处理技术由多幅低分辨率(LR)图像获得一幅高清(HR)图像。从此，分辨率提升方法成为图像处理和视频通信的研究热点。

近年来，许多专家学者相继提出了很多SR方法，大致可以归为两大类：一类是确定性方法，如，凸集投影(POCS)，不考虑信源的统计特性，在空间域中提升分辨率。该类方法的优点是算法简单，能够充分利用空域观测模型，并具有良好鲁棒性，但缺点是往往解不具有唯一性，且收敛速度慢，计算量大。另一类方法是基于统计模型，如，最大后验概率(MAP)和最大似然估计(ML)方法等。统计模型方法可通过合并多种正则化约束条件，在空域实现简单有效的SR重构。但是，重构质量主要依赖于先前假设的HR模型，虽然有很多模型可供选择，如，高斯、泊松、高斯-马尔可夫随机场(GMRF)和泊松-马尔可夫随机场(PMRF)等，但没有一个模型能适合所有图像序列。

另外，大多数文献都在致力研究算法高效性和重构质量，而忽略了鲁棒性。如文献[8-9]和文献[10-11]先后在MAP框架下，提出了共轭梯度和预处理共轭梯度方法，大大降低了计算复杂度，提高了算法效率，但并没有考虑其鲁棒性问题。虽然文献[12]给出了一个有较好鲁棒性的SR算法，但运算量相当庞大，难以运用于实际系统；文献[13]不用假设模型，根据数据点的不同分布特性提出一种具有较强鲁棒性的多帧SR算法，但算法收敛性难以保证，而且数据点的分布特性在普通视频序列中也难以获得。

因此，本文在综合和改进多类算法基础上，提出一种能够兼顾高效性和鲁棒性的SR算法，并运用于实际监测系统中，验证出其有效性。

1 简单空域估计器设计

首先在空域设计一个简单的估计器来预测原始HR图像。假设LR图像分辨率为，水平和垂直方向的降采样参数均为，HR图像分辨率即为。像素灰度值为()。方便起见，设为长度为的HR向量，为的LR向量，则，写成矩阵形式如下

（2）

（5）

（6）

一般来讲，模糊作用将导致非周期边界效应，因此可定义为 BTTB (Block-Toeplitz-Toeplitz-Block)矩阵,为具有零边界条件的离散Laplacian矩阵，则，公式(6)写成

（8）

（10）

根据文献[10]，正则化参数和步长分别选为

（12）

2 小波域POCS重构

本节基于POCS技术，设计小波域SR重建算法。采用逐次逼近方法提取出视频序列中的隐含信息，达到提升分辨率的目的。为了充分挖掘出隐含在相邻帧中的相关信息，算法分别在帧间和帧内构建两个不同的凸集，施以不同的投影运算。

2.1 帧间凸集构造与投影

从多尺度小波分析角度看，高频信号包含在细节分量中，而低频信息包含在近似分量里。因此，算法并不在图像空间域中进行凸集投影运算，而是在小波域用相邻帧中信息来更新和增大当前帧的高频小波系数，达到超分辨率重建目的。在整个SR计算中，低频近似分量始终保持不变，运算复杂度减少了很多。

（13）

（15）

（16）

（18）

其中

（20）

（21）

(a) 帧间凸集投影

(b) 帧内凸集投影

2.2 帧内凸集构造与投影

帧内凸集投影是为了减少帧间投影和未知噪声对图像重构质量的影响。即，在帧间投影过程中，对再进行两层小波分解，具体做法如下：首先，不采用降采样，获得3个高频子带,和；然后，使用降采样，分别获得一个低频子带和3个高频子带,和；接着，再对分量小波分解，得到,和；最后，运用LS（最小均方）预测估计方法，得到3个高频子带的估计值,和。帧内凸集构造如下

其中

（25）

（27）

3 实验与分析

实验将文献[7]和文献[4]中的方法分别简称为MAP方法和POCS方法，与本文算法做比较。仿真选用5个标准HR视频序列，分别是Coastguard, Stefan, Calendar, Weather Forecast 和Mobile。时速30帧/秒，格式4:2:0，尺寸352×288。LR图像序列由标准HR视频序列经下采样后再降质产生，下采样参数取2，另加方差为29的高斯白噪声。取相邻3帧LR图像进行重构，重构质量的客观评价标准PSNR（峰值信噪比）定义如下

其中 MSE 是原图与重构后图像之间亮度误差均方根。当连续两幅重构图像和满足：时，算法停止迭代。所有实验结果取运行30次统计均值。

3.1 高效性验证

空域估计器首先要选择一个适当的HR 概率估计模型，如前所述，很难找到一个适合所有图像序列的统一模型，因此，实验首先选用两个广泛使用的GMRF和PMRF模型进行比较，结果如图2所示。

由图可见，无论选用哪种模型，本文算法的迭代次数和重构后图像的PSNR都好于MAP方法，而且两种不同模型的主要区别仅在迭代次数上，PSNR相差甚微，PMRF略好于GMRF。因此，后续实验均选用PMRF模型。

迭代次数（次）

(a) PMRF 模型（本文方法）

迭代次数（次）

(b) GMRF 模型（本文方法）

迭代次数（次）

(c) PMRF模型（MAP 方法）

迭代次数（次）

表1列出了3种算法对5个不同标准视频序列重构后图像的平均PSNR值。图3为“Weather Forecast”序列第三帧的重构图像及细节信息。

表1 不同算法重构图像的平均PSNR值(DB)

由图表可以看出，本文算法具有明显优势，尤其是高频信息更加丰富，这从图3的(e)到(f)中可看出。虽然(f)中也保留了许多高频信息，但其可视化质量上表现出不连续性，其原因是传统的POCS算法不能保证具有唯一解，解的选择确定有很大的随机性。而本文算法充分利用空域估计器，在小波域POCS可能解中增加约束条件，不仅可得到唯一解，而且是最优解。另外，算法迭代次数也较其他方法有了明显减少，这由图4可以验证。

3.2 鲁棒性验证

在LR图像序列中分别加入高斯和椒盐噪声，采用不同算法重构后图像的PSNR值（取30帧均值）如表2所示。可见，本文算法较其他方法具有更好的抗噪声干扰性，尤其是椒盐噪声。那是因为算法中的小波域POCS通过对不同凸集的投影运算，将隐含在帧内和帧间的高频信息有选择的挖掘出来，而各种噪声往往都是高频信息，所以本文算法可以从噪声中提取出需要的有用信息，这是其它方法难以做到的。

(a) LR 观测图像

(b) MAP 方法

(c) POCS 方法

(d) 本文方法

(e) (b)的细节信息

(f) (c)的细节信息

(g) (d)的细节信息

图4 不同算法迭代次数比较

表2 不同算法的抗噪声性能比较

3.3 实际系统的应用

将本文算法用于实际交通监测系统中，如图5(a)所示，系统在不同位置安置了两个摄像机用来捕获目标的不同视点，摄像机的结构如图5(b)。图5(d)~(f)给出了不同算法对车牌图像重构后的结果。从图中可以清楚的看到，本文算法明显优于其他方法，特别是保留了很多的细节信息，使得车牌号码清晰可辨。此外，整个系统使用该算法运行平稳，所有的运行参数，包括反应时间和计算复杂度等都满足实际要求。

(a) 摄像机定位

(b) 摄像机结构

(c) 输入视频

(d) MAP方法

(e) POCS 方法

(f) 本文方法

图5 实际监测系统中不同重构算法的比较

4 结 论

本文提出了一种改进的视频序列超分辨率重建算法。该算法综合使用了简单的空域预处理梯度估计器和小波域的帧间和帧内POCS重建。实验结果表明，算法可以成功地运用于标准视频序列和实际交通监测系统，无论是客观指标值，还是主观重构质量，都较其他算法有着明显的改进和提高，而且算法收敛速度快，具有良好的鲁棒性。因此，有广阔的应用前景。

[1] Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical overview [J]. IEEE Signal Processing Magazine, 2003, 20(3): 21-36.

[2] Elad M, Feuer A. Restoration of a single super-resolution image from several blurred, noisy, and under-sampled measured images [J]. IEEE Trans. Image Process, 1997, 6(12): 1646-1658.

[3] 黄 华, 樊 鑫, 齐 春, 等. 基于识别的凸集投影人脸图像超分辨率重建[J]. 计算机研究与发展, 2005, 42 (10): 1718-1725.

[4] Guo L, He Z M. A projection on convex sets super- resolution algorithm using wavelet transform [C]// Proceedings of International Conference on Signal Processing, Beijing, China, 2008: 1039-1041.

[5] Schultz R R, Stevenson R L. Extraction of high-resolution frames from video sequences [J]. IEEE Trans. Image Processing, 1996, 5(6): 996-1011.

[6] 周 亮, 朱秀昌. 基于Bayesian理论的压缩视频超分辨率重构算法[J]. 中国图象图形学报, 2006, 11(5): 730-735.

[7] Shen H F, Zhang L P, Huang B, et al. A MAP approach for joint motion estimation, segmentation and super resolution [J]. IEEE Transactions on Image Processing, 2007, 16(2): 479-490.

[8] Humblot F, Djafari A. Super-resolution using hidden markov model and bayesian detection estimation framework [J]. EURASIP Journal on Applied Signal Processing, 2006, (10): 1-16.

[9]Zhou L, Zheng B Y, Wei A, et al, A robust resolution-enhancement scheme for video transmission over mobile ad-hoc networks [J]. IEEE Transactions on Broadcasting, 2008, 54(2): 312-321.

[10] Nguyen N, Milanfar P, Golub G. A computationally efficient super-resolution image reconstruction algorithm [J]. IEEE Trans. Image Process, 2001, 10(4): 573-583.

[11] Wang S, Shen L. Object-based super resolution for intelligent visual surveillance video [J]. Journal of Electronics (China), 2008, 25(1): 140-144.

[12]Zomet A, Rav-Acha A, Peleg S. Robust super resolution [C]//Proc. Int. Conf. Computer Vision and Patern Recognition, 2001: 645-650.

[13] Farsiu S, Robinson M D, Elad M, et al. Fast and robust multiframe super-resolution [J]. IEEE Trans on Image Process, 2004, 13(10): 1327-1344.

[14] Rajan D, Chaudhuri S. An MRF-based approach to generation of super-resolution images from blurred observations [J]. Journal of Mathematical Imaging and Vision, 2002, 16(5): 5-15.

An Improved Super-resolution Reconstruction Algorithm of Video Sequence and Its Application

ZHOU Fang, JIANG Jian-guo, WANG Pei-zhen

( 1. School of Computer and Information Science, Hefei University of Technology, Hefei Anhui 230009, China;2. School of Electric and Communication, Anhui University of Technology, Ma’anshan Anhui 243002, China )

An improved reconstruction method to enhance the image resolution for multi-frame video sequence is proposed based on jointly making use of the techniques of Maximum A Posteriori Probability (MAP) and Project Onto Convex Sets (POCS). At first, a simplified spatial-domain estimator is employed by introducing the preconditioned conjugate gradient method to forecast the original high-resolution image. Then, under the wavelet-domain, two different convex sets and projection operators are designed from the aspects of inter-frame and intra-frame to extract the details hidden among the adjacent observed low-resolution frames. At last, taking advantage of the relationship between the neighborhood factors in the spatial estimator to put constraints on the potential solutions of the POCS, it can get uniqueness optimal solution quickly. The results of the simulation experiment and practical application of supervisory system demonstrate that the proposed method not only outperforms the other methods on the aspects of PSNR (Peak Signal-to-Noise Ratio) and visual quality of the reconstructed sequence, but also has the advantages of rapid convergence and great robust.

computer application; super-resolution reconstruction; preconditioned conjugate gradient (PCG); project onto convex sets (POCS); video sequence

TP 391

A

1003-0158(2011)01-0045-07

2009-07-28

国家自然科学基金资助项目（50874001）；国家教育部博士点基金资助项目（20060359004）；安徽工业大学校青年教师科研基金资助项目（QZ201013）

周 芳（1977-），女，安徽芜湖人，讲师，博士研究生，主要研究方向为信号处理与模式识别。