一种彩色视频超分辨率重建算法

刘伟俭　肖思达

摘 要：基于RGB三通道的超分辨率视频重建算法对彩色视频进行处理将导致算法的计算量过大，不利于其在彩色视频实时处理中的应用。针对这一缺点，本文基于核回归函数提出了一种高效的彩色视频超分辨率重建算法，该算法只需要对亮度分量进行超分辨率重构，在增大视频序列重构信息量的同时，大幅降低超分辨率重建算法的计算量，更适用于彩色视频的实时超分辨率重建场景中。

关键词：视频超分辨率；亮度补偿；核回归函数

中图分类号：TP39 文献标识码：A

1 概述

图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术，近年来成为了图像处理领域热点研究方向。视频超分辨率重建的主要目的是通过图像/视频处理技术从多帧低分辨率（Low Resolution，LR）视频中获得高分辨率（High Resolution，HR）视频，这项技术可以用于图像和视频的许多应用中，如：视频监控，医学成像和卫星成像。

视频超分辨率重建作为一个病态问题，特别是对彩色图像的超分辨率重建，其计算量太大，极大地影响了其在视频实时处理中的应用。Celiu等人提出了一种基于贝叶斯的自适应视频超分辨率重建方法，具有非常出色的细节恢复效果，但生成一幅720*480的彩色图像所用时间长达2小时。

因此，本文提出一种高效的彩色视频超分辨率重建算法，在增大视频序列重构信息量的基础上，在一定程度上降低了算法的计算量和复杂度，更有利于彩色视频超分辨率的实时处理

2 核回归方程

图像重建的任务是从低分辨率的观测图像yk中估计出高分辨率图像xk。核回归方程的表达式为：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估计的回归函数，yi是在xi位置的噪声采样，x1i和x2i是空间坐标，ti是时间坐标，ni是独立同分布零均值的噪声，P是时空领域采样像素点的总数。

假设图像数据局部足够平滑，为了估计函数在任意点x的值，可以采用该点函数的局部展开。如果x离采样点xi很近，我们得到N项的泰勒级数：

3 所提出的彩色视频超分辨率重建算法

核回归算法可用于视频去噪和无精确估计的超分辨率重建的，本文的彩色视频超分辨率重建算法是基于核回归算法所提出的，算法架构如图1所示，增大视频序列重建信息量的同时，大幅降低超分辨率重建算法的计算量，促进了彩色视频超分辨率算法在实时处理中的应用。

将超分辨率重建后图像的亮度信息z_Y（k）作为约束，令补偿后的亮度分量y_Y补偿（k）无限逼近z_Y（k），从而获得补偿的信息量，同时，避免了对R、G、B三通道都进行超分辨率重建的复杂处理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真结果

我们将测试所提出的彩色视频超分辨率重建算法对于带有模糊和噪声彩色视频序列的处理性能。实验的数据采用7帧低分辨率（LR）序列重建1帧高分辨率（HR）图像的方法。将视频calendar和foliage进行退化处理，选取视频的前30帧图像，图像大小为720*480，采用3*3的统一点扩散函数进行模糊处理，空间下采样系数为4，再加上标准差σ=2的加性高斯白噪声。我们分别选取视频calendar的第11帧和视频foliage的第6帧，分别通过现有算法和本文的算法对退化图像进行处理，如图2所示。

我们采用PSNR和SSIM值客观评价各种算法的效果，如表1所示。结果显示本文的算法重建的结果的PSNR和SSIM值，接近现有算法重建的值。这表明本文的算法接近现有算法的处理效果，其结果也与我们人眼主观观察相一致。

在计算量方面，我们基于Intel的i5-2400芯片，4GB的RAMs平台，在Matlab R2009a上实现基于7帧图像的彩色视频超分辨率重建，放大倍数为4，获得1帧704*576的高分辨率图像。

现有算法和本文算法分别对calendar视频序列进行处理的计算量对比如表2所示，表中给出了现有算法中分别对R、G、B通道进行处理的时间及其总时长，本文算法中的亮度补偿处理相对于亮度分量的超分辨率处理，其计算量可以忽略不计，因此只给出对Y分量进行处理的时间。由表中数据对比可得，本文算法的计算量得以有效降低。

结语

本文提出了一种高效的彩色视频超分辨率重建算法，通过将超分辨率处理后的亮度分量作为约束补偿，只对亮度分量进行超分辨率重构，在增大视频序列重构信息量的基础上，大大降低了算法的计算量和复杂度，特别适合在彩色视频实时处理中的应用。

参考文献

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率视频重建算法对彩色视频进行处理将导致算法的计算量过大，不利于其在彩色视频实时处理中的应用。针对这一缺点，本文基于核回归函数提出了一种高效的彩色视频超分辨率重建算法，该算法只需要对亮度分量进行超分辨率重构，在增大视频序列重构信息量的同时，大幅降低超分辨率重建算法的计算量，更适用于彩色视频的实时超分辨率重建场景中。

关键词：视频超分辨率；亮度补偿；核回归函数

中图分类号：TP39 文献标识码：A

1 概述

图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术，近年来成为了图像处理领域热点研究方向。视频超分辨率重建的主要目的是通过图像/视频处理技术从多帧低分辨率（Low Resolution，LR）视频中获得高分辨率（High Resolution，HR）视频，这项技术可以用于图像和视频的许多应用中，如：视频监控，医学成像和卫星成像。

视频超分辨率重建作为一个病态问题，特别是对彩色图像的超分辨率重建，其计算量太大，极大地影响了其在视频实时处理中的应用。Celiu等人提出了一种基于贝叶斯的自适应视频超分辨率重建方法，具有非常出色的细节恢复效果，但生成一幅720*480的彩色图像所用时间长达2小时。

因此，本文提出一种高效的彩色视频超分辨率重建算法，在增大视频序列重构信息量的基础上，在一定程度上降低了算法的计算量和复杂度，更有利于彩色视频超分辨率的实时处理

2 核回归方程

图像重建的任务是从低分辨率的观测图像yk中估计出高分辨率图像xk。核回归方程的表达式为：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估计的回归函数，yi是在xi位置的噪声采样，x1i和x2i是空间坐标，ti是时间坐标，ni是独立同分布零均值的噪声，P是时空领域采样像素点的总数。

假设图像数据局部足够平滑，为了估计函数在任意点x的值，可以采用该点函数的局部展开。如果x离采样点xi很近，我们得到N项的泰勒级数：

3 所提出的彩色视频超分辨率重建算法

核回归算法可用于视频去噪和无精确估计的超分辨率重建的，本文的彩色视频超分辨率重建算法是基于核回归算法所提出的，算法架构如图1所示，增大视频序列重建信息量的同时，大幅降低超分辨率重建算法的计算量，促进了彩色视频超分辨率算法在实时处理中的应用。

将超分辨率重建后图像的亮度信息z_Y（k）作为约束，令补偿后的亮度分量y_Y补偿（k）无限逼近z_Y（k），从而获得补偿的信息量，同时，避免了对R、G、B三通道都进行超分辨率重建的复杂处理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真结果

我们将测试所提出的彩色视频超分辨率重建算法对于带有模糊和噪声彩色视频序列的处理性能。实验的数据采用7帧低分辨率（LR）序列重建1帧高分辨率（HR）图像的方法。将视频calendar和foliage进行退化处理，选取视频的前30帧图像，图像大小为720*480，采用3*3的统一点扩散函数进行模糊处理，空间下采样系数为4，再加上标准差σ=2的加性高斯白噪声。我们分别选取视频calendar的第11帧和视频foliage的第6帧，分别通过现有算法和本文的算法对退化图像进行处理，如图2所示。

我们采用PSNR和SSIM值客观评价各种算法的效果，如表1所示。结果显示本文的算法重建的结果的PSNR和SSIM值，接近现有算法重建的值。这表明本文的算法接近现有算法的处理效果，其结果也与我们人眼主观观察相一致。

在计算量方面，我们基于Intel的i5-2400芯片，4GB的RAMs平台，在Matlab R2009a上实现基于7帧图像的彩色视频超分辨率重建，放大倍数为4，获得1帧704*576的高分辨率图像。

现有算法和本文算法分别对calendar视频序列进行处理的计算量对比如表2所示，表中给出了现有算法中分别对R、G、B通道进行处理的时间及其总时长，本文算法中的亮度补偿处理相对于亮度分量的超分辨率处理，其计算量可以忽略不计，因此只给出对Y分量进行处理的时间。由表中数据对比可得，本文算法的计算量得以有效降低。

结语

本文提出了一种高效的彩色视频超分辨率重建算法，通过将超分辨率处理后的亮度分量作为约束补偿，只对亮度分量进行超分辨率重构，在增大视频序列重构信息量的基础上，大大降低了算法的计算量和复杂度，特别适合在彩色视频实时处理中的应用。

参考文献

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率视频重建算法对彩色视频进行处理将导致算法的计算量过大，不利于其在彩色视频实时处理中的应用。针对这一缺点，本文基于核回归函数提出了一种高效的彩色视频超分辨率重建算法，该算法只需要对亮度分量进行超分辨率重构，在增大视频序列重构信息量的同时，大幅降低超分辨率重建算法的计算量，更适用于彩色视频的实时超分辨率重建场景中。

关键词：视频超分辨率；亮度补偿；核回归函数

中图分类号：TP39 文献标识码：A

1 概述

图像超分辨率技术是一种基于信号处理方法获得较高分辨率图像的技术，近年来成为了图像处理领域热点研究方向。视频超分辨率重建的主要目的是通过图像/视频处理技术从多帧低分辨率（Low Resolution，LR）视频中获得高分辨率（High Resolution，HR）视频，这项技术可以用于图像和视频的许多应用中，如：视频监控，医学成像和卫星成像。

视频超分辨率重建作为一个病态问题，特别是对彩色图像的超分辨率重建，其计算量太大，极大地影响了其在视频实时处理中的应用。Celiu等人提出了一种基于贝叶斯的自适应视频超分辨率重建方法，具有非常出色的细节恢复效果，但生成一幅720*480的彩色图像所用时间长达2小时。

因此，本文提出一种高效的彩色视频超分辨率重建算法，在增大视频序列重构信息量的基础上，在一定程度上降低了算法的计算量和复杂度，更有利于彩色视频超分辨率的实时处理

2 核回归方程

图像重建的任务是从低分辨率的观测图像yk中估计出高分辨率图像xk。核回归方程的表达式为：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估计的回归函数，yi是在xi位置的噪声采样，x1i和x2i是空间坐标，ti是时间坐标，ni是独立同分布零均值的噪声，P是时空领域采样像素点的总数。

假设图像数据局部足够平滑，为了估计函数在任意点x的值，可以采用该点函数的局部展开。如果x离采样点xi很近，我们得到N项的泰勒级数：

3 所提出的彩色视频超分辨率重建算法

核回归算法可用于视频去噪和无精确估计的超分辨率重建的，本文的彩色视频超分辨率重建算法是基于核回归算法所提出的，算法架构如图1所示，增大视频序列重建信息量的同时，大幅降低超分辨率重建算法的计算量，促进了彩色视频超分辨率算法在实时处理中的应用。

将超分辨率重建后图像的亮度信息z_Y（k）作为约束，令补偿后的亮度分量y_Y补偿（k）无限逼近z_Y（k），从而获得补偿的信息量，同时，避免了对R、G、B三通道都进行超分辨率重建的复杂处理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真结果

我们将测试所提出的彩色视频超分辨率重建算法对于带有模糊和噪声彩色视频序列的处理性能。实验的数据采用7帧低分辨率（LR）序列重建1帧高分辨率（HR）图像的方法。将视频calendar和foliage进行退化处理，选取视频的前30帧图像，图像大小为720*480，采用3*3的统一点扩散函数进行模糊处理，空间下采样系数为4，再加上标准差σ=2的加性高斯白噪声。我们分别选取视频calendar的第11帧和视频foliage的第6帧，分别通过现有算法和本文的算法对退化图像进行处理，如图2所示。

我们采用PSNR和SSIM值客观评价各种算法的效果，如表1所示。结果显示本文的算法重建的结果的PSNR和SSIM值，接近现有算法重建的值。这表明本文的算法接近现有算法的处理效果，其结果也与我们人眼主观观察相一致。

在计算量方面，我们基于Intel的i5-2400芯片，4GB的RAMs平台，在Matlab R2009a上实现基于7帧图像的彩色视频超分辨率重建，放大倍数为4，获得1帧704*576的高分辨率图像。

现有算法和本文算法分别对calendar视频序列进行处理的计算量对比如表2所示，表中给出了现有算法中分别对R、G、B通道进行处理的时间及其总时长，本文算法中的亮度补偿处理相对于亮度分量的超分辨率处理，其计算量可以忽略不计，因此只给出对Y分量进行处理的时间。由表中数据对比可得，本文算法的计算量得以有效降低。

结语

本文提出了一种高效的彩色视频超分辨率重建算法，通过将超分辨率处理后的亮度分量作为约束补偿，只对亮度分量进行超分辨率重构，在增大视频序列重构信息量的基础上，大大降低了算法的计算量和复杂度，特别适合在彩色视频实时处理中的应用。

参考文献

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.