一种参数自适应正则化超分辨率图像重建算法

林玉明，赵勋杰，沈琪琪

一种参数自适应正则化超分辨率图像重建算法

林玉明1，赵勋杰2，沈琪琪2

（1. 朝阳广播电视大学，辽宁 朝阳 122000；2. 苏州大学 物理光电与能源学部，江苏 苏州 215006）

在正则化超分辨率重建算法中，正则化参数自适应对于抑制噪声和保持边缘非常重要。参数自适应通常是通过建立空间信息与参数的关系来实现的。在近期文献中，提出了一些空间信息自适应超分辨率重建方法，取得了较好的实验结果。然而在这些方法中，提取空间信息方法的计算量大，导致重建速度慢，限制了算法的应用。提出一种快速空间信息提取方法，并构建自适应参数模型，实验结果显示，该方法在大幅提高重建速度的同时，获得了更好的重建效果。

正则化；超分辨率重建；参数自适应；纹理保持

0 引言

图像超分辨率重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术，利用超分辨率重建技术可以提高现有成像设备的分辨率[1]。因此，超分辨率重建技术的研究受到了广泛的关注[2-3]。目前，该技术已经用于实际红外成像系统中[4-5]，并且，器件研发公司也已经开发出专用的信号处理硬件[6-7]。

正则化方法是常用的超分辨率重建方法，在已经提出的几种正则化方法中，双边总变分正则化方法（BTV）[8]具有较好的重建效果，该方法能够在去除噪声的同时又能较好的保持图像的边缘信息，其形式如下：

式中：为选取窗口的半径；为正则化参数，控制着求解过程中两项的相对贡献量；S和S分别为图像沿和方向分别平移和个像素算子；为尺度加权系数，取值范围(0, 1)。

在式(1)中权值为＋，即在离中心像素点相同距离的像素的加权系数是相同的，这种处理在边缘和纹理区域是不合理的，会导致一定程度的边缘模糊。合理的处理方法是：沿纹理方向的像素的权值应大于垂直于纹理方向的像素。此外，在式(1)中为定值，这使得算法不能同时兼顾去除噪声和保持图像纹理。过小不能很好地抑制噪声，过大重建图像过于平滑，不能很好地保持图像的边缘和纹理信息。针对这一问题，蒋[9]和沈[10]等人分别提出了参数自适应重建算法，在蒋的方法中，利用图像局部协方差矩阵提取纹理特征，并用纹理信息控制权函数形状、带宽和正则化参数，使这些参数根据图像局部空间信息自适应地调整；在沈的方法中，基于灰度共生矩阵提取图像纹理信息，根据纹理信息确定值。虽然两种方法都取得了比BTV方法更好的重建结果。然而，他们在提高重建质量的同时，大大增加了重建的时间，这也限制了其方法的应用。本文提出一种快速提取图像纹理特征的方法，并据此构建加权系数和正则化参数，以达到又快又好的重建图像的目的。

1 纹理信息提取方法

纹理方向参数的计算方法是：设定4个纹理方向，分别为0°，45°，90°和135°（如图1所示），对3×3邻域内4个方向上的值分别求和，1＝4＋5，2＝3＋6，3＝2＋7，4＝1＋8。这样，(＝1, 2, 3, 4)取值与纹理取向有关，在纹理方向最小。

2 正则化参数和加权系数选择方法

根据上一章计算出的纹理信息（用表征）和纹理方向参数（用表征）建立加权系数和正则化参数模型。确定两个参数的原则是：在边缘和纹理区域，的值较小，而在平滑区域，较大；垂直纹理（或者边缘）方向加权系数下降的速度要比沿着纹理（或者边缘）方向的要快。据此，我们建立正则化参数和加权系数模型。

图1 纹理方向示意图

正则化参数由下式确定：

式中：，，取值根据实验确定。

邻域像素的加权系数由下式确定：

式中：，为常数，取值根据实验确定；和、的含义与式(1)中相同。由式(3)计算的权值，与中心像素距离＋点的权值与该方向的值有关，小的方向权值大。

3 实验结果与分析

为了验证本文算法的性能，我们对仿真图像和实拍图像进行了实验。实验是在WindowsXP，Matlab7.9.0的平台上进行的，计算机配置是Intel(R)酷睿2 E7200 2.53GHz，内存为1GB。

实验一，将一幅分辨率为120×120的EIAcen图像，根据图像退化模型，依次经过偏移、光学模糊、降采样和加噪声，生成4幅分辨率为60×60的低分辨率图像，其中采用的模糊函数是3×3，方差为1的高斯函数。图像重建实验步骤为：首先我们用文献[11]的配准方法进行图像配准，然后采用经过双线性2倍插值的图像作为高分辨率图像的初始估计，最后采用最速下降法迭代求解（迭代步长为）。

图2(a)为一帧低分辨率图像，图2(b)为文献[8]算法得到的图像，图2(c)为文献[9]算法重建得到的图像和图2(d)为本文算法重建出来的图像。在本文算法中，参数，，，，通过实验确定为：＝0.012，＝0.0001，＝1，＝0.9，＝0.05；D＝2，＝2，＝1。BTV算法中，＝0.6，＝0.005，＝2，＝1。由图2可以清楚地看出，本文方法重建效果最好，很好地保留了图像的纹理信息。表1给出了采用不同方法的重建时间。

图2 重建结果对比图

表1 图2中不同方法的重建时间

由表1给出的重建时间可以看出，本文方法重建时间虽比文献[8]方法略长，但是比文献[9]重建时间大幅度减少。为了进行重建质量客观的对比，我们还计算了这3幅图像的平均对比度，列于表2。从表2中数据可以看出本文方法的平均梯度值最大，也说明本文算法的优越性。

表2 图2中原图和重建图像平均梯度

实验二，选用一幅为分辨率90×90的Flower图像。分别经过与实验一相同的处理获得4幅45×45的低分辨率图像。然后，按实验一的步骤进行图像重建。图3为本文方法与文献[9]和BTV方法实验结果的对比。图3(a)为一帧低分辨率图像，图3(b)为采用文献[8]算法重建的图像，图3(c)为文献[9]算法重建的图像，图3(d)为本文方法重建的图像。其中文献[8]算法中，＝0.6，＝0.005，＝2，＝1。本文算法中，＝0.012，＝0.0001，＝1，＝0.9，＝0.05，D＝2，＝2，＝1。

由图3可以看出，本文方法比文献[8]算法和文献[9]算法更好地保留了图像的纹理细节。同时，从表3可以看出，本文算法运行时间远远小于文献[9]的方法。此外，表4的数据也显示，对于纹理密集的图像，本文方法重建出的图像的平均梯度明显高于其他方法。

图3 Flower图的重建结果对比

表3 图3中不同方法的重建时间

表4 图3中原图和重建图像平均梯度

实验三，实拍红外视频重建。实验方法是：手持红外热像仪（以使不同帧间产生随机移动）拍摄一段视频，在视频重建时，每相邻4帧图像重建一帧（每4帧中的第一帧的双线性2倍插值作为重建帧的初始估计），依次滑动，完成视频的重建。我们对几段视频进行了重建，参数取值同上，图4给出部分结果。图4(a)、(c)是原始视频中的一帧，(b)、(d)分别是采用本文算法重建的对应图像视频中的一帧图像。

从图4(b)和(d)可以看出，重建图像的质量有了明显改善，重建的图像细节更清晰。从表5的数据也可以看出，重建图像的平均梯度明显提高。

图4 实拍红外图像重建结果

表5 原视频和重建视频平均梯度

4 结论

本文提出了一种新的图像纹理信息提取方法，并建立了局部纹理信息与正则化参数和邻域像素权值的函数关系，实现了正则化参数和权值的自适应选择。对所提出的方法进行了大量的实验验证，结果表明本文算法重建速度明显提高，与同类算法相比，重建图像的边缘和纹理信息保持得更好。将本方法应用在普通红外视频上，也同样得到非常好的重建图像效果。

[1] Keith Krapels, Ronald G. Driggers. Characteristics of infrared imaging systems that benefit from superresolution reconstruction[J]., 2007, 46(21): 4594-4603.

[2] Pandya Hardeep, Prashant B. Swadas, Mahasweta Joshi. A Survey on techniques and challenges in image super resolution reconstruction[J]., 2013, 2(4): 317-325.

[3] 张强, 张爱梅, 王华敏, 等. 基于自训练字典学习的单幅图像的超分辨率重建[J]. 红外技术, 2015, 37(9): 736-739

ZHANG Qiang, ZHANG Aimei, WANG Huamin, et al. Single image super-resolution reconstruction based on self-learning dictionary[J]., 2015, 37(9): 736-739.

[4] RTG-076 group. Super-Resolution and Advanced Signal Processing for EO/IR Sensor Performance (SET-140) [EB/OL]. [2015-12-13]. https://www.cso.nato.int/ACTIVITY_META.asp?ACT=1651.

[5] Raytheon. Next Generation EO/IR Detectors, Raytheon[EB/OL]. [2015-12-13]. http://www.raytheon.com/news/technology_today/2014 i1 / nextgen.html.

[6] Altera Corporation.[M/OL]. [2010-06-10]. https://www.altera.com/content/dam/altera-www/global/en_US/pdfs/literature/wp/wp-01129-eoir.pdf.

[7] A Robert Weiß, Uwe Adomeit. A standard data set for performance analysis of advanced IR image processing techniques[C]//, 2012, 8355: 835512.

[8] Farsiu S, Robinson M D. Fast and robust multi-frame super resolution[J]., 2004, 13(10): 1327-1344.

[9] 蒋晓慧, 张雪松, 赵勋杰. 自适应加权的总变分正则化图像超分辨率重建[J]. 红外技术, 2014, 36(4): 290-294.

JIANG XiaoHui, ZHANG Xue-song. ZHAO Xunjie. A super-resolution algorithm based on adaptive weighted total variation[J]., 2014, 36(4): 290-294.

[10] 沈琪琪. 图像局部纹理特征自适应超分辨率重建[J]. 光电技术应用, 2015, 30(4): 24-27.

SHEN Qiqi. An adaptive super-resolution reconstruction of image local texture feature[J]., 2015, 30(4): 24-27.

[11] LI Chengjin, ZHAO Xunjie. A fast image registration algorithm for super-resolution[C]//, 2013, 8907: 89070J.

A Regularization Super-resolution Image Reconstruction Algorithm with Adaptive Parameters

LIN Yuming1，ZHAO Xunjie2，SHEN Qiqi2

(1.,122000,; 2.,,215006,)

In regularization super-resolution image reconstruction，adaptive regularization parameter is very important for reducing noise and keeping texture. In general, a regularization parameter adjusted adaptively is implemented by building a calculation formula which relates the parameter with the local texture feature. In recent work, several methods of adaptive regularization parameters were proposed and the test shows that the quality of reconstruction is enhanced. However, in the algorithms, calculation for local texture feature stakes too much time and it leads to long reconstruction time, which limits its applicability. In this paper, we develop an adaptive regularization approach based on the fact that the regularization parameter should be a function of local texture feature. The performance of the proposed approach has been tested on several images and the obtained results demonstrate the superiority of our approach compared with existing methods.

regularization，super-resolution reconstruction，adaptive parameter，texture preserving

TP391

A

1001-8891(2016)07-0592-05

2015-12-13；

2016-03-09.

林玉明（1969-），男，辽宁朝阳人，副教授，研究方向为计算机技术应用。

国防科技重点实验室基金项目。