基于改进SIFT的视频超分辨率重建快速配准算法研究

郭 黎，廖 宇,陈为龙

(1.湖北民族学院 信息工程学院，湖北 恩施 445000;2.四川大学 电子信息学院图像信息研究所，四川 成都 610065)

近年来，随着视频通信、图像处理、模式识别以及计算机视觉等多学科的迅速发展，人们获得的图像信息呈爆炸式的增长.为了更好地利用图像信息为人类提供服务，人们对提高图像分辨率、改善图像质量的要求越来越高.从多帧具有相似性的低分辨率图像序列中，获取因相对位移而形成的互补信息，恢复出图像在成像过程中丢失的高频细节，并最终重建出具有更高时空分辨率图像的技术统称为超分辨率重建技术.目前，超分辨率重建技术在航拍、医疗、公共安全等领域已得到了广泛的应用.

图1 图像降质模型

1 低分辨率图像观察模型

造成图像降质的原因很多，且原理复杂，通常情况下，用f(ε,η)和g(x,y)分别表示真实场景及其对应的降质图像，近似地描述线性系统降质模型如图1.其中h(x,y,ε,η)代表成像系统的点扩展函数(pointspreadfunction,PSF)，也就是通常所说的系统二维冲击响应函数；n(x,y)为退化过程中的干扰噪声.以相加的方式进入系统的噪声，称之为加性噪声；以相乘的形式出现，则称之为乘性噪声.

I代表真实场景空间，将图1用数学表达式表示为：

(1)

若成像系统的点扩展函数h(x,y,ε,η)与真实场景中各点位置无关，只与真实场景和降质图像之间的相对位置有关，则式(1)可进一步写为：

(2)

此时的h(x,y,ε,η)称为位移不变点扩展函数，与之对应的图像降质模型则称为线性空间平移不变退化模型.图像重建的目的即是在尽可能准确地对h(x,y,ε,η)及n(x,y)进行盲估计的前提下，由已知的低分辨率图像g(x,y)，根据f(ε,η)的先验信息，对原始高分辨率图像做出最近似的恢复.

2 像配准的基本原理

实现图像超分辨率重建算法的前提是对图像序列之间的运动进行估计，即图像序列的配准.运动估计准确与否直接影响重建图像的效果，因此图像配准问题是超分辨率重建技术的基础.

假设I1(x,y)、I2(x,y)分别表示待配准图像和参考图像在(x,y)处的灰度值，则图像I1、I2之间的配准关系可表示为：

I2(x,y)=f2(I1(f1(x,y)))

(3)

其中，f1代表二维的几何变换函数，f2表示一维的灰度变换函数.

配准的主要任务即是求解最佳的空间变换关系f1与灰度变换关系f2，使两幅图像对准.由于空间变换是灰度变换的前提，且在一些情况下灰度变换关系并不是被关注的重点，因此寻找空间几何变换关系f1便成为了配准的关键所在，图像I1和I2的配准关系被简化为：

I2(x,y)=I1(f1(x,y))

(4)

3 像配准方法的分类

图像配准是超分辨率重建技术的基础，在图像处理的其它领域也受到了广泛的关注，如视频压缩编码、图像拼接等.迄今为止，在国内外图像处理研究领域中，已经有不少的图像配准算法，它们具有各自的特点，并适用于某类特定场景.图像配准方法的分类标准有很多，可以按图像空间维数分类、按配准过程中的交互性分类、按空间变换模型分类等.下面分别介绍图像配准方法中的空间变换模型和变换域模型.

3.1 空间变换模型

两幅图像之间的空间几何变换函数f可用空间变换模型进行描述.空间变换模型主要分为相似变换、仿射变换、投影变换和非线性变换四类.在图像应用中，非线性变换是最符合实际的理想模型，但由于其变换复杂、实现代价大，目前对于非线性变换的相关研究还比较少.相似变换、仿射变换和投影变换又统称为线性变换.针对图像之间不同的变换方式，需要选取合适的参数模型加以描述.

假设I1和I2是相关联的两幅图像，即图像I1可以经过运动变换到图像I2，(xi,yi)和(ui,vi)分别为图像I1和I2中相对应的像素点位置，则这两幅图像之间的运动关系可表示为：

(ui,vi)=f2(p,xi,yi)

(5)

其中p为运动模型的参数集，f1和f2是参数模型表达式.

3.2 变换域模型

3.2.1 频域法 频域运动配准方法是利用图像频谱相位差进行运动估算，包括傅立叶变换域方法和离散余弦变换域方法等.基于傅立叶变换域方法的空间局域性较差，可以采用空频域方法进行从粗到细的运动估计，如基于小波的运动模型、空时域连续小波变换以及复小波变换方法等，这类方法也被称为空频域法.

3.2.2 空域法 空域配准方法主要包括基于特征的运动配准方法、基于光流的运动配准方法、基于块匹配的运动配准方法、基于最大后验概率的运动配准方法以及基于泰勒级数展开的运动配准方法.

为了克服泰勒级数展开时对于旋转角度的范围限制，使得配准算法在大角度运动情况下仍能获得较好的配准，因此通常没有将旋转角度参数直接引入到运动变换模型中.

4 一种用于视频的改进快速SIFT配准算法

相邻帧之间的运动配准是单视频超分辨率重建算法中的一个至关重要的步骤，运动配准算法的准确性将会直接影响到超分辨率重建视频的质量，而运动配准算法的速度则将会对超分辨率重建算法的实时性能产生影响.

从以前的实验中发现，采用传统SIFT进行运动配准时间花销很大，无法实现实时性的要求，而其中最大的计算开销就在SIFT中128维的特征描述子向量的计算上.并且，在多对一的歧义消除中，还发现利用特征描述子的欧式距离的消除法出现了错误选择.因此，要想对算法的效率进行大的优化，就必须从特征描述子进行改进.

目前图像的配准主要有四个步骤:SIFT特征点检测，初始配对，歧义误匹配消除和变换参数矩阵计算.其中，除了变换参数矩阵计算之外，其余的都用到了SIFT算法的特征描述子.

特征描述子是一个128维的归一化向量，能够表达丰富的图像梯度信息，总共包含了特征点周围16个4×4邻域内的8个方向的梯度变化，这对于特征点的特征描述是非常有用的.然而特征描述子的提出是为了试图解决所有的配准变换情况，比如图像大幅度运动的图像拼接，图像大幅度旋转缩放的卫星图片等.然而在单视频重建中，一秒钟大概有30帧的图像信息，而每一帧之间或者相邻几帧之间不会有大的变换，也就是说每个特征点的坐标不会发生太大的变化，歧义匹配和误匹配甚至可以通过x，y轴坐标这样的平面坐标信息来进行排除.本文提出一种改进的SIFT配准算法，放弃对128维特征描述子的计算，采用特征点之间的灰度相关系数和平面坐标欧氏距离代替特征描述子，并随后通过试验证明提出算法的可行性.

4.1 改进的SIFT初始匹配

当SIFT特征点检测放弃了对特征点128维描述子的计算以后，遇到的第一个问题就是特征点的初始匹配.传统的方式是通过128维特征描述子的欧氏距离来进行距离运算，然后选择距离优势较明显的为初始匹配对.现在由于没有128维的特征描述子，所以选取了特征点之间的灰度相关系数作为初始匹配的依据.相关系数阈值T(通常为0.95)选择合适的时候能很好地剔除误匹配.假设有一个特征点Pi，要在待匹配图中找一个特征点来和Pi进行初始匹配.步骤如下：

Step 1：选择待匹配图中和Pi的平面坐标欧氏距离小于r的特征点作为候选.

Step 2：在候选特征点中，分别计算和Pi的灰度相关系数.

Step 3：选取其中灰度相关系数最高的一点，假设为Pj.

Step 4：如果Pj>T(通常选为0.95)，则Pi和Pj是一对初始匹配.

在实际的使用中，要根据图像的长宽像素尺寸来决定r的取值，一般可以取50或者宽度像素的1/8.

4.2 改进的匹配关联度和歧义误匹配剔除

通过以前的工作发现，匹配关联度是几种方法中唯一能同时有效消除多对一歧义匹配和误匹配的方法，本文实验将采用这种方法来进行歧义和误匹配的剔除.在一对匹配点的匹配关联度计算中，多次计算了两点之间的距离，而之前这个距离用的是128维特征描述子的欧氏距离来进行表示.现在由于已经抛弃了特征描述子，因此必须用其他的值来代替.

在匹配关联度中，这个距离主要是为了计算多个匹配之间的相互关系，也就是多组匹配在原图中的特征点关系和在待匹配图中的特征点关系是否相似.由于特征点在单视频超分辨率重建的配准过程中，邻近帧间位移不大，因此，几何上的位置关系也可以很好地表示他们之间的相似性.

因此，在改进算法中，将采用平面坐标系的欧氏距离来代替它们在128维特征描述子向量空间中的欧氏距离.

4.3 改进配准算法和标准SIFT配准算法的流程对比

和标准SIFT配准算法一样，改进的SIFT配准算法也分为特征点提取，初始匹配，歧义误匹配剔除和计算变换矩阵四个步骤.本文中，在计算变换矩阵这个步骤中，标准算法和改进算法都采用了最小二乘法，两个算法的区别主要体现在特征点提取，初始匹配和歧义误匹配剔除上.现用表1详细对比两种算法的不同.

表1 改进快速配准算法和标准SIFT配准算法的步骤对比

4.4 改进SIFT的快速配准算法验证实验

抽取一段真实彩色视频中的第59帧和第81帧图像，为了更好地验证所提出改进算法的性能，将第81帧图像又进行了一定程度的水平平移与垂直平移，如图2中的(a)和(b)所示.接着分别采用标准SIFT特征匹配算法与本文中改进的快速配准方法进行配准；最后分别将两种方法配准后的灰度图与目标灰度图相减，若配准前后两幅图像完全重合，则相减后的图像像素值应该全部为0，以此来判断配准的准确程度.

(a)左图(原图) (b)右图(目标图) (c)快速配准结果 (d)改进快速配准和目标图的差值

(e)标准SIFT配准的结果 (f)标准SIFT配准和目标图的差值 (g)未剔除歧义及误匹配点对的配准结果 (h)与目标灰度图的差值

通过图2实验结果可以看到，经改进后的快速配准算法得到的配准结果比较理想，虽然耗时大大减少，但是配准质量没有下降.证明改进SIFT的快速配准算法是切实可行的.

从表2可以看出，改进的算法在初始匹配和歧义误匹配剔除方面差距不大，但是在时间消耗上有明显差别.改进后的算法由于不用对每个特征点计算128维特征描述子向量，因此时间开销只有标准SIFT配准算法的1/3左右.

表2 改进快速配准算法和标准SIFT配准算法性能比较

5 结束语

本文提出了一种基于SIFT的改进快速运动配准算法，根据单视频配准的特点，抛弃了对128维特征描述子的计算，而采用灰度相关系数和平面坐标系的欧氏距离来进行初始匹配和歧义误匹配剔除，这样可以大大降低计算时间的开销.通过实验证明，本文提出的新方法是可行的，且完全达到了预期的效果.总之，提高算法的自动化程度、对噪声的鲁棒性和运算速度是图像配准技术的发展方向.

[1]Elad M,Feure A.Super-resolution reconstruction of image sequences[J].IEEE Trans Pattern Analysis and Machine Intelligence,1999,21(9):817-834.

[2]马金福，薛弘晔.基于Fourier-Mellin变换的图像配准算法与性能研究[J].计算机与数学工程，2008,36(11):134-136.

[3]许录平，姚静.一种图像快速超分辨率复原方法[J].西安电子科技大学学报：自然科学版，2007,6(3):382-385.

[4]朱利成，姚明海.基于sift算法的目标匹配和识别[J].机电工程,2009,12(12):73-81.

[5]邓传斌, 郭雷, 李维.基于sift的遥感图像配准方法[J].传感技术学报,2009,12(12):1 742-1 747.

[6]Tom B C,Barnard A K,Galasanoos N P.Reconstruction of a high resolution image from registration and low resolution images[C]//Proceedings of the IEEE International Conference on Image processing,TX,1994,553-557.

[7]方壮.一种基于SUSAN算子和相位相关实现图像配准的算法[J].湖北民族学院学报:自然科学版， 2010,28(1):49-52.