特征点匹配和互信息融合下连续形变图像配准

陆 杨,杨茂云

(1. 徐州工程学院信息工程学院,江苏 徐州 221018;2. 江苏师范大学智慧教育学院,江苏 徐州 221116)

1 引言

图像是人们生活中十分重要的信息传播介质,但图像中掺杂大量无用信息,所以在实际应用过程中,需要对图像进行挖掘[1-2],但因为每张图像在采集过程中受到光照、角度以及其它噪声等因素干扰,采集到的图像之间存在较大的差异,所以在对图像处理的过程中,需要进行统筹以此保证同一环境下多张图像可以放置在同一个坐标系内。坐标系不是绝对的,在实际计算过程中可将其中一幅图像视为基准图像[3],并将另一张图像转换到基准图像的对应坐标下,即图像配准处理,这种技术被广泛地应用于计算机视觉等邻域[4]。在实际操作中,因目标的移动以及对焦等问题会导致图像中有连续的形变,这为图像配准带来了较大的困难,为此在图像配准的过程中,提前对图像的特征点进行匹配处理,以此保证最终的图像配准精度。

目前,相关学者已经提出一些方法用于提升图像配置效果。例如:保文星[5]等人首先利用滑动窗口对图像进行分割,得到窗口的对应信息熵,其次依据信息熵构建直方图,通过适当阈值获取高信熵,利用高信熵完成图像特征提取,最后利用RANSAC算法将配准错误的情况排除,得到配准图像,实现图像配准。李培华[6]等人首先根据CSS算法得到图像的全部特征点,其次利用SIFT算法计算出降维后的图像特征描述子,最终结合欧式距离和曼哈顿距离完成图像的配准,实现图像配准。以上两种方法没有对图像提前进行特征匹配预处理,导致图像信息不完整,存在特征点匹配所需时间长以及配准效果差的问题,为了解决以上问题,本文提出融合特征点匹配和互信息的连续形变图像配准方法。

2 连续形变图像预处理

2.1 连续形变图像特征提取

为了降低配准难度[7],需要先提取图像的特征[8],特征点提取对图像配准效果起到了至关重要的作用。图像的基本特征包含点特征,图像配准即图像特征点匹配,其中角点属于重要特征点,角点泛指图像像素点在其它方向上灰度变化后的点[9],角点中带有大量的图像二维结构信息,因此可利用Harris角点检测算法,提取图像的特征[10],得出自相关函数矩阵N,其表达式为:

(1)

(2)

假设图像角点的响应函数为M,其表达式如下所示:

M=det[N]-k·tr2(N)

(3)

式中,det 代表矩阵N的行列式,k代表常数,tr代表矩阵N对角线函数的汇总结果。

根据函数M可直接得出角点特征,由于角点带有大量且丰富的纹理信息,因此十分适合图像配准。

2.2 特征点匹配

假设样本图像以及待配准图像的特征点分别为(xi,yi)和(x′i,y′i),将两幅图像的特征点视为圆心,样本图像的半径为rR,需要配准的图像半径为rD,则两幅图像特征点所在的圆形区域内混合不变量表达式为:

(4)

式中,φ代表两幅图像混合不变量的矢量集合,ηm代表不变量的子集。

半径rR和rD之间的关系是rD是rR根据实际的缩放尺度因子得出的,由于样本图像与配准图像来自不同的设备,因此两者之间的尺度以及方向等均不一致,所以使用常规的ROM尺度因子计算方法不再适合本文,这会直接影响最终的图像配准效果。为了避免这种情况发生,改用自动尺度选择方法(ASS)对缩放尺度因子进行计算,ASS首先对特征尺度进行全局搜索,得出图像在连续尺度空间LoG(Laplacian-of-Gaussian)上的极值,进而生成样本图像与配准图像之间最合适的尺度因子,则实际缩放尺度因子s的计算公式为:

(5)

式中,δD代表样本图像的LoG响应值的极值,δR代表配准图像的LoG响应值的极值。

将样本图像的矢量组φR以及配准图像的矢量组φD之间的欧几里德距离,视为样本图像特征点匹配的匹配度量,其中欧几里德距离d(i,j)的计算公式为:

(6)

假设需要匹配的两幅图像的特征点分别(xv,yv)和(x′k,y′k),若这两个特征点之间的距离d(v,k)是所有匹配特征点路线中最小的距离,则这两个特征点就是相互匹配的,同理完成图像中所有特征点的匹配。

3 连续形变图像配准实现

互信息测度是检测两幅具有共同结构的图像是否满足最佳配准指标,即像素灰度值为最大[11]。运用互信息算法对连续图像进行相似度计算的过程中,需要提前计算出信息熵,信息熵是一个不确定的度量,即若图像配准共有n种可能,则每种可能发生的概率分别为p1,p2,…,pn,进而得出信息熵的定义表达式为:

(7)

式中,H代表信息熵,pi代表第i种配准方案可能发生的概率。

信息熵可以描述图像中信息量的大小[12-13],根据式(7)可知信息熵得出的信息量是根据配准方案可能发生概率以及加权计算方法获取的,因此事件的信息量与时间发生的概率之间成反比。因为信息熵代表的是一个系统的不确定性,因此若将连续形变图像的像素点灰度值视为随机变量,设灰度值共出现hi次,图像像素点为N′,则灰度值概率Pi的计算公式为:

(8)

连续形变图像内灰度级别越多,其中的灰度值出现的概率会越来越低,则图像的信息熵越大,否则反之。

假设图像内有两个随机变量A和B,根据以上分析,可得出A和B条件熵表达式分别为:

(9)

式中,pAB(a,b)代表随机变量联合概率分布函数。

根据函数pAB即可得出随机变量A和B之间的联合熵H(A,B)的计算公式为:

(10)

联合熵实际上是对随机变量A和B相关性的一个统计量[14]。图像在配准的过程中,若已知需要配准的图像为C和D,通过图像的直方图以及联合直方图计算出C的边缘概率密度分布函数pC(c)以及D的边缘概率密度分布函数pD(d),若C和D之间是互不依赖的,则可以得出:

H(C,D)=H(C)+H(D)

(11)

根据以上分析总结出C和D之间的相关性与广义距离,可以视为变量之间的相似度测量标准,也称之为互信息,即可得出互信息量I(C,D)的表达式为:

I(C,D)=H(C)-H(C|D)=H(D)-H(D|C)

=H(C)+H(D)-H(C,D)

(12)

式中,H(C)代表图像C的熵,H(D)代表图像D的熵,H(C,D)代表图像C和D之间的联合熵。

则根据边缘概率密度函数PC(c)以及PD(d)即可得出图像C和D对应的条件熵分别为:

(13)

连续形变图像在配准过程中,两幅图像常常来自不同的成像设备[15],但通常情况下两幅图像的空间位置基本一致,根据式(12)计算得出这两幅图像对应的灰度互信息均到达极值,依据两幅图像之间的联合熵得出互信息量的刚性配准T0计算公式为:

T0=arg maxI(C,D)

(14)

利用式(14)即可完成连续形变图像的配准。

4 实验结果与分析

为了验证融合特征点匹配和互信息的连续形变图像配准方法的整体有效性,现针对本文方法、特征提取的遥感图像配准方法以及复合图像配准方法,进行关于图像配准的相关测试,实验分别从两个方面入手,分别是特征点匹配所需时间以及配准效果,根据实验结果详细说明本文方法的图像配准能力。实验图像来自Places数据集,该数据集是以场景为中心的数据库,其中包含205个场景类别和250万个带有类别标签的图像。

4.1 特征点匹配所需时间

特征点匹配是保证图像配准效果的前提条件,特征点匹配所需的时间直接影响图像配准的最终效果,为了验证三种图像配准方法的实际配准能力,将图像特征点匹配所需时间视为判定三种方法的优劣指标,即随机选取10组不同数量的特征点个数,在同一环境下利用三种方法对10组特征点进行匹配,分别计算出三种方法在每组实验中所需的时间,并将结果进行比较,得出用时最短的方法,即可得出最优图像配准方法,实验结果如表1所示。

表1 三种方法特征点匹配所需时间(秒)

根据表1中的实验结果可知,本文方法的特征匹配所需时间远远低于其余两种方法所需的时间,说明其能够提高图像配准的效率。因为本文方法将角点视为特征点进行提取,降低特征点提取以及特征匹配所需的计算量,进而降低特征匹配错误发生的概率,降低运算时间,从而证明本文方法的配准效果好。

4.2 配准效果

利用两种不同的设备对同一区域进行连续图像采集,将连续图像视为实验对象,分别对三种方法的性能进行实验比较。由于样本图像以及待配准图像是由两个设备获取的,所以这两张图像之间的分辨率是不同的。

为了降低特征点匹配的干扰,选用随机抽样一致法对三种配准图像进行实验,因此可以将三种方法中出现匹配错误的特征点排除,忽略特征点匹配的干扰。已知样本图像以及待匹配图像均是发生形变的,首先对比三种方法对该实验样本的配准情况,如图1-图3所示。

图1 本文方法

图2 特征提取的遥感图像配准方法

图3 复合图像配准方法

根据信息点配准情况可知,三种方法都匹配了10对特征点,其中本文方法的配准结果完全正确,其余两种方法均有部分信息点配准不正确,这会直接影响最终的图像配准效果以及信息提取完整性,根据实验结果即可证明本文方法的有效性。

图像配准不仅是将两张不同来源图像进行信息点的配准,也需要综合两种图像的优点得出像素值最高的配准图像,同时将形变图像进行校正处理,得出最合理的图像,根据这一特性可再次验证三种配准方法的优劣程度,实验结果如图4所示。

图4 三种方法的最终校正结果

根据实验结果可知,本文方法通过配准基本可以恢复出发生形变的图像,但其余两种方法因配准精度不高的原因,导致其中部分信息无法恢复,因此三种方法中图像配准结果最好的是本文方法。这是因为本文方法在对连续形变图像进行配准的过程中引入互信息算法,互信息可统计出样本图像与待配准图像之间的相似程度,从而得出两幅图像可以互补的像素点,保证信息量的完整,确保图像校正结果,也加强了配准效果。

5 结束语

图像在采集过程中因目标对象面积等原因无法一次性获取完整,只能利用不同设备同时对同一目标进行拍摄或是利用同一设备多次拍摄目标对象,图像在采集过程中不可避免受到外界干扰,因此会对部分信息产生影响,所以需要利用图像配准方法进行处理,完善目标图像信息量,而目前图像配准方法效果不佳,为了进一步加强图像配准效果,本文提出融合特征点匹配和互信息的连续形变图像配准方法,提取连续形变图像特征点,同时根据互信息算法计算出样本图像与匹配图像的相似度,进而得到配准刚性指标,实现连续形变图像配准,解决了特征点匹配所需时间长以及配准效果差的问题,保证信息量的完整性。