基于信息熵约束和KAZE特征提取的遥感图像配准算法研究

保文星，桑斯尔，沈象飞

(北方民族大学 计算机科学与工程学院，宁夏 银川 750021)

1 引 言

卫星遥感技术是当下国内外研究的热点，遥感图像是指装在飞机或人造卫星等运载工具上的传感器收集由地面目标物反射或发射来的电磁波，利用这些信息获得的图像[1-2]。遥感图像配准是指对同一目标的两幅或者两幅以上的图像在空间位置的对准。遥感图像的特征提取和匹配是遥感图像处理中重要的研究方向，它在地质勘探、生态环境监测、抗震救灾、城市规划与建设等领域有着广泛而重要的应用[3]。

图像配准方法主要分为两类：基于区域的匹配和基于特征的匹配[4]。基于区域的匹配根据图像的灰度信息，构建两幅图像之间的相似性度量，通过在相关系数平面上寻找最佳路径来实现图像匹配。其包含基于图像域的处理方法[5-6]，包括互相关法[7]、最大互信息法[8]、序贯相似性检测法[9]等。基于频域的处理方法，包括基于快速傅里叶变换[10]的相关相位法和小波变换法等。这些方法于20世纪初开始用于遥感图像配准，但由于遥感图像地貌广泛，基于区域的配准算法要计算区域所有可用的灰度信息，造成计算量大，匹配效果不理想，同时也无法满足遥感图像配准的实时性要求[11-12]。基于特征的配准方法由于其计算量少，稳定性好等优点是目前常用的遥感图像配准方法[13]。这类算法只需要提取配准图像中的点、线、边缘等特征信息，不需要其他辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性[14]。基于特征边缘的匹配，主要有LOG算子、Robert算子、Sobel算子等[15]。基于点特征的匹配[16]，主要有Harris算法[17]、SUSAN算法[18]、Harr-Laplacia算法、Harr-Affine算法[19]等。但由于基于特征的算法只采用了图像小部分的特征信息，所以这类算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感[20-21]。目前常用的图像提取算法如尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)[22-23]、加速稳健特征(Speeded Up Robust Features, SURF)算法[24]在图像的不变特征提取方面拥有优势，已经取得比较好的成绩[25-26]。但是这类特征都是基于一个高斯核进行的线性尺度空间特征检测得到，因此会平滑图像边缘，以至图像损失掉许多细节信息[27-28]。针对这一问题，有学者提出了KAZE算法[29]，一种基于非线性尺度空间的特征点检测方法，该非线性尺度空间保证了图像边缘在尺度变化中信息损失量非常少，从而极大地保持了图像细节信息[30]。但是KAZE算法在构建相同尺度空间时，图像细节或纹理区域的弱边缘易被快速平滑，使得描述向量之间的距离非常小，而出现特征误匹配现象。同时KAZE算法对图像全局特征进行提取造成复杂度也相应较高。在KAZE算法的基础上，很多学者为了提高匹配速度和精度，提出了众多的改进算法。罗宇等[31]提出了一种改进KAZE算法的移动目标检测算法，重新修正了KAZE算法在求解线性非尺度空间的迭代步长问题，并改进了特征匹配，特征点提取速度和匹配率都得到了提升。韩敏等[32]提出了一种基于改进KAZE的无人机航拍图像拼接算法，该算法在提高精确度的同时，还具有较高的鲁棒性。李鹏等[33]提出了限以空间约束的方法和KAZE算法结合来进行多源遥感影像匹配，对细节和纹理模糊的影像具有其独特的优势。汪方斌等[34]提出了一种改进的KAZE算法(CKAZE)，特征检测和描述的精度都得到了提高。

随着遥感图像的分辨率越来越高，图像尺寸也越来越大。遥感图像尺寸大小直接影响了特征提取的时间消耗，从原始图像中提取直接特征会增加计算量[35-36]，并且会降低图像配准效率，在加速时间的同时能够提高图像的配准精度是当下特征提取的研究的重点和难点[37-38]。通常，在对两幅图像进行特征提取前，提取的特征点往往都携带有丰富的信息量。更进一步，特征点的提取不在于数量的多少，而是在于提取更加精准的特征点，以便于进行下一阶段的匹配步骤。因此，本文提出了一种改进的KAZE算法用于遥感图像的配准。具体地说，本文算法首先采用一个适当大小的窗口不重叠地遍历整幅遥感图像，并计算窗口区域内的信息熵。其次根据图像众多局部区域所具有的信息熵，设置阈值，保留信息熵丰富的图像局部区域，并同时去除低信息熵图像区域。针对保留下来的图像区域，然后采用KAZE算法进行特征点提取，并随后采用随机抽样一致性(Random Sample Consensus, RANSAC)算法去除错误匹配点对，达到提升准确率的目的。本文算法的创新点体现在如下几点：

(1)根据传统配准算法针对大尺度图像耗时的问题，本文提出了一种通过识别并保留信息丰富的区域来降低图像尺寸对配准算法运行效率的影响。

(2)本文算法避免了传统特征提取方法中提取冗余错误特征点的问题。

(3)本文算法使参与匹配的特征点对数更加精确，在提升准确率的同时减少了计算时间。

2 KAZE算法原理

2.1 非线性尺度空间构造

KAZE 算法首先采用了非线性扩散滤波器，构建了稳定的非线性尺度空间。使用可变传导扩散方法和加性算子分裂算法具体过程描述如下:

(1)

其中：I代表单位矩阵，ti代表进化时间，Al代表三对角占优矩阵，Li代表非线性尺度空间第i层图像亮度。

2.2 特征点检测与定位

KAZE特征点检测是通过寻找不同尺度归一化后的Hessian局部极大值点来获得，过程如下：

(2)

其中：σ为当前尺度参数σi的整数值；Lxx，Lxy和Lxy均为L的二阶微分。将每个像素点的Hessian矩阵值与其26个相邻点做比较。当该点的Hessian矩阵值大于其图像域和尺度域的所有相邻点时，即为极值点。

2.3 确定特征点主方向

KAZE算法根据特征点的尺度参数σi，设置搜索半径为6σi。对搜索圈内所有相邻点的一阶微分值Lx和Ly高斯加权，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小；将这些高斯加权一阶微分值视作向量空间中的点集，以角度为60°的扇形滑动窗口对点集进行向量叠加，遍历整个圆形区域。获得最长向量的角度就是主方向。

2.4 描述特征向量

KAZE首先在梯度图像上以特征点为中心取一个24σi×24σi的窗口，并将窗口划分为4×4个子区域，相邻的子区域有宽度为2σi的交叠带。每个子区域都用一个高斯核σ1=2.5σi进行加权，然后计算出长度为4的子区域描述向量；得到描述向量后，对每个子区域的向量以大小为4×4的高斯窗口σ2=1.5σi进行加权，最后进行归一化处理，获得64维的描述向量。

3 一种用于加速KAZE特征提取的预处理算法

3.1 基于信息熵约束的特征点筛取

通常而言，在特征描述前如果能够找到具有重复性、独特性和较强的鲁棒性的特征点，将直接决定后期图像匹配的效果。由于遥感图像具有图幅巨大，信息量丰富，并且普遍都是地面地形等特点。在进行特征点提取时，导致特征提取时间过长，且不能完全细致地提取特征点。本文将图像分割和信息熵理论结合到KAZE 算法中，本文算法的流程图如图1 所示，首先将待配准影像和基准影像进行分割，用非重叠滑动窗口遍历图像，对图像按窗口大小进行分割，并计算每个小窗口区域的信息熵。其次设置分割阈值，对计算出信息熵的窗口区域进行筛选，并保留大于设定阈值的窗口区域进行KAZE算法特征点提取。然后对提取出的特征点用KAZE算法进行特征描述，并通过计算欧氏距离进行特征点粗匹配。最后使用RANSAC算法去除误匹配，提高匹配精度。

图1 算法流程图Fig.1 Flowchart of the proposed algorithm

3.1.1 图像分割

对于KAZE算法而言，由于KAZE算法使用到了非线性扩散滤波器，使得在图像的平缓区域灰度的扩散比较快，在边缘处扩散比较慢，避免了边界模糊和细节丢失等问题，所以对于影像中的角点、边界等特征明显部位能够有效进行特征点的提取。为了找到这些信息熵丰富的特征点，本文首先对待配准影像和基准影像进行分割，即配准影像和基准影像用非重叠滑动窗口进行遍历。例如，当图像尺寸大小为1 000×1 000，可以采用5×5大小的窗口不重叠的遍历整幅遥感图像，即将图像分成了200×200 pixel大小的若干小窗口，然后对分割后的每个小窗口进行信息熵计算。

3.1.2 局部信息熵提取

影像中显著的特征点所携带的信息量丰富，通过计算整幅遥感图像的信息熵，可以找到图像中信息量丰富的区域，为了剔除可以认为不相关的信息，保留图像重要的结构属性。本文对分割后的每个窗口进行信息熵的计算，并保留高信息熵的区域进行特征点提取。

(3)

(4)

在本文的算法中，假定w为遥感图像分割的窗口大小，对于图像中的每一块分割区域，其信息熵可以表述如下：

(5)

对于图像每块分割区域的信息熵，本文算法进一步根据信息熵的直方图分布情况选择分割阈值，以剔除低信息熵的图像区域，并同时保留高信息熵区域，过程表述如下：

(6)

其中：Ir,s表示将所在空间区域为(r,s)的信息熵Hr,s进行阈值T分割后所保留的图像信息。若Hr,s小于所设定阈值，则将该区域像素灰度值置为零，否则保留该区域像素信息。本文设置的信息熵阈值为由0.7变化到0.9。针对不同的遥感图像，本文算法选取一个能得到最佳匹配精度的信息熵阈值。

3.2 特征点匹配

本文使用基于欧氏距离的匹配方法来度量两幅图像特征之间的关系的，特征向量之间的欧氏距离公式为：

(7)

其中(x1,y1),(x2,y2)代表匹配的两个特征向量的坐标。两个特征向量之间的距离越小，表明相似度越高。

传统的欧氏距离匹配方法在图像中某些区域灰度信息差别不大时就会产生错误匹配的情况。针对此情况，本文在用欧氏距离进行粗匹配的基础上，采用RANSAC算法来剔除错误匹配的特征点对，减少了误差，提高了图像的匹配精度。

4 实验与分析

4.1 实验数据

为了验证对KAZE算法改进后的实验的可行性。本论文实验分别采用了空间分辨率为6米的SPOT 6卫星的多光谱卫星所拍摄的银川局部地区遥感影像(如图2(a)所示)，空间分辨率为3.2 m高分2号卫星多光谱影像所裁取的银川局部地区遥感影像(如图2(b)所示)，Google地图裁取的北京地区的遥感影像(如图2(c)所示)，空间分辨率为30 m的LANDSAT 8卫星拍摄的银川局部地区遥感影像(如图2(d)所示)。4组遥感影像均包含1 024×1 024 pixel。实验采用的平台设置是CPU为Inter core i7, 3.60 GHz,内存为16.0 GB,64位Win10操作系统的PC机。实验的所有算法编程环境为MATLB 2017a。

4.2 实验效果度量标准

本文统计各算法所提取的总特征点数目、正确匹配点数目、匹配正确率CMR(Correct Matching Rate)及时间作为评价标准。其中CMR定义如式(8)所示：

(8)

其中：表示的是正确匹配点数与所有匹配点对数之比，即Nc表示匹配正确点数，N为所有匹配点数，CMR值越大，表示匹配性能越好。

图2 四组遥感影像图

4.3 实验分析

为了验证本文算法提出的信息熵和窗口划分对算法进行预处理的实验有效性，对实验进行了以下分析。

本文涉及到了2个重要参数，分别是W和T, 其中W表示图像分割的窗口大小，T为信息熵分割阈值。为了验证W和T对实验结果的影响，实验参数W设置由5变化到40，T由0.7变化到0.9。此实验使用以上4组不同卫星所拍摄的田地、平原等不同类型的遥感影像进行实验。

4.3.1 本文算法对特征点数的影响趋势

图3(a)～图3(d)分别展示了在4种遥感影像数据集上不同W和T对实验提取到的特征点数目多少的影响趋势。由于图3(a)基准图像和待配准图像无明显特征区域，因此仅当W和T分别在5～10以及0.7～0.85之间变化时，本文算法能够提取一定的特征点。其中当W逐渐变大或T逐渐变大，本文算法在Landsat所拍摄的影像中提取到的特征点数有逐渐减小的趋势。并且对于该图像，当W设置为5，T设置为0.7时，实验显示了最佳的实验结果。同样地，图3(b)显示了和图3(a)较为类似的变化趋势。此外，从图3(c)中可以看出，W的取值大小对于特征点数目的提取效果具有明显地影响，而T则对特征点数目的提取数目影响较轻。由图3(d)所示，在窗口较小的情况下，T愈大，算法能提取到的特征点也愈多。

图3 从图像提取到的特征点数目结果图(W代表窗口大小，T代表信息熵阈值，Z轴代表特征点数目)

4.3.2 算法时间分析

为了验证实验中两个参数W和T对实验时间结果的影响，同样使用了以上4组遥感影像进行实验。以谷歌影像和高分影像为例对算法的时间进行分析，部分数据展现在表1和表2。横轴W代表窗口大小，纵轴T代表信息熵阈值。如表1所示，随着窗口和信息熵阈值的增大，时间呈现递减的趋势。并且当窗口增大到20，运行时间维持在1.5 s之下。由表2可以看出当窗口变化到10，运行时间基本在1 s到2 s之间。可以说明经过本文算法对图像的处理使得KAZE算法特征提取时间较低。

表1 经过本文算法对图像的预处理后KAZE算法在谷歌影像上运行的时间

表2 经过本文算法对图像的预处理后KAZE算法在高分2影像上运行的时间

4.3.3 算法对比

为了进一步测试本文算法的实验性能，3种结合了RANSAC算法特征提取算法用于衡量本文算法在不同数据集下的有效性，3种算法分别是SIFT，SURF及KAZE。表3列出了4种算法在4种数据集下的4种实验度量方法下的实验统计结果，4种实验度量方法分别为匹配点对数，正确点对数，CMR和运行时间。表中实验数据主要体现在如下几点：(1)实验影像的质量对于各算法的实验性能有较为明显地影响。其中，SPOT遥感影像和高分影像相比Landsat和谷歌地图影像具有相对较为明显的地物特征，因此所采用的4种算法在SPOT遥感影像和高分影像均能提取较为可观的特征点数目，而在Landsat和谷歌地图影像上SURF+RANSAC和KAZE+RANSAC算法很难提取到特征点；(2)在4组遥感影像下，本文算法相比其余3种算法大多具有最低的运行时间和相对较高的正确率。特别的，对于地面特征不明显的Landsat影像，本文算法也能提供较多的匹配点数、正确匹配点数和CMR值。图4给出了本文算法对4组遥感影像进行配准的实验图像。

表3 4种算法在不同遥感影像条件下的实验结果

图4 匹配结果图Fig.4 Matching result map

5 结 论

本文针对遥感图像尺寸大，特征点算法匹配精度低及时间长等问题，提出了一种基于信息熵预处理的图像配准方法。本文首先在对遥感影像提取特征之前，使用非重叠窗口遍历整幅遥感影像，并对每个分割出的小窗口计算其信息熵，并在信息熵丰富的区域进行特征提取。通过在不同卫星得到的遥感影像进行实验验证了本文所提出的算法，实验结果表明本文在提高了匹配正确率的同时，降低了运行时间。并且针对无明显特征的遥感影像，本文算法能够找到更精确的特征点。在SPOT、高分二号等卫星数据上的实验结果表明，本文算法相比于KAZE算法精度分别提升了0.2%和0.3%。算法时间分别缩短了70%和53%。

通过实验发现，本文算法适用于尺寸较大且无明显特征区域的遥感影像中，如田地，山地等类的遥感影像，通过对图像进行分割去除冗余特征点的方法能够发挥其优势，减少特征点提取时间，提高效率。对于存在明显特征区域的遥感影像如城市等遥感影像，本文算法也能够提取到较多的特征点，但对于无明显区域的遥感影像本文算法的优势更为明显和突出。发现本文算法对于分辨率不一样的遥感图像，匹配效果不够理想。下一步工作将针对此问题进行更加深入地研究。