组合模型的图像配准

周知政，柳翠寅,2

1(昆明理工大学 信息工程与自动化学院，昆明 650500)2(昆明理工大学 计算中心，昆明 650500)

1 引 言

图像配准作为计算机视觉领域中的一个重要方向，旨于对齐来自于不同视角,不同时间，不同几何变换模型两幅或者多幅图像.其在三维重建[1]，图像拼接[2]，室内定位与导航(SLAM)[3]，遥感图像[4]等方面都有着广泛的应用.目前图像配准技术主要分为两类：基于灰度统计信息分布配准方法[5]，以及基于图像特征的配准方法[6].

基于统计信息分布的配准，以整幅图像的灰度统计分布信息为依据，建立待配准图像与基准图像之间的相似性度量，使用相关寻优算法，求得在相似度量取最优值条件下的几何变换模型的参数.常用的度量标准有归一化相关系数(NCC)，互信息(MI)等.基于特征的配准方法利用相应的检测算子检测出显著特征的子区域，并采用相应的描述算子对该子区域进行描述，得到特征描述向量，然后对两幅待配准图像中的特征点进行匹配以及外点消除并计算相应的几何变换矩阵参数.相对于基于灰度信息配准方法，基于特征的图像配准方法具有计算量小，时效性快，鲁棒性强的优势，逐渐成为图像配准的主要方法.基于特征配准的关键在于特征点提取和特征描述.常见的特征点提取方法有Moravec,Harris[7],SIFT[8](Scale invariant feature transform),SURF[9](Speed up robust feature),FAST[10],ORB[11](Oriented FAST and rotated BRIEF),BRISK[12](Binary robust invariant scalable keypoints),以及KAZE[13]等.Moravec算子是最早提出的特征点检测算子，在特征点检测中对噪声异常敏感.Harris用来检测角点，不具备较好的适应性.SIFT 算法通过构建线性尺度空间，在局部区域的检测出的极值点作为特征点，在各种复杂背景下具有较强的鲁棒性稳定性，但是时效性差.SURF是为了解决SIFT时效性差的问题，采用盒式滤波和积分图像加速特征检测，但无法保留图像边缘与细节特征.FAST采用机器学习的方法，来比较某点与其半径圆周上的点灰度值大小，当满足约束性条件时，并通过局部非极大值抑制来筛选特征点，但不具备方向性.ORB算法是在FAST算法基础之上通过质心邻域确定特征点的方向，然后用二进制描述符BRIEF描述特征点，使计算速度加快，但ORB不具备尺度不变性.BRISK在AGAST(Adaptive and Generic Accelerated Segment Test)的基础上，采用比较区域范围内的灰度值来确定特征点.具备尺度与旋转不变性，但稳定性不强.KAZE基于非线性尺度空间，可以有效保留图像边缘和细节，但是计算量庞大，鲁棒性差.特征描述也是图像配准中的关键步骤，常见的特征描述主要有传统型特征描述符和二进制特征描述符.传统型常见的特征描述符主要有SIFT，SURF，以及在其基础上的改进版,如M-SURF，Fast-SURF.SIFT描述符方向性很强，但是储存量大，计算慢，时效性差.SURF在保留SIFT特征描述鲁棒性的基础上，对描述算子进行降维等相关处理，加速特征矢量的匹配，在实时性上效果依然较差.二进制特征描述符采用二进位构建述向量，在基本满足各种鲁棒性的前提下，减少了特征向量的生成时间与匹配计算时间，提高配准效率，实时性远优于传统描述符.常见的二进制描述符有BRIEF[14]，BRISK，以及FREAK[15]等.

基于现存的图像配准算法往往面临着对图像特征点提取数目不足的困难，导致配准失败.本文采用提出基于组合模型的图像配准方法，使用SURF算法和KAZE算法来共同检测图像中的特征点，不仅解决了图像特征点数目不足的问题，而且KAZE构建的非线性尺度空间，在图像边缘信息和细节特征往往能有效保留.SURF算法采用盒式滤波模板来构建尺度空间，具有好的鲁棒性.与此同时，组合模型的使用，往往会牺牲时间成本来换取特征点的数目，基于此，在保证描述符具有尺度和旋转不变性的基础上，采用BRISK描述符对特征点进行描述.BRISK通过对邻域范围内随机对应点灰度值的比较组建二进制描述符，通过汉明距离来匹配特征描述符.大大的提高了图像匹配的效率.最后，通过随机一致性算法剔除预匹配中的外点，并根据得到的匹配的特征点内点集合对计算待配准图像间的几何变换模型.为了验证本文所提方法的有效性，我们将本文算法与KAZE算法，SURF算法，以及其他基于组合模型的算法在标准数据集上进行了比较.并使用特征点匹配正确率，匹配效率作为评价指标对各方法进行评价.实验结果证明，本文提出的方法具有时效性强，匹配正确率高.且针对存在不同变换条件的待配准图像对，具有很好的鲁棒性.

2 相关工作

基于特征的图像配准流程：特征点检测：找出图像中能够代表局部结构的显著性信息特征点，构建特征点集.特征描述：表征特征点，生成特征矢量，作为特征预匹配的依据.特征预匹配：对特征矢量进行相似性度量，以此来确定特征点之间的对应关系.图像变换，剔除错误点，保留内点，再根据得到的内点集合对，利用最小二乘算法计算单应性变换矩阵，对待配准图像进行变换，得到配准结果.

组合模型是将两种或者多种不同模型组合起来的一种方法.在图像配准中，图像的局部区域存在着线性变换区域和非线性特征区域，非线性特征区域是由成像过程中非线性变换所至的扭曲区域，两类区域中都可能存在特征点.SURF算法所构建的尺度空间，只能检测到线性特征，对于非线性区域特征检测失效.而KAZE算法所建立的尺度空间是基于非线性滤波核建立的非线性尺度空间，能有效检测非线性区域中的特征点.因此，提出联合SURF与KAZE算子进行特征点检测方法，同时检测线性特征点和非线性特征点.

图1 组合模型流程图Fig.1 Assembly model flow chart

本文的方法是在基于图像配准的流程中改进而来，整个基于组合模型的流程图如图1所示，主要包含以下步骤：

步骤1.特征点检测:对输入的图像，分别使用KAZE算法和SURF算法进行特征点检测.

步骤2.特征描述：采用二进制描述符BRISK对特征点进行特征描述，生成特征矢量.

步骤3.特征预匹配：通过汉明距离来匹配二进制描述符.

步骤4.特征精匹配：采用RANSAC算法对特征预匹配后的特征点集合对进行精匹配，筛选掉异常点，保留内点.

步骤5.计算单应性变换矩阵：根据内点之间的关系，求出两幅图像之间的单应性变换矩阵.

步骤6.图像变换：将单应性变换矩阵作用于待配准图像，计算变换图像得到配准结果.

3 方 法

该方法的目的是对齐基准图像与待配准图像.我们从基准图像中使用KAZE算法和SURF算法检测出特征点集合A，同理，从待配准图像中检测出特征点集合B.紧接着，使用BRISK算法对特征点成生二进制的特征向量描述符，再对两个特征向量集合进行预匹配，保留有效点集A′和B′.最后为得到精确的匹配点集合对，使用RANSAC方法剔除匹配关系上的异常点，最终保留的特征点集A″和B″， 根据A″和B″之间的对应关系，使用小最小二乘法计算两幅图像间的几何变换矩阵，将变换矩阵作用于待配准图像上，形成配准后的图像.在3.1节中，我们阐述了特征点的检测，特征点的提取.在3.2节中，详述了BRISK算法如何使用二进制向量描述特征点，生成具有尺度和方向不变性的特征描述符.在3.3节，详述特征点集的匹配.在3.4介绍RANSAC方法，剔除异常点，实现图像配准.

3.1 特征点检测

特征点是图像中具有显著性信息的点，在本文中分别采用SURF算法和KAZE算法对图像进行特征点检测.

3.1.1 SURF算法检测特征点

SURF算法主要由3部分构成，特征点检测，特征点描述和特征匹配.SURF算法是建立于SIFT算法的基础之上，为了解决SIFT计算的复杂性与时效性差的问题.SURF采用积分图像与盒式滤波加速特征点的检测，特征描述上降低特征矢量的维度，以此实现效率的提高.最后利用描述符之间的L2范数来度量相似度，完成特征匹配.SURF算法在旋转，尺度缩放等方面具有很好的鲁棒性.

SURF特征点检测:

积分图像：积分图像的使用可使图像与二维高斯核的卷积计算的转化为图像之间的加减.积分图像的定义如下：

(1)

图像中任意位置点的像素值都是原始图像中左上角到任一点位置的像素值之和.

确定特征点：与SIFT采用DOG图像所不同，SURF算法通过Hessian矩阵行列式近似值图像，找出局部区域的极值点.Hessian矩阵的定义：

(2)

(3)

H(x,y,σ)的行列式Det(H)如下：

det(H)=LxxLyy-(0.9Lxy)2

(4)

响应图像的值是由不同尺寸盒子滤波模板与积分图像求取Hessian矩阵行列式的值组成.在卷积过程中，为了加速二维高斯函数与图像的卷积，使用盒式滤波来替代高斯函数.在尺度空间的构建过程中，改变以往SIFT通过不断减小原始图像的方式来搭建高斯金字塔.进而转变为不断增大滤波模板尺寸的方式.而且在整个过程中不同的滤波模板尺寸大小对应着不同的尺度，不同的尺度决定了对图像的不同平滑程度.在响应所构建的尺度空间的基础上，通过3D非极大抑制来决定特征点.

3.1.2 KAZE算法检测特征点

为了实现图像的尺度不变性，传统的特征点检测大都基于高斯滤波器建立的线性尺度空间.如SIFT，SURF.该尺度空间的构成子图是由原图像经过线性变换得到，是对图像进行多尺度分解表示.实际在低质图像中不仅存在线性变换还存在着非线性变换，但是SIFT尺度空间不存在非线性子图.基于此，KAZE方法提出采用非线性扩散滤波器，构建了非线性尺度空间，建立了原图像的非线性子图的多尺度空间.该尺度空间保留细小的图像轮廓，且能去除相应的图像噪声.

KAZE算法由构建非线性尺度空间和特征点检测组成.首先构建非线性尺度空间：与SIFT构建高斯金字塔类似，KAZE用可变传导扩散方法和加性算子分裂算法(AOS)来搭建一个呈金字塔型的非线性尺度空间.共有O组，S层.图像的尺度参数为：

(5)

其中N=0×S，与SIFT构建尺度空间不同的是，SIFT中下一组是在上一组的基础上采样而得.KAZE中的每一层是用不同标准差的高斯核高斯平滑而得到的.而KAZE算法都是基于原图操作.由于非线性扩散滤波是以时间为单位，因此需要将尺度参数转化为时间单位：

(6)

最终经过AOS算法求解，可得图像L的非线性尺度空间为：

(7)

其中，i∈[0,N-1]，L为高斯滤波后的图像，I是单位矩阵，t是时间，Al(Li)为维度i上的传导矩阵.

KAZE特征点检测：在构建非线性尺度空间基础上，每一个点与周围3×3领域及上下两层空间的像素灰度值进行比较，找出Hessian矩阵局部极大值点.则Hessian矩阵局部极大值点就是特征点.这里的Hessain矩阵计算公式如下：

(8)

其中σ为尺度参数σi的整数值,Lxx,Lyy,Lxy分别是L的二阶微分.检测到特征点的位置后，通过泰勒展开式求得特征点的准确位置.

3.2 特征向量描述

特征描述可采分二进制与十进制两种数据类型描述.SURF算法采用的是SURF描述符，通过对特征点邻域像素进行高斯加权，形成直方图，统计为64维的浮点型特征矢量.KAZE算法采用的是类似于SURF算法的M-SURF.这类特征矢量计算量大，匹配效率低.二进制特征描述符能极大加速特征矢量的匹配，同时可以减少内存的储存.常用的二进制描述符主要有BRIEF算子，ORB算子，FREAK算子和BRISK算子.其中BRISK算子对旋转、尺度、光照变化都具有很强的鲁棒性.因此，本文使用BRISK算子来描述检测到的特征点，即保证了描述符的稳定性与鲁棒性同时能得到更高的匹配效率.

BRISK描述符：BRISK描述符是通过比较点对中像素值大小的基础之，采用对特征点邻域的随机采样点对，来实现特征描述的方法独特性.BRISK描述符采样模式如图2所示.以特征点为中心，在不同圆周大小上共定义了N(N=60)样点.同时，为了增强采样点的鲁棒性，对采样点的领域进行了高斯平滑.高斯核大小与采样点的的半径大小有关，半径越大，高斯核平滑越大.整个采样模板上共有N(N-1)/2个采样点对(pi,pj)，采样平滑后的分别为(pi,δi),(pj,δj).则局部梯度差为：

(9)

式中I(pi,δi)表示为点pi经过δi平滑后的像素值.将点对集合A分为短距离点对集合S和长距离点对l.短距离点对集合：

S={(pi,pj)∈A|‖pj-pi‖<δmax}⊆A

(10)

图2 BRISK采样模式Fig.2 BRISK sampling pattern

长距离点对集合：

l={(pi,pj)∈A|‖pj-pi‖≻δmin}⊆A

(11)

距离阈值设为：

(12)

其中，t为特征点所在的尺度.为了使描述符具有方向性.用长距离点对来估计特征描述符的方向.特征方向为：

(13)

其中，|l| 为长距离点对集合的个数.

为了使描述符具有旋转不变性，将特征点所在位置旋转α度，α的计算公式如下：

(14)

类比于BRIEF描述符，将短距离点对经平滑后旋转角度进行灰度值的比较，形成的描述符如下所示：

(15)

3.3 特征描述符匹配

BRISK描述符是一个二进制描述符，因此在特征点的预匹配阶段使用汉明距离来度量特征向量之间的相似度.基准图像和待配准图像生成的特征点集合分别为：

A=(AF1,AF2,…,AFi)和B=(BF1,BF2,…,BFi)AFi，BFi分别是点的特征描述向量，特征描述向量之间的相似性度量S定义为：

(16)

汉明距离的计算是二进位之间的异或，运算速度快，效率高.汉明距离的值实际是表明一个向量转换为另外一个向量所需要变换二进制位的个数.因此汉明距离的值越小表示两个向量越相似.传统的非二进制向量相似性匹配需要计算欧氏距离，数值计算量大，时间长，匹配效率低.

本文算法的特征点是在线性与非线性两个特征空间中进行检测，检测到的特征点集，分别来自线性与非线性两个特征检测空间.因此，待匹配的特征点数量多于其他单尺度空间算法所检测到的特征点，在进行特征点集合之间的粗匹配时，不存在特征点不足的问题.

匹配过程中，以基准图像某一特征点的特征描述符，计算其与所有待配准图像特征点的特征描述符之间汉明距离，当满足最优约束性条件时，则认为对应特征点是一组匹配点对.因待匹配特征点数量多，为提高整个算法的效率，匹配中考虑去除差异大的点.在匹配过程中设定距离阈值T，保留汉明距离小于T的特征点，即保留相似性高的特征点，筛选掉相似性低的点，为下一步计算变换矩阵提供更有效的点集，从而节省抽样计算时间，使得算法能快速收敛.在实验中，设置T=8，保留S<8的特征点对.对于图3中待配准图像(a)，两幅图像所检测到的特征点数分别是9824，9930；进行粗匹配后，筛选掉相似性大于8的点后，得到5311个匹配点对.

3.4 计算变换矩阵

异常点剔除：特征预匹配后，部分特征点存在错误匹配的情况，为了提高准确性，应该剔除这部分异常匹配点.使用RANSAC(随机抽样一致性检验)函数与几何变换关系约束进行外点的去除.

变换模型估计：通过相对应的特征点的关系计算出变换矩阵.将基准图像R中的像素坐标表示为(v,w)，将它们在待配准图像S中的映射对应坐标表示为(g,h)，从R到S的投影变换可以基于齐次坐标表示.矩阵坐标变换计算如式(17)所示：

(17)

特征描述符的成功匹配后得到匹配点集.然后将KAZE算法检测的特征点与SURF算法的特征点在匹配后保留的点集，组合形成最终的特征点集.通过随机一致性算法(RANSAC)保留内点，同时计算出变换矩阵.然后将变换矩阵作用于待配准图像上，形成配准后图像.最后，通过相关评价标准对图像配准结果进行评价.

4 实验结果

本实验是基于组合模型的图像配准，在图像配准中，衡量一种算法的重要指标包括特征匹配正确率和匹配效率.因此针对本文提出的基于组合模型的图像配准，采取了标准数据集进行试验，并将本文算法与KAZE算法，SURF算法，KAZE算法+SURF算法，和KAZE+SURF(FREAK)算法进行了对比从特征匹配效率，匹配正确率两个方面对各个算法进行定量的评价与分析.实验的所有算法编程环境为Matlab2019，采用标准数据集中的Ceiling，Venice，UBC，Day-night.这几组数据分别展示了在旋转，尺度，图像压缩，光照等不同变换情况，实验数据如图3所示.

图3 实验数据Fig.3 Experimental data

4.1 匹配效速度对比

为评价本文算法的特征匹配效率，对参与比较的5种方法，计算每个算法所处理的4组图像对特征点匹配的平均时间.平均匹配时间越小，匹配速度越快，表1给出了分别使用KAZE算法，SURF算法，KAZE算法+SURF算法，KAZE+SURF(FREAK)算法和本文算法在标准数据集进行的特征匹配的平均用时比较，相关数据记录于表1中.

表1 平均特征点的匹配时间(10-9s)
Table 1 Average feature point matching time(10-9s)

图像KAZESURFKAZE+SURFKAZE+SURF(FREAK)本文算法图3(a)8.94169.50247.78688.22987.9845图3(b)8.291211.6917.878.60987.9795图3(c)8.37118.7138.42729.30527.5453图3(d)7.53048.22737.57877.95427.8512平均时间8.28369.53347.91578.52487.8401

KAZE算法，SURF算法，SURF算法+KAZE算法都是通过遍历所有特征矢量之间的欧式距离，当满足约束性关系时实现特征匹配.FREAK算法利用汉明距离(Hamming distance)来进行特征矢量的相似性度量.

本文算法在线性与非线性两个尺度空间检测特征点，不存在特征点不足的问题，在实验中粗匹配阶段，采用去除多数无效的特征点，减少了精匹配阶段的计算量.同时，本文是基于BRISK算法生成的二进制描述向量，采用汉明距离计算向量的相似度，计算速度更快.

由表1可知，SURF算法描述符耗时最长，而在组合模型下，旋转变换，尺度缩放，图像压缩，光照变换等情况中KAZE+SURF(FREAK)算法耗时最长，本文算法与KAZE+SURF算法相比，平均时间耗时较短.

4.2 匹配正确率对比

匹配正确率CMR(Correct matching rate)也是度量图像配准的一个重要指标.它是指图像中匹配正确点对数(内点)与所有匹配点对数之比，定义如下：

(18)

表2 匹配正确率对比
Table 2 Comparison of matching accuracy

图像编号算法匹配点数内点数CMR(%)图3(a)KAZE121083.33SURF65955884.67KAZE+SURF67157485.54KAZE+SURF(Freak)2217219498.96本文算法5311528299.45图3(b)KAZE523873.08SURF18115585.64KAZE+SURF23319483.26KAZE+SURF(Freak)11210391.96本文算法19419198.45图3(c)KAZE126892873.19SURF23016772,61KAZE+SURF1498109573.09KAZE+SURF(Freak)13711785.4本文算法28925487.89图3(d)KAZE13411988.81SURF331648.48KAZE+SURF16713580.83KAZE+SURF(Freak)666090.91本文算法191894.74

式中Nc为内点点数，N为匹配点对数.CMR为客观定性 评价，当值越大，匹配性能越好.表2数据给出了使用不同5种算法图像配准的匹配正确率结果比较.从表2数据中我们可以看出，在旋转变换，尺度缩放中KAZE算法匹配的特征点数目较少，这会使获取的变换矩阵精度往往不足，而SURF算法在数据压缩，光照变化中，稳定性不如KAZE.基于此提出的组合模型的算法，即可以有效解决特征点检测，匹配过程 中数目不足的问题，而且组合模型具有单一算法的稳定性，具有更强的鲁棒性.从表中的结果来看，本文算法匹配的正确率高，在旋转变换，尺度缩放，图像压缩，光照变化中具有更好的鲁棒性.

图4 旋转变化下的图像配准Fig.4 Image registration under rotation transformation

图4-图7分别为旋转变化，尺度变化，图像压缩，光照等不同情况下的图像配准，由这些实验结果，我们分析可知，KAZE算法在旋转和尺度缩放中鲁棒性不强，SURF算法在图像压缩，光照变化中不够稳定，常常面临特征点检测不足，同 时KAZE，SURF算法耗时较长.基于KAZE和SURF算法的组合模型，可以有效解决特征点数目不足的问题，同时在匹配率方面，相较于KAZE算法，SURF算法，KAZE算法+SURF算法，KAZE+SURF(FREAK)具有较好的优越性.BRISK描述符也提高了图像匹配的效率.

图5 尺度变化下的图像配准Fig.5 Image registration under scale changes

图6 图像压缩变换的图像配准Fig.6 Image registration based on image compression

图7 光照变化下的图像配准Fig.7 Image registration under light changes

5 结 论

本文针对图像配准过程中，常常面临特征点数目不足的问题，提出了联合特征检测的方法.该方法能有效地检测图像中符合线性尺度空间的特征点，同时也能有效地检测图像中符合非线性尺度空间的特征点.因此，本文方法有效地解决了因成像条件差而导致的低质量图像，由单一算子检测特点不足而导致配准失效这一问题.同时在确保描述符具有对旋转与尺度不变的鲁棒性的前提下，采用二进制对特征点进行描述，提高了后续匹配的计算效率.实验结果证明了本文算法的有效性；同时，与KAZE，SURF，KAZE+SURF以及KAZE+SURF(FREAK)算法相比，在特征匹配的效率与正确率上都具有明显的优势.