基于改进SURF算法的红外图像拼接

夏磊 胡欣宇 岳亚伟 薛晓琴

摘 要：加速鲁棒特征（SURF）算法因其配准精度较高而被广泛应用，但该算法采用固定阈值、单向匹配规则进行特征点匹配，无法满足红外图像多变性的特点。因此，在SURF算法基础上提出基于双向匹配策略的自适应阈值配准算法，即参考图像与待配准图像的特征点，分别通过相似性度量准则找到其在对应图像上的匹配点，并将匹配过程中所求最近距离点与次近距离点的最小比值作为匹配阈值。实验采用两幅及多幅图像对改进SURF算法的性能进行验证。结果表明，改进SURF算法在保持高实时性的基础上，配准精度较传统SURF算法提升约10%。

关键词：红外图像;SURF;雙向匹配;自适应阈值;图像拼接;特征点

中图分类号：TP399文献标识码：A文章编号：2095-1302（2020）06-00-04

0 引 言

红外图像是由成像设备捕捉目标和背景向外辐射的能量差而形成的[1]。因其成像的特殊性，使其具有突出优势：可全天候采集;具有很强的穿透能力，可透过雾、霾及大气而探测目标;每个像素点的灰度值基本保持稳定[2]。

基于以上优势，红外图像被广泛应用于航天、航空、航海等军事及民用医疗领域，如弱小红外目标跟踪和识别探测、红外预警、环视扫描与红外线探伤等[3]。而在实际应用中，红外图像存在视角窄、分辨率低等多种限制因素。为解决上述问题，获得更宽视角的红外图像，需采用红外图像拼接

技术。

图像拼接包含图像配准和图像融合两大关键技术[4]。其中，图像配准为图像拼接技术的核心，对图像拼接的成功率和运行速度有直接影响[5]。基于SURF（Speed Up Robust Features）算法的较高配准精度与高实时特性[6]，本文采用SURF算法进行红外图像特征点提取。自SURF算法兴起以来，大量学者对特征点检测和特征点提纯进行了改进[7-10]，而特征点粗匹配中的误匹配情况未得到显著改善。红外图像为灰度图像，具有分辨率较低、噪声较高的特点，导致特征点检测时，可能出现较多伪特征点，从而增加误匹配率。特征点误匹配率的增加会影响特征点提纯的时间，使图像配准的实时性降低。本文针对SURF特征点误匹配率高的问题，提出基于双向匹配策略的自适应阈值配准算法。

1 改进SURF算法的红外图像配准

基于SURF算法的红外图像配准包含检测图像特征点、确定特征点主方向、生成特征点描述符及特征点匹配模块。

1.1 检测图像特征点

SURF算法通过Hessian矩阵行列式的局部极大值来检测图像的特征点。在尺度因子σ（下文所见σ均为尺度因子）下，图像中任意像素点X=（x， y）的Hessian矩阵可表示为：

式中，Lxx（X， σ）表示二阶高斯偏导数与图像的卷积结果，其他同理可求。

SURF算法使用方块滤波器近似代替二阶高斯滤波。设方块滤波器在图像中任意像素点X=（x， y）进行滤波后的结果为Dxx，Dyy和Dxy，Hessian矩阵的行列式可表示为：

式中，w的值取决于σ，w的取值对实际检测特征点的影响较小，一般取w=0.9。Hessian矩阵的行列式可表示为：

在求得图像每个像素点的Hessian矩阵行列式后，设定阈值，筛选方块滤波响应。将筛选得到的点与同层8个邻域像素点及上、下相邻两层对应的18个像素点进行比较，可得图像特征点，如图1所示。

1.2 确定特征点主方向

SURF算法特征点主方向是通过特征点邻域像素点的Haar小波响应确定的，具体步骤：计算以特征点为中心，以6σ为半径的邻域内像素点的Haar小波响应;利用60°的窗口对该圆形邻域遍历，得到6个扇形区域，分别计算6个扇形区域内像素点的Haar小波响应累加值，得到6个方向矢量;6个方向矢量最大值的方向即为特征点的主方向。

1.3 生成特征点描述符

SURF特征点描述符同样通过特征点邻域内像素点的Haar小波响应求得，具体步骤如下：

（1）沿着每个特征点主方向分别构造以特征点为中心，大小为20σ×20σ的正方形区域;

（2）将步骤（1）中构造的正方形区域等分为16份，即得到16个子区域，然后在每个子区域中按照5×5的间隔进行采样，对每个采样点分别计算相对特征点主方向的水平Haar小波响应和垂直Haar小波响应，并将其记为dx和dy;

（3）将步骤（2）求得的每个子区域采样点的dx和dy进行求和运算，可以得到该子区域的Σdx，Σ|dx|，Σdy，Σ|dy|，每个子区域可得到一个4维向量，因此一个特征点将形成16×4=64维的特征向量。

1.4 特征点匹配

传统的SURF算法进行特征点匹配时采用距离准则进行相似性度量。设参考图像任一特征点p的描述向量为D1，待配准图像任一特征点q的描述向量为D2。则这两点之间的距离可采用式（4）所示的相似性度量公式进行计算：

式中：dis表示采用欧氏距离所求的两点间距离;n为特征点描述向量的维数。由式（4）可以得到待配准图像上每个特征点对应于参考图像上的最近距离点与次近距离点，并记录最近距离值与次近距离值。之后由式（5）确定参考图像上的最近距离点是否为待配准图像上的匹配点。

式中，T为比值阈值，通常取0.5～0.7，本文取T=0.6。

改进SURF采用基于双向匹配策略的自适应阈值匹配算法，使其对多种应用场景下的红外图像具有普适性。所谓双向匹配策略，即将参考图像与待配准图像的特征点分别通过相似性度量准则找到其在对应图像中的匹配点，然后比较所求的两个匹配点集，这两个匹配点集中相同的部分即为匹配结果。自适应阈值的计算步骤如下：

（1）求取待配准图像相对参考图像的匹配点集，根据

式（4）和式（5），计算待配准图像中所有特征点对应于参考图像特征点的距离比，记录比值属于[0.5，0.7]区间的匹配点，得到集合Q，相对应的比值集记为A;

（2）求取参考图像相对待配准图像的匹配点集，根据

式（4）和式（5），计算参考图像各特征点对应于待配准图像特征点的距离比，记录比值属于[0.5，0.7]区间的匹配点，得到集合P，相对应的比值集记为B;

（3）求以上2个匹配点集的公共子集，将集合P与集合Q的交集记为R，并选取A与B中对应比值的最小值作为交集R中匹配点的比值集，记为V;

（4）求自适应阈值，比值集V的最小值即为特征点匹配的自适应阈值。

2 实验结果及分析

2.1 实验环境及总体流程

验证改进SURF算法性能的实验环境为8G内存的PC机、Windows 7操作系统、英特尔奔腾双3.1 GHz的CPU与Matlab 2016b开发工具。在实验流程中，首先对待拼接的若干幅红外图像进行预处理，然后提取红外图像的特征点，采用固定阈值单向匹配算法和自适应阈值双向匹配算法完成特征点的匹配，采用RANSAC算法求取两幅红外图像的变换模型，最后采用加权平均法进行图像融合，即可完成两幅图像的拼接。实验整体流程如图2所示。

2.2 实验结果及分析

实验采用配准时间和均方根误差（Root Mean Square Error，RMSE）作为衡量指标[11]，对算法性能进行定量分析。配准时间由程序运行时间获取，均方根误差的计算公式

如下：

式中：pi和q'i分别表示匹配点在变换前后的坐标;M为两幅图像之间的变换矩阵;f（q'i， M）表示q'i经矩阵M变换后的实际坐标;k为最终匹配点的对数。

2.2.1 两幅红外图像拼接

对不同视角和不同时相下采集的红外图像进行拼接实验。

（1）分别采用固定阈值单向匹配算法和自适应阈值双向匹配算法对不同视角红外图像进行拼接实验。图3（a）、图3（b）为不同视角拍摄的红外图像，图3（c）为采用固定阈值单向匹配算法得到的配准、拼接结果，图3（d）为采用自适应阈值双向匹配算法得到的配准、拼接结果。表1为两种配准算法的定量结果。

（2）分别采用固定阈值单向匹配算法和自适应阈值双向匹配算法对不同时相红外图像进行拼接实验。图4（a）、图4（b）为不同时相拍摄的红外图像，图4（c）为采用固定阈值单向匹配算法得到的配准、拼接结果，图4（d）为采用自适应阈值双向匹配算法得到的配准、拼接结果。表2为两种配准算法的定量结果。

观察图3和图4可以发现，不同视角和不同时相的两幅红外图像分别采用固定阈值单向匹配和自适应阈值双向匹配算法的配准结果相差甚微，拼接效果均达到了理想视觉效果。分析表1和表2可知，相对于固定阈值单向匹配算法，采用自适应阈值双向匹配可缩短配准时间，同时降低RMSE。实验结果表明，改进SURF算法可较大幅度降低特征点误匹配率。由于改进SURF算法具有误匹配率低的特点，在采用RANSAC算法求取两幅红外图像的变换模型时会有更多的正确匹配点对，从而减少迭代次數，缩短配准时间。

2.2.2 多幅红外图像拼接

对5幅及6幅红外图像分别采用固定阈值单向匹配和自适应阈值双向匹配进行图像配准。实验时，通过两两拼接得到最终的拼接结果。其中，图5（a）为5幅待拼接图像，

图6（a）为6幅待拼接图像。图5（b）和图6（b）分别为5幅、6幅红外图像采用2种配准算法的拼接结果（由于2种配准算法的拼接结果相差甚微，本文只展示1个拼接结果）。表3、表4分别为5幅、6幅红外图像配准的定量对比结果。

观察图5（b）的拼接结果发现，拼接图像中的建筑物、路灯、桥和树浑然一体，达到无缝拼接的效果。由图6（b）的拼接结果观察得到，图中拼接缝均可平滑过渡，得到一幅宽视角图。但由于待拼接图像存在大尺度缩放，使得拼接图像出现模糊。由表3与表4可得，相对于固定阈值单向匹配算法，采用自适应阈值双向匹配的配准时间缩短，且RMSE有一定程度的降低。因此，改进SURF算法可有效提高红外图像配准精度，并一定程度上降低红外图像配准时间。

3 结 语

本文基于改进SURF算法对红外图像进行配准，以达到红外图像拼接的目标。针对传统固定阈值匹配算法存在的特征点匹配率低的问题，提出了一种基于双向匹配策略的自适应阈值配准算法，即参考图像与待配准图像的特征点，分别通过相似性度量准则找到其在对应图像上的匹配点，并将匹配过程中求得的最近距离点与次近距离点的最小比值作为匹配阈值。对两幅及多幅红外图像进行拼接实验，验证了所提算法的有效性。实验结果表明，所提出的自适应阈值双向匹配算法在保持高实时性的基础上，具有较高的配准精度。

参考文献

[1]王菲.一种改进的红外图像配准拼接算法研究[D].兰州：兰州大学，2015.

[2]陆园，张明.基于SIFT算法的红外图像拼接方法改进[J].计算机系统应用，2015，24（8）：165-170.

[3]吴成东，张润，刘宝德，等.基于无人机航拍图像拼接算法的优化[J].沈阳建筑大学学报（自然科学版），2015，31（1）：182-192.

[4]温红艳.遥感图像拼接算法研究[D].武汉：华中科技大学，2009.

[5]王茜.无人机遥感农田全景图像拼接技术研究[D].杨凌：西北农林科技大学，2017.

[6]胡同喜，牛雪峰，谭洋，等.基于SURF算法的无人机遥感影像拼接技术[J].测绘通报，2015（1）：55-58.

[7]曹芳，王小攀，朱永丰，等.基于CGXR特征和改进融合策略的图像拼接算法[J].测绘与空间地理信息，2016，39（5）：94-97.

[8]谷雨，周阳，任刚，等.结合最佳缝合线和多分辨率融合的图像拼接[J].中国图象图形学报，2018，22（6）：842-851.

[9]朱庆辉，尚媛园，邵珠宏，等.局部特征及视觉一致性的柱面全景拼接算法[J].中国图象图形学报，2018，21（11）：1523-1529.

[10]樊佩琦，吴诚，杨瑞宇，等.一种基于BRISK改进的SURF红外图像拼接方法[J].红外技术，2018，40（1）：27-33.