改进配准测度的SUFT红外图像快速配准算法

魏 新， 马丽华， 李云霞， 徐志燕， 李大为

(空军工程大学信息与导航学院，西安 710077)

0 引言

目前，红外检测技术广泛应用于电气设备和电路板卡的故障检测。图像配准技术［1］是红外图像处理中最关键的技术之一，配准的结果直接影响到故障的检测与定位。图像配准可分为基于灰度的图像配准［2］和基于特征的图像配准［3］。基于灰度的图像配准一般要求图像的相关性强，而且计算量大，很难达到实时性的需求;基于特征的图像配准计算量小、运算速度快，且具有较强的鲁棒性，成为图像配准研究的主要方向。

常用的特征提取算法有 Harris［4］，SUSAN［5］，SIFT［6］(Scale Invariant Features Transform)和 SUFT［7］(Speeded－Up Robust Features)等。SIFT算子最早由Lowe David G提出，是建立在DoG(Difference of Gaussian)尺度空间理论基础上的一种算法。该算法采取邻域方向性信息联合的思想，从空间域和尺度域两个方面对图像进行特征分析，对检测到的关键点用128维的特征向量表征，具有尺度不变性和较强的鲁棒性。由文献［8］的对比分析知，SIFT算法性能优于Harris、SUSAN等角点算法，但SIFT算子比较耗时，不能满足实时性的要求。因此，Bay等人提出了一种基于快速鲁棒特征的SUFT算法，它在特征点检测的准确性、鲁棒性以及实时性方面较其他算法［9－11］有很大优势。

本文利用SUFT算法进行特征点检测，采取粗匹配与精匹配［12］结合的匹配策略选取特征点对，设计了一种快速、有效、高精度的红外图像配准算法。

1 特征点提取

1.1 尺度空间特征点检测

SUFT特征点检测是基于Hessian矩阵进行的，给定图像 I(x，y)中一点 s=［x，y］，则在尺度 σ 的Hessian矩阵为

式中，Lxx(x，σ)为图像 I(x，y)和高斯函数 G(x，y，σ)在x方向上的二阶导数在x的卷积。即

Lxy(x，σ)、Lyy(x，σ)与之类似。

高斯函数对尺度空间分析是最优的，盒滤波器可近似为高斯函数二阶导数，由式(2)易知SUFT算法可用盒滤波器近似Hessian矩阵。为了计算方便，采用盒滤波器与输入图像的卷积 Dxx、Dyy、Dxy代替 Lxx、Lyy、Lxy。把9×9的盒滤波器近似为σ=1.2的二阶高斯导数Dxx、Dxy与 Lxx、Lxy之间关系为

使用了盒滤波器和积分图像，不必迭代地应用相同滤波器到前一个已滤层的输出上，而是应用不同大小的盒滤波器以相同的速度直接作用到原始图像上，见图1。

图1 尺度空间的金字塔示意图Fig.1 Pyramid sketch map of scale space

因此，对尺度空间的分析是通过增大滤波器的尺寸而不是迭代地降低图像的尺寸，所需的计算时间是独立于滤波器尺寸的，从而大大降低了运算时间。

1.2 特征点描述子的生成

为保证特征点旋转不变性，要确定特征点主方向并建立坐标。以特征点为中心，计算半径为6s(s为特征点所在尺度值)邻域内的点在x、y方向的哈尔小波响应，响应可表示为水平响应和垂直响应矢量和。按距离赋予响应值不同的高斯权重系数，远离特征点的响应贡献小，靠近特征点的响应贡献大。通过计算π/3滑动方向窗口内所有响应的和来估计主方向，窗口内的水平响应和垂直响应分别被求和。两个响应的和产生一个局部方向向量，定义窗口中最长的向量为特征点的主方向。

选定特征点主方向后，以特征点为中心，将坐标轴旋转到主方向上。选取周围边长为20s×20s的正方形区域，并将该区域划分为4×4共16个子区域。在子区域内计算每个像素点x方向和y方向的哈尔小波响应，记为dx、dy，为了增强特征点描述子对几何变换及局部误差的鲁棒性，可对dx、dy进行高斯权重系数赋值。然后对每个子区域的dx、dy响应以及响应的绝对值进行求和计算，分别记为:这样在每个子区域形成四维分量而对每个特征点就形成了4×4×4的64维描述子向量，进行归一化后形成特征点的描述子。

2 图像配准方法及流程

利用SUFT算法提取红外图像中的特征点并生成特征点描述子，采取欧氏距离最近邻粗匹配和相似四边形精匹配的方式提高配准精度，然后使用8参数的平面透视变换模型描述匹配图像序列间的相对变换关系，依据精匹配得到的匹配点对求解模型变换参数，从而实现红外图像的配准。算法流程如图2所示。

图2 本文算法流程图Fig.2 Flow chart of the algorithm proposed in the paper

算法具体实现过程如下。

1)利用SUFT算法分别检测标准图像F与待配准图像F'的特征点，形成64维的特征点描述子。

2)最近邻匹配。以欧氏距离作为两个特征点描述子的相似性度量进行粗匹配，算式为

式中:Xik表示图像F中第i个特征点对应特征向量的第k个元素;Xjk表示图像F'中第j个特征点对应特征向量的第k个元素;n为特征向量的维数。计算每个特征点对应特征向量的欧氏距离，按照从小到大的顺序排列形成距离集合。设定阈值T1，当特征点最小欧氏距离与次小欧氏距离的比值小于T1时，认为这两个特征点匹配。T1越小，匹配点对数目越少，但更加稳定。

3)特征点精匹配。利用景物几何结构间的相似性，在粗匹配点对中寻找相似四边形进行精匹配，从而减少误匹配的概率。选取粗匹配点对中的一对匹配点作为四边形的一个固定顶点，在粗匹配点对中随机选取三对匹配点组成两对四边形。由相似四边形性质可知，若两四边形相似，则对应四条边和两条对角线互成比例，即满足

依据四边形相似的性质构造归一化的均方误差表达式e，设定阈值 T2，当 e小于T2时认为两四边形相似。T2越小，匹配精度越高，由于SUFT提取特征点时存在误差，故阈值不能设定太小，通常设定比计算精度高出2～3个数量级，本文T2设为0.05，

由图像F和F'中固定顶点组成相似四边形的数量判断是否为匹配点对，剔除粗匹配点对中不能组成相似形的点对，从而实现精匹配。

4)求解变换模型参数。由于红外热像仪拍摄位置的不固定性，采用更加符合实际情况的8参数平面透视变换模型，则图像F和F'对应像素点的关系为:X'=HX，表示为

式中:X'=［xi'，yi'，1］T，X=［xi，yi，1］T，i=1，2，…，n，n为精匹配后点对个数，矩阵H为图像间透视变换的齐次矩阵。根据n的取值分为以下3种情况:

①当n＜4时，适度增大阈值T1、T2，重复步骤2)、3)以获得更多的精匹配点对;

② 当n=4时，依据式(9)求解矩阵H;

③当n＞4时，属于过约束的情况，利用最小二乘法求解H，寻找一个最佳解使得每对匹配点的平面透视模型均方误差最小，达到多个配准点拟合最优参数解的目的。

5)利用矩阵H对红外图像进行模型变换，并通过线性插值得到变换后的图像，从而实现图像配准。

3 实验结果及分析

利用本文提出的SUFT改进算法对电路板卡的红外图像进行配准实验。实验环境参数:CPU为Intel Core i3，3.30 GHz，内存大小为 2 GB，操作系统为Windows XP，仿真实验平台为 Matlab7.10。

实验选取两幅在相同环境下拍摄的电路板卡红外图像进行验证，如图3a、图3b所示，两幅红外图像大小均为240×320，室内无风条件下拍摄，距离0.2 m，环境温度33.2℃。

图3 电路板卡红外图像Fig.3 The infrared images of a circuit board

对图像进行灰度变换后，经过SUFT算法检测到特征点生成的描述子如图4所示，图5为粗匹配后的特征点对连线示意图。

图4 SUFT特征点描述子Fig.4 The SUFT feature point descriptor

图5 粗匹配特征点对连线图Fig.5 Link images of coarse matching feature points

从图5中可以看出共40对粗匹配特征点对，5对误配特征点对，可见误配准率较高。如果直接用粗匹配点对求平面透视变换模型参数，配准结果如图6所示，配准效果不理想。

图6 基于粗匹配点对的配准图像Fig.6 The registration image based on coarse matches

利用相似四边形区域精匹配策略去除误配点对后，结果如图7、图8所示，共13对匹配特征点对，全部配准且误配率为0，误匹配的特征点对已经成功去除。依据精匹配后的特征点对，利用最小二乘法由式(9)可求得平面透视变换模型的齐次矩阵H，对图像进行变换后的配准结果如图9所示，配准效果较为理想。

图7 SUFT特征点描述子Fig.7 The SUFT feature point descriptor

图8 精匹配特征点对连线图Fig.8 Link images of accurate matching feature points

图9 基于精匹配点对的配准图像Fig.9 The registration image based on accurate matches

为了进一步说明本文算法的优势，现将基于SIFT算法，SUFT算法和本文算法的实验结果进行对比，结果如表1所示。

表1 实验结果比较Table 1 Comparison of experimental results

从表1可以看出，本文算法在配准精度和耗时方面均优于SIFT和SUFT算法，达到了快速、高效的配准目的。

4 结束语

本文提出的算法充分利用SUFT算法的快速性以及相似四边形精匹配的稳定性，弥补了SIFT算法耗时且误配率较高的不足。通过实验证明，该算法经过精匹配后具备高效、稳定的特点，能够有效地提取特征点对进行匹配，配准正确率高，针对电路板卡上的芯片配准精度高，配准结果较理想。如何利用配准后的红外图像进行电路板卡的故障分析与诊断是下一步研究的方向。

［1］ 苑津莎，赵振兵，高强，等.红外与可见光图像配准研究现状和展望［J］.激光与红外，2009，39(7):693－699.

［2］ 李寒，王库，刘韶军.基于灰度冗余和SUFT算法的电气设备红外与可见光图像配准［J］.电力系统保护与控制，2011，39(11):111－115.

［3］ BROWN L G.A survey of image registration techniques［J］.ACM Computing Surveys，1992，24(4):325－376.

［4］ HARRIS C，STEPHENS M.A combined corner and edge detector［C］//Proc of 4 th Alvey Vision Conference，Manchester，1988:147－151.

［5］ SMITH S M，BRADY J M.SUSAN—A new approach to low level image processing［J］.International Journal of Computer Vision，1997，23(1):45－78.

［6］ LOWE D G.Distinctive image features from scale－invariant interest points［J］.International Journal of Computer Vision(S0920－5691)，2004，60(2):91－100.

［7］ BAY H，ESS A，TUYTELAARS T，et al.SURF:Speeded－Up Robust Features(SURF) ［J］.Computer Vision and Image Understandin，2008，10(3):346－359.

［8］ 赵明，林长青.基于改进SIFT特征的红外与可见光图像配准方法［J］.光电工程，2011，38(9):130－136.

［9］ 聂宏宾，侯晴宇，赵明，等.基于似然函数EM迭代的红外与可见光图像配准［J］.光学精密仪器，2011，19(3):657－663.

［10］ 韩静，柏连发，张毅，等.基于改进配准测度的红外与可见光图像配准［J］.红外技术，2011，33(5):271－274.

［11］ 崔伟，刘圣霞，徐骞，等.基于互信息和梯度的红外与可见光图像配准新方法［J］.激光与红外，2011，41(2):224－228.

［12］ 陈洁，付冬梅，刘燕.基于相似三角形匹配的红外与可见光图像配准方法［J］.激光与红外，2010，40(2):215－218.