基于多尺度红外与可见光图像配准研究

闫钧华，朱智超，孙思佳，杭谊青

(南京航空航天大学航天学院，江苏南京210016)

1 引言

红外图像具有很好的烟雾穿透能力及特殊识别伪装能力;可见光图像能提供背景信息，有较高的空间分辨率，获取的图像含有丰富的几何与纹理细节信息，将二者融合后可以综合利用两种不同信息，定位目标隐藏的位置。红外与可见光传感器的视场角、空间分辨率及空间成像位置差异使红外图像与可见光图像间产生平移、旋转、比例缩放等差异，因此红外与可见光图像不能直接进行融合，在图像融合之前必须对红外与可见光图像进行几何和灰度上的严格配准。基于特征的图像配准方法计算量小、速度较快且精度较高［1］，本文对此展开深入的研究，提出利用多尺度分析的方法，对不同尺度下的红外与可见光图像进行配准。

2 红外与可见光图像配准方法流程

红外图像分辨率低，整体图像较为模糊，整体尺度较大，而同一区域的可见光图像的高分辨率决定了其整体尺度较红外图像小。因此本文将尺度空间理论应用于可见光与红外图像配准中，采用多尺度分析对图像的特征点和边缘进行处理，利用LTSHausdorff距离作为测度寻找空间变换的参数，利用RANSAC进行参数的优化。红外与可见光图像配准方法流程图如图1所示。

图1 红外与可见光图像配准方法流程图Fig．1 flow chart of infrared and visible image registration method

3 红外与可见光图像配准方法

本文选取高斯尺度空间对红外与可见光图像进行配准。

3．1 多尺度Harris特征点提取

Harris角点［2］不具有尺度不变性。对于同一个角点，大尺度可能将该角点检测为边缘，在相同的阈值条件下，多尺度角点检测方法［3］比单尺度角点检测方法提取的角点更加全面。

二维高斯核函数定义如下:

令 σD=sσI，σI为积分尺度，σD为微分尺度，s为常量且s＞1，s为尺度因子。令t=σ2

I为方差，其沿x与y方向梯度为:

图像上某点I沿x，y方向的一阶偏导为:

则图像位置空间的多尺度自相关函数为:

获取 Cm的两个特征值 λ1，λ2，并建立度量函数:

其中，det(Cm)=λ1λ2，trace(Cm)=λ1+λ2，k为经验常数且取值范围为 0．04 ～0．06。

根据Rm的阈值判断提取的是否为特征点，获取多尺度下位置空间的特征点候选位置，然后在每个候选点的邻域内搜索响应值最大的点(非最大抑制)，对每个尺度都进行如上搜索。在位置空间中提取的多尺度Harris特征点在尺度空间中不一定仍然为候选特征点，同时在不同尺度下，同一个特征点可能有多个极值，因此需要在尺度空间上进行筛选，获取最稳定的尺度不变特征点。对于二维高斯核函数，其LoG(高斯拉普拉斯)变换为:

根据其函数特性可知，函数值随尺度的增加呈阶梯衰减，因此，在进行尺度空间筛选时应对其进行标准化。标准化高斯拉普拉斯变换为:

通过比较位置空间中候选点在标准化LoG金字塔图像中响应的峰值及其上下尺度对应位置的值，如果该候选点为局部极大值点，则选择该点为尺度空间特征角点，否则，剔除该点。对于从i=1，2，…，N的尺度图像分成三种情况讨论:

(1)如果i=1，则分析所有分别在i=1与i=2尺度的候选特征点规范化LoG响应，比较某点与其下层的邻域内17个点的响应值，当i=1时该点的响应大于i=2时其响应，则判断该点为同时满足位置空间及尺度空间的Harris特征点。

(2)如果2≤i≤N －1，则分析 i－1，i及 i+1 三个不同尺度图像下的规范化LoG响应，比较某点与其上下两个尺度中邻域内26个点的响应值，如果该点在尺度i的图像取得极值，则判断为满足条件的特征点。

(3)如果i=N，则分析i=N－1与i=N尺度的候选特征点规范化LoG响应，比较某点与其上层的邻域内17个点的响应值，当i=N时某个特征点的响应大于i=N－1时其响应，则判断该点为满足条件的特征点。

红外与可见光图像在单尺度下与多尺度下特征点提取效果图如图2和图3所示。

图2 原始红外与多尺度红外图像特征点提取对比图Fig．2 feature points detection images of original and multi-scale infrared image

图3 原始可见光与多尺度可见光图像特征点提取对比图Fig．3 feature points detection images of original and multi-scale visible image

图中黑色十字为特征点所在位置，白色圆圈为该特征点的特征尺度对应区域。由图2和图3可以发现，相比单一尺度Harris特征点提取算法，多尺度特征点提取算法不仅提取的特征点更全，而且每个特征点对应的特征尺度也能获取，大尺度的特征点对应的特征区域(白色圆域)覆盖范围大，小尺度特征点对应特征区域覆盖范围小。每个特征点对应的特征尺度将用于后续相似度检测。

3．2 多尺度Canny边缘提取

本文利用Canny算子［4］进行多尺度边缘检测。首先采用多尺度Harris特征点提取获取的特征尺度作为Canny边缘提取算法第一步中的高斯模板的标准差，采用可变高斯模板对图像进行模糊滤波，然后再计算每个特征尺度图像的梯度和幅角，根据梯度值与幅角的方向进行非极大抑制，最后对可能为边缘的点筛选，区分边缘和非边缘。基本步骤为:

(1)统计可见光与红外图像中每个特征点对应的特征尺度，选择出现次数最多的特征尺度对原始可见光与红外图像进行高斯模糊处理，获取可见光与红外特征尺度图像。

(2)选取可见光与红外特征尺度图像，计算梯度的大小M和方向O。使用2×2大小的模板作为x和y方向偏微分的一阶近似。局部梯度M(x，y)=边缘方向

(3)对梯度进行非极大抑制:将每个像素点的8邻域分为4个扇形区域，将梯度方向在－22．5°～22．5°和 － 157．5°～ 157．5°，22．5°～ 67．5°和－157．5°～ －112．5°，67．5°～112．5°和 － 112．5°～－67．5°，112．5°～157．5°和 － 67．5°～ －22．5°分成这四个扇区编号为0～3。设中心区域像素的灰度值为S［i，j］，将此像素梯度值与0～3号扇区内的两个像素的梯度值进行比较，若此像素的梯度值不比这两个像素的梯度值大，则令S［i，j］=0;否则，S［i，j］的值不变。将 S ［i，j］存储于 N (i，j) 中，N(i，j)则为非极大抑制后的图像。

(3)使用两个阈值T1和T2对N(i，j)做阈值处理，其中T1＜T2，值大于T2的边缘像素称为强边缘像素点，则该点为边缘点，T1和T2之间的边缘像素称为弱边缘像素点，再根据边缘连通性进一步判断其是否为边缘点。如果弱边缘像素点的邻接像素中有边缘点，则认为该弱边缘像素点也为边缘点，否则，认为该点为非边缘点。获取到的可见光与红外图像的边缘图像点分别存入A，B两个点集中。

原始红外图像单尺度Canny边缘提取与本文特征尺度下Canny边缘提取对比图如图4所示。由图4可以发现，多尺度Canny边缘提取出的边缘相比单尺度下边缘，噪声更小，边缘响应更强。

图4 原始红外与特征尺度红外图像Canny边缘提取对比图Fig．4 Canny edge images of original and characteristic scale infrared image

3．3 相似性度量采用LTS-Hausdorff距离匹配方法

给定两个有限集合 A={a1，a2，…，ap}与 B={b1，b2，…，bq}，则 A，B 之间的 Hausdorff距离定义为:

Hausdorff距离度量了两个点集间的最大不相似程度，对远离中心的噪声点、漏检点都非常敏感。为了克服这一缺点，需要对Hausdorff距离基本形式进行扩展。Sim 等［5］结合 Huttenlocher［6］提出的PHD(partial hausdorff distance)与 Dubuisson［7］提出的MHD(modified hausdorff distance)提出了 LTSHausdorff距离。它是用距离序列线性组合定义的:

在进行图像特征点集匹配过程中，由于匹配的点集是变化的，因此不能采用固定的k值，而采用以下形式:

其中，＜·＞表示向下取整运算;p表示计算距离点的总对数。

LTS-Hausdorff距离把点集A中所有点到点集B的距离按照由小到大的顺序排序，将序号为1～k的k个距离求和，然后再求平均。因此，该算法不仅能消除远离中心的错误匹配点影响，有效比较有严重遮掩或退化的图像，而且对零均值高斯噪声消除能力明显。

3．4 随机抽样一致性法(RANSAC)求取空间变换的参数

RANSAC(random sample and consensus)算法是一种从一系列包含外点的数据集合中估计正确的数学模型的迭代算法。假设需要判断模型参数的点集为P，其中所有的点称为数据点，在这些数据点中，有一些满足参数未知的模型的称为内点，剩下的不满足的称为外点。RANSAC的目的就是从参数空间中找出模型的参数，使得定义的代价函数取得最大值。通过迭代去除外点对解算模型的影响，仅仅使用内点参与计算，可以得到更精确的估计结果。Ransac用于配准的流程图如图5所示。其中，T为仿射变换参数矩阵;A为参考图;B为浮动图;e为误差值;Num为满足‖BT－A‖＜e时匹配对的个数;M为随机抽样的次数;Nmax为所有满足‖BT－A‖＜e最大匹配对的个数。‖BT－A‖＜e表示将浮动图像经过仿射变换后与参考图像进行比较，匹配点的距离在误差值范围内。

图5 RANSAC算法流程图Fig．5 flow chart of the RANSAC algorithm

如图6所示，图6(a)为红外与可见光图像中经过Hausdorff距离筛选后，利用最小二乘法将所有对应的点参与计算求出的仿射变换参数，通过变换后融合的效果图，图6(b)直接利用RANSAC算法求出其中三对点计算出仿射变换参数，变换后融合的效果图。

图6 不同的参数估计算法配准融合图Fig．6 registration and fusion images of different parameter estimation algorithm

从图6可以发现，由于参与最小二乘法计算参数的点对中，有一些为错误的匹配点，最小二乘法求出的参数会尽可能满足所有参与计算的点对，错误的匹配点对对计算结果造成很大影响，图6(a)中上部窗户配准效果较差。RANSAC算法通过迭代，求出了最适合的三对点计算的参数，当错误的匹配点较多时，用RANSAC算法能获取较好的配准参数。

4 红外与可见光图像配准实验结果

红外与可见光图像配准算法的程序在VC6．0编译环境下编写，CPU是 pentium D 3．0 GHz，内存为1 GB。红外与可见光图像源由克罗地亚萨格勒布大学Tomislav_Hrka提供。图7为分辨率320×240的－36°～36°红外热像仪成像和原始分辨率为3264×2448，经过采样分辨率变为320×240的普通相机图像。原始红外图像由于对比度较低，为了更好提取特征点，需要对其进行中值滤波及直方图均衡处理。处理后的红外图像与可见光图像由本算法进行配准的效果图如图8、图9所示。

图7 原始红外与可见光图像Fig．7 original infrared and visible images

图8 红外与可见光图像特征点匹配点对Fig．8 infrared and visible images feature pointsmatching pairs

图9 配准后的红外与可见光图像融合图Fig．9 infrared and visible image fusion image after registration

5 结束语

多尺度Harris特征点提取算法比单尺度算法提取出的正确的特征点数量更多，在配准过程中能尽可能保证两幅图像中相对应位置特征点都能提取出来。多尺度边缘提取算法提取的边缘相比单尺度边缘，参与相似度计算时更加精确。RANSAC算法能滤除错误的匹配点对。实验表明，基于多尺度的图像配准方法能有效对红外与可见光图像进行配准，配准结果取决于红外图像预处理的结果与特征点位置的精度，后续可考虑利用频域分析理论对红外图像滤波以及进行亚像素特征点检测。

［1］ Peng Yiyue，et al．Visible and infrared image registration algorithm based on feature points［J］．Laser ＆ Infrared，2012，42(6):713 －717．(in Chinese)

彭逸月，等．基于特征点的红外与可见光图像配准研究［J］．激光与红外，2012，42(6):713 －717．

［2］ Harris C，Stephens M．A combined corner and edge detector［C］．In Alvey Vision Conference，Manchester，1988:147－152．

［3］ Mikolajczyk K，Schmid C．Scale ＆ affine invatiant interest point detectors［J］．International Journal on Computer Vision，2004，60(1):63 －86．

［4］ Canny J．A computational approach to edge detection［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，PAMI－8(6):679 －698．

［5］ Sim D G，Kwon O K，Park R H．Object matching algorithms using robusthausdorff distancemeasures［J］．IEEE Transactions on Image Processing，1999，8(3):425－429．

［6］ Huttenlocher D P，Klandeman G，Rucklidge W J．Comparing images using the hausdorff distance［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9):850 －863．

［7］ Dubuisson M P，Jain A K．A modified hausdorff distance for objectmatching［C］．Proceedings of 12thInternational Conference on Pattern Recognition，Jerusalem，Lsrael，1994:566－568．