基于自适应混合多项式变换的图像配准

闵超波

河海大学常州校区 物联网工程学院，江苏 常州 213000

1 引言

近年来，红外与可见光图像融合在机器视觉[1]、辅助驾驶[2]与夜视侦查[3]等领域得到了广泛的应用。而图像融合中首要前提为图像配准。配准的目的在于精确估计出待配准图像之间的空间变换模型，以使图像所有像素对齐。如果没有高精度图像配准，多模图像融合无法实现。但是，多模图像采集相机参数的不同以及图像灰度分布的差异，大大增加了图像配准的难度，因此多模图像配准一直是研究的热点。本文主要研究红外与可见光图像配准。

图像配准可以等价为数据拟合问题。待配准图像之间对应特征是已知数据点，空间变换模型为拟合函数，待配准图像之间的距离度量为拟合准则。在已知数据点的基础上，只要寻找可以使距离度量达到最小值的拟合函数参数，即可估计出最优变换模型，实现配准。因此，图像配准主要有两个关键点：（1）距离度量准则；（2）空间变换模型。

距离度量准则用于测量待配准图像之间的距离，本质上是无先验知识地量化配准精度。互信息（Mutual Information，MI）[4]是一种常用的度量准则。但是，由于基于MI的度量准则所依赖的假设是待配准图像具有相似的灰度统计概率分布，因此使得MI 准则无法在具有很大灰度分布差异的红外与可见光图像上获得良好的度量精度。为克服上述缺陷，出现许多基于特征的度量准则，例如2 范数损失准则[5]、最小2 范数估计准则（L2E）[6]和正则高斯场准则（RGF）[7]。这些度量准则需要提取图像中点、线或面作为匹配特征，以测量图像之间距离[8]。因此，红外与可见光图像中匹配点提取的准确性直接决定了特征度量精度。

空间变换模型其本质是坐标映射函数，主要用于表示待配准图像之间形变模式。仿射变换[9]是典型的线性模型，但无法处理实际应用中图像之间形变的各向异性问题。所以学者们提出了许多非线性变换模型，例如B样条（B-spline）模型[8]、薄板样条（Thin-Plate Spline，TPS）模型[10]以及基于再生核希尔伯特空间（Reproducing Kernel Hilbert Space，RKHS）的变换模型[7]。这些模型可以利用控制点局部特征描述非线性形变的模式，但是缺点在于过分依赖控制点的选择，导致性能不够稳定，模型泛化能力不强[11]。

针对上述问题，本文主要工作分为两个方面。首先，提出了一种多模图像之间相似性的特征表达——高斯加权形状上下文（Gaussian Weighted Shape Context，GWSC），旨在提升多模图像之间点匹配精度。其次，提出了自适应混合多项式变换（Adaptive Polynomial Mixture Transformation，APMT），用于描述红外与可见光图像之间非线性形变的全局规律性，降低非线性空间变换对控制点的依赖，增强变换效果的稳定性。本文所提出的配准方法（GWSC-APMT）其核心思路为：从由GWSC提取出的红外与可见光图像之间匹配点集中，估计出最优的APMT模型参数，实现图像全局配准。实验表明：相比于同类配准方法，GWSC-APMT 在配准精度与速度上都具有一定优势和竞争力。因此，可以有效提升图像融合系统的可靠性。

2 基于GWSC的匹配点提取

2.1 配准问题描述

空间变换模型表示为φc，c是相应的变换参数向量。配准目的是从匹配点集F中估计出最优的变换参数c，而这一过程可以看成是解优化问题，因此建立能够在无先验知识情况下量化配准精度的目标函数非常重要。

由于高斯场模型始终连续可微，并且可以较快地收敛于全局最优解。因此，利用高斯场来构建如下目标函数：

其中，(rk,sk)∈F，‖ ∙ ‖ 表示2范数，σe是目标函数尺度参数，S(c)是用于控制空间变换幅度的稳定项，λ∈ℝ 是归一化权重系数，用于调节目标函数中第二项的比重。

2.2 GWSC

从式（1）可以看出，匹配点集的精度决定了目标函数的性能，错误的点匹配会增加目标函数度量待配准图像之间距离的误差。红外与可见光图像之间灰度分布差异与特征的不对应性也会大大增加点匹配的难度，因此针对以上问题，提出一种可以用于描述多模图像之间结果相似性的特征——GWSC。

传统的基于形状上下文（Shape Context，SC）特征[12]的相似度定义如下：

其中，q和bi都表示同一幅图像中的边界点，q,bi∈ℝ2×1。Cs实质是可以表示红外与可见光图像边界点之间对应关系的属性矩阵，其中元素值越低，则表示相应的红外与可见光边界点越相似。

SC 在红外与可见光图像之间点匹配上经常失效，究其原因在于红外与可见光图像之间存在畸变或者丢失的边界，如图1所示。可见光图像中边界点A的实际匹配点为C，但是利用SC却错误地将B点认作A点的匹配点。从图1中A、B和C点的局部放大图中可以看出原因：与点A邻域中边界结构相比，点C周围的两条边界间距更宽，出现了明显的形变；而与点C相比，点B邻域的边界结构与A点更为相似。在SC计算半径为10个像素的情况下，点A与B之间的SC相似度为0.241 2，而点A与C之间的SC相似度为0.270 9。因此，认为SC度量的结构相似性是符合点的局部特征的。但正是由于其只关注点的局部特征，导致了图1中出现的误匹配。

图1 利用SC在红外与可见光边界图中进行点匹配

要解决上述问题，就要进一步增加具有一定相似度但不是真正匹配的点对（类似图1 中的点A与点B的情况）之间差异。有两种解决方法：（1）扩大SC 特征的度量范围，但是如果提高SC 特征计算半径会增加很多计算量；（2）在SC 相似性度量中加入全局特征，避免局部特征的局限性。

因此，在SC的基础上，定义了新的结构相似性特征GWSC的属性矩阵：

其中，Wr、Wv和Wrv称为归一化高斯加权矩阵，其定义如下：

其中，i,l∈ {1,2,…,I} ，j,u∈ {1,2,…,J} ，εs,εrv∈ ℝ+分别是控制邻域大小的尺度系数，ωr、ωv和ωrv分别为三个高斯加权矩阵的归一化系数：

Dr=分别为Wr和Wv的对角度矩阵。∗表示矩阵哈达玛积（Hadamard product）。

式（4）括号项用于计算红外与可见光图像中多有边界点对邻域之间的平均SC相似度，在不增加SC计算半径的情况下，利用高斯模型扩大SC 特征的度量范围。Wrv表征了所有的边界点对之间的相对距离，其作用是引入假设：红外与可见光图像中实际匹配的两点相距不会太远。而在实际应用中，只需粗略地调整红外与可见光相机的光轴使其尽量平行并靠近，就可以使上述假设成立。因此Wrv目的是在结构相似性度量中引入全局特征，避免只考虑局部特征所导致的误匹配。Cg为反映边界点对应性的属性矩阵，Cgij越低，表示两个边界点和越相似。

2.3 匹配点集的提取

对于点匹配算法而言，将属性矩阵抽象为二部图，就可以利用二部图匹配算法（如匈牙利算法）来确定点集之间最大匹配。但是，传统的点匹配不适用于图像配准。首先，实际图像中边界点数量很大，会使二部图匹配算法计算量大大增加。其次，图像配准也不需要红外图像中所有边界点都找到其对应的可见光边界点，只需提取其中一部分匹配点对，使目标函数可以准确度量配准精度即可。基于以上分析，设计了一种利用GWSC的点集快速匹配算法，如算法1所示。

算法1基于GWSC的点集快速匹配

输入：待配准的红外与可见光图像，参数εs和εrv

输出：匹配点集F

1.利用Canny 边缘检测器提取红外与可见光图像中边界，生成边界点集；

3.找出Cg每一行最小值，将对应下标放入集合Mv，进而生成初步匹配点集；

4.找出Cg每一列最小值，将对应下标放入集合Mr，进而生成初步匹配点集；

算法1结构简单，提取相似度相对最高的点作为匹配点对，可以有效降低误匹配出现的概率。另外，算法1中从属性矩阵中提取匹配点（即步骤3～5）的时间复杂度为O(IJ)，而较为高效的匈牙利算法时间复杂度为O((I+J)IJ)。

3 APMT模型估计

3.1 APMT模型

平行光轴是目前红外与可见光图像融合系统最常用的光机结构。因此，造成红外与可见光图像之间形变的可能原因包括：相机之间的相对距离、红外与可见光镜头参数差异、探测器参数不同等。事实上，上述这些因素都具有规律性，即服从某种规律模式。所以，假设待配准红外与可见光图像之间形变模型是由多个规律模式混合而成。

令rk=[x,y]T表示匹配点集中红外边界点的二维坐标，表示rk经过空间变换的映射坐标，APMT模型可以写为如下形式：

其中，αi,j，βi,j∈ℝ 为变换系数，n∈ℤ+表示APMT模型的阶数。所有的αi,j和βi,j分别组成np×1(np=n(n+3) 2)维的系数向量α(n)和β(n)。

由式（7）可以看出，APMT 模型由多个多项式变换混合而成，因此可以在不使用控制点的情况下有效表征图像形变复杂的非线性规律模式。并且将多项式的阶数进行参数化，使APMT模型可以根据图像形变非线性程度的不同进行调整，以表征多样的形变模式，提高变换模型的鲁棒性和泛化能力。

APMT模型变换方程的矩阵形式如下：

将式（8）代入目标函数（1）中，就得到目标函数最终形式：

其中，tr(⋅)表示矩阵的迹。式（10）中稳定项可以描述变换系数变化幅度，当幅度过大时，对目标函数给予惩罚，以此防止变换模型出现突变。

3.2 优化

很明显，基于高斯场的目标函数（10）关于变换系数是连续可微的，因此可以写出对应的导数：

利用目标函数的一阶导数，目标函数的解优化就可以通过拟牛顿法来实现。同时，希望APMT模型的阶数也可以通过循环优化而确定。因此，一种分段优化策略被用于模型参数的估计，具体流程如算法2所示。

算法2APMT模型估计

输入：匹配点集F，参数σe和λ

输出：最优阶数n，最优变换系数矩阵c(n)

1.初始化n=1，c(n)=0；

2.对F中构建混合多项式向量集合；

3.以c(n)为初值，利用拟牛顿法对目标函数(10)解优化，解出现阶段最优参数向量cs；

4.令n=n+1，并利用cs初始化c(n)；

5.重复步骤2至5，直到目标函数值开始上升为止；

6.当前阶数n就是最优阶数，当前cs即为最优变换系数矩阵c(n)。

由于图像配准可以被看成为数据拟合问题，因此算法2 本质就是近似逼近的过程。由于APMT 模型实质是多个不同阶数多项式的自由组合，如果直接使用高阶的APMT 模型进行优化，则有可能出现龙格现象，即拟合出的高阶变换模型出现很大偏差。出现龙格现象的原因在于高阶APMT模型会放大初始误差，导致由目标函数导数（11）所确定的优化方向产生较大偏差。但是，低阶的APMT 模型常常无法准确表征待配准图像之间复杂的非线性形变规律。

算法2 可以很好地解决上述问题。根据APMT 模型的阶数将整个优化过程分段，先使用低阶模型对目标函数进行拟牛顿法的优化，然后逐步提高模型阶数，令低阶模型优化所得的变换参数作为下一阶段高阶模型优化的初值，这样就降低了高阶模型优化时的初始误差，可以减弱龙格现象的影响。上述过程不断迭代优化，直到目标函数值开始上升，则表明此时的APMT 模型阶数已到达最佳值，如果再增加就会使模型出现较大偏差，因此终止优化过程。所以针对不同的待配准图像，利用算法2可以解出最适合表征其形变非线性程度的阶数，同时确定最优的变换系数。

为了得到红外图像中所有像素的变换映射坐标，需要首先对所有像素计算其对应的混合多项式向量，组成向量集（U为红外图像像素总数）。然后将和算法2 所得的最优变换系数矩阵代入式（8），就得到图像全局变换的结果。另外，由于变换图像中可能会出现一些空白区域，因此还需使用图像插值算法（例如双线性插值）进行填补，以获得最佳的变换图像。

3.3 计算复杂度分析

从目标函数（10）与其对应导数（11）可知，其时间复杂度为O(Knp)，利用拟牛顿法解2×np维系数矩阵c(n)的时间复杂度为，因此APMT模型估计总的时间复杂度为由于在计算时需要存储和c(n)，因此空间复杂度为O(Knp+np)。

4 实验与分析

4.1 数据集

本文使用真实的红外与可见光图像对方法进行测试。这些图像选自CVC 数据库[13]。从后续定性实验中可以看出，本文使用的红外与可见光测试图像具有很大的灰度分布差异，这增加了匹配点对提取的难度。并且，为了测试配准性能，还增加了红外与可见光图像之间非线性形变的程度。因此，使用本文中的测试图像可以充分评估GWSC-APMT 的效果。另外，本文所使用数据集图像平均分辨率为424×384。

图2 利用SC、RISC和GWSC进行点匹配的定性结果

4.2 参数设置

本文所提出GWSC-APMT 方法共包含4 个设置参数：εs、εrv、σe和λ。εs和εrv是GWSC中控制邻域大小的尺度系数。εs用于调节平均SC 相似度作用范围，而εrv可以控制红外与可见光边界点之间相对距离对相似度计算的影响程度。σe用于调节目标函数中距离度量的尺度，λ用于控制稳定项在目标函数中所占比重。经过反复实验，确定了最佳参数配置：εs=80，εrv=300，σe=6和λ=0.02。这组参数配置在本文实验中保持不变。

另外，本文实验是在具备4核CPU（3.9 GHz）、4 GB内存的计算机上运行，且所有方法都使用Matlab 实现。需要特别指出的是，参与对比的其他方法的源代码由其作者提供，相应参数设置与原论文中一致。

4.3 GWSC点匹配测试

为了评估GWSC的有效性，将其用于红外与可见光图像中点匹配，并与原始SC 和旋转不变SC（Rotation Invariant SC，RISC）[14]进行对比。手动选取21组红外与可见光图像之间的匹配点，构建真实匹配点集，在此基础上使用不同方法对其进行点匹配。另外，为了更准确地测试相似性特征的性能，对SC、RISC 和GWSC 所生成的属性矩阵，统一使用匈牙利算法进行二部图匹配。需要指出的是本文中SC特征的计算半径为10个像素。

部分点匹配的定性实验结果如图2 所示。由于在真实匹配点集上进行点匹配，因此可以将点匹配结果的召回率作为定量评价准则，如图3 所示，其中SC、RISC和GWSC 分别表示三种特征+匈牙利算法的点匹配方法。可以看出，SC、RISC 和GWSC 平均召回率分别为0.541 1、0.404 6 和 0.871 4，GWSC 具有最高的召回率，这与定性实验结果非常吻合。实验说明了GWSC 的有效性，相比于SC，GWSC可以提升约61%的匹配精度。

图3 利用SC、RISC和GWSC进行点匹配的定量结果

也测试了三种特征进行点匹配的运算时间。在本文数据集上，SC和RISC的平均运算时间分别为2.33 min和2.68 min，而GWSC 的运算时间为0.47 min。这说明了相比于SC和RISC，GWSC属性矩阵所对应二部图中增广路径的数量最小，从而使匈牙利算法的运行时间最短。增广路径数量少代表GWSC 属性矩阵中不同点对之间相似度差异大，证明了GWSC可以增大不匹配点对和匹配点对之间的区别。

另外，还将GWSC+匈牙利算法的点匹配召回率与GWSC+快速匹配算法（即算法1，GWSC-fast）的结果进行对比。从图3可以看出，快速匹配算法非常接近匈牙利算法的点匹配精度，平均召回率为0.870 1，且快速匹配算法平均运算时间仅为0.061 1 min。因此可以说明与匈牙利算法相比，快速匹配算法可以在保证匹配精度的同时，大大降低运算时间。

图4 展示了使用算法1 从边界点中提取匹配的实例，可以看出所提取出的匹配中绝大部分是符合真实情况的。因此利用算法1 所提取的匹配点集可以保证目标函数量化配准效果的准确性。

图4 利用算法1提取匹配点集的实例

4.4 图像配准对比测试

为了评估GWSC-APMT 配准方法的性能，在真实的红外与可见光图像上进行配准测试，并且与目前公认效果较好的基于特征的配准方法进行对比，包括CPD[15]、MR-RPM[14]、RGF[7]、RPM-L2E[6]和 SC-TPS[12]。需要特别指出的是，上述方法都是采用基于控制点的空间变换模型。为了公平，所有方法都是在由算法1提取出的匹配点集上进行模型参数的估计。定性配准效果如图5 所示，其中为了更好地展现图像配准效果，每组配准结果第一行为边缘配准图，蓝色为红外边界，红色为可见光边界，第二行为经算法配准之后的红外与可见光图像的融合图。

另外，为每组待配准红外与可见光图像手动建立了真实匹配集，计算配准结果的召回率，实现量化评价。考虑一个真实匹配(rt,st)，边界rt经空间变换之后映射点为rˆt。如果欧拉距离小于设置的精度阈值（例如4个像素），则认为边界点rt与st被正确配准。因此，召回率其实质是被正确配准的真实匹配数量与真实匹配总数之比。定量对比结果如图6所示。

图5 图像配准定性对比结果

图6 图像配准定量对比结果

首先，因为所有配准都是基于算法1 所提取的点集，所以定性实验结果说明算法1可以提取出足够的特征来实现准确的图像配准，同时也再次证明了GWSC的有效性。

其次，从定性对比实验结果可以明显看出，相比于其他方法的配准效果，GWSC-APMT的配准中畸变与误差都明显减少，并且配准的整体精度更高，这些与定量实验的结果非常一致。从图6 可以看出，多数情况下，本文方法召回率曲线都在其余方法之上，总平均误差为2.56像素，而SC-TPS、RPM-L2E、RGF、MR-RPM 和CPD的平均误差分别为10.08、6.22、3.91、12.13、5.55 像素。本文方法具有较高配准精度的原因在4.6节中详细讨论。

在数据集中测试了本文方法所需的4 个配置参数对配准精度的影响，结果如图7所示。对其进行分析可知：当GWSC的尺度系数εs和εrv较小时，由于SC的作用范围没有得到明显扩大，点集之间相对距离对GWSC特征的影响也很小，因此导致配准精度不高；而当SC作用范围过大，或点集相对距离的影响过度时，也会增加相似性度量的干扰，降低GWSC 的精度，进而影响配准效果。从图中可以看出，εs=80、εrv=300、σe=6 和λ=0.02 的参数配置可以使图像配准精度达到最优。

4.5 算法运行时间测试

首先，测试利用GWSC提取匹配点的计算时间。对于分别包含1 000 个点的两个点集，利用GWSC 与匈牙利算法的组合从中提取匹配点需要约10 min，而同样条件下，使用算法1 则只需1.31 min，结果与2.3 节中两种方法时间复杂度分析是吻合的。这说明了与匈牙利算法相比，本文所设计的快速匹配方法可以降低86.9%的点匹配运算时间。显然，正因为GWSC 特征足够精确，所以使用较为简单快速的算法就可以实现高精度的点匹配。

图7 不同参数配置对图像配准精度的影响

其次，比较RGF 和本文方法的模型估计时间。在本文数据集上，RGF 中模型估计平均时间为36.81 s，本文方法中APMT模型估计时间为5.91 s。RGF中模型估计的时间复杂度为O(K2N0)[7]，其中N0为控制点数量，一般N0=15。根据3.3 节，APMT 模型估计时间复杂度为O(Knp+)，从本文实验结果来看，所解出的最高阶数为3，因此np最大取值为9。所以，运行时间测试结果与时间复杂度分析一致。并且从中可知，RGF中使用所有的边界点对去定义目标函数，而本文方法使用匹配点对来建立目标函数，因此大大降低了目标函数的计算量。

在本文数据集上，本文方法配准分辨率424×384图像需要约1.44 min的运算时间。

4.6 分析与讨论

从定性与定量实验结果可以看出，所提出APMT模型与目前常用的非线性变换模型最大区别为：APMT模型可以在不使用控制点的情况下，精确地描述图像之间非线性形变规律。现有的基于控制点的非线性模型（如TPS模型、B-spline模型和基于RKHS模型等）是利用分布在图像不同区域的控制点来描述待配准图像之间复杂的非线性形变模式，因此其变换参数是在各个控制点邻域内部进行优化，对于图像中远离控制点的像素来说，相应的配准效果可能出现退化，所以控制点的数量与分布都会影响这些变换模型的配准精度。针对不同图像场景，最优控制点的选择也可能不同，这种不确定性会限制这些模型的鲁棒性与泛化能力。本文所提出的APMT模型不需要使用控制点，其变换参数是在图像全局范围内进行优化，因此具有更高的鲁棒性与泛化能力。同时，APMT模型其本质为多种非线性模型的自由组合，因此能够表征图像之间非线性形变的整体规律，并且应对不同程度的非线性形变。

其次，低阶多项式可能无法表征复杂的非线性形变模式，高阶多项式也有可能导致龙格现象的出现。而APMT模型与分段优化策略配合，可以针对不同图像形变程度解出最优的多项式阶数，避免了多项式阶数过低或过高的情况，这也大大提高了所提出方法配准效果的稳定性。

另外，本文提出方法缺陷在于对边界特征的依赖，对于边界纹理很少的场景配准效果可能会退化。因此下一步研究方向为寻找更加鲁棒的匹配特征，以提高算法适用范围。

5 结论

本文针对红外与可见光图像配准，提出了GWSCAPMT 方法。首先针对SC 的缺陷，设计了一种可以度量多模图像之间结构相似性的特征GWSC。其次，建立APMT 模型以准确描述图像之间非线性形变的规律模式。最后，利用分段优化策略，从由GWSC 提取出的红外与可见光图像之间匹配点集中，估计出最优的APMT模型。各项实验表明，与同类配准方法相比，所提出方法能使配准精度提高34.5%，并降低83.9%的运行时间。