基于局部重叠区域的无显著特征图像配准算法

杨旭朝，雷志勇，王娇娇

（西安工业大学电子信息工程学院,陕西 西安 710021）

0 引 言

图像配准技术是指利用一定的转换模型［1］，将包含同一场景的多幅图像从不同的空间坐标系转换到同一平面坐标的过程。在目标检测［2］、国防侦查［3］、地图测绘工程等行业，因为涉及物理范围较广，单幅图片通常无法获得全部目标区域，因此需要将多幅有重合区域的图像拼接成一幅更大视场角的全景图像［4］，便于工作人员进行下一步工作安排，而图像配准的质量会直接影响图像拼接的品质［5］，因此，对图像配准技术进行研究可以提高图像拼接的质量，解决实际工程问题［6］。

在对沙漠［7］、戈壁［8］等图像进行配准时，由于特殊地貌导致获取的图像特征不明显，这进一步加大了配准工作的难度。目前常用的配准方法有灰度信息互相关性配准［9］、特征配准［10］以及变换域配准［11］，其中应用最为广泛的是特征配准方法。文献［12］针对色调和纹理类图像在配准过程中精度较低的问题，融合尺度不变特征转换（Scale-Invariant Feature Transform，SIFT）和加快鲁棒特征［13］（Speed Up Robust Features，SURF）优化算法对单独沙丘图像开展配准，提高了配准精度和实际应用性能；文献［14］将二进制鲁棒单独特征（BRIEF）描述符运用于图像配准，不但降低了创建描述符的时间，并且大大减少了储存空间，对阳光照射转变具备较强的响应式鲁棒性，但其特征点检验不具备尺度和旋转不变性；文献［15］设计了具有方向的简明优化算法（Oriented Brief，ORB），最先运用快速分割检测（Features From Accelerated Segment Test，FAST）中的特征获得具备尺度不变性的角点特征信息内容，随后测算角点的主方向，并创建了具备转动不变性的简单描述符，增强了计算的效率。而基于互相关信息（Cross-Correlation Information，CCI）的配准是通过计算互相关系数评价图像之间的相似度，并且根据相似度寻找配准的坐标，计算变换矩阵，从而实现图像配准［16］。尽管配准方法多种多样，但是在解决实际问题时，依旧存在诸多问题，如ORB 图像配准方法虽然具备较快的配准速度，但是配准精度不高，难以在实际应用中得到较好的效果；SURF 与SIFT 图像配准方法虽具备较好的鲁棒性，但是这些方法的配准误匹配率同样有待降低；而基于互相关信息的图像配准方法虽然配准精度较高，但是在配准的速度和鲁棒性2个方面表现较差。

针对这些问题，本文融合ORB 特征和局部网格稀疏化方法，提出一种改进的图像配准算法［17］：首先通过ORB 特征完成局部图像的粗配准，提升算法的鲁棒性，接着对粗配准图像进行局部互相关信息提取，计算其单应矩阵［18］，最后将获取的单应矩阵应用于待配准图像全图，实现图像的精确配准。该方法在已有配准方法的基础上提升了配准的精度、速度以及鲁棒性，更加适合解决特征不明显图像的配准问题。基于局部重叠区域的无显著特征图像配准算法流程如图1所示。

图1 图像配准的整体方案设计流程框图

1 图像预处理

本文主要针对特征不显著的戈壁、荒漠等类似地区大范围航拍图像进行配准，其典型地表为砾石碎石地表，部分地区覆盖有大片沙子，并且由于常年缺水导致植被稀少，仅有的地表植物也是以低矮灌木和草本植物为主，缺少典型的植被信息［19］，因此，获取到的图像信息一般比较单调，在配准时难度增加［20］，并且配准结果往往差强人意。为了减小配准难度，首先对图像进行预处理增强其特征，本文利用图像标记对图像进行预处理，处理前后图像如图2所示。

图2 图像预处理

2 配准区域优化

传统图像配准算法是检测待配准图像之间全部区域的特征点，配准耗时长且效率低下［21］，难以应用在实际工程中。本文提出对多幅图像重叠区域进行配准达到最终配准效果的新方法，对待配准图像预处理后，利用多相机的三维视角对图像重叠区域进行预算，接着根据预算结果将重叠区域分割出来进行特征点检测，完成局部配准，最后根据局部配准结果完成整体图像配准。

对需要配准的图像进行预处理增强特征后，需要对图像重叠区域进行分割，主要包含重叠区域预算和分割2个部分。

重叠区域大小主要利用多个相机不同视角的重合进行预算。图3为多相机拍摄示意图。

图3 多相机拍摄示意图

图3 中，A、B、C、D 分别表示不同视角的多个相机，①～④阴影部分是其对应的拍摄区域投影。可以见到，调整多相机位置进行拍摄可以得到有一定视角重合的图像，仅对这部分图像进行特征点检测配准，相较于全图配准，工作量和复杂度都将大大降低。重叠区域预算具体步骤如下：

1）由相机参数获取单个相机在水平方向的拍摄角度大小为a。

2）测量相邻相机在同一水平方向的夹角为b（根据相机组安装结构要求，相机组安装在半径为r的圆上）。

3）基于上述操作，可得到粗略的水平方向相机重叠范围。

图4 为在同一水平面2 架相邻相机的几何关系示意图。

图4 相邻相机几何关系示意图

借助上述结构图和几何关系对重叠区域在整幅图像上的占比进行计算，具体如式（1）所示：

其中，γ表示的是重叠区域和整张图像的比例关系。同时需要对待处理图像重叠区域的边界进行计算，重叠区域如图5中白色区域所示。

图5 待配准图像重叠区域的示意图

图5 中，d为2 幅待配准图像水平长度，b1和b2为其重叠区域和非重叠区域的边界，待配准图像1 重叠区域范围可表示为（b2，d），待配准图像2 重叠区域范围可表示为（0，b2），b1、b2计算如下：

其中，img1·col 和img2·col 为2 个待配准图像的水平像素宽度。

为了降低误匹配的概率，仅对图像重叠区域进行特征点检测，因此需要对图像进行掩膜处理。其原理是利用选中的图像或物件挡住待处理的图像（全局遮挡或局部遮挡），以此来控制图像的处理区域。

3 改进的ORB+GMS融合算法

传统的全局特征配准是针对整幅图像进行处理，这种方法在对一些特征不显著图像进行配准时［22］，往往会出现对某些区域检验过度稀少或聚集的情况［23］，在图像特征信息的一致性上产生偏差［24］。因此，本文参考图像分块的思想，采用ORB+GMS 融合算法对图像重叠区域完成有针对性的局部配准，进一步提高图像配准点的精确性和图像特征信息的一致性。

3.1 ORB局部特征提取算法

ORB 算法采用FAST 角点检测［25］对图像的特征点进行检测，采用BRIEF描述子对检测到的特征点进行描述［26］，是一种常用的基于图像信息的特征点检测和描述算法。算法主要步骤分为：构建尺度空间、特征点检测和描述符构建。具体过程如下：

1）构建尺度空间。

利用高斯核函数对原始图像I（x，y）进行滤波和降采样得到高斯尺度空间，高斯核函数和构建的尺度空间如式（2）和式（3）所示。

其中，I（x，y）为灰度图像，σ为尺度因子，ρ为缩放因子。

2）特征点检测。

ORB 采用FAST 算法检测图像特征点，在尺度空间内以某像素点为中心，半径为3的圆上均包含16个像素点，设置阈值t，若存在n个连续像素值与中心点差值大于设置的阈值t，则判定该中心点为检测到的特征点。同时为了避免特征点聚集，采用非极大值抑制算法对检测到的特征点进行筛选。

3）描述符构建。

特征点匹配算法中保证方向不变性的关键是建立主方向。ORB 算法中特征点的主方向为特征点到特征采样区域质心的方向。特征采样区域的质心计算如下：

基于上述假设交点坐标为O，则可定义特征点的主方向为：

主方向建立后，在以特征点为中心的区域S×S中随机找出两两像素比较编码，根据两两像素大小其值的大小建立τ：

其中，p（x）和p（y）为特征采样区域的像素点。若有N对像素点进行比较，则可得到N维二进制描述符fN，具体公式如下：

设有N对像素点（xi，yi），i=1，2，…，N，则将式（8）转换为矩阵形式如下：

式（6）中旋转角度θ可得到旋转矩阵Rθ，则得到旋转后的矩阵为Sθ=RθS。

综上，ORB算法的描述符可表示为式（10）：

3.2 GMS内点筛选算法

采用GMS算法进行内点的筛选时，首先要满足一个假设［27］：配准图像中的每一个像素都具有运动平滑性，即一个正确的匹配，其邻域内包含多个支持它的匹配，而错误的匹配其邻域内支持它的匹配就非常少。在此假设基础上，设计GMS算法的具体流程如下：

首先将待匹配图像区域划分为网格，且每个网格中的匹配点数Si均服从二项分布，具体表述为：

其中：xi为网格内的匹配点；K为匹配点xi邻域的网格数；n为网格内匹配点的数量；pt为匹配点xi为正确匹配点的概率；Pf为匹配点xi为错误匹配点的概率；T表示xi为正确匹配点；F表示xi为错误匹配点。

Si的分布如图6 所示。可以看到，正确匹配点和错误匹配点的分布有较大的差异，可以通过设置阈值和Si的均值和方差进行区分。

图6 Si的分布

将Si的均值和方差整合为P，通过调整P进行粗匹配特征点的筛选。P的计算公式如式（12）所示：

为了提高内点筛选优化算法的精度，将正确匹配点筛选问题转换为优化问题，即最优化P。将式（11）转化为下式所示：

式（13）表示最优化函数与网格数K和网格中特征点的总数成正比。对当前网格内匹配点进行判断，具体判断公式如式（14）所示：

其中：Sij为网格区域｛ik，jk｝和该网格周围8 个网格内匹配点的总数（如图7 所示）；τi为阈值；α为常数因子；Ni为K个匹配网格区域的总特征数。

图7 9个匹配网格区域

4 实验结果及分析

为验证本文提出的局部标记融合算法的可行性以及融合算法在解决特征不显著图像配准问题中的优越性，选择SIFT、SURF、ORB 这3 种经典算法作为实验对照组，从全局配准和局部配准2 个方面进行对比验证，其中局部配准又分为局部标记配准和局部不标记配准。

1）全局配准。

选取具有重叠区域的特征不显著沙漠类图像，分别使用SIFT、SURF、ORB 以及ORB+GMS 算法进行配准实验，仿真结果图8 所示。对应的全局配准匹配率如表1所示。

图8 全局图像配准对比

表1 基于全局配准的算法匹配率对比

由表1 实验数据可知，在对特征不显著图像进行全局配准时，ORB+GMS 融合算法的匹配准确率均高于SIFT、SURF 和ORB，因此，ORB+GMS 融合算法在对特征不显著图像进行全局配准时具备明显的优势。

2）局部配准。

为了进一步提升待配准图像之间配准精度和配准效率，本文设计一种新的配准策略，即只针对待配准图像的重叠区域的局部进行配准。局部配准分为局部标记配准和局部不标记配准，局部标记配准仿真结果如图9所示。

图9 局部不标记图像配准对比

由图9 可知，相较于全局配准，ORB+GMS 融合算法在局部配准时明显比SIFT、SURF、ORB算法的配准效果更好，能够得到更精确的配准结果。现进一步对图像重叠区域进行标记后再配准，同样选用SIFT、SURF、ORB算法作为对照组，对应的局部标记配准仿真结果如图10所示。

图10 局部标记图像配准对比

对应的局部标记配准相关数据如表2所示。

表2 基于局部标记配准的相关数据对比

由图10仿真结果和表2数据可知，在对特征不显著图像进行局部标记配准时，ORB+GMS融合算法匹配率相较于全局配准提升了28%，明显优于SIFT和ORB算法，而相较于SURF算法，融合算法虽然在匹配率上优势不多，但是具有更快的配准速度。因此，综合来说，本文提出的基于局部标记的ORB+GMS融合算法更适合应用于具有重叠区域的特征不显著图像配准。

为了进一步验证融合算法对本文设定图像类型配准的优越性，选取戈壁类地形图像进行实验验证。对应的局部标记配准过程及结果如图11所示。

图11 戈壁类场景配准算法验证

由图11 可知，在戈壁类具有重叠区域的特征不明显图像配准中，局部标记融合算法依旧可以得到较好的配准结果。结合上文沙漠类图像的仿真实验结果可知，在对具有重叠区域的特征不显著图像进行配准时，本文提出的局部标记ORB+GMS 融合算法具有十分可观的配准结果，相较于传统经典配准算法，其配准精度和配准速度都有了进一步的提升。

尽管本文研究的主要对象是基于无显著特征图像之间的配准，但是为了更好地验证本文提出的基于局部标记的方法在普通场景下的配准精度和效率，设计了在不同环境下（如光线不充足的场景和阳光充足场景下）图像之间的配准。实验场景如图12～图14所示，不同场景下的配准实验数据统计如表3所示。

表3 不同场景下的配准实验数据统计

图12 场景a配准实验

图13 场景b配准实验

图14 场景c配准实验

由图12～图14 以及对应表3 数据可知，本文提出的局部标记ORB+GMS 融合算法在不同场景下均具有良好鲁棒性，可以得到较为满意的配准效果。

5 结束语

本文针对无显著特征图像全部配准存在的缺点，提出了一种基于局部重叠区域的特征不显著图像配准方法，借助三维投影对多组图像重叠区域进行预算，并采用图像分割技术对重叠区域使用ORB+GMS融合算法进行局部标记配准。实验结果显示，该方法相较于其它传统配准方法，更加适合应用于沙漠、戈壁类等特征不显著图像的配准工作，并且根据实验数据，融合算法在图像局部配准中优势更明显，相较于全局配准，其匹配率提升28%，匹配时间也大幅缩短，拥有更高的效率和匹配质量。综上，在对戈壁、沙漠类具有重叠区域的特征不显著图像进行配准时，本文提出的基于局部标记的ORB+GMS 融合算法具有十分可观的现实效果，可以很好地应用于此类问题的解决上。