基于ORB特征点的道路图像拼接方法

李明臻 姜梦炜 陈仕旗

（长安大学 工程机械学院，西安 710064）

近年来，我国道路建设不断加快，道路病害问题日趋严重[1]。目前，道路病害检测主要采用检测人员目视与路面巡检车巡检相结合的方法[2]。随着无人机技术的发展与普及，利用无人机进行路面病害检测成为一种新型高效的方法[3]。为了获取道路表面的高分辨率图像以便于病害检测，需要无人机近场拍摄道路图像。单幅图像仅可覆盖一小块区域，导致检测人员很难获得完整的道路信息来了解路面的健康状况。所以，为了全面评估道路的健康状况，提高裂缝的检测效率，需要对采集的多幅图像进行拼接[4]。

目前，图片的拼接主要包括3个步骤，分别是图片预处理、图片配准和图片融合，其中配准技术决定了拼接效果[5]。图像配准方法主要有基于区域和基于特征两种[6]。基于区域的配准算法主要是采用图像间的灰度信息实现配准，运算操作量大，配准结果较差，配准时间较长[7]。基于特征的配准算法以特征点的研究较多，包括SURF（Speeded-Up Robust Features）算法、尺度不变特征变换（Scale Invariant Feature Transform，SIFT）算法以及ORB（Oriented FAST and Rotated BRIEF）算法等。其中，ORB算法运行时间短，鲁棒性强，被广泛应用于各个领域[8]。曾海长等人在ORB算法中采用Hessian检测算子处理ORB尺度不变性较差的问题，但此类算子在拼接中易产生特征点误匹配问题[9]。在图像配准过程中，由于受到光照强度、图像畸变等因素影响而产生配准偏差，导致拼接结果会产生错位、鬼影等现象。图像融合算法能尽量避免图像受光照等因素影响而出现拼接结果不佳的现象[10]。

针对路面图像存在较大区域的相似图像的情况，本文提出采用ORB算法提取图像的特征点，基于汉明距离和随机抽样一致性（Random Sample Consensus，RanSaC）算法完成同名点的筛选与匹配，并计算几何变换模型，最后通过最佳缝合线融合算法实现图像拼接。实验证明，本文算法实现了道路图像的拼接，为后续的路面病害检测奠定了基础。

1 图像拼接

1.1 ORB算法

ORB算法主要结合了FAST特征点检测和BRIEF特征描述符。

FAST算法的核心思想是比较某区域周围像素灰度值与中心像素灰度值的关系。如果周围像素灰度值与中心像素灰度值相比存在明显差异，记为FAST角点。FAST角点检测速度较快，但是不具有尺度不变性和旋转不变性。因此，ORB特征点在FAST角点上通过构建图像的高斯金字塔，使其具有尺度不变性。针对旋转不变性，ORB特征点提出由FAST角点指向周围矩形区域质心的向量作为ORB特征点的方向向量。由方向向量可以计算并得到特征点方向，从而使得特征点具有旋转不变性。

BRIEF描述子于2010年提出，虽然不具有旋转不变性，但是可以结合关键点的方向计算BRIEF描述子，从而将描述子与特征点的方向联系在一起，增加旋转不变性。

1.2 图像匹配与筛选

特征点的匹配是指在不同图像中寻找同一个物体的相同特征点。每个特征点都具有标志着唯一身份的描述子，特征点的匹配需要在两幅重叠图像的特征点及描述符建立完成后进行。在ORB算子中每一个特征点都有一个256位的二进制编码与之对应，因此匹配时需采用汉明（Hamming）距离描述相似性的度。

Hamming距离匹配的核心思想是在待拼接图像上选取两个二进制描述子，如果进行位运算后的二进制串的相似率大于设定的阈值，则特征点匹配成功。

虽然按距离进行匹配较为快捷，但由于阈值是人为设定的，会产生误匹配现象，需要去除误匹配点对。目前，常见的误匹配筛选是采用RanSaC算法。RanSaC算法的核心思想是在一系列存在“外点”的数据集上采用不断迭代的方法查找到最优参数模型，不符合最优模型的点即为“外点”。

1.3 图像融合

由于配准精度的影响，两幅图像拼接为全景图后，在重叠区域会出现伪影或明显的拼接缝隙，造成不良的视觉效果。采用动态规划数学思想的最佳缝合线算法，是解决拼接结果失真、防止出现伪影的一种有效方法。这种方法的主要实现思想包括两个方面：一方面，依照重叠区域的颜色与结构建立相应的能量函数；另一方面，依照设定的动态搜索准则，在重叠区域找到一系列能使能量函数的值最小的坐标，这一系列坐标点的连接即为最佳缝合线。

2 实验结果与分析

为验证本文算法的实用性，选取无人机拍摄的路面图像对畸变较大与较小的道路图像分别进行拼接实验。实验运行环境采用AMD、4800U、1.80 GHz、64位的计算机。实验的所有算法基于OpenCV4.2.0实现，编程语言为C++，环境为Visual Studio 2015。

选取镜头畸变较小的单向车道，如图1所示。图2为镜头畸变较小的单向车道场景下RANSAC筛选的匹配图。图3为镜头畸变较小的单向车道场景下直接拼接与采用最佳缝合线融合算法的对比结果。此外，选取畸变较大的双向车道进行实验，如图4所示。图5为畸变较大的双向车道场景下RANSAC筛选的匹配图。图6为在畸变较大的双向车道场景下直接拼接与采用最佳缝合线融合算法的对比结果。

图1 镜头畸变较小的单向车道待拼接图像

图2 镜头畸变较小的单向车道场景下RANSAC筛选的匹配图

图3 镜头畸变较小的单向车道场景下拼接结果

图4 镜头畸变较大的双向车道待拼接的图像

图5 镜头畸变较大的双向车道场景下RANSAC筛选的匹配图

图6 镜头畸变较大的双向车道场景下拼接结果

从实验结果可以看出：不论是畸变较大的双向车道还是畸变较小的单车道，直接拼接虽然能较快得到结果，但是存在明显的拼接错位（如图3（a）和图6（a）框出部分），且拼接区域出现了明显的色差变化；通过最佳缝合线的融合方法得到的结果，拼接均匀自然，拼接效果良好。

3 结语

本文提出了一种适合无人机近场拍摄路面图像拼接的方法，采用ORB特征点作为匹配特征，将Hamming距离作为粗匹配，利用RanSaC算法进行筛选，鲁棒地计算出拼接图像之间单应矩阵，最后采用最佳缝合线融合算法较好地消除了拼接错位问题。对不同场景进行多次实验，实验结果表明，本文方法能够高效、准确地实现路面图像拼接。