POS辅助下的车载序列影像匹配

谢 洪，吴博义，龚 珣，王奕丹

(1. 武汉大学测绘学院，湖北 武汉 430079； 2. 武汉市测绘研究院博士后创新实践基地，湖北 武汉 430079； 3. 山西省基础地理信息院，山西 太原 030001)

POS辅助下的车载序列影像匹配

谢 洪1,2，吴博义3，龚 珣1，王奕丹1

(1. 武汉大学测绘学院，湖北 武汉 430079； 2. 武汉市测绘研究院博士后创新实践基地，湖北 武汉 430079； 3. 山西省基础地理信息院，山西 太原 030001)

针对车载序列影像中所包含的具有大量重复纹理的建筑立面区域给现有匹配方法带来的误匹配率高、匹配点不足等不适应性问题，提出了一种联合POS辅助及KLT(Kanade-Lucas-Tomasi)角点特征跟踪的新匹配方法。通过充分利用POS信息所能够建立的局部近似建筑立面分层平面及DEM信息，获取KLT跟踪算法中所需的初始位移信息，并将建筑立面及路面区域进行分开追踪匹配，以保证匹配点的良好分布特性，最后利用RANSAC结合核线约束进行误差剔除得到最终匹配结果。试验证明本文方法能够有效解决车载序列影像中重复纹理区域的匹配问题，可高效获取分布均匀、数量充足的匹配特征点，为后期空中三角测量提供更稳健的同名约束条件。

车载序列影像;POS辅助;KLT算法;RANSAC;核线约束

经过近20年的发展，车载移动测量技术已经逐渐成为城市空间信息快速获取的一种重要技术手段。通过灵活集成GPS、IMU、CCD相机、激光扫描仪等传感器设备，能够快速获取城市道路、建筑、绿化植被等目标的精细几何及光谱信息[1]。其中，多面阵全景相机由于具有集成方式简单、同步控制方便、分辨率高、处理方式灵活等优点而作为主要传感器广泛应用于各类移动测量系统中[2-3]。目前，针对多面阵全景影像的处理主要集中在全景匹配与拼接、全景成像模型及全景模型重建[4-5]等领域，但由于多面阵拼接全景存在由不可避免的拼接误差而导致的定位误差[6]，因而目前将多面阵全景影像中面向地面道路或街区立面的影像作为多片序列影像处理仍然是一种主要手段，而其中涉及的可视化浏览的拼接过程及三维空间信息提取的区域网构建过程都需要正确且数量充足的同名点，高效可靠的匹配过程是核心问题。

相对于航摄影像而言，街景影像拍摄场景复杂，存在遮挡和移动物体，光照变化显著，建筑物纹理重复且影像视角及尺度变化明显[3]。SIFT(scale-invariant feature transform)[7]及其改进方法[8-9]具有优良的尺度和旋转不变特性，但其在街景重复纹理区域会得到大量的误匹配点。文献[10]提出一种光流聚类的车载影像匹配方法，通过建立影像间光流场，实现了光流的均值漂移聚类，但对于长基线序列影像难以得到稳定光流场，而且效率相对较低。文献[11]通过构造匹配点集，利用特征纹理在图像上的空间信息从集合中选择最佳匹配点，提升了匹配效果，但是该方法只适用于解决具有少量对称重复纹理区域的匹配问题。文献[3]利用SIFT提取建筑物上的点特征，利用Forstner提取道路上的角点特征并结合点云提取路面来约束模板匹配同名点。文献[12]利用相位相关预测同名点在平移、旋转和尺度上的遍历范围，在遍历范围内检测角点并利用相关系数来匹配同名点，但是由于车载序列影像的摄影距离很近，导致相邻影像之间的投影变形十分严重，无法适用于该方法。上述方法在序列影像基线较短的条件下均能得到较好的结果，但是受限于车辆速度和相机快门速度，实际采集车载序列影像一般在5～10 m，导致该类方法难以得到可靠匹配点，尤其是路面区域存在较大视角变化时会导致匹配点分布不均匀。

针对该问题，本文提出一种基于POS辅助的车载序列影像匹配方法，通过引入视频跟踪领域的KLT算法[13]，充分利用车载移动测量系统所能够提供的POS信息，针对待匹配影像建立局部近似建筑立面分层平面及DEM信息，获取KLT跟踪算法中所需的初始位移信息，并将建筑立面及路面区域这两类主要待匹配目标进行分开匹配，以保证匹配点的良好分布特性，最后利用RANSAC结合极线几何约束进行误差剔除得到最终匹配结果。

1 POS辅助车载序列影像匹配

本文所提出的车载序列影像匹配策略主要包括7个关键过程：①提取参考影像特征Harris角点；②根据车载平台到建筑的平均距离可将影像近似分为上下两部分，上部分对应建筑区域，下部分对应路面；③针对建筑区域，利用POS信息构建与基线平行的不同深度的分层平面，并在各分层平面计算参考影像角点特征在待匹配影像的初始位置；④利用KLT在各分层平面进行追踪，并合并所有层的特征追踪结果；⑤针对路面区域，利用POS信息及平台高度建立局部路面近似DEM，并对路面区域进行纠正；⑥针对纠正后影像采用KLT进行追踪匹配，并映射到原始影像；⑦利用RANSAC结合核线约束剔除误匹配点，输出最后匹配结果。流程如图1所示。

1.1 KLT跟踪匹配方法

KLT跟踪算法是目前在视频图像处理领域使用非常广泛的一种特征追踪算法[14-15]，其主要思想是将传统的滑动窗口搜索法变为一个求解偏移量的过程：考虑序列图像中的相邻两帧影像I(x,y)和J(x,y)，假设某同名特征点之间存在微小相对位移，现以某一特征点为中心开辟一个小窗口W，以两小窗口之间的灰度差平方和作为代价，得到

(1)

式中，p=(x,y)T代表的是特征点的位置；d=[dx,dy]T代表特征点在两帧图像之间的平移量；ω(p)为权值函数，一般设为常数1；W为跟踪的窗口范围。将式(1)对d求偏导数，得

(2)

(3)

即可以得到下式

Zd=θ

(4)

此时偏移量为

d=Z-1θ

(5)

图1 POS辅助车载序列影像匹配流程

1.2 POS辅助的KLT建筑立面匹配

KLT算法作为视频跟踪领域的优秀算法，具有计算简单、效率高且能够达到亚像素精度的优点，但是其应用前提是相邻两帧影像视差较小，尽管通过金字塔KLT跟踪方法[15]能够从一定程度上解决视差变化较大条件下的特征跟踪匹配问题，但对于间隔较大的车载影像序列仍然存在错误跟踪难题，且街道序列影像中存在的重复纹理会导致跟踪范围扩大后算法容易收敛到错误的角点上。为了满足KLT特征跟踪匹配条件，引入车载影像序列的POS信息，通过建立分层建筑平面并依次在每层平面上进行追踪获取追踪结果。分层KLT追踪如图2所示。

图2 建筑立面分层KLT追踪

根据图2所示，利用POS辅助的KLT建筑立面匹配的具体步骤为:

(1) 在参考影像中利用Harris提取特征角点，记为点集M。

(2) 根据SA及SB的POS线元素信息建立与基线平行的分层平面用来近似建筑立面，最近分层平面PLA可根据车载平台到建筑区域的平均最近距离进行设置，为保证较好的交会条件，设置最远平面PLC与PLA不超过20 m，即较远处的建筑不参与特征优化追踪过程。分层平面之间的等距离间隔根据KLT追踪窗口大小进行设置，如图3所示。

图3中，f表示焦距；Dpl表示最近分层平面PLA的距离；DBL表示SA与SB的基线长度；Ipl表示分层平面间隔；DKLT表示由于分层平面深度变化Ipl引起追踪窗口中心的像素位移；WKLT表示KLT搜索窗口大小。设置DKLT≤WKLT，使得搜索窗口具有一定的重叠度，以保证分层平面之间的任意特征点处于搜索窗口内。根据图3可得

(6)

(3) 对于Mi(Mi∈M)，根据SA站的POS信息计算其在各分层平面的物方交点，得到物方点集O，并进一步计算其Oi(Oi∈O)在SA站的投影像点Pi，构成投影点集P。

图3 根据追踪窗口设置分层平面间距

(4) 对于Pi(Pi∈P)，利用金字塔KLT匹配算法以Pi为搜索窗口中心在搜索窗口内寻找最优匹配点。如果Oi所在分层平面与其所在的建筑平面位置较为接近，则其与Mi所对应的实际物方点坐标接近，而使得Pi能够作为KLT搜索的良好初始位移条件，进而能够保证正确特征点追踪匹配结果。但需要注意的是，对应于Mi，Pi中可能有多个点同时满足跟踪阈值条件，即可能存在重复纹理或近似局部灰度分布导致的错误匹配点。针对该问题，可采用一种预剔除的方法，即针对每个待匹配点，仅取其在不同分层平面跟踪结果中满足跟踪阈值且按跟踪响应值由大到小进行排序的前3个匹配点作为备选结果，后期再结合RANSAC及核线约束进行进一步的误匹配点剔除。

1.3 POS辅助的路面特征匹配

由于路面在成像过程中与主光轴方向平行而导致路面在车载序列影像的投影变形十分严重，因此利用现有如SIFT等匹配方法难以获取有效的路面匹配点。为了有效地得到序列影像的路面匹配点，由于路面在局部范围内与车载平台平行，因此可根据当前POS信息构建局部路面的近似DEM，并进一步对影像的路面区域进行纠正来解决路面形变所带来的匹配困难问题。具体步骤如下：

(1) 根据SA站的POS信息建立局部近似DEM平面GA。

(2) 对SA站影像的路面区域利用GA及SB的POS信息建立纠正前后影像的单应映射关系，改正SA站相对于SB站的路面投影形变。

(3) 利用KLT方法，采用与建筑立面的类似匹配过程获取纠正后的路面影像匹配特征点。

(4) 根据SA站原始路面影像和纠正影像的单应对应关系，将步骤(3)中的特征匹配关系映射到原始影像，得到路面特征匹配结果。

1.4 RANSAC结合核线约束的误匹配点剔除

为了进一步剔除由于分层平面深度误差及纹理相似性而导致的追踪匹配误差，采用RANSAC结合核线约束的方法进行误匹配点剔除，具体过程可参见文献[16]，在此不进行赘述。

2 试验与分析

试验数据采用了宁波市某街区的车载多面阵全景影像中面向街边建筑的CCD传感器所获取的序列影像，并选取了其中包含建筑、地面、植被等特征的两幅典型影像作为试验影像。影像分辨率为2058×2456像素，像素大小为3.45×10-6m，焦距为0.005 m，基线长度约为11 m，POS信息由车载GPS及IMU传感器获取。

试验中，根据车载平台到建筑区域的平均区域设置分层平面最近距离为40，最远距离设置为60，追踪窗口大小设置为32×32，追踪阈值设置为10，根据式(6)计算得到的分层平面间隔为3.3 m，即分层平面个数为7，建筑立面和地面区域的分割线设置为高度为1250像素位置(如图4(a)所示)。另外，为了验证本文方法的有效性，将其与SIFT匹配方法进行了比较，并统计了剔除前后的匹配点个数、匹配耗时等指标。试验结果及统计表格分别如图4和表1所示。

图4 POS辅助序列影像匹配及SIFT匹配结果

匹配方法建筑区域匹配点个数路面区域匹配点个数剔除前剔除后剔除前剔除后匹配耗时/s本文方法27761261101639215.558SIFT匹配方法2511380014.860(单线程)/1.437(GPU加速)

从图4及表1分析得到，相比较于SIFT匹配方法在建筑立面重复纹理区域严重缺乏同名匹配点的匹配结果，本文的方法利用Harris角点提取结合POS辅助的KLT匹配方法能够有效支持建筑立面重复纹理区域的角点特征追踪匹配(如图4(c)所示)，而且匹配同名点数据更为充分(接近SIFT匹配结果的10倍)，在影像上具有良好的均匀分布特性。另外，从地面区域的匹配结果来看，由于车载影像的地面成像变形严重，SIFT无法提取有效的同名点，而在利用POS先验地面信息进行待匹配区域的相对变形纠正后，能够有效地进行地面重叠区域的同名点追踪匹配(如图4(g)所示)，为后期空中三角测量提供更稳健的同名约束条件。从匹配方法的耗时来看，本文方法在单线程模式下与SIFT单线程下的匹配效率相当，与SIFT-GPU算法的差异明显，但本文方法中的各点追踪匹配过程相互独立，能够支持结合多线程并行或GPU进一步提高匹配效率。

3 结 语

针对车载序列影像中重复纹理区域及地面成像变形所带来的匹配困难问题，本文提出了一种联合POS辅助及KLT角点特征跟踪的新匹配方法。通过充分利用POS信息建立局部近似建筑立面分层平面及DEM信息，有效解决了KLT跟踪算法中初始位移值确定及地面投影变形问题，并通过试验验证了本文方法能够有效解决车载序列影像中重复纹理区域的匹配问题，可高效获取分布均匀、数量充足的匹配特征点，为后期空中三角测量提供更稳健的同名约束条件。下一步的研究方向主要为该方法在全景影像匹配中的深化拓展应用。

[1] PUENTE I,GONZALEZ J H,MARTINEZ S.Review of Mobile Mapping and Surveying Techonologies[J]. Measurement,2013,46:2127-2145.

[2] AMIRI P J,GRUEN A.Sensor Modeling,Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1): 60-76.

[3] BRANISLAV M,JANA K.Piecewise Planar City 3D Modeling from Street View Panoramic Sequences[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision and Pattern Recognition.Miam:IEEE,2009.

[4] 季顺平,史云.车载全景相机的影像匹配和光束法平差[J].测绘学报,2013,42(1):94-100.

[5] 徐振亮,李艳焕,闫利,等.面向立面大角度影像拼接的稳健匹配方法[J].测绘通报,2015(1):131-133.

[6] 季顺平,史云.多镜头组合型全景相机两种成像模型的定位精度比较[J].测绘学报,2014,43(12):1252-1258.

[7] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(60):91-110.

[8] BAY H, ESS A, TUYTELAARS T. Speeded-up Robust Features (SURF)[J].Computer Vision & Image Understanding,2008,110(3):346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[10] 张正鹏,江万寿,张靖.光流特征聚类的车载全景序列影像匹配方法[J].测绘学报,2014,43(12):1266-1273.

[11] 刘伟,王涌天,陈靖.针对重复纹理场景的跟踪定位算法[J].北京理工大学学报，2012,32(2):189-193.

[12] 何海清,张永军,黄声享.相位相关法辅助的重复纹理区低空影像匹配[J].武汉大学学报(信息科学版),2014,39(10):1204-1207.

[13] LUCAS B D,KANADE T.An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann Publishers Inc,1981.

[14] SHI J, TOMASI C. Good Features to Track[C]∥CVPR 94.New York:IEEE, 1994.

[15] BOUGUET J Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[J].Acta Pathologica Japonica, 2000, 22(2): 363-381.

[16] 王琳,张力,艾海滨.无人飞行器遥感影像的自动相对定向研究[J].测绘通报,2011(11):11-14.

POS-aided Matching of Vehicle-borne Sequential Images

XIE Hong1,2,WU Boyi3,GONG Xun1,WANG Yidan1

(1. School of Geodesy and Geomatics of Wuhan University, Wuhan 430079,China; 2. Postdoctors Innovation and Practice Base of Wuhan Geomatics Institute,Wuhan 430079,China; 3. Shanxi Basic Geographic Information Institute,Taiyuan 030001，China)

Aiming at the existing problem of high mismatching rate and insufficient corresponding points for vehicle-borne sequential images,as a result of the plentiful repetitive texture in the building façade area,a new method combining auxiliary POS and the KLT corner tracking algorithm is proposed in this paper.In the first place,through taking full advantage of POS information, the local approximate stratification façade plane and DEM are established to get the initial displacement required by the KLT algorithm.Then a new strategy tracking the façade and road area separately is employed to ensure a good distribution of matching points.After that,the final result is obtained by integrating the RANSAC and epipolar constraint to eliminate the matching error.The implemented experiments show that the presented method could solve the preceding mismatching problem,as well as obtaining adequate and uniformly distributed corresponding points for a more robust aerial triangulation process.

vehicle-borne sequential image; POS-aided;KLT algorithm;RANSAC; epipolar constraint

谢洪，吴博义，龚珣,等.POS辅助下的车载序列影像匹配[J].测绘通报，2017(4)：44-48.

10.13474/j.cnki.11-2246.2017.0117.

2016-07-27；

2017-02-03

国家自然科学基金(41401527)；测绘地理信息公益性行业科研专项(201512008)；武汉市测绘研究院博士后创新实践基地科研项目(WGF2016001)

谢 洪(1987—)，男，博士，讲师，研究方向为三维激光测量。E-mail: hxie@sgg.whu.edu.cn

P237

A

0494-0911(2017)04-0044-05