应急测绘视频帧与GIS系统匹配技术

孟静，王凤，李玉琳，李娟

(1.山东省国土测绘院，济南 250000；2.61206部队，北京 100043)

0 引言

应急测绘作为测绘地理信息未来发展的三大方向之一，是国家突发事件应急救援体系的重要组成部分。尤其是近年来各类自然灾害、突发事件频发，给应急测绘工作提出了新要求，带来了新挑战。应急测绘为各类突发公共事件提供地理信息和现代测绘技术的基础支撑，是指挥决策和抢险救灾的保障和依据。应急测绘保障工作主要包括数据获取、数据快速处理以及信息服务，其中数据获取与快速处理对获取应急测绘第一张图至关重要[1]。

近年来，轻小型无人机遥感系统凭借机动灵活、快速响应、分辨率高等特点，在地震灾害、福建漳州PX项目区爆燃、天津滨海新区危险品仓库爆炸等多次重大自然灾害和突发事件应急处置中发挥了重要作用，为国家有关部门指挥决策、抢险救灾及恢复重建提供了有力的地理信息支持。

现阶段的轻小型无人机遥感系统其传感器多为数码相机，由于数据量以及链路带宽等问题难以做到第一时间将获取的图像传输到指挥部门，而视频传感器与无线图传设备的结合使得视频数据的实时传输成为可能。为提高视频应急数据使用效率，必须对视频数据开展实时处理，从而提高应急处置效率。

视频数据实时下传以后，必须与三维地理信息平台中的底图影像数据开展数据融合，方能实现视频数据有效利用，从而为指挥决策部门提供对比分析以及数据所处位置情况。而三维地理信息平台中的底图影像数据由于分辨率与视频帧影像数据不一致、GNSS/IMU精度差、时相不一致等原因，基于已有的匹配方式会出现匹配错位、定位精度差等问题[2-4]。基于以上原因，为提高视频帧影像与三维地理信息平台的实时融合效果，本文开展视频关键帧与底图数据库影像数据匹配技术研究。

1 总体思路研究

本文以无人机载视频流数据为实验数据，首先实时接收无人机载视频流以及GNSS/IMU数据。实时接收数据的过程中，在PC端实现视频帧影像与GNSS/IMU数据的时间同步，从而为每一帧视频影像附上GNSS/IMU信息。之后，根据GNSS/IMU精度情况、三维地理信息平台的底图数据库影像分辨率情况，通过对不同情况分析，研究多种算法，最终根据不同数据源情况形成较好的解决方案。

根据数据源情况，将算法研究分为以下两个方面：一是GNSS/IMU精度较好时，直接采用现有技术对帧影像实时正射纠正贴入三维地理信息平台；二是GNSS/IMU精度较差但三维地理信息平台有高清底图时，采用帧影像与底图实时匹配方法贴入三维地理信息平台，其中若底图数据库为航空影像，则视频帧影像与底图直接匹配，若底图数据库为卫星影像，则采用几何纠正与帧影像两两匹配相结合的实验思路。总体流程如图1所示。

图1 视频帧影像与底图数据库匹配实验流程图

2 视频流帧影像提取与时间同步技术研究

2.1 视频帧影像实时提取

传统航空摄影测量中一般要求影像航向重叠度为60%～70%，视频帧影像的提取有两种方法[5]，一种是按照固定时间间隔提取，一种是按照帧影像重叠度提取。

按照固定时间间隔提取需要考虑、航高、飞行速度和传感器参数等先验知识，再依据任务所需航向重叠度，即可计算出相邻帧影像之间的时间间隔。

时间间隔t的计算如式(1)所示。

(1)

式中：f为摄像机焦距；H为航高；fps为摄像机帧率；p为航向重叠度；v为飞行速度；W、μw分别为视频帧航向像素个数和像素物理尺寸。

按固定时间间隔提取帧影像，算法简单，但容易受飞行速度和地形起伏的影响导致帧影像重叠度分布不均衡。

按重叠度提取帧影像可基于地形起伏、飞行速度以及重叠度要求等参数自动自适应提取帧影像，重叠度提取误差不超过±10%，避免等时、等距受地形、风速等因素影响，以及帧影像影像重叠度差异大、出现绝对漏洞等情况，有利于影像的拼接处理[6]。

相邻视频帧之间的航向重叠度可采用式(2)进行。

(2)

式中：S为相邻视频帧中心点之间的地面距离，通过GNSS/IMU信息中的坐标计算；f为传感器焦距；W、μw分别为视频帧航向像素个数和像素物理尺寸；H为视频帧获取时刻的相对航高，通过实时获取的飞行高度与DEM对比获取。

2.2 视频帧影像与GNSS/IMU数据的实时同步

视频帧影像数据和GNSS/IMU数据是由不同设备获取的，且通过无线链路实时同步下传，本文假设两路数据传输过程中无时间差。

为实现视频帧影像与GNSS/IMU数据时间同步，通过电脑时间对获取的每一帧视频数据标记高精度时间戳，在提取第一帧关键帧时，实时记录其时间戳和此刻的电脑系统时间。串口接收到一包GNSS/IMU数据，系统记录此刻的电脑系统时间，由于GNSS/IMU数据频率低于帧影像数据频率，因此需要对GNSS/IMU数据插值计算。通过相邻两两GNSS/IMU数据插值得到关于电脑系统时间的GNSS/IMU信息数据。任意关键帧的电脑系统时间为第一帧的电脑系统时间+(任意一帧时间戳-第一帧时间戳)，将任意一帧的电脑系统时间代入相应的插值方程就能获得相关的GNSS/IMU信息，从而实现视频关键帧与GNSS/IMU信息数据的时间同步。

3 视频帧影像与地理信息平台融合

完成视频关键帧与GNSS/IMU信息数据的时间同步后，即消除了由于时间不同步带来的误差，为每一帧视频影像附上了相对准确的外方位元素，下一步为实现视频帧影像与地理信息平台的融合，需要开展视频帧影像与地理信息平台底图数据匹配技术研究。该研究根据GNSS/IMU精度情况分为两种情况进行。

3.1 高精度GNSS/IMU数据下的视频帧影像与底图数据匹配

实验采用的高精度数据为GNSS/IMU AV610数据。将视频帧影像与GNSS/IMU数据实时同步，对视频帧影像数据以及获取的GNSS/IMU数据通过正射纠正后，利用坐标直接与底图数据开展匹配。本文用到的视频帧影像数据为1 920像素×1 080像素，一条航线有72张影像，另一条航线有69张影像。图2、图3为两条航线的视频帧影像航摄测试数据，从整体上看，两条航线数据较好，看不出明显错位，与拼接后影像差异不大；从细节上看，相邻的影像相对位置较好且与天地图底图数据对应较好。

图2 高精度GNSS/IMU数据下的帧影像与底图数据匹配效果图

图3 高精度GNSS/IMU数据下的视频帧影像与底图数据匹配细节效果图

通过上述实验得出，针对GNSS/IMU精度较高的数据，通过利用其GNSS/IMU数据以及传感器内方位参数开展正射纠正后直接利用坐标匹配底图的效果较好。

3.2 低精度GNSS/IMU数据下视频帧影像与底图数据匹配

1)帧影像直接与天地图瓦片匹配技术研究。实验采用的地图数据为天地图数据，通过在线实时获取天地图瓦片地图，将天地图瓦片地图存入本地硬盘，为帧影像粗略定位到瓦片地图并与之匹配提供可能。

利用视频帧影像所对应的粗略GNSS/IMU数据能够找到同一范围所对应的某一层级下天地图瓦片。本次实验选取一次飞行过程中获取的两张航片，原始影像分辨率为0.05 m，利用该处的GNSS/IMU信息获取的天地图瓦片最高级别为16级，即瓦片分辨率为2.388 657 m。通过计算获取原始影像对应的瓦片地图。

将原始测试数据分别放入PhotoScan、Pix4DMapper、AutoStitch快拼软件、OpenCV匹配算法进行匹配，所有匹配均已失败告终。为此，将视频帧影像在原始影像基础上压缩4倍，分辨率变为0.2 m，匹配依然失败；在原始影像的基础上压缩8倍，分辨率变为0.4 m，匹配依然失败；在原始影像的基础上压缩40倍，分辨率变为2 m，与天地图16级瓦片2.39 m分辨率接近，但匹配依然失败。通过本次实验得出，根据帧影像所对应的经纬度坐标能够很容易找到同一区域不同级别对应的天地图瓦片数据，但无论是利用现有商业软件还是开源匹配算法，均无法完成不同分辨率的相机数据与天地图瓦片数据的匹配。

2)几何纠正与帧影像两两匹配相结合技术研究。视频帧影像与天地图瓦片不能进行匹配，但可以借助天地图瓦片坐标对帧影像进行几何纠正。采用开源的特征匹配算法能够获取任意相邻两张具有明显地物特征的影像的较好匹配结果。受此启发，本次实验将两种方法结合在一起，实现帧影像的实时定位。具体实现过程如下。

步骤1：根据GNSS/IMU数据对第一帧帧影像进行初始定位，接着在天地图底图和帧影像上选取5个同名像点，进行几何纠正，采用最小二乘法计算多项式方程系数并存储。

步骤2：将第二帧帧影像与第一帧原始影像(非几何纠正后帧影像)进行SURF特征匹配并多次剔除粗差[7-8]，遵循匹配点分布均匀和匹配点较优原则选取5对匹配点。

步骤3：将第一帧的5个匹配点带入初始定位中求出的多项式方程，计算其对应的地面点坐标，这些地面点坐标也与第二帧的5个匹配点一一对应，因此再对第二帧进行几何纠正，并存储最小二乘法求出的多项式方程系数。

步骤4：接下来的帧影像采用同样的方法进行匹配与几何纠正，完成一条航线上的所有帧影像。

编程实现上述方法，只需第一帧手动获取5个同名像点，之后为自动匹配与几何纠正。实验采用无人机飞行获取的视频帧数据，1 920像素×1 080像素，共72张。从细节上来看，效果大大优于利用飞控数据正射纠正后的帧影像(图4、图5)。

图4 视频帧影像数据两两匹配与几何纠正效果图

图5 飞控数据直接正射纠正效果图

从图4、图5的比较可以看出，相邻帧影像两两匹配和几何纠正相结合的方法明显优于粗略GNSS/IMU直接正射纠正的效果，相邻帧影像之间相对位置较准确。

但这种方法也有明显的缺点，随着匹配影像的增多，虽相邻帧影像的相对位置关系依然准确，但其与底图数据库的对应绝对位置偏差越来越大(图6)。

图6 绝对位置偏差效果图

针对随着影像增多，绝对位置偏差越大的问题，本次实验从匹配点尽可能均匀分布且匹配点最优原则出发，经过多次实验，采用将所有匹配点按坐标分为4块，再从中选出较优匹配点且离图像中心较远的点作为最优选出的匹配点。改进后的方法依然会出现随着影像增多绝对位置偏差越大的问题，且两条航线效果较差(图7、图8、图9)。

图7 宁夏中卫两条航线飞思数据处理效果图

图8 大兴一条航线视频数据处理效果图

图9 大兴两条航线视频数据处理效果图

从本次实验可以看出，对于单条航线来说，在没有高精度GNSS/IMU数据辅助的情况下，采用相邻帧影像两两匹配和几何纠正相结合的方法能够获取较好的效果，但随着影像的增多，帧影像的绝对位置偏差会越来越大；对于多条航线来说，用相邻帧影像两两匹配和几何纠正相结合的方法获取的效果依然较差。为改善以上方案，受几何纠正可改进匹配效果的方法影响，本文提出多处增加几何纠正的改进匹配方法开展实验，为视频流应急测绘提供解决方案。

3.3 多处增加几何纠正的改进匹配方法研究

1)增加对每条航线的最后一张手动几何纠正。针对单条航线随着影像的增多，位置偏差越来越明显的问题，首先对航线最后一张影像手动几何纠正，接着建立多项式方程描述手动几何纠正影像与自动匹配几何纠正影像之间的变换关系，再按等差数列为每一帧自动匹配几何纠正影像分配变换关系，最后对自动匹配几何纠正影像进行多项式变换生成新的影像，实验结果如图10所示，长度较短的影像为算法改进后结果。从图中可以看出算法改进后整体定位效果较好，相邻影像位置几乎无偏差，首尾绝对定位最准，但航线中间影像绝对定位有明显偏差(图11红框)。

图10 算法改进后与改进前效果图

图11 算法改进后视频帧与底图融合效果图

从图12可以看出，算法改进后两条航线定位效果有明显改善，但依然存在航线中间影像定位效果差的问题。为改进该问题，提高手动几何纠正的次数。

图12 算法改进后两条航线定位效果图

2)每隔三分之一航线进行手动几何纠正。事先根据飞行参数预估单条航线的总影像数，以其帧影像总量的三分之一作为手动几何纠正间隔。以视频帧影像数据为例(1 920像素×1 080像素)，单条航线总影像数目为66张，即每隔22张进行一次手动几何纠正。第1张手动几何纠正后，其后影像两两匹配并自动几何纠正，直到完成第23张；接着再对第23张原始影像手动几何纠正，并建立其与自动几何纠正影像之间的多项式关系，再用该多项式去微调从第2张到第22张自动几何纠正后的影像。最后以第手动几何纠正后的第23张影像作为开始，匹配纠正其后的影像，重复上述过程直到完成航线内的所有影像。图13体现了单条航线经过该方式改进后的匹配效果，图14为该条航线局部放大匹配效果图。实验结果表明，该算法匹配效果较好。

图13 算法改进后单条航线匹配效果图

图14 算法改进后单条航线局部匹配效果图

4 结束语

综合考虑是否有高精度GNSS/IMU数据以及是否有高清底图，本文采用不同方法实现视频帧影像与三维地理信息平台底图数据实时匹配，通过对实验结果的分析，针对不同情况选择最优算法。综上所述，本次实验得出的主要结论如下。

1)当有高精度GNSS/IMU数据时，直接采用单帧正射纠正算法，算法速度快，精度高，接近实时。对具备高精度GNSS/IMU数据的视频帧影像与三维地理信息底图数据的实时效果较好。

2)当底图数据与视频帧影像分辨率差异过大时，以天地图瓦片为例，目前三维地理信息平台能免费获取大部分区域高清卫星影像，根据粗略GNSS/IMU数据帧影像能定位到所在的瓦片，但航空像片与天地图瓦片不能直接匹配，经过多次实验发现，随着影像的增多，误差积累明显，因此考虑对单条航线采用每隔一定帧数就进行手动选点几何纠正，所得效果较好，但人工干预增多，处理速度和实时性降低。尽管如此，对于GNSS/IMU精度不高甚至无GNSS/IMU数据视频帧来说，这种方法能够准实时实现视频帧的定位。以上研究表明，该方法可以用于视频应急测绘中，在发生应急灾害时间实现视频实时下传观看的同时，也能够对比分析原始底图数据，同时为视频的实时定位提供技术依据，为决策指挥提供实时数据支撑[9-10]。

由于研究视频设备与GNSS/IMU设备数据时钟同步时未考虑两者空中时钟对准以及图的传输是否同步，采用的是在PC端进行的接收电脑时间同步，而以上两者是匹配精度较差的根本原因，尤其是对于精度较差、频率低的GNSS/IMU设备而言。笔者希望后期在空中时钟对准以及传输延迟误差较小情况下，对该问题进行进一步研究。