视频图像拼接技术在飞行区智能监控系统中的应用

王欣

摘 要

早期机场建设时，对飞行区的视频监控需求仅停留在重点关注区域可视，缺少飞行区大场面监控手段。机场对于飞行器在场区内的监控主要使用场监雷达系统，但其只能在地图上显示飞机的标识，无法实际观察到飞机实际滑行环境及周边情况。而在站坪上或航站楼楼顶架设的摄像机数量较少，很难实现对飞行区场面的整体监控。本文介绍了如何使用视频图像拼接技术实现对飞行区大场面监控，提升运行管理人员的管理效率。

【关键词】图像融合 BURF特征检测图像匹配

1 背景描述

机场对于飞行器在场区内的监控主要使用场监雷达系统以及在站坪上或航站楼楼顶架设的摄像机进行监控。其中，场监雷达系统主要是对机场飞行区区域内的飞机进行监视，从而保证机场在各种气候条件下的运行效率及运行安全性，尤其在较低能见度的条件下，该系统对维持机场运行流量能起到非常有效的作用。由于其只能在地图上显示飞机的标识，无法实际观察到飞机实际滑行环境及周边情况。而视频监控的监控范围仅停留在对重点关注区域的可视化监控，监控点位较少，且点位是零星分布在航站楼屋面、远机位等区域，受点位分布和摄像机镜头限制拍摄范围有限，对于飞行区这种比较开阔的区域，现有监控系统无法实现全区域覆盖，获得大视野场景，因此，很难实现对飞行区场面的整体监控，从而导致监控人员不能快速、正确的判断飞行区场区整体运行情况，存在一定安全监控隐患。

2 视频图像拼接原理

图像拼接算法的种类较多，各种算法之间在拼接步骤上会有一些不同，但概括起来由视频图像采集、视频图像预处理、视频图像配准和视频图像融合这四个部分组成。

第一部分是视频图像采集过程：该过程主要是通过视频图像采集设备实时获得场景中的内容并通过数字编码形成输出数字视频图像，最常用的视频图像采集设备主要由照相机、摄像机等，本文采用的视频图像采集设备是球型高清数字摄像机。

第二部分是视频图像预处理过程：该过程主要是图像配准的前期准备工作，以便图像能够较好的进行配准，一般是用图像处理方法对在采集过程中生成的噪音、失真、畸变等情况进行优化调整。常用的方法有：特征值提取、直方图处理、图像增强以及图像匹配模板构建等。

第三部分是图像配准过程：该过程完成的工作主要是建立多图像间特征点之间的关联关系，将多幅从不同视角获取的同一场景有重叠区域的图像转换到同一坐标中，为后续融合打好基础。

第四部分是图像融合过程，该过程主要是在图像配准的基础上，使图像在拼接缝隙处实现平滑过渡，将图像叠加后在重叠区域出现拖尾、模糊的现场尽量消除以达到良好的拼接质量。

其中，视频图像配准是视频全景拼接的关键步骤，配准的准确性、效率等严重影响视频全景拼接的最终效果。

3 视频图像拼接在飞行区智能监控系统中的应用

3.1 视频采集点位

本次全景拼接采用的是安装在中跑道西侧机库顶部的四台HIC6621高清快球，监控点位距离站坪的垂直距离大约为40米，距离中跑道中心线的距离约595米，四台摄像机的水平位置一致，两两相邻的摄像机之间的距离一致，且摄像机的焦距等参数配置也保持一致。具体布点位置如下图2，红点表示拼接使用的摄像机，黄色区域是全景拼接区域。

3.2 飞行区全景视频拼接流程

由于视频图像一般是不低于每秒25帧的图像显示的效果，本文主要考虑视频的上下文性和实时性，为了既确保图像的质量又兼顾拼接的时效性，结合首都机场现场实际需求及采集图像的情况，使用了一种全自动、实时视频拼接方法，主要分为三个核心部分：

3.2.1 图像采集

本文用于图像拼接图像采集的摄像机型号是HIC6621，利用厂家提供的SDK开发包，进行解码端的开发。解码端作为拼接平台与视频监控平台的接口，主要负责与视频监控平台的交互，实现对图像的实时采集。同时，为了确保图像后续的拼接质量，编码端在提取视频时，要确保从四路摄像机同步提取。

3.2.2 图像预处理

图像预处理模块主要是对提取的图像进行诸如：降噪、畸变校正、特征点提取等操作，为后续图像配准及融合时，提供相对精确、特征点更突出、图像质量更好等特点的待拼接图像，以确保全景拼接有更好的拼接效果。

3.2.3 图像配准及融合

图像配准及融合模块主要是通过对依据图像的首帧进行特征匹配和提纯后，求解图像间的投射矩阵，本参考矩阵变换实现图像配准及融合拼接，后续帧将直接套用投射矩阵参数进行图像配准及融合，可有效提升融合效率，以便更好的实现实时拼接输出。

3.3 视频图像采集

视频图像采集模块主要是通过用接口开发实现对拼接视频所需图像的实时、同步、无损采集，作为视频拼接的基础，为后续视频拼接提供高清晰度数据源。本文测试使用的摄像机为HIC6621高清快球，通过厂家提供的SDK开发接口，实现对视频图像的调用。

3.4 视频图像预处理

视频图像预处理模块主要负责视频预拼接、相邻视频重叠区域计算、重叠区域内融合边缘分割等工作，其处理结果作为实时视频拼接的必要参数。本模块的存在能极大提高后续拼接处理的效率，节省硬件成本开销。图像预处理模块的具体流程如图3所示。

3.5 视频图像配准

视频图像配准主要包括特征点粗匹配和提纯两个步骤，特征点粗匹配本文主要参考Lowe使用的基于次近邻特征点与最近邻特征点的特征点匹配方法，进行特征点粗匹配。图4是特征提取实验的样本图，图5是依据SURF算法提取的特征点示意图，其中，图5（a）检测出来的特征点是192个，图5（b）检测出来的特征点是166个。

粗匹配的具体方法是依据公式得出最近邻与次最近邻的比率ROD（Ratio of Distance），如果ROD小于特定阈值，则认为匹配成功，反之则不成功，通常阈值会设置成一个小于1的正数。

粗匹配的具体过程是：

（1）将图5（a）中的特征点每一个均与图5（b）中的所有特征点进行特征点之间欧式距离计算；

（2）通过优先K-D树查找每个特征点的两个最近、次近特征点；

（3）计算ROD，如果ROD小于或等于设定的阈值，则配对成功，并组的形式纳入图像配对序列中。图6即进行图像粗匹配的效果。

由于图像粗匹配完成后，还是会存在一些误匹配，有些是肉眼可以直接观察到的，有些事肉眼无法观察到的，但求解图像之间变换矩阵的参数既要具有很高的精度，又要保证特征点之间没有误匹配。为此，必须采取措施去除误匹配，以获得更准确的特征匹配对，为此本文选用了RANSAC算法进行特征点提纯。对图6的两幅图像特征粗匹配，可以获得25对特征，但通过肉眼还能看到一些误匹配，通过RANSAC算法去除误匹配，获得的结果如图7所示，共获得24对匹配特征点。从图7中可以发现，误匹配已经被消除，而精确匹配的匹配对仍然在，并没有被错误地消除。

3.6 视频图像融合

依据视频预处理模块计算得到的拼接参数，将视频帧映射（Warping）到全景平面上。由于视频之间存在部分重叠区域，在Warping过程中，可根据计算得到的边缘分割参数Mask图，将有效像素映射到拼接平面上，无效部分，即Mask图以外的部分像素值不用映射到拼接平面上。图8是图像融合的示意。

利用视频预处理和匹配计算得到的拼接参数，计算每张图片的mask图，具体如图9所示。

根据边缘分割参数Mask图，将四幅图像的有效像素映射到拼接平面上，形成拼接画面，如图10所示。

4 结论

将飞行区全景拼接在机场相关业务部门进行了上屏和使用测试，用户反馈全景拼接能辅助运行管理者在第一时间掌握现场运行情况，但在细节调看层面还需进一步提升。同时，使用视频拼接技术可以用少量摄像机即可获得较大场面的监控，对于24小时不间断运行，且站坪布线施工较复杂的大型机场能有比较好的应用效果。因此，视频全景拼接技术在机场大场景监控中能起到作用。

参考文献

[1] LowEDGobjeetReeo，itionfrolnLOealSeale-ivariantFeatures[C].IntemationalConferenceon ComPuterVision，1999：1150-1157.

[2] M.A.FISCHLER，R.C.BOLLES.RandomSamPleConsensus：AParadignforModelFittingwithAPPlieationstolmageAnalysisandAutomatedCartograPhy[J].Comm.oftheACM，1981，24（06）：381-395.