复杂机场全景视频拼缝优化方法研究

梁恩泽，李宏刚，杜 双

（中国飞行试验研究院，陕西 西安 710089）

0 引 言

随着机场行业的飞速发展及智慧机场等新兴信息技术的迅速崛起和应用，复杂机场场面运行管控的效率提升需求日益凸显。机场场面全景可视化管控作为未来机场的重要管控手段之一，正在稳步推进。全景视频可以提高机场场面运行态势感知能力，提升场面运行安全和管控效率。

复杂机场全景视频通过多路高清摄像机采集的视频拼接融合形成一副全景画面。由于机场复杂环境因素影响，摄像机部署位置距离机场比较近，这要求摄像机采集范围超过180°。在这种特殊室外环境进行大视场全景视频拼接，现阶段的全景系统视频拼接技术仍存在一些不足，因光照条件变化等影响会产生拼缝及鬼影[1-2]。本文对复杂机场中全景视频拼接出现的问题进行分析，针对复杂机场内物体过缝时鬼影造成的监视困难，提出一种适用于复杂机场全景视频鬼影的优化方法，查找最佳缝合线，优化运动目标过缝产生的鬼影现象，从而达到较好的呈现效果。

1 机场场面监视局限性

目前，机场行业以服务为主，如何解决占地面积大、飞行区域广阔、航班延误或客流量大导致的起降时间不规则、现场环境复杂等缺点，已经成为各大机场和航空公司角逐的关键。目前，复杂机场飞行保障相关人员主要采用目视监视为主，其他设备监视管控为辅的监管手段。指挥人员通过塔台目视、通信设备、辅助摄像头等获取飞行区、滑行道、联络道、停机坪中人、机、物的信息。因此，场面运行效率会受到恶劣天气、建筑物遮挡、人眼疲劳等因素的影响，这直接限制了飞行任务的有 效开展[3]。

2 全景视频拼接融合

本文采用的全景系统的拼接通过接收前端多台高清摄像机实时视频，对视频进行拼接参数检测，根据具体的拼接参数，对多个视频的每一帧图像进行特征提取、特征匹配、投影变换、曝光补偿、寻找拼缝、图像融合等处理，形成一幅全景式优质图像[4]。视频全景拼接的流程如图1所示。

图1 全景拼接流程示意图

2.1 视频采集

使用IP高清摄像机实现复杂机场视频的实时无损采集，为后续拼接处理提供高清晰度数据源。IP高清摄像机能够超越PAL/NTSC制式的分辨率及帧速率，获得高清晰度的视频。

2.2 预处理

相机多角度采集的视频因光照不同造成图像序列对应的明暗不一致现象，导致拼接后的全景图像信息存在较多的问题，如亮度和色调不一致等。因此，色差一致性处理是预处理的重要环节。一般需要通过白平衡处理方式，将图像的白色色块进行还原，还原到经典的光源拍摄下白色所具备的像素值，对像素块的信息进行优化和管理，使用变换参数矩阵乘以当前图像矩阵，可以获得当前图像在经典光源下的像素系统[5]。

2.3 投影变换

图像采集及拍摄过程中，相机角度不是一成不变的。对于多角度拍摄，需对采集到的机场痕迹进行管理，按照指定的管理模式进行优化，因而无法开展图像的配准分析。为了有效解决以上问题，复杂机场全景视频拼接进行投影变换时，采用柱面投影模型的图像获取方式，能够保证图像间有一定的重叠区域，速度和精度都较好[6]。

2.4 图像配准

全景视频的图像配准就是采用一定的方法对拼接的图像进行处理，使它们建立特定的对应关系，之后再进行匹配叠加。按照配准时所使用的图像信息不同，配准方法可以分为基于灰度、基于特征以及基于变换域的配准方法。在复杂机场环境下，本文采用基于特征的配准方式，能有效避免匹配位置不精确和对重叠区域有限制的缺点。特征匹配算法是一种高鲁棒性的局部特征点的检测算法。在复杂机场视频图像配准过程中，算法主要分为4步。

（1）尺度空间极值点的检测。搜索所有尺度空间上的图像，通过Hessian矩阵找到极值点作为特征点，同时在寻找极值点的过程中采用了许多加速运算量的方法，因此在一定程度上提高了运算 速度。

（2）特征点的精确定位。对候选特征点的位置和尺度都用泰勒级数插值拟合方法来决定，而其稳定性是特征点选择的主要依据。

（3）选取特征点的主方向。通过统计特征点区域的哈尔小波特征，选取特征点的主方向。

（4）特征点的描述。沿特征点的主要方向结合相邻的区域，取4×4的矩形区域，每个区域需要25个像素点，并且呈现垂直和水平方向分布，呈现哈尔小波特征。

2.5 视频融合

全景视频融合是将配准后的多幅图像进行拼接管理，融合成为一幅更大的图像。由于复杂机场中多路摄像机的角度、曝光程度、不同相机自身物理属性及镜头畸变等问题，采集多路视频图像的过程中势必会产生差异。匹配的过程会出现一些局部区域无法完全对齐的情况，故融合过程中也会出现模糊虚影现象。

常用的视频融合算法有直接平均法、加权平均法以及重叠区线性过渡法等。直接平均法和加权平均法存在融合的图像过渡不平滑、具有带状痕迹等缺点，因此，基于这种大视场下的复杂机场全景视频融合，本文拟采用重叠区线性过渡法来减少带状痕迹等缺点的影响，具体分析如下。

设复杂机场全景视频采集的图像重叠区域宽度为L，xmax、xmin分别对应x轴上的最大值和最小值。则渐变系数d可由式（1）求解：

f1(x, y)、f2(x, y)分别表示图A和图B在重叠域的像素值。沿着x轴的值从开始为1慢慢过渡到为0时，复杂机场图像的重叠域从属于图像A缓缓变化到属于图像B。该算法的相关信息应用较为直观，在复杂的机场中应用效果明显，且融合后的图像平滑性较好。

3 复杂全景视频拼缝及鬼影

3.1 拼缝及鬼影问题描述

一般情况下，机场全景图像是通过一系列手段将一副完整的图像呈现给管控人员。但是，管控人员往往可以通过目视发现整幅图中的一些明显拼接缝隙，影响全景图像的整体视觉效果。而在图像中有物体运行时，运动的物体在通过特定区域或拼缝时又会出现鬼影现象。

3.2 复杂机场拼缝及鬼影成因分析

经过实地分析得出复杂机场全景视频中拼缝和鬼影的成因如下。

拼缝问题的成因是机场当天天气及日光照射角度等原因产生色差，造成拼缝的出现。因为不同摄像机的摆放角度不同，一天中光照角度不一致，导致相机之间的曝光差异特别大。

复杂机场多视角摄像机的视频拼接过程中，若视频序列中出现运动的物体，则会出现鬼影问题。对于复杂机场架设环境，由于多视角摄像机的相机质量存在差异，摆放的角度不同，很难使所有的摄像机光心相同。而且，运动物体相对于全景拼接背景会有不同的视差，以及环境中的逆光问题等，都是造成鬼影问题的主要原因。由此，拼接之后的图像会在错误的位置产生错误的像。根据运动物体的位置不同，又分为三种情况。第一，若运动目标都在某单一图中，则不会产生拼缝及鬼影问题。如图2中的目标A。第二，运动目标均有一部分渗透到了拼缝融合区域，但只在两幅图中的某一幅图出现，如图2中的目标B和目标E。第三，运动目标互相渗透到了拼缝融合区域，如图2中的目标C和 目标D。

图2 鬼影分析示意图

对上述运动物体的三种情况进行分析如下。

对于第一种情况，不需要进行修正或优化。因为目标仅仅出现于单图中，故不用担心会产生拼缝及鬼影问题。

对于第二种情况，运动物体往往会出现一些模糊或部分消失情况，需要补全目标在拼缝区域由于渐入渐出而造成的渐隐情况。

对于第三类情况，必须判断运动目标所属具体图像，并将该幅图像的目标贴入机场全景拼接图中，同时抹去其他图像在原位置生成的目标。这给复杂机场全景拼接造成了很大的困扰。

3.3 对复杂机场场面管控的影响

按照文章第2章全景视频的拼接步骤实施后，得到了特定的复杂机场场面全景视频的实时呈现。但在两个相机画面拼接处，能够发现色彩与摄像头采集的原始图像存在不一致之处，特别是在两个画面色差较大时，拼缝更加明显。同时，场面上运动的目标在经过拼接处时会产生重影、模糊、部分消失等问题，即使在一些静态看上去没有明显拼缝的地方，运动目标经过时这些问题也会凸显出来。在飞机起降过程中，拼缝及鬼影问题的出现，可能会给指挥人员传递虚假信息，严重时塔台甚至无法依靠全景视频判断飞行器的确切位置及起落架收放情况等运行状态，对飞行器的飞行安全产生较严重的影响。

因此，本文提出一种针对复杂机场的全景拼缝优化方法，用于消除拼接过程中视频图像产生的拼缝及鬼影。

4 大视场下全景视频拼缝优化设计

4.1 最佳缝合线寻找方法

一般情况下，解决拼缝问题可以通过物理手段（相机罩等）对摄像机进行适当遮光处理。为了更好地解决拼缝造成的管控困难，本文采用一种最优的拼缝寻找方法，使两个相机画面在拼缝处差异最小，优化拼接的平滑性。

全景技术中，两幅图像能够拼接融合的前提是两幅图像有一定的重合区域，再在重叠区域进行融合算法处理。重叠区域的缝合线选择对融合后的全景图像效果有很大影响，好的缝合线选择算法和策略能够使全景视频的过渡更加平滑。

本文采用基于图割的方法来寻找最佳缝合线，以图3为例，首先需要对待拼接的图像进行抽象化分析。

图3 图割抽象模型

图3 中每一个方框区域代表着一个像素，通过模拟将图像中的每一个像素抽象成为一个点，并对图中点与点之间的边进行控制，赋予每条边权值进行分析，作为切割的代价。设s和t为相邻的两个点，A（）和B（）分别为其对应位置的像素值，可以将切割代价表示为：

式中：||*||表示取绝对值。

针对移动目标只存在于某个图像的像素要点，属于A或者B的像素信息，用权值为+∞的边进行分析，连结到特定图像所代表的点。因此结合上述模型进行分析，设定将两幅图像的重叠区域构建成一个图结构。如何定义带权线是构建图结构过程的关键。能量函数取决于带权线的定义。能量函数的计算公式一般为：

式中：V、D两部分计算分别代表了能量函数的数据项和平滑项。缝合线寻优也就是该能量函数的最小化过程。

在初始化阶段，利用基准图像来构建初始图。一般来说，设定该图结构有两个源点，也就是分别从基准图和待拼接图中生成该图结构，即缝合线定义中的重叠区域分别来自基准图像和待拼接图像。

初始化图后，利用式（3）的能量函数公式来计算图的总能量，进行算法的迭代最小化，并对可选源进行α-扩张，定义为：

式中：I'(p)为p节点的α-扩张结果值，而I(p)为p节点α-扩张前的值。

α-扩张可以将p节点用可选源中的其他节点替换，并重新计算替换后的图的总能量。如果能量增加，则恢复p节点的能量值；如果能量减少，则采用替换后的可选源的节点作为结果图中的节点。循环迭代最小化能量函数，保留能量最小值的节点。从而得到最终能量最小化结果，划分可选源的最小能量值分割线就是最优缝合线。

在循环迭代能量最小化过程中，需要不断计算能量函数，并比较和选取能量函数的大小。因此，需要详细研究计算能量函数的方法，采用最高效和适应性高的计算方法来实现缝合线的寻优和图像的拼接。能量函数一般分为数据项和平滑项，其中数据项可以简单定义为：

式（5）中I1和I2为两个待拼接图像，能量函数的数据项定义是为了考察缝合线节点是否落在重叠区域内。如果该节点属于重叠区域，数据项为0，即不影响能量函数值；如果该节点不属于重叠区域内，则能量函数数据项值将为+∞，即能量函数值逼近无穷大，不符合能量最小化的要求。这样可以确保该缝合线定位于两幅图像间的重叠区域内。

4.2 鬼影优化方法

4.2.1 色差差异造成的鬼影优化

完成机场最优缝合线搜寻后，进行机场全景拼接图像的融合处理。由于源图像与待拼接图像之间存在不可避免的亮度差异，整个机场的图像会存在亮度不一致的现象。且由于飞行器运动、匹配误差等客观原因导致的鬼影现象，使得拼接图像效果不佳。因此，本文采用泊松图像融合技术进一步优化拼接图像。

设拼接图像为S，S上的修复区域定义为Ω，其边界是

式中：N代表图像待修复区域中p点的邻域。设f是定义在Ω上的颜色融合信息，∂Ω上的已知颜色信息设为f*。则求解Ω的图像颜色融合，转化为求解边界∂Ω上的己知像素的颜色在Ω上的颜色修复梯度场的插值，求解公式为：

式中：p∈Ω，gp和gq是Ω上的颜色修复值，vpq=gp-gq是Ω上的颜色修复梯度。

式（7）是大型稀疏线性方程组。因此，本文采用共轭梯度法求解待修复区域的颜色融合值，计算速度较快，颜色融合的效果较好。

4.2.2 运动物体产生的鬼影优化

在图像拼接过程中，源图像序列中的运动物体经过拼接操作，在拼接图像中形成鬼影现象。因此需要在当前全景拼接图像和其源图像的重叠区域中探测鬼影现象。当发现“鬼影”时，定位源图像中的相关运动物体，创建梯度域剔除并区域填充该运动物体，同时创建一个新的源图像，重新拼接源图像，以摆脱“鬼影”。在梯度域对象中移除和区域填充操作过程中，通过编辑源图像的梯度来创建一个梯度向量场，并利用边界条件构造和求解泊松方程，将源图像从梯度向量场中恢复信息，获取新的全景拼接图像。具体算法流程如图4所示。

图4 算法流程图

对于飞机等运动物体所产生的鬼影现象，进行如下处理：输入源图像后，标注所有待移除物体的邻域，通过编辑源图像的梯度来创建一个梯度向量域。从源图像和梯度向量场中移除对象。为了使这些被移除的区域看起来像场景中没有相应对象变化，通过梯度域的区域填充操作，使用图像其他部分中能找到的最适合的内容来恢复这些区域。用这种方式能获得一个填充到拼接图像If中的域和一个填充到合成梯度向量场(Gx,Gy)的域。

下一步是要从梯度向量场(Gx,Gy)中恢复一个新的拼接图像Ic。为了做到这点，从梯度向量场(Gx,Gy)中计算向量场散度div(G)，并用它作为指导向量来构造一个泊松方程，新的拼接图像Ic可以通过求解泊松方程和边界条件，从向量场中恢复。

在求解方程时，使用图像If作为初始值可以给出线性求解程序一个好的初始解决方案的评估。

假设I(x, y)是拼接图像，使用散度作为指导，构造一个泊松方程：

这是一个线性偏微分方程。为了解决这个方程，必须首先指定边界条件。在优化方法中，使用Neumann边界条件。

最后，新的拼接图像Ic能够通过求解泊松方程，从梯度向量场(Gx,Gy)中恢复，用这个结果做为最后的拼接图像，用于全景图像拼接过程中运动物体产生鬼影的移除。

5 实验结果

为了验证本文算法的效果，在复杂机场全景可视化平台上进行实验验证。平台主要配置为：

（1）摄像机为4台华为X2381-VG4K枪机；

（2）服务器采用华为2288H V5，至强银牌4210，16 GB内存，显卡为NVIDIA Quadro RTX4000；

（3）软件平台为Visual Studio 2019，C#、C++语言。

算法实验效果如图5、图6及图7所示。

图5 特征点配准图像

实验表明，本文提出的最佳缝合线寻找方法和鬼影优化方法能够对复杂机场全景视频拼接中存在的拼缝明显问题及出现鬼影问题起到较好的优化 效果。

6 结 语

在复杂机场这种特殊的大视场环境中，使用多摄像机进行全景拼接，实时呈现机场运行态势，是复杂环境下机场管控的有效辅助手段和发展趋势。本文分析了复杂机场目前存在的问题，对大视场下复杂机场全景系统进行了分析，针对全景系统实施过程中存在的问题进行总结，提出了优化最佳缝合线的算法和抑制鬼影的思路，并实际测试了效果。实验结果证明，该方法能够优化全景视频中的拼缝并对运动目标的鬼影进行抑制。但本文的研究也存在一定的不足，全景视频呈现的实时性有待进一步解决。