一种基于SURF特征与拼接缝的机场全景监视图生成方法

韩宣宗

摘要：针对贵阳龙洞堡国际机场大场景的高清全景图生成需求，提出了一種基于SURF特征与动态规划拼接缝的全景图生成方法。首先利用柱面投影来保持各通道视频在重叠区内成像的视觉一致性，设计了一种基于RANSAC与特征点的鲁棒变换模型估计算法，可以消除局部配准误差导致的累计误差;然后使用动态规划算法通过HIS色彩空间和梯度空间求解拼接缝，从而实现相邻图像的缝合;最后在缝合线两边采用基于三角函数的融合算法实现图像平滑过渡，最终生成高清晰度高分辨率的全景图。实验结果表明，提出的方法在满足图像无缝拼接的前提下，可消除重叠区域内的重影问题，并大幅度提高拼接速度。

关键词：SURF特征;图像拼接;图像配准;图像融合

中图分类号：TP311      文献标识码：A

文章编号：1009-3044（2020）25-0197-03

开放科学（资源服务）标识码（OSID）：

贵阳龙洞堡国际机场自T2航站楼建成以后，原有塔台位置已无法完整对全机场航班停靠位置进行监控，为解决管制员对停机位、航空器信息的可视化管理，贵州空管分局构建了基于全景图像拼接的全景监控系统，实现了管制员对全机场范围内航空器的监视和指挥。在贵阳龙洞堡国际机场，全景图像的拼接由B、C子廊间的多个摄像头拍摄的有重叠区域的图像进行拼接，通过对图像内部几何细节进行比对，使用标准图形耦合算法实现图像有去重和接合，并最终形成宽视角的场内监视图像。目前常用的图像匹配算法可分为两类：Domain switch的图像耦合匹配方式[1]，Timestamp switch的图像匹配方式[2]。常见的图形特征包括了SURF特征、FAST特征和Harr特征[3]等。本文中构建的贵阳机场全景视频监视系统即采用了SURF特征图像匹配算法进行全景视图的构建，有效地提升了贵阳机场管制运营效率。

贵阳机场全景视图由5套摄像机图形拼接而成，通过对B、C子廊停机坪、跑道位置的图形图像摄影并进行光照同步和柱面投影变换，抽取出内部的SURF特征点阵，通过变换后坐标系的图像匹配算法RANSAC[4] 进一步进行整体优化，最终实现5个图像的数字匹配模型矩阵。通过对于该反向映射矩阵进行拼接运算，可实时的实现图像有快速拟合与计算，最终基于拼接缝算法实现图像的整体融合，生成龙洞堡机场全景视频监视图。

1 转换模型分析

1.1 柱面投影及半径分析

本文采用摄像机采用扇形布局形式，多个采集到的图像在同一位置点摄取，但其柱面投影平面仍存在着差异性，因此直接对重合区域进行融合时，场内航班滑行时仍然会产生重影和三维位置倒换问题。基于机场内部各子廊的实际情况，全景拼接图需要将子廊本身存在的宽度进行缩减，减少无效图像区域的面积，但同时又要保证远端图形的依赖约束关系，此时在进行拼接时，应通过柱面坐标投景方式，将多个摄像头伞形而已获取到的图像进行重新定位[5]。在进行柱面投影时，当新坐标不在整数坐标上时，需要进行插值，常用的有最近邻插值、双线性插值和三次多项式插值，本文考虑到航班运行过程中速度是动态变化的，对于实时性要求较高，因此拟采用双线性插值方式进行插值计算，本系统中摄像机的投影半径[f]使用迭代法进行确认，其利用了相位相关法[6]。算法通过采集机场各区域动态图像中存在重叠飞行区图像的部分像素，采取下列步骤进行投影半径的计算和评估：

步骤1：用相位相关法求得相邻图像间水平偏移量[li]（[1≤i≤n]），[n]为采集图像的数量;

步骤2：初始化参数：[L=i=1n2li]，[f0=L2π]，[flow=f02]，[fhigh =f0]，[k=0];

步骤3：计算[w=i=1n2tan-1lifk];

步骤4：若[|w-2π|≥ε]且[w<2π]：[fhigh =fk]，若[|w-2π|≥ε]且[w≥2π]：[flow=fk];

令[k=k+1]，[fk=（fhigh+flow）/2 ]，回到步骤3继续执行。

当[|w-2π|<ε]时执行步骤5;

步骤5：确认图像半径[f=fk];

1.2 分析构建RANSAC与SURF特征的变换模型

目前龙洞堡机场每天起降航班量超过300个架次，因此航班在滑行和起飞过程中图像变化速度较快，为提升图像变换模型的匹配效率，全景视图的生成无须提取图像的所有SURF特征进行匹配，通过采用方法为根据最终图像400万像素的特点，选取适当的区域Ri和Ri+1，再提取粗匹配区域的SURF特征。SURF特征包括仿射和光照双重不易失性，同时对图像匹配具有很强的适应性，具有高效准确的优点。本系统内部基于五套摄像头图像生成最终全景视图，其运用的参数投影方式将原有坐标点由X=（x，y，1）转换为[X'=（x'，y'，1）]。具体公式为：

在本坐标系中，包括：

（1）缩放旋转因子：h11，h12，h21，h22

（2）仿射变换因子：h13

（3）水平方向的平移因子：h23

（4）垂直方向的平移因子：h31，h32

通过大量的实验发现，邻接点重叠区域较多的图像在特征匹配后产生的图像，会伴随着参与融合的摄像机图像的增加而产生指数增长的误差，其对最终的合成图像质量影响较大。同时，由于图形融合模型多个参数的二阶矩阵参数基于最优线性评估，在有大量误差匹配区域时，可能导致错误的数据匹配模型，因此本处调序了一套基于RANSAC（Random Sample Consensus）的变换模型参数估计的鲁棒算法，其步骤阐述如下：

步骤1：对图像区域Pi和Pi+1 的SURF特征进行分析，使用FANN[7]算法对图形重合像素点进行特征向量匹配，此时可得到n（n>4）个匹配像素对。

步骤2：从n对像素对应点中以m以参数多重提取像素对，需要保证其中至少3个点为不同轴位置，不然重新提取;

步骤3：对[m（m>4）]对匹配点进行线性建模，可产生一个基于2m个像素配对点的关系数据模型参数集[{h11，h12，...，h32}]。通过此参数集可生成线性方程组[AM=b]，对模型参数进行最小二乘法计算变换，可得到：

在每次采样过程中，当采集到[m]对匹配点时，以p表示出现内点的概率，以[β]表示[m]对匹配点中任意一对匹配点出现内点的概率。

步骤6：场内摄像机采集到的图像基于多个平面构成，需要通过柱面投影变换模型进行柱面坐标系下的图像分析[6]，柱面坐标系的半径应采用等距离匹配法[5] 标注。然后利用多个内点集合，确立图像矩阵，采用最小二乘法实现参数变换。

步骤7：通过多维图像矩阵求得的多重图像融合参数后，可利用参数集对任两幅图像的变换进行计算，设场内多个摄像头取得图像的参数集为[M21 、M32、M43...Mn（n-1）]，依据下列公式可进行多维图像的变换参数累计重叠内点的计算：

[Mk1=1Mk1（3，3）Mk（k-1）M（k-1）（k-2）...M21M11 （1≤k≤N）]   （7）

当最终结果显示为M11（为3×3的单位阵）时，该图像不做任何变换，实际上这种情况是不可能发生的。Mk1（3，3）求解出的最终结果不可能为1，因此需要通过归并化处理对故需要对Mk1（3，3）常数进行整合，即通过公式右侧数量与Mk1（3，3）相除，可以实现最终结果为1，即最终图像的整合。

2 基于动态规划缝合线与三角函数融合的全景图生成

多个场内图像匹配以后，可以进行场内全景视图的拼接融合，为减少航班在拼接区域的重影和三维倒置情况，系统应在保持色度、亮度一致协调的基础上，设计一种基于HIS色域的多重分量动态融合拼接线模型实现多个图像的拼接[8-10] 。HIS色彩空间由颜色的亮度、色度、饱和度构成，在图像拼接领域，通过使用色度H和饱和度S的对比来控制实现区域内色彩的重叠性。机场全景图生成后，B、C子廊与跑道间的摄像机最终成像仍然存在着较大的视觉区域，特别是动态航班滑行时，这主要是由于光线在多重角度照射产生的柱面投影有较大差异导致，本系统针对此情况进行了一系列改进，即向[Noverlap]领域扩张，进行多维三角转换融合，以最终加强图像整体平滑过渡效果，相关函数如下公式所示：

3 实验与结果

实验平台配置如下：CPU：AMD R3500，内存：32G DDR4，硬盘：三星1T M.2 NVME，显卡：NVIDIA GTX 2060，摄像头：海康威视400万高清摄像机（型号：DS-4CD854F-E）。

在贵阳机场范围内，在C子廊顶部构建了一套包括5个高清摄像机的摄像头组合，实现对管制盲区的全覆盖视频投影，摄像头之间保证了大于250个像素点的重合区域。

由于我们不知道图像间的真实变换参数，无法直接定量分析图像匹配的几何误差，最快速有效的方法采用图像配准中参与变换模型计算的匹配点对间的均方根误差RMSE（Root Mean Square Error）和平均绝对误差MAD（Mean Absolute Error）作为精度评定指标，分析函数如下：

图像I1，I2通过矩阵变换，可得到矩阵M，而图像I1，I2在两图图形衔接部分通过坐标x1i，x2i进行重叠对应，以最终实现图像拼接显示，而衔接部分的合计重叠坐标数量以m变量代表。在本图中，可得到MAD=0.372，RMSE=0.264，圖形拼接配对精度较高，相关误差控制在10个像素点的范围内，可以满足民航业机场视频监控需求。

4 结论

本文基于SURF特征与拼接缝的全景视图生成方法的实验与应用，将机场场内多个摄像头图像间的变换模型进行了自动化的统计合成，对于摄像机不需要太多的技术参数要求，仅在摄像机安装时保证多个摄像头图形有一定的图形重合区域，本系统应用了四路400万像素的广视角高清摄像机，并结合CUDA加速技术进行了整体的图像融合算法的优化和整合，在保证管制员视觉管制的要求下，保证了实时的图像拼接能力，大幅提升了贵阳机场场面管制效率。

参考文献：

[1] Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation，and scale-invariant image registration[J].IEEE Transactions on ImageProcessing，1996，5（8）：1266-1271.

[2] Brown M，Lowe D G.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，2007，74（1）：59-73.

[3] Bay H，TuytelaarsT，GoolL.SURF：speeded up robust features[J].Computer Vision - ECCV 2006： 404-417.

[4] ChoiS，KimT，YuW.Performance evaluation of RANSAC family[C]//Procedings of the British Machine Vision Conference，2009.

[5]Jang K H，Jung S K，LeeM.Constructing cylindrical panoramic image using equidistant matching[J].Electronics Letters，1999，35（20）：1715-1716.

[6]Shum H Y， Szeliski R. Construction and refinement of panoramic mosaics with global and local alignment[C]//Computer Vision， 1998. Sixth International Conference on. IEEE， 1998： 953-956.

[7]Muja M， Lowe D G.Fast approximate nearest neighbors with automatic algorithm configuration[C]//International Conference on Computer Vision Theory and Applications （VISSAPP09）. 2009：331-340.

[8] Xing C， Wang J， Xu Y. An optimal seam line based mosaic method for uav sequence images [J].

[9] Duplaquet， Marie-Lise. Building large image mosaics with invisible seam lines [C]//Proc of the SPIE 3387.Aeorsenee.Orlnado，1998： 369- 377.

[10] Efros A A，Freeman W T.Image quilting for texture synthesis and transfer[C]//Proceedings of the 28th annual conference on Computer graphics and interactive techniques - SIGGRAPH '01.Not Known.NewYork：ACMPress，2001：341-346.

【通聯编辑：光文玲】