采用多视频融合的机场场面监视方法✴

罗晓，卢宇，2，吴宏刚

（1.中国民用航空局第二研究所，成都610041；2.电子科技大学通信抗干扰国家重点实验室，成都611731）

采用多视频融合的机场场面监视方法✴

罗晓1，卢宇1，2，吴宏刚1

（1.中国民用航空局第二研究所，成都610041；2.电子科技大学通信抗干扰国家重点实验室，成都611731）

以非协作式监视技术特征为依据，采用多视频融合处理技术，提出了一种专门针对中小型简易机场的场面目标监视方法。该方法通过光流法计算运动场，依靠动态模糊聚类自适应地分析运动场，最后依靠多视频融合来提高检测精度。实验表明，本方案不仅可行，而且可以有效地抑制50%以上的测量误差，为中小型简易机场的场面监视雷达提供了另外一种备份手段。

中小型机场；航空交通管制系统；场面监视雷达；多视频融合；光流；增强视频监视

1 引言

长期以来，雷达技术在民航空中交通信息控制（Air Traffic Control，ATC）系统中扮演着重要角色。根据与被探测物体的交互方式，可分为协作式雷达和非协作式雷达两种。所谓协作，是指雷达与被探测物体之间、信号发射机和接收机之间存在信息交互，如被探测物主动广播自身状态信息，而雷达接收到这些信息。对于非协作式雷达，则不存在这种交互关系，因此非协作式雷达可以独立工作。典型的非协作式类如一次雷达，具体到机场场面区域有场面监视雷达（Surface Movement Radar，SMR）［1］。但是，场面监视雷达十分昂贵，尤其是对航班起降架次较小的中小型机场而言，这是一笔很大的开销。视频技术作为一种常见和更便宜的设备，也能够提供非协作式监视潜力，这表现在4个方面：首先，视频监视无需在飞行器、车辆等被探测物上安装专门的设备；其次，视频监视能够输出视频序列，并且在分析这些序列的基础上可以进一步获取活动目标的位置和速度信息，这一点很像场面监视雷达；再次，由于其通用和便宜的特点，视频摄像头可以大量部署使其可以覆盖到场面监视雷达覆盖受限的区域；最后，基于不同类型的摄像头相互融合的方法可以提供更加丰富的信息，如红外摄像头可以提供夜间的目标检测和跟踪。因此，视频监视能够作为中小型简易机场场面监视雷达等非协作式监视手段的替代方案。同时，考虑到广播式自主相关监视（Automatic Dependent Surveillance Broadcast，ADS-B）［2］技术的快速发展，将视频作为非协作式监视手段，将ADS-B作为协作式监视手段，这两种数据的融合甚至完全有可能为未来的中小型机场提供监视方案［3］。在这种思路下，这就要求视频系统至少能够在场面区域内提供像场面监视雷达一样的位置、速度和图像序列信息。

本文立足视频技术来满足这个要求，为民航场面监视的视频方案建立算法基础。所采用的办法是：基于光波相对于雷达波的优点，首先通过视频摄像头提供更精确和生动的图像信息；接着依靠光流法检测运动场；然后采用一种改进的模糊聚类算法来分析此运动场，自适应地检测出目标的数量、位置和速度信息；最后依靠集中式融合来增强探测的精度和鲁棒性。实验结果表明，这种方法不仅可行，而且具有很高的探测精度。

2 位置与速度检测

对于航班架次较少的简易机场，要使视频技术取代非协作式监视中的场面监视雷达技术的前提为视频技术也能够提供准确的位置和速度信息。光流法可以获得对运动目标的位置与速度信息，对其改进能够用来检测简易机场中的运动目标。

2.1 光流法

光流法的核心思想是将图像中的每一个像素赋予一个速度矢量，于是可以得到关于整幅图像的运动场。如果图像中没有相对运动，那么所有的光流矢量应该是平滑和一致的；但是，如果目标和背景之间发生了相对运动，那么必将有不同的光流矢量表现出来，它们分属于不同的物体和背景［4，5］。文献［6］分析了主流的光流解算方法，并指出基于局部平滑假设和一阶偏微分方程的解算方法能够达到最高的精度，因此本系统提出基于Lucas-Kanade［7］的改进算法来实现对位置和速度信息的精确提取。

设t时刻像素（x，y）的灰度可定义为I（x，y，t），u（x，y）和v（x，y）分别表示光流沿着x轴和y轴的速度分量。光流方程可以由式（1）表示：

在局部区域Ω内，光流估计误差表示为

式中，V（i，j）为点（i，j）的速度矢量，由式（5）得到。A（i，j）=1表示该点属于前景，否则属于后景。

2.2 动态模糊聚类

得到检视区域的运动场信息后，利用模糊聚类算法分析运动场以进一步提取目标位置、速度和尺寸等信息。传统的聚类算法要求事先确定分组数量。具体到本系统，分组数量代表场面飞机和车辆数量。然而，视场中的分组数量有时是事先未知的。如果这个数量设置得比较小，那么有些分割的目标可能被误认为成一个整体；如果这个数量设置相对较大，那么一个目标可能会被分割开来。因此，本文提出了一种动态的自适应分割算法。

设含有M个分组的N个样本，pj（1≤j≤N）表示样本j的状态，mi（1≤i≤M）表示分组i的中心，uij（1≤i≤M，1≤j≤N）为样本j属于分组i的归属度，则M个分组的代价函数JM表示为

式中，W（x）定义为一个窗口函数，限制了局部区域的范围。设V=（u，v）T且▽I（x）=（Ix，Iy）T，式（2）的解可由式（3）给出：

通过Ω中的每一个点xi，可计算：

这样，当ATW2A≠0时，式（3）的解可表示为

在我们的监视系统中，摄像头的位置和视角是固定不变的，所以跑道、建筑物等背景区域也是保持静止的，这些区域对应的光流矢量为零。只有移动物体，如飞机、车辆、走动的工作人员所对应的光流矢量表现出速度信息。因此，背景区域和移动物体可以被一门限值区分开来，如下：

式中，r为一常数，用以控制精度，通常大于1。分组i的中心及样本对于该分组的归属度可以通过迭代过程被提炼，计算方法如式（8）和式（9）：

对于运动场中默认有M个目标的划分，经过一定数量的迭代次数后，可以得到基于M个目标的稳定分割。但是，由于M是事先确定的，因此这种分割不一定合理。

本文自适应分割的核心在于动态确定类型数量。考虑到当对默认为k个目标的分割完成后，可得稳定的Jk（uij，mi） ，于是可得代价函数序列：

总的来讲，Jk随k的增加而减小。但是，当k比真实目标数量小时，Jk减小速度剧烈；k比真实目标数量大时，Jk减小速度非常平缓。据此可以提取出恰当的目标数量＾M。

引入序列：

进一步引入序列：

检测序列的峰值即可检测出最恰当的目标数量＾M：

一旦目标数量确定，即可确定每一个目标的尺寸、位置和速度。

目标i定义为

其尺寸大小为

中心为

速度为

式中，V（i（pj），j（pj））表示点pj的速度矢量，由式（5）给出。

2.3 集中式并行滤波

采用多个视频摄像头对监视区域进行冗余测量。这些摄像头被安放在同一位置并具有相同的视角，因此它们具有相同的坐标系以实现空间对齐；又由于视频信号的采样频率通常可以达到每秒几十帧的量级，因此可以默认为时间空间已经对齐。

利用集中式并行滤波处理多视频信息。对场面飞行器的运动进行建模，有：

式中，xk∈Rn为飞机状态矢量，具体到本系统中为［x，˙x，x·，y，˙y，y·］T；Φk∈Rn×n为系统状态转移矩阵，Γk∈Rn×r用于描述系统过程噪声。本文使用Singer模型描述状态转移。

设有N个视频摄像头，对每一个摄像头，有如下观测方程：

由于存在多个摄像头，有如下广义测量矩阵：

其中：

利用卡尔曼滤波可以解出系统状态矢量及融合误差，其过程如式（22）～（24）：

式中，Rik+1为各视频摄像头分系统的测量误差，P为融合后误差的协方差。

3 实验

为了测试本文所提算法的效果，分别采用仿真图像序列和机场真实图像序列进行测试。在仿真图像序列的测试中，着重考察算法各步骤的功能及中间结果。同时，由于仿真图像可以获取目标的精确位置，因此能够对算法的精度能进行评估。在基于机场真实图像序列的测试中，着重考察监视算法的可行性及视觉效果。

在仿真序列中，视频图像尺寸为256×256像素。视场中存在4个运动方块以模拟场面飞机、车辆等目标，其中2个方块从左向右运动，2个方块从右向左运动，部分图像序列如图1所示。利用光流场解算运动矢量，结果如图2所示。

图1 部分仿真图像序列Fig.1 Part of simulation sequence

图2 光流场Fig.2 Optical flow field

图3 代价函数下降趋势Fig.3 Tendency of cost function

利用动态模糊聚类逻辑对光流场进行分析，得出代价函数下降趋势并依据R序列峰值判别目标数量，如图3和图4所示。

图4 峰值选取Fig.4 Peak value selection

模拟对两个视频摄像头分系统进行融合。摄像头1的测量误差为15m，摄像头2的测量误差为25m。由于基于仿真的图像序列可以知道目标的真实位置，因此可以利用RMSE（Root Mean Squared Error）作为定位误差评判标准。

采用集中式并行滤波进行处理，效果如图5所示。与原始误差相比，融合后的定位误差减小了50%～70%。

图5 多视频融合效果Fig.5Multi-video fusion result

使用成都双流机场真实图像序列进行测试，整个监视区域如图6所示。该序列是由3组视频摄像头数据拼接而成，以实现对场面的全景监视。不同的组观测区域不一样，但组内的摄像头具有同一位置和视角。

图6 场面全景的真实图像Fig.6 Airport surveillance image

其中某一局部区域所采集序列如图7所示，为场面运动的2架飞机。有3个摄像头独立地对场面目标进行测量。

图7 局部区域放大后效果Fig.7 Enlargement of local regions

利用本文方法对目标进行监测，提取出运动目标如图8所示。这说明，本文的监视方法可以用于处理民航机场监视信息。随着硬件性能的提升，在中小型简易机场实现增强视频监视（Enhanced VideoSurveillance，EVS）系统以替代场面监视雷达的方案是可行的。

图8 基于机场实际图像序列的检测结果Fig.8 Detection based on practical images

4 结束语

像传统的一次雷达和场面监视雷达一样，视频监视也是一种非协作式监视手段，它能提供位置和速度信息。但是与场面监视雷达相比，视频监视设备成本要低很多。本文利用光流法计算运动场，用动态模糊聚类法分析运动场，用多视频融合增强检测精度，基于仿真序列和机场实际视频序列表明这种方案可用于监视航班架次较小的中小型简易机场。更重要的是，视频传感器可作为非协作式监视的数据源，与另一种成本较低的协作式监视数据源（即ADS-B数据）进行融合。考虑到未来ADS-B设备将会安装在所有的飞行器上，因此将这两种手段相结合作为未来中小型机场的监视方案也是完全可能的。

［1］Besada JA，Garcia J，De Miguel G，etal.Data fusion algorithms based on radar and ADSmeasurements for ATC application［C］／／Proceedings of 2000 IEEE International Radar Conference.Alexandria，VA：IEEE，2000：98-103.

［2］Edward A Lester，John R Hansman.Benefits and Incentives for ADS-B.Equipage in the National Airspace System［D］.Massachusetts：Massachusetts Institute of Technology，2007.

［3］ICAO Doc9830 AN／452，Advanced Surface Movement Guidance and Control Systems（A-SMGCS）Manual［S］.

［4］VishalMarkandy，Anthony Reid，ShengWang.Motion Estimation for Moving Target Detection［J］.IEEE Transactions on Aerospace and Electronic Systems，1996，32（3）：866-874.

［5］McCarthy C，Barnes N.Performance of optical flow techniques for indoor navigation with a mobile robot［C］／／Proceedings of 2004 IEEE International Conference on Robotics and Automation.New Orleans，LA，USA：IEEE，2004：5093-5098.

［6］Barron JL，Fleet D J，Beauchemin SS，et al.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12（1）：43-47.

［7］Lucas B D，Kanade T.An Iterative Image Registration Technique with An Application to Stereo Vision［C］／／Proceedings of the International Joint Conference on Artificial Intelligence. Vancouver，British Columbia：［s.n.］，1981：674-679.

Email：lxdj＠vip.sina.com

卢宇（1979—），男，2009年获博士学位，主要研究领域包括数据融合、图像处理、物联网技术等；

LU Yu was born in 1979.He received the Ph.D.degree in 2009.His research interests includemulti-sensor data fusion，image processing，Internet of things，etc.

Email：onemore-luck＠163.com

吴宏刚（1977—），男，四川乐山人，博士，高级工程师，主要研究方向为信号处理、数字通信技术、空中交通管理、计算机仿真等。

WU Hong-gang was born in Leshan，Sichuan Province，in 1977.He is now a senior engineerwith the Ph.D.degree.His research interests include signal processing，digital communication，air trafficmanagement，computer simulation，etc.

Email：whg028＠sohu.com

A Novel Airport Surface Surveillance Method Using Multi-video Fusion

LUO Xiao1，LU Yu1，2，WU Hong-gang1
（1.The Second Research Institute of Civil Aviation Administration of China，Chengdu 610041，China；2.National Communication Laboratory，University of Electronic Science and Technology of China，Chengdu 611731，China）

According to the features of non-cooperative surveillance in simple airports，an enhanced airport surface surveillance based onmulti-video fusion is proposed.This solution takes optical flowmethod to compute the motion field，uses the improved dynamic fuzzy clustering to analyse the field，and finally improves the precision bymulti-video fusion.Experiment results show the solution is not only feasible but also suppresses over 50% measuremental error，so it offers an alternative choice for SMR（Surface Movement Radar）.

small and medium airport；air traffic control（ATC）system；surfacemovement radar；multi-video fusion；optical flow；enhanced video surveillance

was born in Chongqing，in 1970.He

the M.S.degree in 1995.He is now a senior engineer.His research interests include airport information integration，computer simulation and database technology，etc.

The National Natural Science Foundation of China（No.61079006，60736045）；The National High-tech R＆D Program of China（863 Program）（2009AA12Z329）

TP391

A

10.3969／j.issn.1001-893x.2011.07.026

罗晓（1970—），男，重庆人，1995年获硕士学位，现为中国民航局第二研究所高级工程师，主要研究领域为机场信息集成技术、计算机仿真、数据库技术等；

1001-893X（2011）07-0128-05

2011-03-21；

2011-05-03

国家自然科学基金资助项目（61079006，60736045）；国家高技术研究发展计划（863计划）项目（2009AA12Z329）