机场监视目标图像匹配研究

王 剑，倪育博

（中国民航大学 a.民航空管研究院；b.中欧航空工程师学院，天津 300300）

机场监视目标图像匹配研究

王 剑a，倪育博b

（中国民航大学 a.民航空管研究院；b.中欧航空工程师学院，天津 300300）

双目立体视觉测量技术用于机场场面的目标监视，关键是对具有相同特性的目标进行正确的像素点匹配。提出用SIFT算法获得目标的粗匹配点并用极线约束方程剔除目视误匹配点的方法，达到正确像素点匹配的目的。方法应用表明，在SIFT粗匹配的基础上利用设定临界阈值的极线约束方程能消除目视误匹配点。

监视；双目视觉；特征匹配算法；极线约束；阈值

目前大型枢纽机场主要采用场面监视雷达等手段实现监视[1]。国际民航组织针对先进的场面移动引导控制系统（A-SMGCS）要求必须有对非合作式目标的监视手段[2]。利用双目视觉定位解算的监视方式，匹配是定位精度的保证。基于图像特征匹配的SIFT算法信息量丰富，并对尺度缩放、视角变化等干扰具有很好的鲁棒性。工程常用的结合SIFT和RANSAC的误匹配点搜索算法很难满足机场监视的时效性，因此采用极线约束方程改进匹配算法。

1 研究与方法

1.1 匹配算法和误匹配点的筛选

目标的同名点匹配方法主要采用基于特征的匹配[3]。SIFT算法作为其中经典的特征匹配算法，凭借其尺度旋转不变性，而且对图像变形、光照变化的强适应性，改善了传统的特征匹配算法[4]。基于SIFT算法的特征匹配通常有以下3个步骤：①提取具有旋转不变性的特征点；②为特征点建立向量描述；③特征点的粗匹配。

1.1.1 旋转不变性的特征点提取

利用二维高斯函数G（x，y，σ）和图像函数I（x，y）的卷积运算可建立尺度空间函数[5]为

式中，（x，y）是图像像素点在像面的二维位置坐标。σ表示图像平滑程度的尺度参数，尺度参数较大时展示图像的概貌特征，尺度参数较小时展示图像的细节特征[6]。尺度旋转不变特征点是令得到的像素点[7]。特征点是由高斯差分（DoG）空间的局部极值点组成的，特征点的初步探查是通过同一组内各DoG相邻两层图像之间比较完成的。为寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。由于采用高斯差分方法检测到的极值点是离散空间的极值点，要通过拟合三维二次函数来精确确定特征点的位置和尺度，同时去除低对比度的特征点和不稳定的边缘响应点[8]（因为高斯差分算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力。

1.1.2 特征点的向量描述

为使特征点具有旋转不变性，用图像梯度表示特征点[9]。定义梯度模值和梯度方向分别为

以特征点为中心选定一个邻域，利用该邻域内所有像素点的梯度模值和梯度方向构建梯度直方图[10]。梯度直方图的横坐标设8个梯度方向，每个方向表示相邻45°的范围。纵坐标表示不同方向的梯度模值。将梯度直方图中模值最大所对应的方向定义为特征点主方向。以特征点为中心，选取以主方向为法向的16× 16像素区，将该像素区均匀地划分为16个子区域，每个子区域对应4×4像素区。对每个子区域绘制梯度方向直方图，计算每个梯度方向的累加值，形成一个种子点。每个种子点有8个方向的向量信息，这样对于一个特征点就可以产生128维的SIFT特征向量，即SIFT特征向量描述符[10]。SITF特征向量描述符如图1所示。

图1 SIFT特征描述符示意图Fig.1 SIFT feature descriptor

1.1.3 特征点粗匹配

利用2幅图像特征点对应的特征向量，计算欧氏距离可以判定2幅图像中特征点的相似性[10]。取图像1中的某个特征点，排序筛选出其与图像2中欧氏距离最小的前2个特征点。在这2个特征点中，如果最短距离除以次短距离小于某个值（称之为比例阈值），则可定义这一对特征点为粗匹配点。即距离比率小于某个阈值的认为是正确匹配[10]。

1.1.4 极线约束方程

如果在一幅图像中可以找到特征点，则另一幅图像对应的特征点一定在极线上，利用极线可找到对应的特征点[10]。摄像机的成像公式为[11]

其中：（ui，vi）表示像点在成像面i上的坐标；（u0i，v0i）是相机i中心在成像面的坐标；（kxi，kyi）表示相机i分别在X轴和Y轴的放大率；Ri是相机i的3×3旋转矩阵；向量pi是相机i的位置向量；（xω，yω，zω）表示物在世界坐标系下的坐标；M3i是3×3的矩阵；m3i是3×1的向量。2台相机监视同一物体时，i值分别取1和2。列出二维方程组，消去相同的物体点坐标，化简得

1.2 消除误匹配点的算法

在实际应用中，由于测量误差，匹配点无法严格满足方程（7），因此严格利用极线约束方程式无法区分匹配点和误匹配点。为解决该问题，本文定义极线约束算子并将所有粗匹配点代入极线约束算子中，计算表明，存在一个临界阈值ε使得目视匹配点满足条件将8个目视匹配点代入方程（7）可以求得相机基本矩阵F。

在很多工程应用中，基于SIFT的误匹配点搜索会采用RANSAC的方法对误匹配点矫正，该方法即随机抽样一致性算法，通过迭代的方式估计数学模型，计算筛选误匹配点[12]。在监视过程中，结合RANSAC的匹配方法，每次输出粗匹配点后都要迭代计算误匹配点。而在机场目标监视应用中，由于监视视角会提前选择，因此采用标定的方法计算基本矩阵，结合基本矩阵利用关系搜索误匹配点的方法可以免去每一次的迭代计算，减少计算量，进一步满足机场场面监视的实时要求。因此结合改进极线约束方程方法的SIFT算法对于机场目标监视更有意义。

算法由Matlab和C语言混编实现。基于SIFT算法，提取图像特征点，形成特征点向量描述。利用Matlab迭代计算基本矩阵，将所有粗匹配点利用条件判断，满足条件的为真实匹配点，不满足条件的为误匹配点，并删除。

结合SIFT算法以及极线约束方程，提出的目标匹配算法流程如图2所示。

图2 目标匹配算法流程图Fig.2 Target matching algorithm during surveillance

图3为利用该算法运行得到的匹配效果。图中不满足约束条件的有2个匹配点，与目视的实际情况是符合的。

图3 程序运行匹配效果Fig.3 Target matching simulation

2 结果与分析

将结合极线约束算子的相似特征点匹配方法，应用于机场场面飞行器监视目标匹配。根据该算法，对不同拍摄角度、不同分辨率的图像进行处理。多组仿真表明，匹配点集中在机头前端（包括驾驶舱舷窗）、前起落架、主起落架、发动机进气口、垂直尾翼、大翼翼尖处。在选择比较高的比例阈值时，计算出的匹配点会出现在跑道灯、跑到裂纹等非飞机目标的物体上。甚至在选择有候机楼背景的监视区域时，会出现大量匹配点位于建筑物上。这对于以飞机为目标的监视系统带来“噪声”，影响定位计算效率。因此，监视背景以及比例阈值的选取对于以飞机为目标的匹配和定位有影响。

2.1 比例阈值对匹配的影响

采用486×729的8位灰度图像，先对2个视角图像计算，提取图像中的特征点，并建立特征点描述符。左侧视角图像计算出有144个特征点，右侧视角图像计算出有181个特征点。2个视角特征点如图4～图5所示。

图4 左视角特征点分布Fig4 Feature point distribution from left view

图5 右视角特征点分布Fig5 Feature point distribution from right view

对2幅视图中的144×188个特征点对中筛选匹配点。当比例阈值取0.4和0.9时，分析所有的粗匹配点，可得结果如图6～图7所示。

图中给出了粗匹配点的分布。比例阈值设定为0.4时，得到44个粗匹配点；其中有1个误匹配点，误匹配率为5%。其中位于飞机上，而且正确匹配的特征点约为93%。

比例阈值设定为0.9时，得到93个粗匹配点，其中有22个误匹配点，误匹配率为24%。匹配点的飞机特性不再明显，出现了如场面车辆匹配点或灯柱等匹配点，不利于目标位置计算。

图6 比例阈值为0.4的匹配效果与统计Fig.6 Matching result and statistics when threshold is 0.4

图7 比例阈值为0.9的匹配效果与统计Fig7 Matching result and statistics when threshold is 0.9

从这组实验的对比可以看出，比例阈值的选定对于场面监视下飞机匹配十分重要。比例阈值选择过高，误匹配率会显著增加，同时匹配点的飞机特性也有所降低。当比例阈值选择过低时，匹配点数目过少，难以完整有效地描述监视目标状态。恰当的比例阈值能够获得足够的匹配点和可以接受的误差率。

通过对比试验，利用SIFT算法的目标匹配，图像质量（包括图像大小以及图像完好度）以及比例阈值的选取对实验结果有着重要的影响。选取恰当的比例阈值，以飞机为监视目标的匹配点具有明显的飞机特性。

2.2 临界阈值对于匹配的影响

场面监视需要足够数量的匹配点，比例阈值的数值不能选取过小，否则会产生更多误匹配点。误匹配会使双目视觉的目标定位计算出现偏差。因此，数据处理过程中必须要消除误匹配点。以下是消除误匹配点的过程。目视选择8个匹配点坐标，如表1所示。

表1 8个目视匹配点坐标Tab.1 Coordinates of 8 matching points

将对应匹配点代入方程（7），经过迭代可以得到基本矩阵F为

选择比例阈值为0.7，计算得到73个粗匹配点。利用极线约束算子对所有粗匹配进行计算，找到2组误匹配点如图8～图9所示。

图8 第1组误匹配点Fig.8 Error matching point 1

图9 第2组误匹配点Fig.9 Error matching point 2

考虑到机场监视的视角固定，而且对时效有较高要求。本方法与利用RANSAC（随机抽样一致）的特征匹配误差矫正算法相比，可以免去RANSAC算法的迭代计算时间，保障场面监视的时效性。

3 结语

在图像处理领域中，SIFT算法特征独特性好，信息量丰富，并对尺度缩放、旋转、视角变化、遮挡、噪声和亮度变化等大部分干扰都具有很好的鲁棒性。SIFT算法在机场目标识别与匹配方面有很大利用价值。

但是该方法匹配精度无法保证，容易出现误匹配点。许多改进算法如SURF算法都无法改善基于欧式距离描述特征点相似度的SIFT算法，这是因为存在光照，拍摄角度差异等问题，误匹配可能比正确匹配具有更小的欧式距离。采用极线约束方程来剔除可视误匹配点的方法，可以达到正确像素匹配的目的[12]。

由于系统很小的测量误差会使一对匹配点无法满足极线约束方程。本文利用基本矩阵和已知匹配点坐标，定义极线约束算子比较利用极线约束算子计算值和临界阈值可以很好地找出误匹配点。

方法应用结果表明，结合SIFT和极线约束方程的匹配方法飞机特征点明显，匹配效果好。输出的像素点是机场飞机定位计算的关键。

[1]CAMPBELL S D，LONDNER E，KEEFE J，et al.Airport Surveillance Requirements Validation Using Monte Carlo Simulation[C]//2014 Tyrrhenian International Workshop on Digital Communications-Enhanced SurveillanceofAircraftandVehicles（TIWDC/ESAV）.Roma，Italy：IEEE，2014：29-34.

[2]罗 晓，卢 宇，吴宏刚.采用多视频融合的机场场面监视方法[J].电讯技术，2011，51（7）：128-132.

[3]曾 峦，王元钦，谭久彬.改进的SIFT特征提取和匹配算法[J].光学精密工程，2011，19（6）：1391-1397.

[4]韩 伟，郑江滨，李秀秀.基于外极线的快速精确立体匹配算法[J].计算机工程与应用，2008，44（1）：51-53.

[5]程德志，李言俊，余瑞星.基于SIFT算法的图像匹配方法[J].计算机仿真，2011，7（1）：285-287.

[6]龙建武，申铉京，臧 慧，等.高斯尺度空间下估计背景的自适应阈值分割算法[J].自动化学报.2014，40（8）：1773-1782.

[7]WANG H，YANG K，GAO F，et al.Normalization Methods of SIFT Vector for Object Recognition[C]//10th International Symposium on Distributed Computing and Applications to Business，Engineering and Science（DCABES）.Wuxi，China：IEEE，2011：175-178.

[8]王 梅，屠大维，周许超.SIFT特征匹配和差分相乘融合的运动目标检测[J].光学精密工程，2011，19（4）：892-899.

[9]杨晓敏，吴 炜，卿粼波，等.图像特征点提取及匹配技术[J].光学精密工程，2009，17（9）：2276-2282.

[10]HSU C Y，LU C S，PEI S C.Image feature extraction in encrypted domain with privacy-preserving SIFT[J].IEEE Trans Image Processing，2012，21（11）：4593-4607.

[11]SONKA M，HIAVAC V，BOYIE R.图像处理、分析与机器视觉[M].3版.艾海舟，苏延超，译.北京：清华大学出版社，2010：408-412.

[12]SHI G，XU X，DAI Y.SIFT Feature Point Matching Based on Improved RANSACAlgorithm[C]//5th International Conference on，Intelligent Human-Machine Systems and Cybernetics（IHMSC）.Hangzhou，China：IEEE，2013：474-477.

（责任编辑：刘智勇）

Target image matching for airport surveillance

WANG Jiana，NI Yu-bob
（a.Civil Aviation ATM Institute，b.Sino-European Institute of Aviation Engineering，CAUC，Tianjin 300300，China）

The binocular stereoscopic vision technology could be used to locate targets on an aerodrome.To ensure positioning targets，the pixels on images from two vision sensors should be matched precisely.Combining with the advantage of SIFT and an epipolar line constraint equation，a method of pixel matching is proposed.Using this method，it can not only ensure the accuracy of target matching，but also automatically find out the feature point of aircraft which is useful for position and calculation.

surveillance；binocular stereoscopic vision technology；SIFT；epipolar line constraint；threshold

TP317.4

：A

：1674－5590（2015）06－0017－05

2015-03-09；

：2015-04-02

：国家自然科学基金项目（61179043）；中央高校基本科研业务费专项（SY-1447）

王剑（1961—），男，江苏徐州人，教授，博士，研究方向为高速光纤通信系统、光电检测技术、航管雷达显示技术等.