一种基于特征点匹配的目标跟踪方法

管学伟



一种基于特征点匹配的目标跟踪方法

管学伟

（四川九洲电器集团有限责任公司，四川 绵阳 621000）

针对精确制导系统图像跟踪的特点，在研究图像特征点匹配的基础上提出了一种应用于地面固定目标跟踪的新方法。首先在高斯差分尺度空间提取特征点；然后用邻域梯度描述特征点，用最近邻与次近邻的比值作为特征点的匹配准则；接着建立仿射模型解算跟踪点；最后设计了一种有效的参考图更新方法。大量的仿真实验表明该方法对地面固定目标具有较好的跟踪性能，能有效抑制跟踪漂移现象，展示了很好的鲁棒性。

目标跟踪；特征匹配；仿射模型；尺度空间

0 引言

目标跟踪是计算机视觉研究领域中的经典问题，其在民用和军事上都有着重要的研究和应用价值。目标跟踪本质上是将参考图中选定的目标在接下来的实时帧图像中寻找目标的最佳位置，其中参考图中的目标选定可以采用通过目标自动检测识别的方法来获取，也可以采用人工参与的方法选定。目标跟踪的方法很多，如形心跟踪，边缘跟踪，灰度相关跟踪，均值漂移（mean-shift）算法[1]，区域协方差矩阵的方法[2]等等，这些算法都在各自的应用领域取得了很大的成功，也都有各自的缺点[3]。

在精确制导武器应用中地面固定目标如机场、桥梁、雷达站等是一类具有较高价值的目标，研究针对此类目标的稳定跟踪方法具有重要的意义。针对地面固定目标的跟踪，当前图像跟踪系统中应用的跟踪方法常出现跟踪点漂移，尤其在制导末端出现当目标迅速膨胀时无法持续稳定跟踪等现象，本文在研究图像特征点匹配方法的基础上，实现了一种针对地面固定目标的跟踪算法，同时进行了大量的仿真测试，取得了较好的效果。

1 特征点匹配算法原理

图像的特征常可分为点、线、面3种[4]。点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点，尺度空间极大值点等。图像的特征点匹配是指将两幅图像相同场景点对应起来的过程。假设有两幅图像，一幅图像称为参考图，又称基准图；另一幅图像为待匹配图像，本文将特征点匹配应用于精确制导系统的目标跟踪，待匹配图像由传感器实时获得，故称之为实时图。图1是图像特征点匹配的基本流程。

图1 特征点匹配流程图

由图1可知，图像特征点匹配大致可分为4个部分[5]：

1）特征点提取。图像特征点一般是灰度变化的局部极值点，其邻域图像含有显著的结构性信息，也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上其邻域区域含有丰富的易于匹配的信息。重要的是特征点能在参考图和实时图中重复的提取到，这是保证特征点匹配算法有效的基础。常用的特征点提取算子有Moravec算子[6]、Harris算子[7]、Harris-affine算子[8]以及SIFT（Scale Invariant Feature Transform、尺度不变量特征变换）算子[9]等。

2）特征描述子生成。这是各个匹配算法主要的不同所在。特征描述要求对特征点邻域信息提取一些不受光照、旋转、缩放、平移等因素影响的特征，特征空间的选择决定了图像的哪些特性参与匹配，哪些特性将被忽略。选择合理的特征空间可以降低各类图像变化因素对匹配算法稳健性、速度的影响。特征可以是灰度值，也可以是边界、轮廓、统计特征（如矩不变量）、高层结构描述与句法描述等。

3）特征匹配。这一步是建立参考图和实时图特征点之间的对应关系。这一步包含两个重要的方面，特征相似性度量和匹配搜索策略。特征的相似性度量根据生成的特征描述子，一般采用各种距离函数作为特征的相似性度量，如欧氏距离、街区距离、马氏距离等。选择合适的匹配搜索策略能够降低错匹配的概率，提高匹配速度。

4）图像变换参数解算。在这一步中建立图像的变换模型和消除错配尤为关键，因为无论采用何种特征描述子和相似性判定度量，错配难以避免，必须利用某些约束信息去除候选匹配点中的错配；建立合适的变换模型有利于提高变换参数求解精度，降低运算复杂度，常用的变化模型有刚体变换、仿射变换、投影变换和非线性变换等。

可以看出图像特征点匹配是一种灵活性很大的技术方法，实际应用中应该根据具体的问题，有针对性的对上述几个步骤进行设计。

2 基于特征点匹配的目标跟踪技术

2.1 特征点提取

考虑下面的情况：当飞行器飞向目标的过程中，尤其是接近目标的最后阶段，目标在像面上成像迅速膨胀，这是一个典型的尺度问题。而基于尺度空间理论发展来的SIFT算法对尺度变化情况下的图像匹配问题尤其有效[9-10]，因此本文采用基于SIFT算法的特征点提取方法，具体方法如下：

1）尺度空间生成

在一系列合理的假设下，Koendetink证明高斯卷积核是实现尺度变换的唯一变换核[11]，Lindeberg等人进一步推导证明高斯核是唯一的线性核[12]。一幅二维图像(,)，则它在尺度空间里的图像(,,)可由图像与高斯核卷积得到：

(,,)＝(,,)Ä(,) (1)

式中：(,,)是二维高斯函数：

为了有效地在尺度空间检测到稳定的特征点，Lowe提出了高斯差分尺度空间（DOG尺度空间，Difference-Of-Gaussian），利用不同尺度的高斯差分函数与图像卷积生成：

D

(

x

,

y

,

s

)＝[

G

(

x

,

y

,

k

s

)－

G

(

x

,

y

,

s

)]

Ä

I

(

x

,

y

)＝

(,,)－(,,) (3)

2）空间极值点检测

为了寻找尺度空间的极值点，每一个像素点要和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点共26个点比较，如果为极值的话，即判断为候选特征点。

在极值点检测之后，SIFT算法建议了一种用三维二次函数拟合的方法来精确定位极值点，去除低对比度的极值点；同时通过Hessian矩阵去除不稳定的边缘响应点（因为DOG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力。但针对本文的实时跟踪系统应用，这个方法对匹配性能的提高有限，对于增加的运算量来说，显得得不偿失，故而略去这一步，直接将检测到的极值点作为特征点。

2.2 特征点描述

尽管SIFT算法中基于梯度方向直方图的特征描述子是独特的、鲁棒的，但其生成方式比较复杂，对于目标跟踪这样实时性要求很高的应用在当前的硬件平台上实现较困难。本文引入比较成熟的灰度相关匹配思想，形成了一种多维梯度特征描述子。该描述子的基本步骤如下：

1）以特征点为中心选取9×9图像邻域小块，计算每个像素的(,)方向上的梯(I,I)，I和I由Sobel算子生成，如图2所示。

图2 垂直、水平方向上的Sobel算子

3）令MG＝|I|＋|I|＋G，MG称之为(,)处的梯度联合响应，(,,)称之为梯度权值系数，经验选取(2, 2, 1)；

4）以特征点为中心9×9图像邻域每个像素点的梯度联合响应作为特征分量，这样每个特征点形成81维的特征向量(1,2, …,81)。

2.3 特征点匹配

采用欧氏距离作为匹配相似性度量：

式中：(,)表示特征点,之间的欧氏距离。当参考图和时实图的特征向量生成后，对于参考图中的每一个特征点，在实时图中找出与其欧氏距离最近的前2个特征1，2（1＜2），利用最近邻比值来判决是否接受匹配点对，为方便运算，避免开平方的计算，公式表示如下：

12－22＜0 (5)

这里通常取0.5～0.6，至此形成匹配对的特征点构成匹配点对集。

2.4 跟踪点解算

这里计算图像的变换参数时采用六参数仿射模型。实际上仿射模型是一个非奇异（no-singular）的线性变换接上一个平移变换，是图像之间非线性变换模型的一阶线性近似，它引入了目标的变形参数，而传统的相关法仅考虑目标在两幅图像中的平移量，没有考虑变形量。这就使得本方法的运算模型较为精确，同时它又是一阶线性近似，模型不至于太复杂[13]。可以说仿射模型既在一定程度上保证了模型的精确性，又简化了计算。通过解匹配点的变换方程来计算图像间的变换参数。对于图像间对应的两点(,)，(,)的仿射变换可以用下面公式表示：

利用匹配点对集，用最小二乘法求出6个仿射参数，然后求出参考图中的跟踪点在实时图中的对应位置。

2.5 参考图更新

要实现持续稳定的目标跟踪，更新参考图（模板）是必要的，然而由于跟踪过程中帧间变化一般较小，过快的模板刷新反而会加速跟踪漂移现象的产生。寻找合适的模板刷新方法是一项很难的工作，最简单的刷新方法是定时刷新，显然这对复杂多变的跟踪过程是不合适的。本文采取的参考图刷新方法是根据特征点匹配的状况来决定是否刷新模板，具体方法如下：假设实时图中提取到的特征点数目为，匹配的点数目为，为确保跟踪点计算的精度，必须保证有足够多的正确匹配点，当下列任一条件满足就认为参考图与实时图变形比较大，需要刷新模板。参考图更新条件为：

条件(a)表示匹配点应与提取到的特征点保持在一定比例以上；条件(b)表示最少有8个正确的匹配点来求解跟踪点位置。满足上述任一条件后则更新参考图，将上一帧中的实时图作为接下来的参考图，继续下面的跟踪。

3 实验结果与分析

通过在Matlab平台下编程实现本文算法，并对大量图像和视频序列（包括可见光和红外）进行了仿真实验，结果证明算法的有效性和可行性。图3是一段通过摄像机拍摄的可见光视频，目标为卫星电视接受天线，目标在图像中的变化包括：摄像机焦距调整引起的目标尺度的变化，光照的变化，人手抖动造成的目标平移和旋转，以及各种噪声的影响等等。初始锁定的跟踪点为卫星天线锅底中部的黑点，黑色边框的中心为跟踪过程中锁定的跟踪点，可以看出整个跟踪过程漂移不明显，目标始终锁定在一定范围之内。图4是一段从飞机上采集到的红外视频序列，跟踪目标为一建筑物，目标有由远及近，发生较大的旋转和尺度变化，可以看出算法能够适应这些变化，整个过程跟踪稳定，未出现明显的跟踪漂移现象。黑色边框的中心为锁定的目标跟踪点。

显然算法的运算复杂度和待处理的图像区域大小紧密相关，对参考图和实时图进行全图处理是不必要的，但选取的图像区域也不能太小，过小的图像区域不能保证提取到足够多的稳定的特征点，也就不能保证匹配的精度，最终导致解算的跟踪点误差较大。同时图像区域选取过小，造成参考图和实时图重叠区域较小，甚至没有重叠区域，这样将导致跟踪失败。本文在参考图和实时图中选取以跟踪点为中心128×128像素大小区域，这样做一方面保证待匹配的两幅图像区域包含大量的特征信息，使提取的特征点数目保持在一定水平（30个以上）；另一方面，当飞行器极端情况下发生剧烈晃动，图像发生了较大平移量，例如在某一方向上平移了64个像素，这样参考图和实时图之间仍然有64×128的重叠区域，保证了图像匹配以及最终跟踪点求解的精度。将算法移植到基于TMS320C6678处理器的硬件平台，经过一系列软件优化后，将采集的图像视频数据导入到硬件平台中进行处理，以此来验证算法的实时性，通过实验表明本文算法能够满足50Hz帧频实时处理的性能要求。

4 结论

本文在基于图像特征点匹配算法的基础上，形成了一种针对地面固定目标稳定跟踪的方法。该方法针对图像跟踪系统的实际应用要求，提出了一系列解决方法。大量实验结果表明，本文的方法能一定程度上克服图像跟踪系统在目标迅速膨胀时无法持续稳定跟踪的现象，有效解决跟踪点漂移问题，在光电精确制导武器末端制导系统中具有较强的应用潜力。

图3 可见光图像跟踪仿真结果

图4 红外图像跟踪仿真结果

Fig.4 Results of IR image tracking

[1] Comaniciu D, Ramesh V, Meer P. Real-time tracking of non-rigid objects using mean Shift[C]//, 2000: 142-149

[2] Porikli F, Tuzel O, Meer P. Covariance tracking using model update based on Lie Algebra[C]//(), 2006, 1: 728-735.

[3] Porikli F. Achieving real-time object detection and tracking under extreme conditions[J]., 2006, 1(1): 33-40.

[4] 戚世贵. 基于图像特征点的提取匹配及应用[D]. 长春: 吉林大学, 2008.

QI Shigui.The Research of Features Extraction, Registration and Application[D]. Changchun: Jilin University, 2008.

[5] 胡志萍. 图像特征提取、匹配和新视点图像生成技术研究[D]. 大连: 大连理工大学, 2005.

HU Zhiping. Extraction Corresponding Feature and Image Synthesis of New Viewpoint[D]. Dalian:Dalian University of Technology, 2005.

[6] Moravec H. Rover visual obstacle avoidance[C]//, Vancouver, 1981: 785-790.

[7] Harris C，Stephens M. A combined corner and edge detector[C]//, Manchester: University of Manchester, 1988: 147-151.

[8] Mikolajczyk K, Schmid C. Scale and affine invariant interest point detectors[J]., 2004, 60(1): 63-86.

[9] Lowe D G. Object recognition from local scale invariant features[C]//, Corfu, 1999: 1150-1157.

[10] Lowe D G. Distinctive image features from scale invariant key points[J]., 2004, 60: 91-110.

[11] Koenderink J J. The structure of images[J]., 1984, 50: 363-396.

[12] Lindeberg T. Scale-space theory, a basic tool for analysing structures at different scales[J]., 1994, 21(2): 224-270.

[13] 刘晓春, 朱宪伟, 于起峰. 基于生物视觉的目标匹配原理与实验进展[C]//光电探测与制导技术的发展与应用研讨会论文集, 2007: 17-19.

LIU Xiaochun, ZHU Xianwei, YU Qifeng.Target matching based on biological vision and its developed experiment[C]//, 2007: 17-19.

A Method of Object Tracking Based on Feature Point Matching

GUAN Xuewei

(,621000,)

Aiming for the image tracking feature of precise guidance systems, a new object tracking algorithm based on image feature point matching is proposed to track ground immovable object. Firstly, feature points are extracted by using DOG(Difference-Of-Gaussian) scale space. Secondly, feature points are described by local gradient, the ratio of between the nearest neighbor point and the second nearest neighbor point is set as feature point matching criterion. Thirdly, tracking position is got by calculating affine model. Finally, an effective update strategy of reference image is proposed. Many experiments show that this method is robust to track ground immovable object and can effectively inhibit tracking-shift.

object tracking，feature matching，affine model，scale space

TP391

A

1001-8891(2016)07-0597-05

2015-10-20；

2016-03-09.

管学伟（1982-），男，工程师，研究方向为光电信号与信息处理。