多特征联合匹配的目标图像稳定跟踪算法

李玉珏，颜景龙

(1.北京理工大学 机电学院，北京100081;2.中国兵器工业系统总体部，北京100089)

0 引言

目标图像跟踪性能决定了成像制导打击弹药的精确性。对于复杂背景条件下，攻击移动目标，或者采用全程图像制导的微小型弹药来说，目标机动、环境光照、成像噪声，以及弹目距离由远及近而产生的成像视角变化等均会造成目标图像的剧烈变化［1-2］。此外，为了增加跟踪的可靠性和稳定性，跟踪特征必须具备空间和时间不变性，跟踪信息应具有一定的冗余性。因此，为了满足复杂应用要求，研究多特征联合跟踪算法具有重要意义。

1 灰度特征匹配跟踪算法及存在问题

基于灰度模板匹配准则的目标跟踪方法被广泛应用于目前各类成像制导系统［3］，一方面，该准则原理简单，便于实时实现;另一方面，对于大多数末制导应用场合，其精度基本能够满足要求。其基本方法为:在视频序列基准图中，锁定目标跟踪点，并以该点为中心选取模板，然后在后续视频窗口中，以一定的区域为搜索窗口，依据一定的匹配准则在其中搜索最佳匹配点，并建立跟踪窗口。常用匹配准则有MAD、MSE，以及NCC 等。依据处理流程，算法由搜索和匹配两部分组成;依据处理域，算法又可分为时域和频域两类。序贯相似性检测算法(SSDA)［4］和相位相关跟踪算法［5-6］，是目前较为成熟的两类灰度模板匹配方法。

基于灰度模板匹配的目标跟踪算法需要克服目标机动而造成的成像视角变化，诱饵干扰，环境光照变化，目标图像膨胀，以及成像噪声等问题。图1为某型导弹距离目标由远及近，目标在成像平面上所占像素数变化情况。可以看出，随着飞行时间积累，尤其在飞行末端，目标图像膨胀非常严重，影响了系统的最小跟踪距离。

2 点特征匹配跟踪算法及存在问题

相比于灰度特征而言，目标的点特征以目标的基本物理结构作为特征提取依据，无论目标如何运动，光照条件、成像角度如何变化，目标的结构形式都将保持不变，因此点特征具有一定的空间不变性［7］。通常使用的特征点提取方法包括Moravec、Harris、KLT、SIFT 等。

图1 目标像素数随飞行时间变化情况Fig.1 Target pixel numbers vs missile flying time

点特征匹配跟踪的基本方法为:首先对模板图像和视频图像计算特征点，以模板图像中的所有特征点为参考，在视频图像中寻找匹配点，匹配准则和搜索策略与灰度模板匹配类似;然后以视频图像中已经找到的特征点为参考，在模板图像中寻找匹配点，取二次匹配一致的点作为最佳匹配特征点;最后，对匹配点群进行聚类分析，并进行模板更新。

通过特征点匹配，可以获得多个匹配点对，如何确定唯一的最佳跟踪点，需要对多个点对进行聚类处理。此外，在序列图像中，不同帧的匹配点对可能存在数量上的变化，造成聚合跟踪点在一个范围内漂移，降低了目标轨迹的平滑性。

3 多特征联合匹配的目标跟踪算法

多特征联合匹配基于数据融合理论，充分利用了匹配信息的冗余性，避免单一特征在跟踪过程中失效而造成的跟踪失败。以下就多特征联合匹配目标跟踪算法中的3 个关键问题进行讨论。

3.1 多特征选择

特征选择与场景类型、背景复杂程度、目标数量、目标运动方式等有关。可利用的目标特征包括颜色特征、几何特征、变换域特征和统计特征等，目前较常见的目标跟踪算法与特征类型对应关系如表1所示。

目标的颜色特征是其在图像中的最直接表示，包含了90%的目标信息量，以灰度值、光流或者直方图等形式表示，在对空、对海，以及较为简单的对地应用背景中，如果场景光照变化不大，可以使用颜色特征进行目标跟踪。几何特征代表了目标的本质结构，点、线、面间的相互约束关系不受光照、视角、弹目距离等客观因素影响，是最为稳健的跟踪特征，对于复杂背景条件下的应用，几何特征能够取得较好的效果。统计特征能够提高复杂环境下的目标跟踪稳定性。变换域特征是颜色特征在频域的体现，虽然其克服了光照变化对目标跟踪的影响，但其处理过程和实时实现都较为复杂，阻碍了其在工程上的应用。综合上述对各种目标跟踪算法和目标特征的分析，形成以下几种特征选择方案:1)颜色特征加几何特征;2)颜色特征加统计特征;3)几何特征加统计特征;4)颜色特征加几何特征加统计特征。

表1 目前较常见的目标跟踪算法与特征类型对应关系Tab.1 Corresponding relationship between target tracking algorithms and features

当然，上述几种特征组合方式是在对各种跟踪算法理论分析和仿真实验中获得的经验性结论，对于各种特征的具体算法选用还应由特定应用环境确定。

3.2 多特征融合跟踪策略

多特征融合跟踪充分利用了冗余匹配信息，避免单一方法失效而造成的跟踪失败。设n 种跟踪方法获得的目标跟踪点坐标分别为P1(x，y)，P2(x，y)，…，Pn(x，y)，目标的特征向量为V，各跟踪点处的特征向量为Vi(i=1，2，…，n)，通过计算两特征向量之间的相似度，确定目标跟踪精度。常用的相似性度量方法有均方误差评价法、相关系数评价法、拟合优度评价法、归一化内积法、Camberra 距离法、频谱分析法等。为简单起见，本文应用向量差绝对和作为相似性度量准则，用公式表示为

其值越大，表明两向量相似度越好，则跟踪点越精确。并对各相似度进行归一化处理，得各特征对应权值:

以多特征融合方式获得的目标跟踪点坐标表示为

在上述多特征融合跟踪策略中，特征向量V 的选择可以有多种方式，研究中以跟踪点为中心，选取20 ×20 邻域(尽可能包含目标)，统计其灰度直方图，构建N×1 维特征向量。

3.3 算法流程

多特征融合目标跟踪算法流程如下:

1)初始跟踪点确定。初始跟踪点人为指定产生，并生成初始目标特征向量V0.

2)权重w 的确定。应用多特征算法分别进行目标跟踪处理，计算特征向量的相似度，并确定各跟踪点对联合跟踪坐标的权重。

3)跟踪点修正。在进行目标跟踪中，通常假设目标是刚性的，且其运动轨迹比较平滑，尤其在图像制导应用中，一旦完成目标锁定，目标角位移在图像中变化很小(小于几个像素)。若某种跟踪算法的相似度权重过小，并且相邻两帧跟踪点偏移范围大于给定邻域大小，则可认为该跟踪算法失效，不参与该帧联合跟踪计算。这里以5 ×5 邻域作为跟踪点偏移范围。

4)目标特征向量更新。获取多特征联合跟踪点之后，计算该跟踪点邻域特征向量与前帧特征向量的相似度，若其小于给定阈值，则更新目标特征向量;否则，继续以前一特征向量参与计算。

算法流程图如图2所示。图中THw为权重阈值，Ω 为跟踪点邻域，THV为相邻两帧跟踪点特征向量差阈值。

4 仿真

图3所示为某导弹导引头飞行视频中的若干帧，可以看出，地面背景比较复杂，目标模板变化较大。仿真中综合利用灰度模板匹配和Harris 角点匹配算法进行跟踪点联合定位。

为了减少数据量，等间隔抽取跟踪视频中的100 帧数据进行算法有效性验证。

图2 多特征联合匹配目标跟踪算法流程图Fig.2 Flow chart of multi-feature joint match target tracking algorithm

图4为应用模板匹配法和Harris 角点法对上述视频进行目标跟踪的跟踪点坐标分布图。

其中灰度模板选取20 ×20 像素，由模板匹配法获得的跟踪点坐标漂移范围在3 个像素以内，但模板匹配法容易造成跟踪点的误差积累，产生跟踪漂移，不利于目标跟踪。由图中模板匹配跟踪坐标点分布曲线的变化趋势也可看出这一点，而且当灰度变化较大时，有可能出现完全丢失目标的情况。Harris 角点法能够较好地跟踪目标运动趋势，尽管造成了较大的跟踪点帧间漂移，但对整个跟踪过程来说，由于匹配点对基本上处于目标区域，这种误差不会造成目标的彻底丢失，因此其在全程均具有一定可信性。图中Harris 角点法跟踪坐标最大散布范围为8 个像素，离散性较大，同样不利于稳定跟踪。

下面应用多特征联合匹配目标跟踪算法进行跟踪点联合定位。

4.1 相似度度量

以各跟踪点的20 ×20 像素邻域为区域，进行灰度直方图统计，并依据相似度度量准则计算特征向量的相似性。图5为相似性度量及归一化权重数据分布曲线。

图3 跟踪视频中的若干帧Fig.3 Video frames of tracking course

初始跟踪点人为指定，在初始帧具有数值为1的相同相似度，以及0.5 的相同权重。图5(a)显示两种方法在各帧跟踪点邻域同目标的特征向量间相似程度。该准则定义数值越大，相似度越高，在跟踪初期，目标跟踪比较稳定，对应相似度较高;而随着跟踪的进行，由于跟踪点的漂移，造成了相似度降低，曲线趋势验证了这一过程。图5(b)为各自跟踪点对联合跟踪点定位的归一化权重曲线。由于只有两种方法参与跟踪运算，其权重关系为w2=1-w1，因此两者归一化权重曲线基本上对称于w=0.5 的直线。从两图可以看出，由Harris 角点匹配算法确定的跟踪点与目标的相似度高于灰度模板匹配方法，相应的权重也越高，这同理论上分析一致。

图4 模板匹配法和Harris 角点法实现目标跟踪Fig.4 Target tracking performed by template match and Harris corners

4.2 跟踪点联合定位

获得各算法对跟踪点的归一化权重后，即可应用多特征跟踪策略实现跟踪点联合定位。图6为多特征跟踪点联合定位的x，y 坐标分布图。

由上述计算可见，两种算法的跟踪点归一化权值均大于0.4，且跟踪点偏移范围在3 ×3 像素以内，所以各特征均参与了跟踪点的联合定位，并且依据算法对模板更新要求进行了操作。由曲线可以看出，应用权重进行跟踪点重定位之后，目标跟踪轨迹综合了两种方法的定位信息，保持跟踪点漂移不大于3 个像素，同时能够利用两种方法的优点，实现稳定跟踪目的。

基于灰度特征和基于点特征的跟踪算法均是以二维运动估计中的块匹配理论为依据，因此，两者可以应用相同的模板，以及相同的模板更新策略，以应对模板变化对跟踪的影响。多次仿真发现，两者在某些方面存在着差异，进行联合跟踪，需要考虑各自的特点。这些差异表现在两个方面:一方面，两者对模板大小有一定的要求，对于点特征匹配方法，模板尺寸太小，不利于特征点选取，模板越大匹配越精确;对于灰度特征匹配方法，模板太小，目标丢失可能性增加，目标太大则增加了计算量。经过仿真验证，点特征匹配方法选取模板大小为50 ×50 像素，灰度特征匹配方法选取模板大小为20 ×20 像素，可以达到较好的联合跟踪效果;另一方面，模板更新方式对于灰度匹配方法有较大的影响，变模板极易造成跟踪点漂移，并最终丢失目标。固定模板则易受弹目角度、距离变化的影响，实用性不强。相比之下，特征点匹配方法对定模板和变模板均有良好的适应性。

图5 相似性度量及归一化权重Fig.5 Comparability measure and generalized weight

4.3 对算法的进一步探讨

由图6可见，联合跟踪点虽然基本上综合了两种策略的匹配点分布，但分布曲线平滑性仍然不够，这可能与3 个方面的因素有关:一方面，用于测试的视频序列目标运动轨迹比较复杂，存在旋转运动;另一方面，权重需要进一步优化，以提高联合跟踪点分布合理性;第三，联合定位获得的跟踪点轨迹仍是目标实际轨迹的近似，进一步借助滤波，能够有效消除噪声影响，得到关于目标位置的最优估计，有利于实现平滑跟踪。

基于模板匹配的SSDA 算法已经被广泛应用于简单背景下的目标跟踪系统，并满足实时实现要求。Harris 点特征匹配算法通过采用开窗、提高阈值等手段，亦能够大大降低特征点选择和相关操作的计算量，满足实时处理要求。因此，本文验证的多特征联合匹配目标跟踪算法可由多DSP 协同实现，满足实时性应用要求。

图6 多特征跟踪点联合定位Fig.6 Joint confirmation of multi-feature tracking point

5 结论

采用导弹实际飞行数据，应用灰度模板匹配和Harris 角点匹配方法进行了算法验证，对比单一特征跟踪方法，证明了多特征联合匹配算法进行目标跟踪的有效性和合理性，并对算法的进一步优化和实时性实现进行了探讨。理论分析和仿真结果表明:多特征联合匹配的目标跟踪算法能够提高目标跟踪信息的冗余性，通过分配权重，确定各种方法对联合确定目标跟踪点的贡献，避免单一特征失效对跟踪进程的影响，实现稳定跟踪的目的。

References)

［1］ William Roberts，Leslie Watkins，Dapeng Wu，et al.Vehicle tracking for urban surveillance［J］.Proc of SPIE，2008，6970:69700U-1-69700U-2.

［2］ Alper Yilmaz，Omar Javed，Mubarak Shah.Object tracking:a survey［J］.ACM Computing Surveys，2006，38(4):4-7.

［3］ Moira I Smith，Jamie P Heather，Jason F Ralph，et al.Target tracking for missile warning application［J］.Proc of SPIE，2004，5428:282-293.

［4］ 沈慧玲，戴本祁.一种基于序贯相似性检测算法(SSDA)的加速算法［J］.光电技术应用，2006，21(4):60-64.SHEN Hui-ling，DAI Ben-qi.A speed-up algorithm based on SSDA［J］.Electro-optic Technology Application，2006，21(4):60-64.(in Chinese)

［5］ 靳鹏飞.基于自适应模板相关跟踪算法的研究［J］.西安邮电学院学报，2007，12(1):44-47.JIN Peng-fei.Study on correlation tracking algorithm based on adaptive reference template［J］.Journal of Xi’an University of Post and Telecommunications，2007，12(1):44-47.(in Chinese)

［6］ 吴四夫，付宇卓，邓红梅.基于相位相关算法的实时图像匹配系统［J］.计算机仿真，2005，22(11):84-87.WU Si-fu，FU Yu-zhuo，DENG Hong-mei.Real time imaging matching system based on phase only correlation［J］.Computer Simulation，2005，22(11):84-87.(in Chinese)

［7］ 王向军，王研，李智.基于特征角点的目标跟踪和快速识别算法研究［J］.光学学报，2007，27(2):360-364.WANG Xiang-jun，WANG Yan，LI Zhi.Fast target recognition and tracking method based on characteristic corner［J］.Acta Optical Sinica，2007，27(2):360-364.(in Chinese)