移动目标跟踪的多特征融合算法综述

宁德师范学院　杨慧玲

移动目标跟踪的多特征融合算法综述

宁德师范学院杨慧玲

对于复杂情形下的视频目标识别、跟踪问题，依靠单一特征往往是不充分和不稳定的。利用多特征信息融合，可以有效提高跟踪效果。本文首先简要介绍了特征信息的分类和提取方法，然后对现有的面向移动目标跟踪领域中多特征融合方法进行分类总结。最后，讨论这些方法所存在的问题，并指出今后研究的发展方向。

目标跟踪；多特征融合；贝叶斯网络；粒子滤波；卡尔曼滤波

1　引言

目标跟踪问题的研究是计算机视觉领域的一个重要研究课题，近几十年来，随着卡尔曼滤波算法（KF）、扩展卡尔曼滤波算法（EKF）、粒子滤波（PF）、均值迁移等各种算法的发展，跟踪算法也得到了长足的进步。然而，值得注意的是目前很多跟踪方法都是基于单一特征的跟踪方法。对于复杂情形下的视频目标识别、跟踪问题，例如光照变化、背景复杂，目标与背景色相近，目标形状变化、被遮挡等，很难取得良好的效果。融合多种特征，使特征之间取长补短，是解决这一问题的有效手段。本文主要介绍目标跟踪领域中常见的几类多特征融合方法，详细分析其优缺点，最后讨论现有融合方法存在的问题和今后研究的方向。

2　特征信息的分类和提取

在实际跟踪过程中，常使用颜色、边缘、纹理、运动等特征来表征目标。颜色特征最常用的提取方法是颜色矩、颜色直方图［1］；提取边缘的方法是对原始图像按像素的某邻域构造边缘检测算子，常见的提取方法有梯度算子，Sobel算子，拉普拉斯算子，Canny算子等；纹理特征可以用来补充描述目标的形状信息，与边缘特征相比，抗干扰性强且不受全局灰度变化影响，近年来有学者提出了一种LBP纹理特征来描述目标的形状信息；运动特征的提取一般是对原始图像采用搜索匹配算法来进行匹配。在目标跟踪中，颜色特征对于旋转、非刚体及部分遮挡的目标物体来说具有较高的可分性，因此在大多数的场合下都是作为首选的特征。但是颜色特征不包含目标像素的空间信息，易受光照和背景颜色影响，因此当目标发生光线和背景颜色的变化时，可以采用纹理特征、运动特征、边缘特征来补充目标的形状信息。

3　多特征融合方法及算法

按照融合方法的本质和问题空间来分，多特征融合方法大体上可以分为以下三类：基于线性融合的方法、基于分类的方法和基于估计的方法。

3.1基于线性融合的方法

基于线性融合的方法包括线性加权、乘性融合、投票法、最大最小融合规则等，其优点是简单、计算量小。加权和融合是最简单且应用最为广泛的方法之一，其实质是对数据源进行加权处理，利用样本的相互关系得到特征的加权系数，此系数反应了特征鉴别性的大小［2］。其具体的表达式如下式所示：

其中，m表示跟踪时融合m种特征，ai表示第i个特征所对应的观测概率的权值，满足。这种加权和融合的结果在一定程度上抑制了噪声，但它并不能提高融合跟踪的可信度，而且在融合过程中，提取的特征数越多，特征的空间维数就会相应变多，使得概率密度估计变得复杂。为了解决该问题，Li等［3］提出了一种乘性融合策略，在粒子滤波的框架下，通过融合颜色、结构和边缘等多种特征，实现对目标的跟踪，用三种特征观测概率的乘积作为目标状态的观测似然概率，其表示式为：

其中zi为第i个特征下的观测概率且各特征相互独立，x为待估计目标的状态。

线性融合方法在目标跟踪领域应用最为广泛，其计算消耗量较少，而且能实时处理动态数据，但这种方法只有在不同特征权重已经分配好的情况下才能取得较好的效果，要调整和设定权重的工作量较大，且具有一定的主观性。

3.2基于分类的融合方法

基于分类的融合方法包括：支持向量机、贝叶斯推断、Dempster-Shafer理论（DS）、神经网络等。这类融合方法是将多特征观测值分成预定义的类的分类技术。需要注意的是，可以进一步划分为机器生成模型和判别模型。例如，贝叶斯推理和动态贝叶斯网络是生成模型，而支持向量机和神经网络是判别模型（条件模型）。

3.2.1支持向量机（SVM）

支持向量机的分类方法对解决小样本、高维空间和不确定条件下的多特征融合问题具有较好的效果，而且不过分依赖样本的数量和质量。在考虑多分类器融合时，权值的意义为每一组分类器判决结果在最终融合结果中所占的重要性。在分类问题中，分类器的判决准确性显然可以作为描述这种重要性的指标，文献［4］提出的融合权值计算方法：

该权值可以根据每组分类器概率输出情况进行自我调整，对于每种特征在融合结果中所占有的重要性具有高度契合性。在确定了所有权值wj的基础上，可以通过加权的方式对m种特征进行融合。

3.2.2贝叶斯推理方法

它常被称为“经典的”传感器融合方法，多特征信息以概率论的规则进行组合。该方法将多个特征中获得的观察结果与不同的分类中获得的决策相结合，得到观测值或决策推导联合概率的推论值。

贝叶斯推理融合方法被简要地描述如下：要融合从m种不同的方式获得的特征向量或决策假定这些方法是独立的，假设H是基于所述融合的特征矢量或融合的决策的联合概率，那么可以得到：

其中，N是用于归一化后验概率的估计：wj是第k个模式的权重，。贝叶斯推理方法主要基于新的观察结果，它可以计算所述假说是真实的概率。但是贝叶斯推理方法需要明确定义先验和假设的条件概率，如果没有适当的先验知识，该方法不能很好地执行。

3.2.3D-S证据理论

Dempster-谢弗（D-S）证据理论是不确定推理的一种重要方法，在证据理论中采用信任函数而不是概率作为度量，因此可以区分不确定和未知状态的差异，能够很好地表示未知信息的程度。使用D-S理论融合多特征信息的一般方法如下，先根据输入证据（特征信息）和基本概率分配函数来对命题分配基本概率值，然后利用证据理论的组合法则对命题证据组合，最后根据组合后命题的基本概率值进行决策判决并得到识别结果。但是对于Dempster组合规则，具有“一票否决”的弊端。

3.2.4神经网络

文献［5］中提出了将神经网络学习机理应用到标准卡尔曼滤波中的一种混合目标跟踪器，这种融合算法的基本思想是结合卡尔曼滤波的估计能力和神经网络的学习能力，用神经网络的输出来进一步修正卡尔曼估值，进而提高精度。文献［6］中提出了一种基于神经网络的信息融合系统，如图3-1所示。在对单个目标进行跟踪时，算法采用双滤波器并行结构，BP网络基于全状态输入样本集进行离线训练。根据特征向量在线自动调节网络输出，以适应目标的各种运动变化。

图3-1　基于神经网络的信息融合系统

3.3基于估计的融合方法

估计类别包括卡尔曼滤波器，扩展卡尔曼滤波和粒子滤波融合方法。卡尔曼滤波估计方法允许动态底层数据的实时处理并提供系统的状态估计，是一种应用广泛的融合方法，使用仅限于线性系统模型，且不适合非线性特征。Strobel等人［7］侧重于单个目标的定位和跟踪，将标准的卡尔曼滤波用来定位视频图像。粒子过滤器可以克服卡尔曼滤波器的缺点，常用于估计状态分布的非线性和非高斯状态空间，文献［8］提出一种在粒子滤波框架内对多种特征观测进行概率融合的方法。设各个特征的相似度观测是相互独立的， 利用它们的联合相似度来构建观测似然，即第i个粒子的联合相似度为：

l为特征索引，为所有粒子在第l个特征上相似度的最大和最小值。联合概率观测克服了单一特征观测不可靠的缺点。但如果其中一个特征观测非常不准确。势必会影响到联合观测的准确性。

以估计为基础的融合方法通常用来估计和预测一段时间内的观测值。这些方法适用于目标定位和跟踪任务。卡尔曼滤波适用于线性模型系统，扩展卡尔曼滤波器更适合于非线性系统。而当粒子滤波方法的样本数接近贝叶斯最优估计值时，对线性模型和非线性模型更加鲁棒。

4　结束语

本文所讨论的多特征融合主要是针对目标跟踪领域展开的，但该领域的理论研究和技术应用研究正分别朝着广度和深度两方面发展，要形成一套完整的多特征融合理论框架和通用的融合算法还需要更深入的探索。另外在平衡算法复杂度和运行速度二者关系、特征的最佳选择和自适应更新的问题上还需要进行深入研究和探讨。

［1］郭运艳.视频序列中目标的多特征融合跟踪技术研究［D］.宁波大学，2013.

［2］郭雷雷.智能环境下基于视频多特征融合的单说话人跟踪方法研究［D］.兰州理工大学，2014.

［3］Li P H，Chaumette F.Image cues fusion for object tracking based on particle filter. In： Proceedings of the 3rd Inter-national Workshop on Articulated Motion and Deformable Objects.Palma de Mallorca，Spain：Springer，2004：99-107.

［4］张文博，姬红兵，王磊.一种自适应权值的多特征融合分类方法［J］.系统工程与电子技术，2013，35（6）：1133-1137.

［5］Leonard C.Application of neural networks in target tracking data fusion.IEEE Trans.AES，1994，30（6）：281-287.

［6］范凯，陶然，周思永.基于神经网络数据融合的目标跟踪简化算法［J］.系统工程与电子技术，2000，22（8）：82-84.

［7］Strobel，N.，Spors，S.，Rabenstein，R.：Joint audio-video object localization and tracking.IEEE Signal Process.Mag.18（1）：22-31（2001）.

［8］王欢，王江涛，任明武，杨静宇.一种鲁棒的多特征融合目标跟踪新算法［J］.中国图象图形学报，2009，14（3）：489-498.

课题名称：福建省教育厅科技项目“基于多特征融合的视频目标跟踪算法研究”（编号：JB13195）。