自适应融合角点特征的Camshift目标跟踪

陈丽君，马永杰

西北师范大学 物理与电子工程学院，兰州 730070

自适应融合角点特征的Camshift目标跟踪

陈丽君，马永杰

西北师范大学 物理与电子工程学院，兰州 730070

1 引言

目标跟踪是计算机视觉重要的研究方向之一，被广泛应用于监控、视觉导航、军事制导、交通等领域[1]，但是，目标和背景的外观发生改变，或者目标的突然运动等因素都会加大目标跟踪的难度。近年来随着科技的发展，家庭服务机器人的研究和开发成为一个热点，其中，机器人对普通运动目标跟踪的有效性和稳定性成为一项重要指标。Camshift（Continuously Adaptive Mean-Shift）算法是对普通运动目标进行跟踪的经典算法之一，它是Mean-Shift算法的改进，是连续自适应的Mean-Shift算法，其基本思想是用Mean-Shift算法对视频序列的所有帧做运算，并将上一帧得到的结果作为下一帧初始窗口，如此迭代下去，实现对运动目标的跟踪[2]。传统的Camshift跟踪算法只是利用目标的颜色特征进行跟踪，虽然该算法能够自动调节窗口大小以适应被跟踪目标在视频序列中的大小，但是在颜色相近或者大面积颜色干扰时，不能实现有效的跟踪。

针对上述问题，可以通过自适应特征融合来实现目标的有效跟踪。文献[3]通过采用颜色空间三基色权重直方图建立目标模型，并用目标边缘特征增加目标权重，实现了多彩色目标的跟踪。文献[4]提出的基于角点特征融合的Mean-Shift跟踪算法，能够有效地解决目标遮挡出现的问题，但是子块大小和区域重复子块会对目标估计有一定程度的影响。文献[5]提出了一种融合角点特征与颜色特征的目标跟踪算法，利用角点的特征不变性并融合目标的颜色特征提高了Mean-Shift跟踪算法的稳定性。文献[6]实现了目标的颜色、边缘特征以及纹理特征自适应融合的目标跟踪，有效地对复杂背景下的运动目标进行了跟踪。文献[7]采用H分量和S分量作为颜色特征参数并融合运动信息，将Camshift算法嵌入到粒子滤波中，实现了目标的快速、稳健的跟踪。

上述特征融合的算法选择的融合策略大多是以颜色特征作为主分量，以角点特征、边缘特征等作为辅助分量来实现的，但是在颜色特征变化较大或者不明显的情况下跟踪会出现一定的难度，为了改善这种情况下目标跟踪的效果本文提出了一种新的自适应融合角点特征和颜色特征的Camshift目标跟踪算法，该方法采用Mean-Shift算法提供的非参数核密度估计的统计思想分别计算各特征的概率密度函数，并自适应地将目标的颜色特征与角点特征进行融合，然后将融合的新特征作为总目标特征采用Camshift算法对动态环境下的普通运动目标进行跟踪。

2 Mean-shift算法与检点检测

2.1 Mean-shift算法

设 d维Educlidean空间 Rd内的样本集 xi(i=1，2，…，n)，在某一点x处的多变量核概率密度估计[8]为：

其中，h为带宽，K(x)是核函数，常用的核函数是Epanechnikov核和高斯核。

设核函数K(x)的剖面函数为k(x)，求核概率密度估计 fk(x)的梯度估计：

其中，k′(x)是剖面函数k(x)的导数，式（3）第一部分可以看作是以k′(x)为剖面函数的核概率密度估计，第二部分表示采样均值所移动的向量，Mean-Shift向量。

Mean-Shift算法是一个迭代过程，当核函数是凸函数且单调递减时，{xk，k=1，2，…}，可有以下迭代形式：

2.2 Harris角点检测原理

角点是描述图像的一个重要的局部特征，在目标跟踪领域有着重要的意义。Harris角点在旋转、光照、噪声、平移及灰度变化时有一定的不变性，实时性强，定位精度高，因此常被作为目标跟踪过程中的一个重要特征[9]。Harris算法计算窗口沿任何方向移动后的灰度变化，并用解析形式表达[10]。

设以像素点(x，y)为中心的小窗口在X方向上移动u，Y方向移动v，Harris定义的灰度强度变化公式为[11]：

定义像素点(x，y)的自相关矩阵为：

设矩阵M 的两个特征值分别为λ1，λ2。则Harris定义的角点响应函数表达式为：

其中，detM表示矩阵M 的行列式，且detM=λ1×λ2，trM表示矩阵的迹且trM=λ1+λ2。k是一个大于0的参数，一般取值为0.04。detM 在边缘处较小而在角点处较大，trM 在边缘和角点处保持一致。因此，当像素点(x，y)的Rh值大于给定的阈值时，该像素点即为角点。

3 角点特征和颜色特征的自适应融合策略

单一的颜色特征并不能保证跟踪的准确性，并且在一帧图像中颜色作为一个整体的特征有一定的局限性，为了使跟踪更加准确，本文采用了自适应的融合图像的角点这一局部特征，并把融合后的特征作为新特征实现跟踪过程。首先利用Mean-Shift算法提供的非参数核密度估计统计思想，分别计算颜色特征和角点特征的概率密度函数，然后对各特征进行相似性度量，由于不同的特征在同一帧图像中的可信度不同，相似性度量值也就不同，因此，提出了一种新的融合策略将相似性度量值的比值作为融合规则进行不同特征的融合。

设对跟踪区域内的所有像素点为{xi}i=1，2，…，n计算其目标模板的概率密度函数[12]：

其中，k(x)为等方性的、凸面单调递减的核轮廓函数，δ为单位冲积函数，b(x*i)为 x*i处的量化特征值，u=1，2，…，m为模版特征的量化特征值。

角点特征概率密度函数具体的算法描述法如下：将跟踪区域划分为m（本文m为48）个区域，第一帧选定的位置作为中心位置，分别统计每一个区域内的角点，并对m个区域依次进行编号，然后采用核密度估计的方法计算角点分布概率，表示如下：

式中，x*Harris是角点的坐标，b(x*Harris)是角点所在区域的编号。

对于不同的特征其目标模型与候选模型的相似性是不同的，相似性较大的特征能较好地描述目标，对目标的总的特征描述贡献应该相对大一点[5]。目标在运动过程中颜色特征和角点特征都会发生不同的变化，本文对两个特征的相似性度量值做了量化，并将两个特征自适应地融合，根据不同特征的变化确定其贡献度，而不对其中的某个特征做定量规定，与以往确定颜色特征比重的融合方式有很大的不同，具体融合规则如下：

设Ih、Ic分别为颜色概率密度分布图和角点概率密度分布图，ρ1、ρ2分别是它们的相似性度量值，α，β为颜色特征和角点特征的权重，则总的概率密度分布图为：

根据式（11）的融合规则，当颜色特征在跟踪过程中的变化较大时，其相似性度量值相对较小，对跟踪过程的贡献也较小，因此，为颜色特征赋以较小的权值，在此跟踪过程中角点特征相对稳定，则赋以相对较大的权值，随时校准跟踪目标，反之亦可。所以根据不同条件下目标跟踪，上式可自适应地进行调整。

4 跟踪算法

4.1 Camshift算法流程

Camshift是基于目标颜色特征的跟踪算法，其基本思想是对视频序列中的每一帧做Mean-Shift运算，并将前一帧的质心位置和搜索窗口大小作为下一帧的Mean-Shift算法的中心和搜索窗口，通过迭代实现目标跟踪。算法流程如下：

（1）初始化搜索窗的质心位置和大小。

（2）建立H分量目标直方图。

（3）投影生成二维颜色概率密度分布图。

（4）运行Mean-Shift算法迭代寻找目标的位置。

（5）从上一帧目标位置开始，计算搜索窗内的质心位置并确定搜索窗口大小，处理下一帧图像，返回（4），直至视频序列结束。

此时设(x，y)为搜索窗口中的像素点，I(x，y)是投影图中对应(x，y)点的像素值。定义搜索窗口的零阶矩M00和一阶矩M10、M01如下：

目标长轴的方向角为：

4.2 自适应融合角点特征的Camshift算法

（1）初始化跟踪目标的初始位置和大小。

（2）利用核密度估计思想建立颜色核概率密度分布Ih和角点特征的核概率密度分布Ic。

（3）结合Bhattacharyya相似性度量值分别计算各特征在该帧图像中的权重，融合生成新的核概率密度分布I。

（4）运行Mean-Shift算法迭代寻找目标的位置。

（5）调用Camshift算法计算质心位置和搜索窗口大小，进行下一帧的处理，返回第（3）步，直至视频结束。

5 实验结果及分析

为了验证本文算法，选取了帧率为25 frame/s的两段视频序列，其中，室内简单环境下的视频序列大小为1 280×720，户外复杂环境下的图像序列的大小为1 024× 768，选取不同大小的运动目标分别进行测试，图中蓝色的小方块（可通过程序设置）是角点检测的结果。当所选的目标较小时，目标框内的角点检测准确率不高，但是目标框内的颜色变化较小，由测试结果可以看出，此时的角点特征较少，颜色特征所占比例较大，跟踪能够正常进行。图1～图3是本文算法在复杂环境下选择较小运动目标时的结果，从15帧到95帧随着视频中干扰物的逐渐增多，选择框有细微的变化，算法对选择框做了自适应调整，实现了较为完整的跟踪，并且在跟踪过程中本文算法能够在干扰物影响以及闪光等情况下较好地跟踪目标。图4～图6是本文算法在室内简单环境下选择较小运动目标的跟踪结果，与前面相比角点检测的难度加大，由图可以看出角点检测结果不及前面，受颜色特征的影响较大，会出现跟丢的情况，跟踪效果不及复杂环境下的跟踪。图7和图8是Camshift算法的跟踪结果，开始的跟踪效果和本文算法的跟踪效果接近，都可以完成准确有效的跟踪，只是在目标选择时Camshift算法要求快速准确地选择，否则会引起跟踪框的形变而导致跟踪失败，而本文算法只要求选择时尽可能准确即可，当跟踪过程中有镜头的变换引起选择框形变且形变不太大时，本文算法在跟踪过程中都可以自适应地调整选择框的大小和形状，顺利完成跟踪过程，若镜头变换较快，则跟踪也会失效。

图1 第15帧

图2 第50帧

图3 第95帧

图4 第60帧

图5 第85帧

图6 第110帧

图7 Camshift算法第15帧

图8 Camshift算法第125帧

测试环境相对比较复杂时，里面不只有来回人物的干扰，还有环境中相似颜色的干扰，尤其是在视频中有与目标颜色相似的干扰物和目标选择较大时本文算法便略显优势。Camshift算法易受到颜色的干扰，当选择框有偏差的时候就会出现选择框扩大，将有相近颜色的物体当做跟踪目标，选择目标较大时，跟踪效果不是很好，容易跟丢目标。图9、图10和图11、图12是本文算法在复杂环境下选择相比前面较大的中目标和大目标时的跟踪结果，在这种情况下角点检测结果比较准确，能够与颜色特征一起来决定跟踪效果，相比而言要比小目标情况下的跟踪效果还好一点，由图可以看出在复杂环境下本文算法可以实现稳定的跟踪，并且在有干扰的情况下跟踪效果也较好。

图9 第15帧

图10 第100帧

图11 第20帧

图12 第50帧

本文算法是在Intel®Pentium®Dual 2.40 GHz的PC上运行的，程序是在Microsoft Visual Studio2010上实现的。为了验证本文算法的跟踪效果，对两种算法在不同条件下分别做了50次实验，按照目标选取和环境的不同对复杂环境小目标，简单环境小目标跟踪、中目标跟踪、大目标跟踪以及Camshift算法跟踪的成功率进行了统计。在实验过程中可以发现Camshift算法只要跟踪框有轻微的偏差就会导致跟踪失败，而本文算法可以对这样的偏差作调整完成跟踪过程。因为本文算法是将角点特征和颜色特征自适应融合之后进行跟踪的，当目标颜色有较大的变动时给此特征赋予较小的权重，相对的角点特征赋予较大的权重，在跟踪的过程中能够按比例自适应地将不同特征分配不同的权重，统计结果如表1，可以看出本文算法成功率比Camshift算法要高一点，尤其是对复杂环境大目标的跟踪更准确。但是由于本文算法的计算量较大，算法的处理速度相比Camshift较慢，这也是今后工作中需要优化的一方面，并且当运动目标速度较快或者镜头变化较大时，跟踪过程会出现较大的误差。由于在前面的相似性度量过程中，各特征的贡献度相差不确定，度量过程也存在误差，造成后面的跟踪也会出现一定的偏差。

表1 跟踪结果统计表

6 结束语

本文提出了一种新的自适应融合角点特征与颜色特征的Camshift目标跟踪算法，主要创新点在于融合策略的设计，特征的选取不再是以颜色为主，而是自适应地计算各特征的权重，使跟踪效果不只受某个特征变化的影响。该算法首先采用核密度估计思想计算了Harris角点特征和颜色特征的核概率密度函数，然后利用目标模型与候选模型的相似度之比确定融合规则，并根据各特征的贡献程度计算融合系数，将自适应融合的目标模型与Camshift算法相结合实现对目标的跟踪。文献[13]和文献[14]分别是船舶和灰度目标的跟踪，而本文算法是彩色的运动目标的跟踪，并且采用了一种新的融合规则，每个特征的权重不是固定不变的，而是随着跟踪条件的改变而改变的，避免了某一特征比重固定而在另一个特征为主要特征时对跟踪的影响。实验表明该算法实现了对目标的较好，较准确的跟踪。

本文算法主要实现了动态环境下针对普通运动目标的跟踪，在过于简单的环境下本文算法适用度不高，大目标跟踪相比小目标跟踪效果要好，但是对于快速运动的目标和多目标情况下的跟踪需要继续进行研究。此外，目标跟踪过程中的遮挡问题也是近年来的研究热点，这也是以后的研究过程将要考虑和解决的问题。

[1]Deilamani M J，Asli R N.Moving object tracking based on Mean-Shift algorithm and feature fusion[C]//Proc of the International Conference on Artificial Intelligence and Signal Processing，2011：48-53.

[2]Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：546-577.

[3]丁业兵，王年，唐俊，等.基于颜色和边缘特征Camshift目标跟踪算法[J].华东理工大学学报，2012，38（1）：69-74.

[4]周治平，陶利.基于角点特征融合的Mean-shift跟踪算法[J].计算机工程，2012，38（2）：192-194.

[5]宋丹，赵保军，唐林波.融合角点特征与颜色特征的Mean-Shift目标跟踪算法[J].系统工程与电子技术，2012，34（1）：199-203.

[6]尹宏鹏，柴毅，匡金骏，等.一种基于多特征自适应融合的运动目标跟踪算法[J].光电子·激光，2010，21（6）：917-923.

[7]王鑫，唐振民.一种改进的基于CamShift的粒子滤波实时目标跟踪算法[J].中国图象图形学报，2010，15（10）：1507-1514.

[8]李培华.序列图像中运动目标跟踪[M].北京：科学出版社，2010：78-82.

[9]Guo C G，Li X L，Zhong L F.A fast and accurate conner detector based on Harris algorithm[C]//Proc of the 3rd International Conference on Intelligent Information Technology Application，2009：49-51.

[10]王葳，唐一平，任娟莉，等.一种改进的Harris角点提取算法[J].光学精密工程，2008，16（10）：1995-2012.

[11]房超，王小鹏，牛云鹏，等.基于改进Harris算法的角点检测[J].计算机与数字工程，2011，39（5）：142-144.

[12]卢璇，雷航，郝宗波.联合多特征的自动CamShift跟踪算法[J].计算机应用，2010，30（3）：650-652.

[13]云霄，肖刚.基于Camshift的多特征自适应融合船舶跟踪算法[J].光电工程，2012，38（5）：52-58.

[14]陈爱华，朱明，王艳华，等.融合梯度特征的灰度目标跟踪[J].微电子学与计算机，2009，26（2）：69-71.

[15]张建安，赵修斌，李思佳.一种用于目标跟踪的改进粒子滤波算法[J].计算机工程，2012，38（5）：176-178.

CHEN Lijun,MAYongjie

College of Physical&Electronic Engineering,Northwest Normal University,Lanzhou 730070,China

In order to track moving targets in real time and effectively,in this paper,a new Camshift target tracking algorithm is proposed,in which corner features and color features are fused adaptively.The invariance of the corner is combined in this algorithm,and the kernel probability density estimation of the Mean-Shift algorithm is used to calculate the probability density function for each feature.Bhattacharyya coefficient is adopted as similarity measure function,then using the ratio of similarity to achieve adaptive fusion of corner and color features.The new probability density distribution and the Camshift tracking algorithm will be combined to achieve the target tracking.Simulation results show that the algorithm is better than traditional Camshift algorithm,and tracks object more accurately.

Camshift;feature fusion;Harris conner;Bhattacharyya coefficient;adaptive

为了能够实时有效地跟踪运动目标，提出了一种新的自适应融合角点特征和颜色特征的Camshift目标跟踪算法。该算法融合了角点的特征不变性，并采用Mean-Shift算法提供的非参数核密度估计的统计思想，计算各特征的概率密度函数，用Bhattacharyya系数作为相似性度量函数，利用相似性度量值之比自适应地融合角点特征和颜色特征，将得到的新的概率密度分布结合Camshift跟踪算法实现目标跟踪。测试结果表明，该算法比传统的Camshift算法跟踪效果更好，更准确。

Camshift；特征融合；Harris角点；Bhattacharyya系数；自适应

A

TP391

10.3778/j.issn.1002-8331.1212-0205

CHEN Lijun,MA Yongjie.Camshift target tracking of adaptive fusion of corner features.Computer Engineering and Applications,2014,50（24）：178-182.

甘肃省省属高校2011年度基本科研业务费专项资金项目。

陈丽君（1987—），女，硕士研究生，主要研究方向为数字图像处理；马永杰（1967—），男，博士，教授，主要研究方向为软件技术，智能控制。E-mail：chenlijun87516@126.com

2012-12-17

2013-04-09

1002-8331（2014）24-0178-05

CNKI网络优先出版：2013-04-18，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130418.1618.022.html