相机运动状态下的实时运动目标跟踪算法

姜明新

(大连民族学院信息与通信工程学院，辽宁大连 116605)

基于视频的目标跟踪算法是计算机视觉领域的关键技术问题，在模式识别、人工智能、视频监控、机器人导航等方面都有广泛的应用［1－3］。常见的目标跟踪算法有mean－shift算法［4］、粒子滤波算法［5］等。其中，粒子滤波算法能够有效解决目标跟踪中普遍存在的非线性、非高斯的问题，因而被更多的学者所采用。

现有的目标跟踪算法大多数是基于静止的视觉平台展开的，而现实的监控环境中，很多监控相机处于运动的状态，比如:船载和车载的监控装置。很多文献讨论了电子稳像技术［6－8］，还有少部分文献讨论了基于电子稳像的跟踪算法［9］。但是这些算法都将稳像和跟踪分开进行处理，这样做存在几个不可避免的缺点:稳像的过程不可避免的会造成视频图像信息的损失;先稳像再跟踪将会导致时间上的延迟，无法满足实时性的要求;最重要的缺点是无法获取在原始视频中的跟踪结果。

基于以上分析，为了克服现有算法中存在的问题，本文提出了一种相机运动状态下的实时运动目标跟踪算法。首先，对特征点进行选取，然后，利用光流法进行全局运动估计，得到相机平移运动分量和旋转运动分量;最后，利用全局运动估计的结果对粒子滤波的运动方程进行修正，选用颜色直方图作为目标的特征模型，实现在相机运动的情况下对移动目标的实时跟踪。为了验证本文算法的性能，选取了多组测试视频进行实验。实验结果表明，在相机运动的状态下，本文提出的算法能够准确快速的跟踪运动目标，达到实时性要求，具有非常好的实用价值。

1 全局运动估计

图像的特征点选取需要考虑到精度和实时性两方面的要求，传统的稳像算法，一般选取每一帧图像的角点作为特征点。最普遍使用的角点的定义是由Harris提出的［10］，Harris定义的角点是指位于图像二阶导数的自相关矩阵有两个最大特征值的地方，本质上是以此点为中心，周围至少存在两个不同方向的纹理(或者边缘)。但是，对每一帧图像都查找角点会带来一些问题:当需要角点数在300个以上时，与光流结合后实时性较差。

实验证明，在稳像的任务中使特征点分散到整个图像比特征点是否是角点更加重要。受到基于块匹配的稳像算法的启发［11］，在每帧图像中每隔20个像素选取一个点作为特征点。均匀选取特征点的优势在于:具有非常好的实时性，对全局运动有很好的代表性;通过对局部运动向量的筛选可以获得准确的全局运动的估计。

本文利用光流法来估计全局运动，采用Lucas－Kanade方法［12］来计算特征点的光流。由于均匀的选取特征点，特征点有可能在背景上，也有可能在运动目标上。为了准确的估计全局运动，需要排除运动目标对全局运动估计的影响。接下来，从理论上分析运动目标对光流结果的影响［13］。

为了分析运动目标对光流的影响，首先假设相机是静止的。假设t时刻第i个特征点Pi(t)在相机坐标系中的坐标是［xi(t)，yi(t)，zi(t)］，则该特征点在像平面的坐标为

式中，λ是与相机分辨率和焦距有关的系数。

从式(2)可以看出，运动目标对光流的影响与运动目标的速度和景深有关，当时间间隔非常短时，可以认为速度是一定的，则运动目标的景深越小，对光流的影响就越大。

式中，M'为垂直方向上筛选后的特征点的总数。

t时刻，第i个特征点Pi(t)在相机坐标系中的坐标为［xi(t)，yi(t)，zi(t)］，令该特征点在世界坐标系中的位置保持不变，相机通过旋转和平移发生移动，在t+1时刻，该特征点Pi(t+1)在相机坐标系中的位置变为［xi(t+1)，yi(t+1)，zi(t+1)］，则有

2 基于粒子滤波的运动目标跟踪算法

粒子滤波的主体思想是用一组带有权值的粒子来描述后验概率分布［14－15］。根据蒙特卡罗理论，当粒子的数目足够多时，这组具有权值的粒子就能准确地描述后验概率分布，此时，粒子滤波就是最优的贝叶斯估计。在目标跟踪任务中，运动目标的位置可以被看作是状态空间上的离散时间马尔可夫序列。跟踪目标就是要从带有噪声的观测序列Zk中估计目标状态Xk。

可以证明，当N→∞时，^Xk将均方收敛于p(Xk|Z1:k)的真实后验概率分布。为了避免粒子权值退化问题，需要采用重采样方法，通过复制高权值粒子并抛弃低权值粒子的方法来解决这一问题。

在实际跟踪任务中，用上一节得到的视频全局运动信息改进粒子滤波跟踪算法。

本文选用RGB色彩空间的颜色直方图来描述运动目标，首先，对R、G、B三个通道量化成16级，柱状图分格为m=16×16×16个bins。

设 u={1，2，…，m}，在初始帧中，给定包含目标的粒子，可以得到目标的统计直方图分布模型为的颜色概率密度为

其中，y0为初始目标中心位置。k(·)是核函数，核函数可以保证越远离粒子中心的像素，权值越小，以提高模型的鲁棒性。C为使的归一化参数。

3 实验结果分析

为了验证本文提出的相机运动状态下的实时运动目标跟踪算法的性能，采用多组实验视频进行实验，鉴于篇幅限制，本文只列出部分实验结果。本文算法的实现是基于windows 7操作系统，采用Visual Studio 2010和opencv2.3作为软件平台，计算机配置为 Pentium(R)Dual－Core CPU 2.0GHz。

针对两组实验视频的目标跟踪的结果分别如图1，图2，图中的红色框为本文算法的跟踪结果，白色框为传统的粒子滤波算法的跟踪结果，黄色框为mean－shift算法的跟踪结果。从实验结果中，可以明显看出，在相机运动的情况下，本文提出的算法在准确性和鲁棒性方面占有非常明显的优势。

图1 针对实验视频1利用不同算法进行跟踪的结果对比

图2 针对实验视频2利用不同算法进行跟踪的结果对比

4 总结

本文提出了一种在相机运动的状态下进行目标跟踪的算法，克服了传统算法分别对稳像和跟踪进行独立处理的缺点。能够实现在原始的运动视频中获取目标跟踪的结果，不损失视频图像信息，计算复杂度低，能够满足实时性要求。从实验结果中可以看出，本文提出的算法具有非常好的鲁棒性。后续，还可以改进目标的观测似然，进一步考虑相机有突变运动时的跟踪问题。

［1］张巧荣，冯新扬.利用视觉显著性和粒子滤波的运动目标跟踪［J］.中国图象图形学报，2013，18(5):515 －522.

［2］夏瑜，吴小俊，冯振华.基于特征贡献度的mean shift视频跟踪算法［J］.控制与决策，2012，27(7):1021－1026.

［3］JIANG Mingxin，LI Min，WANG Hongyu.A robust combined algorithim of object tracking based on moving object detection［C］∥Proceedings of the International Conference on Intelligent Control and Information Processing，2010:619－622.

［4］COMANICIU D V，MEER P.Kernel based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［5］MASKELL N S，CLAPP T.A tutorial on particle filters for online nonlinear/nongaussian bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50(2):174 － 188.

［6］KONRAD A J，KARL W.Probabilistic video stabilization using kalman filtering and mosaicking［C］∥Proc.SPIE Image and Video Communications and Process，2003:663－674.

［7］TICO M，VEHVILAINEN M.Constraint motion filtering for video stabilisationsing［C］∥Proc.Int，2005:569 －572.

［8］AUBERGER S C.Miro，digital video stabilization architecture for low cost devices［C］∥Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis，2005:474 －479.

［9］王斌，赵跃进，尹德森.基于电子稳像的特征跟踪算法［J］.红外与激光工程，2008，37(4):607－610.

［10］BARRON J L，FLEET D J，BEAUCHEMIN S S.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12(1):43－77.

［11］VELLA F，CASTORINA A.Massimo mancuso and giuseppe messina，digital image stabilization by adaptive block motion vectors filtering［J］.IEEE transactions on consumer electronics，48(3):796 － 801.

［12］SHI J，TOMASI C.Good features to track［C］.Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition，1994:593－600.

［13］CAI Jinhai，WAIKER R A.robust video stabilisation algorithm using feature point selection and delta optical flow［J］.IET Comput.Vis，2009，3(4):176 － 188.

［14］YANG Junlan，SCHONFEID D，MOHAMED M.Robust video stabilization based on particle filter tracking of projected camera motion［J］.IEEE trans on circuits and systems for video tech，2009，19(7):945 － 954.

［15］ KABAOGLU N.Target tracking using particle filters with support vector regression［J］.NE ，2009，58(5):2569－2573.

(责任编辑 刘敏)