一种基于指令预测的目标跟踪方法*

尤小泉，彭映杰

（1.成都电子机械高等专科学校 通信工程系，四川 成都 610031；2.成都信息工程学院 科技处，四川 成都 610225）

1 引言

运动目标的跟踪在许多领域有着广泛的应用，如国防安全、航空航天、安防监视都有广泛的应用价值。而视觉监视系统中的运动目标跟踪又有其自身的特点，最大的不同是：传统的视觉系统都是二维系统，目标的空间位置只能在摄影机的二维平面（图像平面坐标系）中得到反应，导致目标的世界坐标系（地平面坐标系）和图像平面坐标系存在差异。而下一代智能视觉监视系统是由协同工作的多摄像机所组成的，其最基本的特征是多摄像机的协同[1]，其工作原理是：一台摄像机捕获目标并实施跟踪，与此同时，将该目标的位置信息通知监视系统中的其他摄像机参与针对该目标的跟踪、识别、行为分析等[2-3]。

2 相关工作分析

现有的视觉运动目标跟踪的核心思想可以简单描述为：检测运动目标在图像平面坐标系中的位置（如图1），通过图像平面坐标系和世界坐标系的关系估计运动目标在世界坐标系中的位置，通过预测的方法估计运动目标的轨迹。具体步骤为：

1）检测运动目标，这一步骤一般采用帧差法、背景减法、光流场法和模板匹配等，其目的是检测出运动目标在图像平面坐标系中的位置[1，4]。

2）根据摄影几何原理、摄像机坐标系、地平面坐标系（世界坐标系R）和图像平面坐标系之间的关系，如图1所示，将运动目标从二维空间向三维空间进行映射，其目的是得到运动目标的真实三维坐标[1，4-6]。

3）跟踪、预测运动目标在世界坐标系中的运动轨迹[1-4]，然后调整摄像机传动部件（云台），使运动目标处于摄像机的中心附近[5-6]。

上述方法存在以下3个问题较难解决：

1）在步骤2）中，运动目标从二维平面向三维空间的映射存在一定困难，且计算量较大，如果在这过程中运动目标的三维坐标出现计算偏差将会影响系统跟踪精度。

2）在步骤3）中，假设已经得到运动目标的精确轨迹，那么需要调整摄像机的传动部件，使运动目标处于摄像机的中心附近，但摄像机传动部件的响应时间（主要表现为转动速度）存在离散性，不同厂家的产品其转动速度存在极大的差异，这就要求基于这种方案的智能系统需要预先知道传动部件的响应时间，也就是该算法是依赖与摄像机传动部件的响应时间的，这样就影响了该智能算法的应用推广。

3）在步骤3）中，调整摄像机位置的过程中需要根据目标与摄像机的相对位置计算摄像机的转动角，当目标距离摄像机较远时转动角较小，反之较大。但是摄像机和目标之间的测量距离直接依赖于二维平面和三维空间的映射的精度。

问题1）和问题3）实质在于二维平面到三维空间映射带来的困难，即这种映射本身就存在解的多样性，这就要求建立一种不依赖于该映射方法的新方法。另一方面，针对问题2），需要设计一种自适应算法，以降低算法对传动部件响应时间的依赖性，进而提高算法的普适性。为解决以上问题，笔者提出一种基于指令预测的运动目标跟踪的思想方法。

3 基于Kalman指令预测的自适应跟踪系统

3.1 算法思想

文算法的核心思想是：在跟踪的过程中不去直接预测目标在下一时刻出现的位置（x′，y′，z′），而是去预测摄像机在下一时刻可能的最佳状态（r，θ，φ），其中r为摄像机捕获目标的最佳焦距，φ为水平转角，θ为垂直仰角，如图2所示。

其中P点为运动目标，显然摄像机的状态和运动目标位置是一一映射的，并遵循以下映射关系

图2 摄像机状态示意图

将所有摄像机状态构成的空间记为摄像机的状态空间Θ，显然有以下性质：

1）摄像机的任意状态都满足：（r，θ，φ）∈Θ，根据式（1），运动目标的P总可以映射到状态空间Θ。

2）设Ω是世界坐标系R中的一条轨迹，Ω可以映射到状态空间Θ，记为Ψ。

3）如果Ω在世界空间R是连续的，那么Ψ在状态空间Θ也是连续的。

以预测状态曲线Ψ来代替预测世界坐标系中轨迹Ω，可以通过向摄像机的传动部件发出相应的指令，让其处于这个预测的状态，并且可以避免步骤2）中的坐标系转换步骤，可以极大地降低算法的复杂度。

常用预测方法有两点外推法、Kalman预测、扩展Kalman预测及粒子滤波器预测方法等。在测量噪声和运动噪声都满足高斯分布且状态更新表达式是线性的情况下，Kalman滤波是一种最优的运动预测算法。它在导弹、飞机等机动目标的测量、控制等领域的应用已经超过30年，近年来被应用于视觉图像中运动目标的跟踪[6-11]。运动目标跟踪是一个典型的离散控制过程的系统，该系统可用线性随机微分方程来描述，即

再加上系统的测量值

式（2）、式（3）中，X（k）是 k 时刻的摄像机状态向量，即

其中摄像机的焦距r，水平转角φ，垂直仰角θ，U（k）是k时刻对摄像机的控制量，即

A和B是系统参数，对于本模型取单位阵。Z（k）是k时刻的测量值，H是测量系统的参数，取单位阵。W（k）和V（k）分别表示过程和测量的噪声，被假设成高斯白噪声，它们的协方差矩阵分别是Q，R。

Kalman预测的迭代过程如下：

1）首先利用系统的过程模型来预测下一状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态

式中：X（k|k-1）是利用上一状态预测的结果，X（k-1|k-1）是上一状态最优的结果，U（k）为现在状态的控制量。

2）更新控制系统的协方差矩阵P

式中：P（k|k-1）是 X（k|k-1）对应的协方差矩阵，P（k-1|k-1）是 X（k-1|k-1）对应的协方差矩阵。

3）估算值 X（k|k）

其中，Kg为卡尔曼增益，表示为

4）更新k状态下X（k|k）的协方差矩阵

式中：I为单位阵。

当系统进入 k+1 状态时，P（k|k）就是式（5）的 P（k-1|k-1）。这样，算法就可以自回归的运算下去。可以根据预测得到 X（k|k），求得 U（k）=X（k|k）-X（k-1|k-1），由于 U（k）=[Δr Δθ Δφ]-1，就可以根据 U（k）形成控制指令，使当前摄像机的状态向最优状态逼近。

由式（1）可以发现，目标的空间坐标和摄像机的状态是一一对应的，这就解决了运动目标跟踪和三维重构问题。

对于初值的选取问题，由于Kalman预测有自回归特性，一般X（0|0）取初始时刻摄像机的状态。对于P，一般不要取[0]，因为这样可能会令卡尔曼预测完全相信给定的X（0|0）是系统最优的，从而使算法不能收敛，为了方便计算，P（0|0）取任意对角阵。

3.2 实验结果及分析

本文实验平台是一个基于H.264压缩标准的网络摄像机，该网络摄像机可以工作在多种模式下，实验采用的分辨力为 352×288、帧率为 20 帧/秒（f/s）的模式，网络摄像机可以通过一个RS-485串口控制云台，云台采用的是PELCO控制协议。网络摄像机需要完成运动目标提取，预测云台指令，发出云台控制指令，从而控制云台的状态，即实现了运动目标的跟踪。

在实际跟踪过程中，由于调整摄像机焦距会显著的影响目标在摄像机平面的位置，实验中，目标在摄像机中心位置附近时才调整焦距。实验结果如图3所示（从左到右，从上到下，按时间先后顺序排列，每帧图像相差1 s）。

从图3可以看出，随着时间的推移，摄像机能够很好地调整自身状态，使其状态逐渐逼近理想状态，实验证明了采用本文方法对运动目标的跟踪是有效的。笔者对本文方法捕获目标的速度做了统计，实验结果如图4所示。

4 多摄像机协同跟踪

理论分析和实验结果均表明，本文方法能够有效地对运动目标实施跟踪，而且能够得到该目标在摄像机状态空间Θ的轨迹Ψ，为多摄像机协同跟踪中目标的位置信息交互提供了一种便捷的方法。

一般地，同一个目标在不同摄像机的状态空间中具有不同坐标，这就需要将各摄像机的状态空间Θ1，Θ2，…，Θn等建立起关联，一种最简单的办法就是在系统部署的时候对系统进行训练，方式如下：

图3 跟踪实验结果

1）安排一个典型目标进入多摄像机场景，让所有摄像机记录目标在其状态空间参数（r1，θ1，φ1），（r2，θ2，φ2）， …，（rn，θn，φn），建立该点在各摄像机的关联关系表；

2）重复步骤1），使得尽可能多的特征位置出现目标；

3）训练完成，各个摄像机进入正常工作模式。

在正常工作模式中，一旦A摄像机捕获目标，就将该目标在状态空间ΘA中的坐标广播到系统中去，系统中的B摄像机接到该消息后查找和A摄像机的关联关系表就可以判断是否需要协同跟踪，而且初始坐标也可以根据关联关系表估计得到。

5 结论

笔者提出了一种基于指令预测的运动目标跟踪方法，在摄像机的状态空间中求解运动目标的轨迹，解决了传统算法难以解决的坐标系映射问题，通过直接对指令的预测可以很好地适应系统的响应时间。理论分析和实验结果表明，在摄像机的状态空间中对运动目标的跟踪是一种可行的方法，具有一定的实用价值。

[1]COLLINS R T，LIPTON A J.Introduction to the special section on video surveillance[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:745-746.

[2]王素玉，沈兰荪.智能视觉监控技术研究进展[J].中国图象图形学报， 2007，12（9）:1505-1514.

[3]QU Wei，SCHONFELD D.Real-time decentralized articulated mo tion analysis and object tracking from videos[J].IEEE Trans.Image Processing， 2007，16（8）:2129-2138.

[4]HU Weiming， XIAO Xuejuan， TAN Tieniu.Traffic accident prediction using vehicle tracking and trajectory analysis[J].Intelligent Transportation System，2003，11:220-225.

[5]STAUFFER C，GRIMSON W E L.Learning patterns of activity using real-time tracking[J].IEEE Trans.Pattern Analysis and Machine Intelligence， 2000， 22（8）:747-757.

[6]VEERARAGHAVAN H，MASSOUD O，PAPANIKOLOPOULOS N P.Computer vision algorithms for intersection monitoring[J].Trans.Intelligent Transportation Systems， 2003， 4（2）:78-89.

[7]MEDEIROS H，PARK J， KAK A.Distributed object tracking using a cluster-based Kalman filter in wireless camera networks[J].IEEE Journal of Selected Topics in Signal Processing， 2008，2（4）:448-463.

[8]强勇，焦李成，保铮.动态规划算法进行弱目标检测的机理研究[J].电子与信息学报， 2003（6）:721-727.

[9]牛轶峰，沈林成.基于变形模板的多目标识别与定位[J].电子与信息学报， 2006（6）:1026-1030.

[10]KIRUBARAJAN T，BAR-SHALOM Y.Probabilistic data association techniques for target tracking in clutter[J].Proceedings of the IEEE，2004， 92（3）:536-557.

[11]LUO Ruijiang， LI Liyuan,HUANG Weimin， et al.Multi-strategy object tracking in complex situation for video surveillance[J].IEEE International Symposium on Circuits and Systems， 2008（5）:2749-2752.