嵌入式视觉运动目标跟踪技术研究

毛 磊，金立左

（东南大学 自动化学院，江苏 南京 210096）

PPM（Posterior Probability Measure）[1]是一种图像匹配相似性判别指标，它利用搜索区域的统计特征来抑制背景特征对相似度函数的贡献，相比传统巴氏Mean Shift[2]跟踪算法，基于PPM指标的PPM跟踪算法有较锐的单峰值态势，能有效减小匹配偏差并得到搜索最优解[1]。但此法对存在明显尺度变化的目标进行跟踪时，由于跟踪窗口尺寸固定，容易出现目标跟偏甚至跟丢的现象。针对上述问题，我们在深入研究PPM跟踪算法基础上，提出了一种能表征目标尺寸变化的PPM缩放指标，对传统PPM跟踪算法进行了改进，改善了跟踪效果。

嵌入式视觉运动目标跟踪系统以其体积小巧、性能可靠、性价比高等突出优点，已在视频监控、智能交通、成像末制导等领域获得广泛应用。以高速DSP为核心的高速图像处理卡和实时视频采集卡是视觉目标跟踪研究的重要硬件平台。目前，国内外在该领域已开展了广泛研究，并已成为机器视觉应用的热门方向之一。本文研究并实现了一套基于高速DSP的视觉目标跟踪系统，并将改进后的PPM跟踪算法移植到该嵌入式系统中，取得了较好的实时运动目标跟踪效果。

1 视觉运动目标跟踪算法流程

本文的视觉运动目标跟踪算法包括传统PPM跟踪算法、基于PPM缩放指标的跟踪窗尺寸自适应算法。算法流程如图1所示。

2 跟踪窗口自适应的PPM跟踪算法设计

2.1 PPM原理简介

以φ（p，q）表示候选目标区域与目标模板之间的相似度，其中p和q分别表示候选区域和目标模板的特征向量，以s表示搜索区域的特征向量，若采用直方图作为图像的统计特征，则最大后验概率指标的形式为:

式中:m是目标模板像素数；mu是特征维数；qu、pu和su分别是模板、候选区域和搜索区域的第u维的值。

要统计第u个特征的值，即puqu/su，若以像素的形式来求解，就是对候选区域中所有特征为u的像素对应的qu/su求和。如果有n个这样的像素，则有:

图1 视觉运动目标跟踪算法流程图Fig.1 Flow chart of visual moving target tracking algorithm

显然，n正是候选区域第u个特征的统计值，也就是说pu=n。对每一维特征，其对应的puqu/su值都可以通过像素对应的值求和得到，则式（1）可以改写为:

式中:m是候选区域的像素数。又设像素j对应的颜色特征是第 u维的，qu（j）和su（j）则表示目标模板和搜索区域直方图向量的第u维的值。通过每个像素的相似度贡献值计算相似度。将每个像素对其候选区域的相似度的贡献作为密度，提出PPM图像跟踪算法。跟踪算法的详细原理介绍请参看文献[1]。

2.2 跟踪窗口尺寸自适应的PPM算法

由式（3）启发，我们定义能表征目标大小变化的PPM缩放指标δ如下：

式中:m是目标区域的像素数。设像素i对应的颜色特征是第 u 维的，Cu（i）和 Tu（i）分别表示当前目标区域和模板目标区域直方图向量的第u维的值。分解式（4）得：

式中：m1 是目标窗口区域中目标的像素数，C1u（i）和 T1u（i）分别表示目标窗口区域中当前目标和模板目标直方图向量的第 u 维值，C0u（i）和 T0u（i）分别表示目标窗口区域中当前背景和模板中背景直方图向量的第u维值。式（5）是线性的相加，因此我们可假设：当前目标窗中归类为目标的像素个数为x（则归类为背景的像素个数为m-x）；目标模板中归类为目标的像素个数设为a（则归类为背景的像素个数为m-a）。因此，PPM缩放指标δ可由下式表示：

上式中ε1和ε2是与目标窗口中图像直方图相关的非零系数，由式（6）得，我们所取的PPM缩放指标跟当前目标像素数是线性单调关系。目标选定后，m和a的值就定了，ε1和ε2也能计算得到。显然，m肯定大于a；而且选定目标时，目标窗口一般为目标的外接矩形。因此（ε1m-（ε1+ε2）a），一般小于 0，所以式（6）一般为单调减函数（为排除特殊情况，我们在算法实现的时候，预先计算了该函数的系数，以确定其单调性）。

3 改进后的PPM算法跟踪实验结果

文中基于Visual Studio 2010和OpenCV2.3实现所有仿真实验代码。有关OpenCV的介绍及使用方法可以参看文献[3-4]，实验用计算机型号为DELL OPTIPLEX380。计算机硬件配置为 Intel Pentium（R）Dual-Core CPU E5800 3.2 GHz，3 GB内存。

3.1 PPM缩放指标实用性验证实验

实验中，被跟踪目标分别是一辆汽车和一个杯子上的图标，汽车由近及远，在画面中渐渐变小；杯子的整个运动无规律，但其中有一段较明显的先远离后靠近镜头的过程，目标先变小，然后又变大。图2（a）中给出了能反映两目标运动特征的相关帧。

图2（b）中，两曲线分别描绘了汽车和杯子在整个跟踪过程中对应PPM缩放指标的变化情况。根据给出的实验结果我们看到：当目标尺寸缩小时，PPM缩放指标变大；目标尺寸放大时，PPM缩放指标变小。实验结果表明：我们所设计的PPM缩放指标能很好的反映跟踪过程中目标尺寸的大小情况。

3.2 PPM跟踪算法改进前后跟踪效果对比

图3中，用传统的PPM跟踪算法对目标进行跟踪时，由于目标窗没能及时根据目标大小进行自适应变化，当目标尺寸逐渐缩小时，目标窗内混入其他目标或者大量背景，导致跟踪目标窗的中心发生偏移；而改进后的目标窗口自适应PPM跟踪算法，能很好的解决这个问题，当目标尺寸发生变化时候，目标窗能够很好的自适应目标尺寸的变化，目标窗始终能紧紧的包含住目标。同样，改进后的PPM跟踪算法也避免了当目标尺寸变大时，目标溢出目标窗的情况。

3.3 改进后PPM跟踪算法计算性能分析

综合表1第一、二列数据可以看到，我们设计的PPM缩放指标的每帧计算耗时不到1 ms，由于在传统PPM算法中，原本就要计算目标及搜索区域图像直方图，在计算PPM缩放指标时我们只需要将已计算好的数据拿来用即可。所以，相比基于其他特征来衡量目标尺寸大小的缩放指标，在耗时方面，本文的缩放指标要小很多。再看第一、三列数据，发现当跟踪窗口实现自适应变化时，整个跟踪算法的耗时反而减少了，究其原因是跟踪窗变小时，包含的像素数减少，计算量自然也减少了。当然，当目标窗变大时，这个值也会变大。但是，不管目标放大还是缩小，窗口自适应的PPM算法，会保证目标被恰好包含在窗口内，多余背景像素的计算将会尽可能减少，因此，其计算是高效率的。

图2 PPM缩放指标实际应用效果Fig.2 The actual effect of PPM zoom indicator

图3 目标窗未缩放与缩放情况下的跟踪效果对比Fig.3 Tracking performance contrast in the case of the target window scale adaptive and non-adaptive

表1 PPM算法改进前后计算性能对比Tab.1 Computing performance comparison of original PPM and improved PPM

4 嵌入式视觉运动目标跟踪系统设计

4.1 系统功能及硬件设计

视觉运动目标跟踪是在某一帧视频中用检测、人工选定等方法，对感兴趣的区域或目标进行确定，并在后继各帧中定位出这些目标或区域，它把图像处理、自动控制、信息科学有机结合起来，形成了一种能从图像信号中实时地自动识别目标，提取目标位置信息，自动跟踪目标运动的技术[5]。

完整的视觉目标跟踪系统一般可分为两部分：目标检测和目标跟踪。目标检测作为另外一个图像处理问题也有很多人在研究；很多研究者采用人机交互的方式来确定目标：用鼠标或控制台上的按钮在画面中框选目标，以完成目标检测和识别的功能，本文的设计中采用了人机交互选定目标的方式。图4分别为实物简图和系统硬件结构图。

整个系统包括支持PELCO-D协议的一体化球形摄像机，TMS320DM642开发板，控制台，显示器等。系统的功能描述如下：通过显示器，用户能看到架在云台上摄像机拍摄到的实时图像，用户通过拨动操纵杆来控制摄像机角度和速度的变化，以达到在整个监控环境中手动搜索跟踪目标的目的，当用户通过显示器发现目标时，可以通过小角度拨动操纵杆来微调摄像机角度，以便将目标定格在视野中央的跟踪窗内。最后，按下“开始跟踪”按钮，系统便进入自动跟踪状态，随着目标的移动，摄像机能保持随动状态，使得目标始终处于视野的中央。当用户想停止跟踪时，只要拨动一下操纵杆，系统就会立即停止跟踪，切换到手动搜索状态。

图4 嵌入式视觉目标跟踪系统实物简图及硬件结构图Fig.4 The physical map and hardware structure diagram of visual target tracking embedded system

4.2 改进后的PPM算法移植及实际跟踪效果

本文的嵌入式软件是基于CCS2.2（Code Composer Studio）[6]开发的。TI公司的C6000系列DSP支持C、线性汇编、汇编相结合的编程方案。在代码移植过程中，我们采用了基于C语言的变量类型优化、内联函数优化、编译器优化，存储器优化，线性汇编优化等[7]方法对代码进行了一定优化工作，以达到嵌入式系统运行的实时性要求。图5为本文设计的嵌入式视觉运动目标跟踪系统的实际跟踪效果。

5 结束语

本文研究了PPM跟踪算法，针对该算法在实际跟踪过程中，存在跟踪窗口不能自适应变化而导致的目标跟偏甚至跟丢的缺陷，进行了改进，在综合考虑算法计算性能和缩放指标实际效果的基础上，我们提出了一种PPM缩放指标并实现了目标窗口自适应的PPM跟踪算法，经实验验证，改进后的算法相比传统PPM算法，有更好的跟踪效果，同时，算法的计算复杂性也没有明显增加。进一步，我们基于TMS320DM642设计了一套嵌入式视觉目标跟踪系统，对改进后的PPM跟踪算法进行了DSP移植，最终实现了一套嵌入式视觉运动目标跟踪系统，取得了较好的实际跟踪效果。

图5 嵌入式视觉运动目标跟踪系统的实际跟踪效果Fig.5 The tracking results of visual target tracking embedded system

[1]冯祖仁，吕娜，李良福.基于最大后验概率的图像匹配相似性指标研究 [J].自动化学报，2007，33（1）:1-8.

FENG Zu-ren，LV Na，LI Liang-fu.Research on image similarity criterion based on maximum posterior probability[J].Acta Automatica Sinica，2007，33（1）:1-8.

[2]Comaniciu D，Ramesh V，MEER P.Kernel based object tracking[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2003，25（5）:564-575.

[3]刘瑞祯，于仕琪.OpenCV教程—基础篇[M].北京:北京航空航天大学出版社，2007.

[4]Bradski Gray，Kaebler Adrian.Learning OpenCV:Computer Vision with the OpenCV Library[M].O’REILLY Press，2009.

[5]李伟.视频图像中的运动目标跟踪算法研究[D].南京:东南大学自动化学院，2009.

[6]尹勇，欧光军，关荣锋.DSP集成开发环境CCS开发指南[M].北京:北京航空航天大学出版社，2003.

[7]TexasInstruments.TMS320C6000 OptimizingCompiler User’s Guide[R].USA，Texas:Texas Instruments，2008.