基于异步时域事件的高速运动目标的跟踪算法

杨帅　薛永江　王瑞昆

摘 要： 异步时域事件是由异步时域视觉传感器获得，其数据具有低冗余特点，适宜于高速运动目标的跟踪。基于异步时域事件的跟踪算法从数据源上降低了数据冗余，克服了基于“帧”数据的传统跟踪算法需要处理大量无用信息的缺点，极大地提高了跟踪速度。文章提出的算法充分考虑了异步时域事件的数据集中性，在目标跟踪中使用按周期更新的策略，降低了算法的时间复杂度，提高了跟踪速度，并且跟踪轨迹更加平滑。

关键词： 异步时域事件； 目标跟踪； 高速； 时间复杂度； 更新策略

中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2016）06-72-03

Abstract： Asynchronous transient event is obtained by asynchronous time-domain visual sensor， which has a low data redundancy feature， and is suitable for tracking high-speed moving targets. Tracking algorithm based on asynchronous transient event reduces data redundancy from the data source， and overcomes the shortcomings of traditional tracking algorithm based on the "frame" data which has large volume of useless information， and greatly improves the tracking speed. The proposed algorithm fully considers the concentration of asynchronous transient event， so use the periodically updated in target tracking， and greatly reduce the time complexity of the algorithm， so that the tracking speed is improved and the tracking trajectory is smoother.

Key words： asynchronous transient event； target tracking； high-speed； time complexity； periodically updated

0 引言

传统目标跟踪算法的基本思路是从包含有运动目标的视频中检测、提取、识别和跟踪运动目标。传统的目标跟踪算法有卡尔曼滤波[9]、粒子滤波器[9]、Meanshift算法[8]、condensation算法[10]及动态贝叶斯网络[11]等。这些算法的数据源都是视频帧。由于视频帧的高数据冗余性，传统的目标跟踪算法需要处理大量的冗余信息，所以算法的时间和空间复杂度较高。文献[6]提出了一种基于异步时域事件的目标跟踪算法，但该算法在处理异步时域事件时采用按事件更新的策略，存在大量的无用计算，效率较低。

本文提出了一种新的基于周期更新的策略，较之前的方法从两方面进行了改进：①充分考虑了异步时域事件产生的时间集中性；②处理异步时域事件时采用了按周期更新的策略。该算法较传统的目标跟踪算法有更快的速度，比文献[6]算法的时间复杂度低。本研究通过数学建模，使用软件产生的异步时域事件，在PC平台使用Matlab和C++编程进行算法测试。

1 异步时域事件产生模型的建立

1.1 异步时域事件

异步时域事件是由异步时域视觉传感器产生，以串行方式输出。异步时域事件仅包含光强发生变化像素，这种方式消除了冗余数据。一般物体的边缘与背景的对比度最高，通过设置合理的参数可以使异步时域事件仅包含运动物体的边缘信息。

异步时域事件包含三部分信息：时间戳、位置、变化量。其中时间戳表示该事件发生的时间；事件的位置可以映射为图像的（x，y）坐标；变化量表示该时刻相对于上一时刻该点的光强变化量，这个变化量由异步时域视觉传感器量化。

异步时域事件异步产生，并且产生频率不固定，无法预测。若多个异步时域事件同时产生，输出时就会发生竞争，则需要进行仲裁处理[7]。根据应用场景的不同，可以使用以下三种仲裁方式：轮权仲裁、中间区域优先、事件集中优先。轮权仲裁按照第一行至最后一行的顺序决定优先权，适用于需要对全景信息采集，但对帧频要求较低的视觉图像采集领域。中间区域优先将优先输出中间N行，上下边缘各行输出优先权较低，适用于仅关注场景中间区域的应用领域。事件集中优先则根据每行需输出变化像素的个数决定输出优先权，可以迅速反映场景的关键变化信息，适用于高速目标跟踪领域。

1.2 从视频文件产生异步时域事件的模型

由视频文件的当前帧减去前一帧获得异步时域事件。异步时域事件的位置信息使用帧图像像素的行列信息表示。异步时域事件的变化量为当前帧与前一帧对应像素点的灰度值之差，该变化量是一个有符号数，正数代表该点亮度增大，负数代表该点亮度减小。

由于异步时域视觉传感器在采样和量化的过程中存在噪声，所以该模型为得到的视频帧添加噪声，噪声模型为高斯噪声。根据异步时域视觉传感器工作原理，该模型有一个阈值，当像素点的变化量的绝对值超过该阈值时，则输出该事件，该变化量设置为该事件的变化量，该像素的行列信息映射为事件的位置信息。大于阈值的数据送入仲裁器，仲裁器根据选择的仲裁方式为数据编号，该编号为该异步时域事件的时间戳。以当前帧的帧号和帧频信息获得仲裁器输出的该帧中第一个事件的时间戳tst，该帧中其他事件的时间戳按照输出顺序依次编号，如公式⑴。

⑴

该异步时域事件的产生模型如图1所示。

2 基于异步时域事件的高速目标跟踪算法

该算法从异步时域事件产生模块获得一个周期的时域事件，并实时地处理这些事件。该算法需要缓存一个周期的时域事件，仅占用的很少的内存。根据事件与簇中心的距离可以将这些事件分配到不同的簇中，然后按周期更新簇的中心和簇的权重等相关属性。以下简要地描述该算法。

① 计算一个周期内所有的事件距离各簇中心的距离，如果事件xE=（i，j） 在以RK为搜索半径的簇内，则把该事件分配到这个簇中，如式⑵，其中O为簇的中心。所有的簇将组成一个簇列表。

⑵

② 如果没有合适的簇，那么就以该事件xE为中心创建一个簇，簇的权重、半径速度属性设为默认值，并将该簇加入簇列表；并为该簇分配一个惟一的ID。

③ 当该周期内的所有事件都加入到相应的簇中，就更新这些簇的所有属性，更新方法后文将详细描述。

④ 重复以上步骤就实现了目标的跟踪，簇的中心代表目标的中心，簇中心的轨迹就是目标的运动轨迹，簇的速度代表目标的运动速度。

当两个目标相互接近发生遮挡时，这两个目标边缘所产生的事件将根据公式⑵都被分配到较活跃的簇中，由公式⑹可知另一个簇的权重将会逐渐降低，因此一段时间过后该簇就被删除了，有效地解决了目标遮挡问题。当这两个目标又逐渐分离时，由于簇的搜素半径在一定的范围内，所以一些事件将找不到合适的簇，由算法步骤②可知这时将新建一个簇，从而解决了目标遮挡后又分离的问题。

3 实验结果及分析

为了验证本算法的效果，使用一个80m/s运动的子弹的高速视频作为视觉激励，该视频时长1.7s。使用本文异步时域事件产生模型生成异步时域事件。异步时域事件共有16745个。分别用本文算法和文献[6]算法进行测试，得到的跟踪轨迹如图2所示。

由图2可见，本算法跟踪得到的轨迹更平滑，更符合目标的运动轨迹。而文献[6]的算法由于在跟踪时使用按事件更新簇属性的方法，使得簇中心跟随事件频繁移动，导致最终的跟踪轨迹是以真实轨迹为中心的震动曲线。本算法使用按周期更新的策略，以40ms为周期的一段时间中的所有事件来计算目标的中心，这样就有效地避免了簇中心的震动问题。

本文算法与文献[6]算法在子弹跟踪测试中耗时情况如表1所示。由表1可知，本文算法跟踪速度更快。本文算法周期性地更新簇属性，从而减少了计算量。本文算法不仅提高了跟踪效果，并且加快了跟踪速度。

4 结束语

本文提出一种从视频文件产生异步时域事件的模型，并使用该模型产生的数据进行目标跟踪，验证了该模型的正确性，为研究基于异步时域事件的算法提供了数据源。本文提出一种基于异步时域事件的按周期更新的高速运动目标跟踪算法，其优点是跟踪轨迹与目标的运动轨迹更加吻合，并且时间复杂度更低，跟踪速度更快。进一步的研究包括跟踪误差估计方法和在专有的硬件平台上实现该算法。

参考文献（References）：

[1] Tomoyuki Suzuki. Challenges of Image-Sensor Develop-

ment[C]. IEEE International Solid-State Circuits Conference， San Francisco， February，2010：27-30

[2] H. X. Yang， L. Shao， F. Zheng. Recent advances and

trends in visual tracking： A review[J]. Neurocomputing，2011.74（6）：3823-383

[3] R.J Vogelstein， U. Mallik， G. Cauwenberghs. Beyond

address-event communication： dynamically reconfigurable spiking neural systems[J].The Neuromorphic Engineering，2004.1（1）：1-12

[4] S. D. Liu， T. Delbruck. Neuromorphic sensory systems[J].

Current Opinion in Neurobiology，2010.20（3）：288-295

[5] Ahmed Nabil Belbachir， Michael Hofst?tter， Martin

Litzenberger， Peter Sch?n. High-Speed Embedded-Object Analysis Using a Dual-Line Timed-Address-Event Temporal-Contrast Vision Sensor[J]. IEEE Transactions On Industrial Electronics，2011.58（3）：770-782

[6] M. Litzenberger， C. Posch， D. Bauer ，et al. Embedded

Vision System for Real-Time Object Tracking using an Asynchronous Transient Vision Sensor[C]. Digital Signal Processing Workshop， 12th -Signal Processing Education Workshop， 4th， Sept，2006：173-178

[7] 于璐，姚素英，徐江涛.一种基于地址-事件表达的实时视觉

传感器实现方法[J].光学学报，2013.33（1）.

[8] 顾幸方，茅耀斌，李秋洁.基于Mean Shift的视觉目标跟踪算

法综述[J].计算机科学，2012.12：16-24

[9] 徐林忠.基于粒子滤波和卡尔曼滤波的复杂场景下视觉跟踪[D].

浙江大学硕士学位论文，2008.

[10] 徐岩柏.一种改进的Condensation人脸特征点跟踪算法[J].

计算机应用与软件，2015.12：154-159，213

[11] 吴孟俊，付钿，刘建平，牛玉刚.基于动态贝叶斯网络的多特

征目标跟踪[J].计算机工程与应用，2011.30：183-187