多光电跟踪仪目标接力跟踪方法设计与实现

河南中光学集团有限公司 张 锐 贾会梅 全晓鹏

多光电跟踪仪目标接力跟踪方法设计与实现

河南中光学集团有限公司 张 锐 贾会梅 全晓鹏

目标接力跟踪是计算机视觉领域的一个重要课题，在边海防监控、要地防御、城市安防等领域具有很强的应用价值。设计并实现了多光电跟踪仪的目标接力跟踪方法。首先，利用帧差法和背景减除法，对单台光电跟踪仪进行运动目标检测并标定有效跟踪目标；然后，利用SURF特征匹配和Kalman滤波算法，对运动目标进行实时跟踪；最后，通过对各光电跟踪仪的接力方式和区域进行定义和调配，实现了多光电跟踪仪的接力跟踪。实验结果表明，该方法在保证实时性的条件下，具有较高的准确性。

光电跟踪仪；目标检测；SURF特征；Kalman 滤波；接力跟踪

1.引言

视觉目标跟踪是智能视频监控及其他视频处理系统最基本的核心技术。实际应用中，单台光电跟踪仪视野有限，往往需要多台光电跟踪仪联合监控。多台光电跟踪仪联动具有监控范围大、全方位、多视角等优点，有利于解决目标遮挡、混乱环境、光照突变等情况下的运动目标跟踪问题，近年来已经成为计算机视觉领域一个新的研究热点[1]。

1998年，MeyerM等人[2]提出使用多摄像机进行场景监控，这样不仅可解决单一摄像机视野有限的问题，还有利于解决目标的遮挡问题。Khan和 Shah[3]使用FOV来实现多个视野之间的接力跟踪。Orwell[4]和 Krumm[5]等通过比较目标区域的颜色直方图来建立多摄像机下多目标之间的匹配。Mittal[6]等在目标的运动区域建立高斯颜色模型，通过比较高斯颜色模型的相关度来进行匹配。同时，对视野无重叠的多摄像机联动跟踪的研究成果也有很多[7]，但在实际场景中的应用效果并不太理想，目标容易跟丢、跟错等。

本文以要地防御监控系统目标接力跟踪为背景，基于目标特征模型匹配算法，设计和实现了一种多光电跟踪仪之间目标接力跟踪的方法。该方法在运动目标检测、跟踪和接力部分，均采用实时性较高的算法，提高了目标跟踪的实时性和准确度。

2.算法框架

要地防御监控场景要求防护等级高，监控覆盖面广，全天候不间断运行，随时要掌握场地中人员、车辆及突发事件的前端视频信息。单光电跟踪仪监控范围有限，容易产生监控盲区，造成信息遗漏，难以满足重点区域、重点防护的要求；而多台光电跟踪仪联动则有利于实现对目标进行大范围、多视角的监控及跟踪。

本文对多光电跟踪仪的目标接力跟踪关键算法进行研究。接力跟踪的主要分为两个步骤：1）单光电跟踪仪下目标跟踪；2）多光电跟踪仪间协同跟踪。目标接力跟踪是以单光电跟踪仪的目标跟踪为基础的，在每个光电跟踪仪内完成目标的检测和跟踪后才进行多光电跟踪仪之间的协同跟踪。整体算法采用网络架构模式，前端单光电跟踪仪负责运动目标检测与跟踪，后端由调度中心服务器负责协调各光电跟踪仪间的接力规则的制定和接力任务的调配，实现了多光电跟踪仪之间的目标交接、连续跟踪等功能，具体框架如图1所示。

图1 目标接力跟踪算法框架图

3.关键算法

3.1 运动目标检测

运动目标的跟踪主要技术难点是复杂环境中的目标检测与特征提取。目前常用的目标检测算法有光流法[8]、帧差法[9]和背景减除法[10]。光流法计算复杂，难以满足实时性要求；帧差法能够快速有效地从背景中检测出目标，但分割出的目标不完整；背景减除法算法简单且易于实现，但易造成目标信息的漏检而形成空洞。通过实验综合比较，本设计采用背景减除法和帧差法相结合的方案[11]，提高目标检测的准确度和实时性。

背景减除法是利用当前帧图像减去不含运动目标的背景图像，然后根据一定的阈值来检测出前景目标。其计算公式如下 ：

在背景模型建立时，由于实际场景复杂，干扰多，采用混合高斯模型，具有较好的抗干扰性，同时采用文献[12]的方法更新时变权值参数，使模型能及时反映背景变化。

帧差法可以获取目标的轮廓，但运动目标速度较快时，两帧差分法得到的运动区域会大于实际目标[11]。为提高目标运动区域的准确度，考虑采用三帧差分法，计算公式为：

其中：T为二值化图像的阈值，W为中值滤波器的窗口函数。

综上，本文采用的运动目标检测方法的主要步骤：1）通过三帧帧差运算得到图像中的运动区域；2）在求取的运动区域内运用三帧帧差图像和背景减除图像的逻辑或操作，得到高精度、比较完整的前景图像：

3.2 单光电跟踪仪目标跟踪

SURF是一种与SIFT类似的尺度不变特征提取方法。与SIFT相比，SURF运算简单，效率更高。由于单独使用 SURF 算法无法对快速运动目标进行准确跟踪，本文采用Kalman 滤波和SURF特征相结合的方法来进行目标跟踪，主要步骤如下：

1）确定跟踪目标：检测出区域内的动目标后，采用 SURF 算子进行特征提取，选取特征点最多的目标作为跟踪目标。

2）目标的预测：在预测阶段，构建一个基于目标定位的搜索区域。通过Kalman 滤波算法获取下一帧目标可能出现的大致方位，在这个局部区域进行目标的搜索定位，将大大减少运算时间和提高跟踪的鲁棒性。

3）目标的定位：SURF 特征点匹配时，采用最近邻匹配法（NNDR）和文献[13]的去除误匹配点和定位目标的算法，通过设置阈值的方式，判定特征点是否匹配成功。同时，在基于 SURF 的定位后，由于搜索区域中的相似特征点或目标会导致偶然的错误匹配情况，采用直方图匹配方法进一步排除错误目标。

3.3 多光电跟踪仪接力跟踪

根据要地防御监控中对道路人员、车辆进行接力跟踪的需求，设计了在道路沿线架设多台光电跟踪仪，且相邻光电跟踪仪视场有重叠区域的实施方案，系统总体设计如图2所示，图中Si表示第i台光电跟踪仪（i=1,2,…, n），Ai表示Si和Si+1的视场重叠区域。

图2 系统总体设计图

光电跟踪仪负责目标检测与跟踪，调度服务器负责协调与各光电跟踪仪通信及传输目标特征、检测结果、跟踪信息等。接力跟踪的主要流程如下：

1）目标检测与选定：光电跟踪S1仪负责目标的检测和选定，确定跟踪目标并进行跟踪；

2）接力跟踪阶段：(a)当目标进入重叠区域Ai后，光电跟踪仪Si将重叠区域信息和目标特征集上传到调度服务器；(b)调度服务器接收到上传的信息后，根据预先定义的调度规则，将重叠区域信息和特征集下发给接力的光电跟踪仪Si+1；(c)光电跟踪仪Si+1接收到信息后，进行目标的检测，根据光电跟踪仪Si传递过来的特征集进行目标匹配，匹配成功后进行目标跟踪。

待目标进入下一个重叠区域Ai+1后，重复执行步骤(a)、(b)、(c)，直到目标跟踪结束。接力跟踪流程图如图3所示。

图3 接力跟踪流程图

4.实验结果分析

实验在有行人和车辆通过的道路上进行测试，主要分为运动目标检测、单光电跟踪仪目标跟踪及多光电跟踪仪间的目标接力跟踪。

4.1 运动目标检测

图4(a)为通过公式(2)获得的三帧帧差法二值图像，可以明显看出运动目标的轮廓图；图4(b)为通过公式(1)得到的背景减除法二值图像，会发现有大量噪点存在；通过三帧帧差法运算获得目标的运动区域，如图4(c)所示，在运动区域内运用三帧帧差法和背景减除法，如图4(d)所示，噪点减少，目标特征明显。

图4 目标检测图

4.2 单光电跟踪仪目标跟踪

当检测到场景中的运动目标时，选择特征点最多的运动目标进行跟踪，如图5(a)所示，目标进入视频画面时用红框进行标记。分别采集了视频中的第1、11、31、51帧，可以看到从目标进入时开始进行跟踪。

图5 目标跟踪效果图

4.3 多光电跟踪仪接力跟踪

考虑相邻的两个光电跟踪仪Si和Si+1。现对Si中的某一运动目标进行跟踪，如图6(a)中所示，当跟踪目标进入Si和Si+1的重叠区域Ai后，由调度服务器协调Si+1进行目标搜索及接力跟踪，如图6(b)所示。实验结果验证了该方案的可行性。

图6 接力跟踪效果图

5.结论与展望

本文设计并实现了一种基于多光电跟踪仪运动目标接力跟踪的方法。通过帧差法、背景减除法、Kalman 滤波、SURF特征提取、目标特征模型匹配及各光电跟踪仪间的接力调度等步骤完成接力跟踪。该方法目前已经实际应用于边海防视频监控、要地防御监控等多个领域。应用结果表明，该方法保证了多光电跟踪仪间的目标稳定交接和持续跟踪，可以满足要地防御监控的实时性和准确性要求，是一种可行的接力跟踪方法。下一步还需研究把运动目标和跟踪算法集成到光电跟踪仪硬件设备中，进一步提高接力跟踪的实时性。

[1]赵春晖,张洪才,牛恩国．多摄像机目标跟踪系统设计[J]．计算机测量与控制,2008,16(1):128-131．

[2]M．Meyer,M．Hotter,T．Ohmacht．Newoptionsinvideosurveillancea pplicationsusingmultipleviewsofascene[C]．InternationalCarnahanConferen ceonSecurityTechnology,2002,216-219．

[3]S．Khan,M．Shah．Consistentlabelingoftrackedobjectsinmultiplecam eraswithoverlappingfieldsofview．IEEETransonpatternanalysisandmachinei ntelligence,2003,25(10):1355-1360．

[4]J．Orwell,P．Remagnino,G．A．Jones．Multi-Cameracolortracking．Proc．ofthe2ndIEEEWorkshoponVisibleSurveillance,1999,14-24．

[5]J．Krumm,S．Harris,etal．Multi-CameraMulti-Persontrackingforeasyliving[J]．Proc．ofthe3rdIEEEIntl．WorkshoponVisualSurveillance,2000,3-10．

[6]A．Mittal,L．S．Davis．M2Tracker:AMulti-Viewapproachtosegment ingandtrackingpeopleinaclutteredsceneusingRegion-Basedstereo[J]．Proc．ofthe7thEuropeanConferenceonComputerVision,2002,18-36．

[7]K．W．Chen,C．C．Lai,etal．Adaptivelearningfortargettrackingandtrue linkingdiscoveringacrossmultiplenon-overlappingcameras[J]．IEEETransac tiononMultimedia,2011,13(4):625-638．

[8]B．Horn,B．Schunck．Determiningopticalflow[J]．ArtificialIntelligen ce,1981,17(1):185-203．

[9]R．T．Collins,A．Lipton,etal．Asystemforvideosurveillanceandmonito ring[R]．CarnegieMellonUniversity,2000．

[10]L．Y．Li,W．M．Huang,elal．Statisticalmodelingofcomplexbackgro undsforforegroundobjectdetection[J]．IEEETransactionsonImageProcessi ng,2004,13(11):1459-1472．

[11]周西汉,刘勃,周荷琴．一种基于对称差分和背景消减的运动检测方法[J]．计算机仿真,2005,22(4):117-119．

[12]方帅,薛方正,徐心和．基于背景建模的动态目标检测算法的研究与仿真[J]．系统仿真学报,2005,17(1):159-165．

[13]H．Yin,C．Peng,Y．Chai．Arobustobjecttrackingalgorithmbas edonSURFandKalmanfilter．IntelligentAutomationandSoftComputi ng,2013,19(4):567-579．

张锐（1979－），男，大学本科，现供职于河南中光学集团有限公司，研究领域为计算机视觉、视频图像处理、安防监控。