徐 蕾,刘 曼,彭月平
(武警工程大学,陕西 西安 710086)
复杂背景下视频运动目标跟踪算法研究
徐 蕾,刘 曼,彭月平
(武警工程大学,陕西 西安 710086)
随着视频监控技术的进步,运动目标跟踪作为计算机视觉领域的难点问题,具有广阔的发展前景,其采用的算法种类繁多,效果也各有千秋。结合文献资料介绍了目前普遍适用的四种目标跟踪算法,对比分析了其优势和局限性,可以综合采用两种以上算法进行跟踪研究来提高目标跟踪识别的精度和效率。最后归纳总结了目标跟踪算法亟待解决的问题和研究趋势,对未来跟踪算法的发展进行展望。
运动目标跟踪;跟踪算法;均值漂移;粒子滤波
Abstract: With the continuous development of video surveillance technology, moving target tracking as a difficult problem in the field of computer vision, has a wide development prospect. It has many kinds of algorithms and they have different effects. In this paper, four kinds of tracking algorithms are introduced, and their advantages and limitations are compared and analyzed.We can combine two or more algorithms to take the tracking research, that can improve the accuracy and efficiency of target tracking. Finally, the problems that tracking algorithm needs to improve and research trends of target tracking algorithm are summarized, also the future development of tracking algorithms is prospected.
Key words:moving target tracking; tracking algorithm; Mean Shift; particle filter
运动目标跟踪是指从视频图像序列中获取单个或者多个目标随时空变化的运动轨迹信息。基于视频图像的运动目标跟踪是计算机视觉领域的重要研究方向,它在军事侦查、交通系统等方面有着广泛应用,但在实际应用中,背景干扰和目标外观变化等因素会直接影响目标跟踪效果。可将目标跟踪问题分为目标检测和目标跟踪两个阶段,检测算法用来发现目标并确定其位置,而跟踪算法可以确定目标运动轨迹、外观等参数,方便进行后续的观察分析。本文主要是对目前较实用的目标跟踪算法进行简述和比较,并分析各自的优缺点。
常见的运动目标跟踪算法分为基于主动轮廓的跟踪、基于目标特征的跟踪、基于目标区域的跟踪和基于滤波的跟踪[1]。本文按照这四种类型来介绍目前适用的几种算法。
目前运动目标跟踪算法的技术难点主要有三方面:
(1)运动目标的阴影与目标本身的运动特征几乎相同,易被当成前景信息而被错误检测并提取出来。
(2)在高密度人群的视频图像中,目标之间相对拥挤,存在相互之间遮挡的情形,导致目标提取困难,难以准确跟踪。
(3)视频图像的信息量大,在跟踪运动目标的过程中,其可靠性和精确性的提高,对所采用的算法有着更高的要求,尤其在实时性问题的解决上。
1.1基于人脸Haar-like特征头部检测跟踪法
该方法属于基于主动轮廓的跟踪,它是在获得目标整体信息的基础上提取边界轮廓信息作为模板,再对后续图像序列的二值边缘图像进行匹配,从而实现目标跟踪。其优点在于不需要考虑先验知识,目标的轮廓信息可以随着图像序列的输入不断更新,且计算量小,匹配速度快。
大多数视频图像跟踪问题中的场景图像序列是采用位置不变的摄像机获取的,有的是采用背景建模的方式提取运动区域,还有些是通过背景减除法来检测跟踪,这些方法对低密度人群的检测跟踪有一定效果,但对于复杂场景下的高密度人群会出现遗漏和差错。在假设监控摄像机架设在一定高度的前提下,提出了基于人脸Haar-like特征的Viola-Jones分类器检测脸部的跟踪方法[2],对于背向摄像机的人群,采用轮廓特征Logistic回归分类器进行检测。其主要原理就是利用该分类器检测到某一帧图像中所需跟踪采集的目标头部轮廓特征,提取特征向量后采用似然函数计算权重值,再利用这个分类器预测下一帧图像中该位置是否存在同一头部轮廓特征。
此类方法主要是基于对人体头部轮廓特征的检测,避免了背景建模的复杂性,能够满足实时跟踪移动目标的需求,但是对于目标遮挡或重叠问题仍有一定的弊端。另外边界轮廓的初始化过程较为困难[3],只有当目标边缘轮廓曲线的能量最小时才能获得其真实轮廓。
1.2多特征融合目标跟踪算法
该算法属于基于目标特征的跟踪方法。灰度图像的特征信息只有彩色图像的1/3,因此单纯利用灰度值作为特征值,会导致目标丢失,无法进行定位和识别[4]。因而提出了利用图像x和y方向的梯度特征和灰度特征融合形成多特征直方图对目标进行稳定跟踪的方法。
首先建立包含灰度特征和梯度特征两个部分的特征模型,利用sobel算子对待匹配模板的图像求其x和y方向的纹理特征,然后提取加权特征,采用背景建模方法提取主要前景目标,减少背景特征值产生的干扰信息。若待匹配图像的像素位置属于前景图像,则统计当前概率密度;若属于背景图像,则对概率密度图像取高斯概率分布函数的小概率随机数[5]。最后为了减少光照、形变等外界因素对匹配度的影响,在对待匹配图像的像素点进行尺度变换后再做直方图统计,使用MeanShift(均值漂移)算法算出特征值,并通过迭代确定目标的最终位置。
对x和y两个方向的梯度和灰度特征进行融合,能够使得目标和背景信息的对比更加明显,从而优化跟踪效果。基于特征的跟踪方法是对运动目标中具有不变性的元素特征进行检测跟踪,在后续视频图像中利用算法进行匹配来跟踪运动目标。为了使得算法结果更加精确,通常可以结合多个特征因素进行跟踪。
1.3基于旋转不变LBP特征的Mean Shift跟踪算法
它属于基于目标区域的跟踪方法。Mean Shift跟踪算法是通过以均值漂移为基础的模式匹配进行迭代算法,再计算搜索目标的位置。鉴于颜色直方图对图像的模糊程度、尺度变化等信息的敏感度不强,导致对目标颜色分布的分析判断存在缺陷,因而传统Mean Shift跟踪算法计算量较大,实时性差。在此基础上引入COV算子、HOG算子等,但仍不能很好地满足区分同一梯度不同纹理像素的要求,而LBP特征的旋转相关性能够较好地区分并解决此问题[1]。
Mean Shift跟踪算法是对前一帧目标位置的邻域范围进行匹配度最大值的寻找,从而完成算法迭代,通过不断移动改变概率密度的梯度方向,直至达到其局部密度的最大值。该算法的整体思路是:手动选定视频图像首帧的运动目标区域,并计算该区域和候选区域的旋转不变LBP特征值,它由扩展的LBP数据循环移位实现,公式如下:
(1)
然后寻找运动目标和候选目标在LBP特征空间内的最小距离,即相似度最大值[6]。接着读取下一帧视频图像,通过迭代前一帧的位置形成一个循环跟踪模型。引入旋转不变LBP特征后的Mean Shift跟踪算法能够克服传统Mean Shift算法鲁棒性差、易丢失目标的弊端,可对光照突变和背景相似条件下的视频目标进行跟踪,对于目标旋转和形变等情况也能够很好解决。这种跟踪算法区别于传统点对点匹配算法,采用自适应迭代的方法快速进行模式匹配和计算,能对高概率密度部分进行精搜索,对低概率密度部分进行粗搜索。
基于区域的跟踪方法将视频首帧作为参考模板,计算它和后续图像序列的相关性来确定目标位置,依据运动目标区域内的单个或者多个特征进行跟踪,在无遮挡条件下其精确度和稳定性较好,对于阴影和遮挡问题的处理仍有不足。均值偏移算法忽略了目标在运动过程中的连贯性,仅搜索有限条件下相匹配的目标,匹配精确度有待提高[7]。
1.4颜色粒子滤波目标跟踪
它属于基于滤波和颜色特征的跟踪方法,主要是建立系统动态模型估计运动目标状态从而达到实时掌控目标运动状态的目的,它包括线性滤波跟踪和非线性滤波两大类,卡尔曼滤波属于线性滤波的算法,而非线性滤波,是根据贝叶斯估计的相关理论实现的。
该方法针对颜色粒子滤波对光照敏感的问题提出。粒子滤波算法是以贝叶斯估计为基础的一种能有效解决非线性系统的状态估计问题的算法,对于运动目标局部遮挡的鲁棒性要优于Mean Shift跟踪算法,其应用范围也更广泛。将颜色直方图和运动目标的空间分布信息结合起来,并建立多个颜色模型来改善跟踪效果[8],提高精确度,但无法有效避免或减少光照条件对目标跟踪效果的影响。颜色粒子滤波算法是在对颜色直方图改进后的基础上,针对颜色特征的光照敏感性等缺陷,设计了相应的自适应更新目标模型和能够动态调节粒子数目的方法,从而解决了运动目标的遮挡问题。
该算法的原理是采用蒙特卡罗统计模拟方法来实现贝叶斯多重积分问题,通过系统状态空间中的粒子描述后验概率分布情况,即把系统状态估计问题转化为用大量带权粒子求解后验概率分布问题[9],同时不断更新粒子以确保算法的实时性和有效性。其实质就是采用系统状态空间的随机样本点来计算后验概率密度函数,再利用重采样的方法循环递推计算,假设样本空间足够大时,所采集的概率密度即为真实的概率密度结果。该方法能够将多重积分和概率密度计算的复杂程度降低,在实时场景下快速完成目标运动状态的估计和预测问题,并且能够支持非线性和非高斯状态的系统模型,对于局部遮挡和运动突变造成的影响可以予以克服,鲁棒性好,其计算精度与最优估计接近[10]。但是对于长时间遮挡或者相似目标交错的情况会存在明显的误差,甚至出现目标跟踪失败的情况。
目前所研究的基于场景模式的运动目标跟踪算法均是以理想环境为前提,不完全代表实际应用中出现的干扰和影响因素。对简单语义的行为信息能够快速识别理解,但对于复杂场景下的深层运动模式的理解还有所缺乏,可结合混合高斯模型、马尔科夫模型等更为复杂的数学模型加以分析研究,以提高分析理解能力。
运动目标跟踪作为智能视频监控系统的关键技术,在军事领域能够实现对军事目标的实时跟踪,在智能交通方面可以对违规车辆进行跟踪,在医学方面能够跟踪研究微观细胞等,其研究价值越来越高,也意味着所采用的算法要进一步优化。鲁棒性好和精确度高一直是衡量目标跟踪算法是否适用的标准,因而需要找到高效、快速、稳定的算法来应对复杂环境下的目标跟踪。在未来的研究中需要进一步解决以下问题:
(1)对于目标遮挡或重叠问题,一直是视频监控和目标跟踪的难点问题,尤其是在对多个运动目标的检测和跟踪上,以上算法的效果还存在缺陷,因而使用多个摄像机实现多方位监控仍是目前最有效的手段。
(2)在背景复杂的情形下,采用多种方法结合的算法能够有效解决目标运动轨迹变化的问题,但当目标停止运动或者缓慢运动时,会出现难以获取稳定背景模型的情况[11],给图像的处理带来困难。因而要综合多方面因素来设计算法,既要满足目标突变时的跟踪,又能完成目标慢变化时背景模型的获取。
[1] 李菊.复杂背景下的运动目标检测与跟踪[D].合肥:合肥工业大学,2015.
[2] 曹瑞,王敏,段潇潇.密集人群场景下的行人检测与跟踪[J].计算机与现代化,2017(1):75-78.
[3] 高瑞华.智能视频监控中运动目标检测与跟踪算法研究[D].南京:南京航空航天大学,2014.
[4] 邹薇,赵勋杰,李权,等.一种基于运动检测的行人多目标跟踪算法[J].计算机应用与软件,2014,31(8): 132-135.
[5] 江山,张锐,韩广良,等.复杂背景灰度图像下的多特征融合运动目标跟踪[J].中国光学,2016,6(3):320-328.
[6] 肖亮,陈想,丁亮.一种改进的Mean Shift运动目标跟踪算法[J].信息技术,2017(1):127-130.
[7] 张英,车进,牟晓凯,等.改进的Meanshift运动目标跟踪算法[J].电视技术,2016,40(10):97-100.
[8] 王欢.复杂场景下的运动目标检测与跟踪研究[D].北京:北京理工大学,2015.
[9] 杨阳,陈淑荣.融合颜色与纹理特征的粒子滤波目标跟踪[J].微型机与应用,2015,6(11):47-50.
[10] 杨戈,温诗伟,黄静.基于粒子滤波的视觉跟踪器的设计与实现[J].电子技术应用,2013,39(11):142-144.
[11] 王红茹,季鸣.一种新型的实效运动目标检测与跟踪方法[J].江苏科技大学学报(自然科学版),2016,30(6):586-590.
Research of moving target tracking algorithms under complex background
Xu Lei, Liu Man, Peng Yueping
(Engineering University of PAP, Xi’an 710086, China)
TP391.4
A
10.19358/j.issn.1674- 7720.2017.18.005
徐蕾,刘曼,彭月平.复杂背景下视频运动目标跟踪算法研究[J].微型机与应用,2017,36(18):15-17.
2017-03-20)
徐蕾(1992-),女,在读研究生,主要研究方向:作战环境。
彭月平(1976-),男,博士,副教授,主要研究方向:数字信号处理。
刘曼(1991-),女,在读研究生,主要研究方向:武警通信。