基于相关滤波快速定位搜索水面目标跟踪方法

管凤旭,唐世文,丛浩东,胡秀武

(哈尔滨工程大学智能科学与工程学院,黑龙江 哈尔滨 150001)

1 引言

目标跟踪是计算机视觉中最基本的问题之一,其应用广泛,包括视频监视,运动视频分析,动作识别,视频编辑和人机界面[1-6]。对于水面高速运动场景,传统的相关滤波算法有着模糊、抖动等问题,研究改进出新的算法势在必行。

近些年,基于相关滤波算法的研究已经取得飞速进展。在2010年,Bolme等人[7]首先将相关性过滤器引入视觉跟踪,建立具有最小输出平方和(MOSSE)过滤器的判别模型。2012年,Henriques等人[8]利用样本数据矩阵的循环特性,提出基于MOSSE的CSK。2015年,Henriques等人[9]提出的KCF算法,结合了HoG特征和带内核的多通道相关性到跟踪器中,大大提高了跟踪器性能。尽管KCF算法具有很高的速度和鲁棒性,但它无法使用固定的比例模板来估计目标的比例变化,当目标比例由于样品窗口中目标外观的变化而变化时,会导致跟踪失败。Danelljan等[10]使用一个单独的比例尺滤波器基于MOSSE(即DSST)估算比例尺变化,同时实现了高精度和高效率。在2014年,Li等人[11]发表了多尺度核相关滤波(SAMF)算法[12],该算法使用融合特征来对目标进行描述,并应用了目标尺度自适应的概念,SAMF算法对跟踪目标尺寸大小变化更加敏锐,SAMF算法在跟踪速度上相比较于DSST有所提升,但是在水面高速运动场景仍存在水面高速运动容易发生模糊、抖动、遮挡问题,本文将SAMF算法基础上提出新的算法。

近几年大火的深度学习也使得基于深度学习的目标跟踪算法成为热点[13-15],其优点在于跟踪精度非常高,但并不符合在运用于水面无人船需要有较高实时性的要求。

本文基于SAMF算法基础提出两点改进方法:

1)在目标跟踪过程中,通过跟踪目标的大小和位置自适应调整跟踪框长和宽,确定合适的目标跟踪区域,改善跟踪性能

2)由实时的目标速度和加速度求得模型更新率与速度之间关系式,利用加速度对运动状态的预测作用确定模型的更新率,提高目标的跟踪精度。

2 SAMF算法

SAMF算法使用融合特征来对目标进行描述,并应用了目标尺度自适应的概念,SAMF算法对跟踪目标尺寸大小变化更加敏锐,在高速运动中具有良好的跟踪性能。SAMF算法利用一个相关滤波器来确定目标位置和估计尺度。

位置滤波器Hp:设每一个维度的相关滤波器为hl,通过岭回归求取最小期望E

(1)

其中,g应为训练样本f的期望输出,当取E最小时,可以推导得到

(2)

(3)

最后假设当前帧位置为Z,那么下一帧预测位置为

(4)

尺度滤波器:以位置滤波器找到的下一帧图像位置为中心,求得各个尺度的候选框与候选框目标特征,之后选取在特征计算中特征响应最大的为此时的尺度。方式如下:

an*L×an*H,

(5)

其中,L和H分别表示上一帧图像的宽度和高度,a表示尺度因子,S表示尺度数量,在SAMF算法中S=33。

SAMF算法采用了一个滤波器来完成目标定位和目标尺度估计。SAMF算法的预测框大小为固定值sT=(sx,sy),算法还新增了尺度池S=(t1,t2,…,tk)。在原始图像空间中,若目标预测框为sT,为了让尺度池中各尺度的样本与sT样本相同,采取双线性插值来达到目的。为了求取最恰当的目标尺寸,选取{tisT|ti∈S}中k个大小的目标来对比当前帧。

算法的滤波器采用新过滤器与旧过滤器线性组合的方式来更新。Y是滤波器器模板,在每一帧生成

(6)

3 快速定位区域搜索的目标跟踪方法

SAMF算法具有优良性能,但是SAMF算法对水面快速运动的场景仍然性能不理想。在传统的目标跟踪算法中,目标跟踪框的大小由目标的初始大小决定,跟踪框的大小在整个跟踪过程中是固定的,而目标跟踪框的大小对算法精度有着很大影响。水面高速运动中,如果目标尺寸变大超过初始尺寸,容易导致目标特征丢失,导致目标定位精度降低,增加跟踪过程中目标丢失的概率。如果目标尺寸变得比初始尺寸小,跟踪帧将混合过多的背景图像和无用的特征。本算法设计出一种可自适应调整跟踪区域与模板更新率的方法。

3.1 区域搜索

原SAMF算法中用padding表示中目标周围背景区域的范围,若需要目标周围区域范围较小,取padding=1.5,同时算法采样和计算的信息量也较少,其缺点是可能出现的是目标剧烈抖动导致目标跟丢。当padding取2的时,除去目标区域下的背景区域所占百分比比padding=1.5时多得多,同时算法采样和计算的区域也更大,算法的跟踪速度会下降。在原SAMF算法中,为了保证算法的跟踪准确度,padding取2。考虑到背景范围较大的搜索区域会使算法的跟踪速度变慢,而背景范围较小的搜索区域可能会使算法出现因剧烈抖动出现容易跟丢情况,本文提出一种新的对于不同目标自身尺寸的大小和长宽比例不同,分别确定搜索区域的方法。具体方法如下:

跟踪框对准跟踪目标的中心点时,可设跟踪目标的长和宽分别为x和y,视频序列下一帧的长和宽为X和Y,则下一帧的长宽可以确定

(7)

为了应对目标长宽不协调可能使目标快速运动时可能偏离搜索区域的情况,定义一个长宽比k,如下

(8)

k代表长宽的比例,若k≥2时判定目标狭长程度过大,重新确定搜索区域长宽,当y=max(x,y)时,可设X′为调整后的高度,Y′为调整后的宽度,修正的公式如下

(9)

y>x,本方法采取的措施为减小上下区域,扩大左右区域。若x=max(x,y)时,修正的公式如下

(10)

当k<2时,则按式(7)设定搜索区域长宽即可。在以上一系列对应的调整下,针对各种长宽比例的跟踪目标,算法仍能自适应性调整,优化和调整搜索区域面积,在去掉无关的搜索背景并加快算法速度。

如下图1和2,方框中的区域是算法调整前后的的目标搜索区域,在图1中可看出本文方法相比于padding=2的上下搜索区域缩小,左右搜索区域并未过多减小;在图2中可看出本文方法相比于padding=2的搜索区域各方向均明显减小。

图1 k≥2时本文方法搜索区域

图2 k<2时本文方法搜索区域

3.2 滤波器的更新机制

SAMF算法采用的模型更新率为式(6),如下

(6)

首先,将速度v的计算公式如下

(11)

前一帧的中心点坐标和当前帧中心点的坐标可以确定。

外观变化的程度越大,更新率变化越大,目标速度影响着外观变化程度,速度越快的目,其外观变化越快。在大量实验中得到证实,模板更新率λ需要随着目标速度ν变大而同步变大以适应外观的变化;反之,目标速度ν越小,模板更新率λ越小,两者关系如下

(12)

目标加速度对目标的状态变化有预测左右,设序列帧速率为fr,于是加速度有以下关系式

(13)

其中,vn表示当前帧目标速度,vn-1表示前一帧目标速度,Δt为相邻帧时间差,为fr的倒数。

当a<0,速度减小时,应按照a的值对η再次调整,通过减小更新率η来适应目标的速度减小这一状态。调整的模型更新率的公式如下:

λ′=λ+a

(14)

λ表示一个所取的调整系数,而λ′表示调整后得到的模型更新率。

在式(14)中,调整后的更新率与速度的变化保持步调一致,所以修正值应该比模板更新率低一个数量级,帧速率越大则μ取值应较小,在通常的视频序列,帧速率的值应该和μ取值呈相反关系,在帧速率fr为24～30fps,ω应该取3×10-4～4×10-4。

关于滤波器更新机制,本文提供的方法为:先以滤波器模型确定目标位置和尺度,然后使用预测框的中心点计算出目标的移动距离,根据关系式和计算出的目标速度v和加速度α来自适应调节模板更新速率λ,于是新的滤波器模板可以通过调整过的模板更新率求得。

4 实验结果分析

4.1 不同速度下目标跟踪试验验证

实验环境是笔记本电脑上某常用仿真软件,处理器为i5,所采用的视频序列集部分来自于黑龙江二龙湖实地拍摄的视频。本文选取SAMF算法和本文算法下的不同帧速率分解得到的序列集做目标跟踪实验。为了模拟出不同速度,视频以25帧/s、12帧/s、8帧/s的速度分解得到三组序列集Redhouse-25、Redhouse-12、Redhouse-8,通过比较实验结果分析得出本文算法对目标速度的自适应性。在Redhouse序列中的无遮拦、形变,有轻微尺度变化等特点,有利于一定程度上避免其它变量对实验结果的影响。试验结果如图3～5和表1所示。

表1 Redhouse序列集跟踪结果数据表

图3 Redhouse-25序列跟踪结果对比

图4 Redhouse-12序列跟踪结果对比

图5 Redhouse-8序列跟踪结果对比

从图3中的对比可以看出,对于Redhouse-25序列而言,SAMF算法和本文算法均取得不错的效果,在跟踪全程都保持平稳跟踪状态,其原因在与序列中相邻帧的跟踪目标移动距离小,速度也小。对于Redhouse-12来说,在第85帧左右SAMF算法跟踪失败并在一段时间保持跟丢状态,但是在之后算法还能搜索目标后跟上,在跟踪过程中后期保持跟上目标。对于Redhouse-8序列而言,由于目标速度过快导致模板更新率失真而无法适应目标速度,第57帧左右跟丢目标出现跟丢的情况并在后续过程中目标一直处于跟丢状态。而本文提供的算法采用实时自适应调节的模板更新率,在目标速度变化时,目标变化剧烈时,仍能保持良好的跟踪性能。

从表1可以看出,SAMF算法和本文算法的目标序列中跟踪结果中,本文算法比SAMF算法的跟踪速度略快,两者大概能达到94%左右的目标识别率。在Redhouse-12序列中,随着目标速度的小幅度加快,原算法的识别率下降为85%并且出现短时间内跟丢目标后重新跟上目标的情况。Redhouse-8序列,算法的识别率降低到不到24%,其原因在于目标速度过快导致模板更新率失真而无法适应目标速度。相比之下,本文提供的算法目标识别率均能保持在90%以上,其原因在于本文算法对目标速度具有适应性。由以上实验可以得出,本文提供目标跟踪算法能根据目标速度自适应调整更新模板,能较为有效地解决因目标速度过快而发生的跟丢问题,从而使算法适用于水面高速运动场景下的目标跟踪。

4.2 常见速度下目标跟踪试验验证

实验环境是笔记本电脑上某常用仿真软件,处理器为i5,所采用的序列集包括从浙江千岛湖采集的Whitehouse序列、来自互联网公开的Speedboat序列。Whitehouse序列抖动和因水面雾气产生的图像模糊的特点,Speedboat序列具有尺度逐渐变大的特点。下面是不同算法对上述问题序列跟踪的对比图。

从图6看出,由于水面的雾气的原因,整体图像和目标图像均比较模糊,本文提供的算法可以较好的跟踪目标。在图7中看出,SAMF算法和本文的算法均能在目标尺度逐渐变化的过程中,算法的预测框能不断自适应调整尺度,使目标处于稳定被跟上的状态,本文提供的算法的跟踪性能稍强于SAMF算法。从这样的几组效果图来对比,本文提供的算法在一些场景下具有比SAMF算法更好的跟踪性能。

图6 Whitehouse序列跟踪结果对比

图7 Speedboat序列跟踪结果对比

从表2可以得到,本文提供的算法在跟踪识别率方面和原SAMF算法大致相当,本文算法跟踪速度比原SAMF算法有一定提高,其原因在于本文算法优化了目标搜索区域。本文算法在滤波器模型更新和目标搜索区域方面改进,在相关滤波的基础原理分析,本文算法在涉及目标特征、尺度滤波器等内容均与原算法相同,改进后的算法保留了原SAMF算法对水面高速运动中尺度变化、目标模糊问题的优良跟踪性能。由此可见,本文提供的算法对于水面高速运动中的跟踪问题有着良好的跟踪效果。

表2 不同序列集跟踪结果数据表

5 结论

本文在以SAMF算法为基础,以目标速度和加速度自适应滤波器模型更新和目标长宽比自适应调整目标搜索区域方面改进,本文算法保留了原SAMF算法的优点,如对水面高速运动中目标模糊、尺度变化问题的优良跟踪性能,同时,本文算法提高了对水面高速运动中的跟踪问题的跟踪性能。在本文算法中,未考虑多目标跟踪,后续会考虑多目标跟踪。