融合相关滤波和CNN的点状目标跟踪技术研究

刘佳真,陈勤霞,艾斯卡尔·艾木都拉

(新疆大学信息科学与工程学院,新疆 乌鲁木齐 830046)

1 引 言

点状目标在跟踪技术在军事领域和民事领域都占据重要的位置,随着科技的进步与发展,能够在复杂背景下准确跟踪打击目标,是各国军事研究的重心之一[1]。点状目标跟踪技术难点主要在于两点:一,目标本身太小,占据像素少,没有纹理信息,且没有具体的形状。二是目标在背景杂乱的环境下快速移动[2]。国际光学工程学会(International Society of Optical Engineering,SPIE)提出小目标是指目标所占像素大小不超过80像素的目标[3-4]。点状目标作为小目标的一种,主要问题就是信噪比低,虚警率高和实时性差[5-7]。

点状目标的跟踪技术主要侧重于预警系统[8],在技术方面,很多对于点状目标跟踪的方法还没有太多的涉及深度学习内容,国内主要的研究方法是基于粒子滤波,卡尔曼滤波,多尺度等方法的融合技术[9-11]。

现在的基于深度学习的跟踪器大多都是在目标的周围选取大量的训练样本,再利用CNN的特征进行判别[12]。这类方法需要大量的训练样本,而点状目标的样本有限。其次,此类方法大都是主要利用最后一层的卷积特征,因为最后一层卷积特征含有大量的语义信息,对于目标的外观变化有很大的帮助,放在点状目标的跟踪技术上来说,点状目标本身占据像素少,几乎没有形状,所以外观变化这一影响因素对于点状目标的跟踪结果影响不大。在本文的算法中,主要利用CNN的前面几层的特征,用于目标的定位,语义信息作为确定目标的一个参考。当目标因淹没在杂波中丢失时,利用重检测机制更好地定位目标。该算法相当于将CNN的空间信息与语义信息结合使用,重检测机制解决目标丢失的问题,增加了目标定位的准确性。

基于以上分析,本文的算法主要从以下几个方面入手:(1)利用CNN的多层特征将点状目标的空间信息和语义信息相结合；(2)在每一层CNN上利用相关滤波器得到每一层的最大响应值,然后对多层的结果进行权重融合,得到最大响应值；(3)当目标因淹没在杂波中丢失时,利用重检测机制重新找回目标。

2 相关工作

2.1 相关滤波

相关滤波是目前一种经典且呈现效果较好的目标跟踪滤波器,一般的相关滤波[13]都是学习鉴别分类器,相关滤波就是通过搜索最大相关响应值预估目标位置的。相关滤波的跟踪算法最早应用于2010年提出的MOSSE方法,它是利用信号之间的相关性,提取目标特征来训练相关滤波器,对下一帧的输入图像进行滤波,当两个信号越相似,即后一帧中图像的某个位置的目标与前一帧用于训练的特征越相似,在该位置滤波器所计算得到的相关值越高。KCF(即核相关滤波器)是在2014年提出来的[14],这种方法利用HOG特征[15](即方向梯度直方图)对图像进行相关滤波处理,HOG特征其实就是利用图像各个方向的梯度边缘信息得到最大响应值的位置。

2.2 卷积神经网络(CNN)

深度学习作为目标跟踪的主流算法是许多学者学习和应用的主要方法,该算法中所用的卷积神经网络属于机器学习的一种,机器学习是通过学习数据之间的关系从而得到决策[16]。卷积神经网络被认为是学习图像内容的最佳技术之一,并且在图像识别、分割、检测和检索相关任务方面显示了很好的效果,现在很多主流的目标跟踪算法都是建立在深度卷积上的[17]。

点状目标跟踪算法中用的是VGG模型[18],VGG是由Oxford的Visual Geometry Group的组提出的网络模型,主要说明了随着网络的深度增加,网络的性能也受到了影响。该算法所使用的VGG-19模型,比VGG-16的网络深度多3层,采用的是一堆3×3卷积核,提高了卷积神经网络的性能。

3 本文算法

本文提出的算法主要分为3部分(如图1所示),首先利用CNN的多层特征提取信息,其次进行相关滤波得到最大响应值,最后当目标因淹没在杂波中丢失时,利用重检测机制重新找回目标。

图1 算法流程图

3.1 分层卷积可视化

卷积神经网络中全连接层所包含的空间信息很少,对于点状目标跟踪没有太大的影响,所以忽略全连接层。池化层使得卷积层越深所包含的空间信息越少,为了解决池化的影响,在点状目标跟踪算法应用双线性插值将图像缩小到一个固定的大小中。图2是通过卷积可视化的结果。

通过图2可以看出,卷积层1含有点状目标丰富的运动信息,卷积层2目标的运动信息减少,到卷积层3时只能看到大概的目标,本文的点状目标跟踪算法就是基于随着卷积层的深度的增加,含有的空间信息逐渐减少的原理上进行的。在目标定位中,空间信息跟踪定位目标,语义信息用于参考,在位置估计过程中用权重融合估计方法,充分利用每一层的卷积内容,即将深层提取得到的响应图作为前一层的参考项,逐渐精化得到最大响应值以获得较为正确的定位信息,如下:

(1)

图2 卷积可视化

3.2 跟踪框架

相关滤波是目前一种经典且呈现效果较好的目标跟踪滤波器,通过搜索最大相关响应值预估目标位置的,其利用信号之间的相关性,提取目标特征来训练相关滤波器,对下一帧的输入图像进行滤波,当两个信号越相似,即后一帧中图像的某个位置的目标与前一帧用于训练的特征越相似,在该位置滤波器所计算得到的相关值越高，跟踪框架如图3所示。在本文的点状目标跟踪算法中,每一个卷积层上均使用一个相关滤波器,通过卷积特征提取得到每一层的最大响应值,之后再通过权重融合得到最大响应值,从而得到预估目标位置,定位目标。

图3 跟踪框架

在本文的点状目标跟踪算法中,为了减小跟踪误差,通过最小化在相关滤波器中输出的跟踪结果的误差,利用平均移动值来更新相关滤波器的分子与分母。

(2)

(3)

(4)

其中,t是帧索引;η是学习率。

3.3 重检测

(5)

当比值K小于阈值Tr时,启动重检测模块,当比值K大于等于阈值Tr时,比较两帧最大响应值的差值ΔR,当差值ΔR小于阈值Td时,进行模型更新,当差值ΔR大于或等于阈值Td时,判断当前帧是否为最后一帧,是则结束跟踪过程,否则继续读取下一帧,具体内容如图4所示,其中:

(6)

其中,ΔR是两帧最大响应值的差值。

图4 重检测机制(以数据集1第21帧为例)

综上给出融合相关滤波和CNN的点状目标跟踪算法的主要流程:

Step1:输入初始位置(x0,y0)。

Step2:以(xt-1,yt-1)为中心得到t帧的搜索窗口,并使用公式(1)提取具有空间插值的卷积特征。

Step5:当比值K大于等于阈值Tr时,比较两帧最大响应值的差值ΔR,当差值ΔR小于阈值Td时,进行模型更新,当差值ΔR大于或等于阈值Td时,判断当前帧是否为最后一帧,是则结束跟踪过程,否则继续读取下一帧。

4 实验对比

为了验证该改进算法的性能,测试实验以Matlab 2018a为开发平台,并使用MatConvNet工具箱,在Windows10系统上运行的,处理器是Intel(R)Core(TM)i7-7700 CPU @ 3.60GHz。为了更好地验证本文的算法在点状目标跟踪中的实用性,选取了6组数据集包括田野背景,天空背景,海天背景等杂波不同,背景不同的图像序列,而且在实验验证中,该算法与2种目前效果较好的目标跟踪算法进行对比实验,即目标跟踪效果较好的Boosting[20],跟踪较精确的MIL[21]。图像序列信息如表1所示。

表1 数据图像序列信息

4.1 评价指标

在对比实验中所用到的评价指标主要是中心位置误差(Center location error,CLE)和覆盖率(Overlap)两方面进行评估的,在实际实验中,各个方法均是在相比之下较好的参数设置下进行的,具体评价如下:

(1)在实验中,中心位置误差(CLE)是指算法每一帧所跟踪到的点状目标位置的中心位置坐标与点状目标真实中心位置坐标之间的距离,用来体现算法跟踪点状目标的精确程度[22]:

(7)

其中,(x1,y1)代表点状目标的真实位置中心坐标;(x2,y2)代表的是算法跟踪到的点状目标位置的中心坐标。

(2)在实验中,覆盖率(Overlap)是指算法每一帧所跟踪到的点状目标位置及大小与实际位置及大小之间的交集与两者的并集之间的比值[23],具体如下:

(8)

其中,A表示的是由点状目标的真实位置标注的跟踪框面积;B表示的是算法所跟踪到的跟踪框的面积。

4.2 实验结果对比及分析

本文算法与2种算法在4种不同背景下的跟踪结果,在以上两种指标下的对比实验如图5所示。

图5中,呈现的是四种不同背景下,该算法与2种算法的跟踪结果对比图,图5(a)图为跟踪原图，图5(b)图为三种算法跟踪中心位置误差，图5(c)图为三种算法跟踪覆盖率。从中心位置误差对比结果可以看出,MIL在第二序列实验中,第80帧开始丢帧,无法跟踪。虽然Boosting在第三,四序列中均出现丢帧现象,在相同的跟踪框下,本文算法的覆盖率明显高于Boosting算法和MIL算法。

图5 三种方法对比图

总的来看,本文算法不仅没有丢帧,从中心位置差和覆盖率可以证明,本文算法的准确度都优于另外2种算法的跟踪结果。

为了更为直观地看出实验的对比结果,给出了Boosting、MIL和本文算法的跟踪直观图6,图6(a)为原图，图6(b)、图6(c)为随机选取的跟踪结果图。图6结果是在三种不同背景下平均截取的5帧跟踪结果直观图,从图中可以更为直观地看出此算法的优越性。

图6 三种不同背景下,本算法,Boosting和MIL三种方法定位图

在最后的实验对比结果中,给出了在两种不同背景下使用不同卷积层的对比实验结果,如图7所示，其中Conv123使用1、2、3卷积层，Conv234使用2、3、4卷积层，Conv345使用3、4、5卷积层，从结果中可以看出,使用1、2、3卷积层的效果最佳,所以本文的点状目标跟踪算法具有更好的定位信息和准确性。

图7 不同卷积层选择对比图

5 结 论

本文的点状目标跟踪算法是将深度学习与相关滤波进行一个很好的结合,也是将深度学习应用于点状目标跟踪的实践证明,重检测技术解决了部分因杂波掩盖的目标跟踪问题。通过对不同背景下的实验验证可以看出,此算法均取得较好的跟踪结果,准确性较高,适用于点状目标的跟踪。在接下来的工作中,我们将主要提高算法的速度,达到实时性的要求。