基于时间信息加权的ViSAR目标阴影跟踪算法

黄艳堃, 邓玉辉, 孙光才, 邢孟道

(西安电子科技大学雷达信号处理全国重点实验室, 陕西 西安 710071)

0 引 言

视频合成孔径雷达(video synthetic aperture radar, ViSAR)这一概念由美国桑迪亚国家实验室(Sandia National Laboratories, SNL)在2003年提出,旨在弥补传统合成孔径雷达(synthetic aperture radar, SAR)静态图像在动目标检测上的缺陷[1]。在该实验室的试验中,ViSAR以高帧率连续显示SAR图像,使得观测场景内目标的状态得到实时且直观的显示。之后,多家单位对ViSAR成像展开了相关研究,主要包括反向投影[2]、快速反向投影[3]、实时调频连续波合成孔径雷达(frequency modulated continuous wave-synthetic aperture radar, FMCW-SAR)处理[4]、基于子孔径循环移位的反向投影[5]、低秩张量恢复成像[6]等技术。近些年来,国内单位也展开了包括天基ViSAR系统设计[7]、圆周和曲线ViSAR成像[8]、基于GPU加速的ViSAR成像[9]等技术的研究。由于ViSAR一般工作在毫米波直至太赫兹低频段,导致运动目标在成像时很容易产生多普勒偏移和散焦,因此基于运动目标强信号的跟踪过程很难进行。另一方面,由于遮挡效应,被目标遮挡的地物无法反射雷达信号,从而在运动目标真实位置处的周围形成阴影。每帧图像中的阴影不仅能反映运动目标在观测场景内的瞬时位置,而且能部分反映运动目标的几何特征,这为目标跟踪带来另外一种途径[10-17]。

目前,基于阴影的研究是ViSAR目标跟踪研究的热点。Zhang等[12]和Liang等[13]分别基于卷积神经网络(convolutional neural network,CNN)和SiamMask网络结构对ViSAR数据中的单个目标阴影进行跟踪,验证了深度学习在ViSAR目标阴影跟踪中应用的可能性,但这两种网络结构均是针对光学图像序列设计的,且仍然存在离线训练样本不足、在线跟踪速度较慢等问题。Zhao等[17]通过将时空上下文的信息嵌入到背景感知相关滤波(background-aware correlation filter,BACF)算法中,增强了跟踪算法对ViSAR背景干扰的鲁棒性,但该算法实时性较弱。

考虑到ViSAR目标跟踪对实时性的需求,本文将尺度自适应均值(adaptive scale mean shift,ASMS)算法引入ViSAR目标跟踪中。ASMS算法是建立在颜色直方图特征基础上的目标跟踪算法,且被多家机构改进用于解决各类跟踪问题[18-20]。然而,当前各类改进的ASMS算法仅使用初始帧的目标信息和背景信息进行搜索,且没有针对SAR图像中的相干斑噪声进行处理的模块,而ViSAR数据中目标阴影的特征会随时间发生不规则的变化,且其中存在大量相干斑噪声,使得ASMS算法在对目标阴影跟踪时的跟踪框容易出现位置漂移和尺度扩大的问题。

针对上述问题,本文提出了一种结合时间信息加权和局部预处理的ViSAR目标阴影跟踪算法。该算法在计算每一帧目标模型、背景模型和候选模型的概率密度函数之前,利用局部去噪的方法进行改进的中值滤波操作。从第3帧开始,分别计算初始帧和临近两个历史帧的目标区域直方图和背景区域直方图,并在时间维度对3个直方图进行加权求和,得到两个新的直方图。然后,利用求得的两个直方图进行背景比例加权操作,得到新的权值,并更新目标的位置和尺度因子。最后,对尺度正则化项进行时间信息加权操作,同时更新尺度,并进行反向尺度一致性检验,得到最终的跟踪结果。

1 基于ViSAR阴影的目标跟踪算法

目前,直接在ViSAR目标阴影跟踪中应用ASMS算法存在一系列的问题。首先,受环境变化等干扰的影响,SAR图像序列中的目标特征和背景特征在不断变化,而传统的ASMS算法只利用了初始帧的相关特征对当前帧进行搜索。其次,SAR图像中存在相干斑噪声,需要利用滤波的方法进行平滑,且在滤波的过程中要考虑平滑的程度,而ASMS算法中没有针对去噪的处理。最后,传统的ASMS算法在利用正则项更新尺度因子时,没有考虑临近帧的信息,导致在跟踪时跟踪框的尺寸容易扩大或缩小。针对上述问题,本文提出一种基于时间信息加权和局部预处理的ASMS目标阴影跟踪算法,具体流程图如图1所示。

图1 结合局部预处理和时间信息加权的ViSAR目标阴影跟踪算法流程图Fig.1 Flow chart of target shadow tracking algorithm in ViSAR combined with local preprocessing and time information weighting

根据图1,该算法首先对前两帧相应的计算区域进行局部预处理,随后运用传统的ASMS算法进行跟踪,得到位置和尺度。从第3帧开始,进入本文所提的跟踪算法部分。其中标号1指向的为本文所增加的局部中值滤波步骤,该步骤只对需要计算的区域进行中值滤波处理,在不增加计算量的同时减少了相干斑噪声。然后,建立目标模型和候选模型,该步骤与传统的ASMS算法保持一致。标号2指向的为本文所改进的背景比例加权和尺度估计操作,通过分别在背景比例加权和尺度估计中加入历史帧信息,得到所估计的位置和尺度因子。最后,进行反向尺度一致性检验,得到目标最终的尺度。经过上述流程,可以获得更精确的目标位置和更稳定的目标框的尺度大小。

1.1 局部中值滤波

相干斑噪声是SAR成像过程产生的一种噪声,具体表现为图像中像素灰度值的随机起伏[21]。相干斑噪声的存在降低了SAR图像的质量,增加了SAR图像解译的难度。为了减少跟踪过程中相干斑噪声对目标阴影的干扰,以及保证不损失实时性,可以采用中值滤波的方法对SAR图像进行平滑。传统的中值滤波容易将图像过度平滑,使得在跟踪的过程中目标和背景的区分度降低,因此需要保留一定的目标和背景的边缘信息。本文提出一种轻度中值滤波的方法,如图2所示,对图像中的像素按一定的比例进行中值滤波,具体为在原始图像和中值滤波后的图像的基础上,对两个图像进行权值分别为γ和1-γ的加权求和,这样在保证对部分相干斑噪声进行平滑的同时,缓和了背景像素平滑的程度。

图2 轻度中值滤波示意图Fig.2 Illustration of mild median filtering

图3分别展示了原始图像、中值滤波处理后、轻度中值滤波处理后的二值化示意图。其中,亮蓝色框内为目标区域像素,亮蓝色框与红色框之间为背景区域像素。通过比较图3(a)～图3(c)可以看出,轻度中值滤波在平滑了部分相干斑噪声的同时,保留了目标的边缘信息。

图3 图像预处理前后二值化对比图Fig.3 Binarization comparison before and after image pre-processing

为了减少计算量,将本文所提出的预处理方法应用在每帧所提取的目标区域、背景区域和候选区域上,而不是应用在整幅图像中。

1.2 原始目标位置和尺度因子

传统的ASMS算法使用Bhattacharyya系数作为相似性函数,其表达式为

(1)

对Bhattacharyya系数求关于位置和尺度因子的偏导数,不断迭代得到满足条件的位置y1与尺度因子h1。则可以得到如下的权值和偏移向量[18]:

(2)

(3)

式中:G为常量系数;g(·)=-k′(·)。

(4)

(5)

h1=h0+

(6)

1.3 结合时间信息的背景比例加权

原始ASMS算法中的背景比例加权即为将优化目标定义为一个比例R的形式,分子为候选模型直方图和目标模型直方图的Bhattacharyya系数,分母为候选模型直方图和背景直方图的Bhattacharyya系数。则R可表示为

(7)

式中:bg表示背景直方图,其由第一帧中目标模型的周围像素计算得到。

但原始的ASMS算法在计算两个Bhattacharyya系数时,只利用了初始帧的目标信息和背景信息来对当前帧的候选区域进行搜索,如果在跟踪的过程中目标特征发生了如图4所示的变化,则容易导致跟踪失败。

图4 目标阴影在不同帧下的特征表示Fig.4 Feature representation of target shadow in different frames

因此,本文在考虑了初始帧信息的基础上,对历史帧的信息也进行了加权求和,这样能更好地适应跟踪过程中目标阴影特征的变化。因此定义新的R′如下:

(8)

(9)

式中:max函数的作用是保持权重为非负值,有利于算法的收敛,且

(10)

(11)

1.4 时间信息加权尺度估计

为了能更好地控制跟踪过程中的尺度变化,ASMS算法在尺度更新的过程中加入了两个正则项rs和rb。一般在相邻帧中目标尺度不会发生剧烈变化,则引入正则项rs来控制尺度的改变:

(12)

式中:h为尺度因子;b2为常量。

由于搜索窗口包含一定的背景信息,在跟踪的过程中容易导致尺度模糊,则引入正则项rb来控制搜索窗口中的背景像素:

(13)

式中:Q为搜索窗口中背景像素所占的比例;b1为常量;B(y,h)表示如下:

(14)

由于目标阴影的特征随时间会发生变化,如果只使用初始帧的目标信息,在统计目标区域的像素时会产生更多的误差。因此在B(y,h)中加入时间信息,且为了保持与背景比例加权操作的同步,对此时的时间信息加权项赋予相同的权值。该操作避免了跟踪框相对于真实框尺度的较大偏移。加入时间信息后的B′(y,h)可表示如下:

(15)

1.5 反向尺度一致性检验

以上方法对目标的尺度变化具有很好的鲁棒性,但对于目标尺度没有发生变化的情况,加入以上正则项后容易累积尺度误差,导致跟踪失败。这里采用反向尺度一致性检验的方法,即通过对t-1时刻和t时刻的尺度因子之间的往返检测,来判断如何利用估算出的尺度因子h进行尺度更新,并最终得到目标尺度。具体操作如下。

当t时刻的|ln(h)|>θs时,说明目标尺度发生了明显变化,此时计算出t-1时刻的尺度因子hback。如果|ln(h·hback)|>θc,则说明尺度变化不一致,此时目标尺度st的表达式为

st=(1-α-β)st-1+αsdefault+βhst-1

(16)

式中:α=c1(sdefault/st-1);sdefault为初始尺度;β为一正常数,用来对估计出的尺度进行加权。

当|ln(h)|<θs时,说明目标尺度没有发生明显变化,此时目标尺度st的表达式为

st=(1-ϑ)st-1+ϑhst-1

(17)

2 实验结果及分析

本节将在两个ViSAR数据集上进行对比实验,来验证所提算法在精度和速度上的优异性。所有实验均在Matlab 2018b上进行。电脑处理器信息为Intel(R) Core(TM) i7-6500U CPU @ 2.50 GHz(4 CPUs), ～2.6 GHz,RAM为8 G,有单个NVIDIA GeForce 940MX显卡。

实验采用的评价指标为精确度图、成功率图、每秒帧数(frame per second, FPS)、平均中心位置误差(central location error ,CLE)等。其中,精确度图的横坐标为位置误差阈值,该阈值为由真实目标框的中心点和算法估计得到的目标框中心点之间间隔的像素数;纵坐标为精度,即在满足小于给定阈值情况下的视频帧数占总帧数的百分比。对所有帧的两框之间间隔的像素数求平均,即为平均CLE。成功率图的横坐标是重叠阈值,该阈值为两框重叠部分占两框总面积的百分比;纵坐标为成功率,即满足大于该阈值情况下的视频帧数占总帧数的百分比。FPS可衡量算法的实时性。

为了衡量所提算法的鲁棒性,实验加入了一次性评估(one-pass evaluation, OPE)、空间鲁棒性评估(spatial robustness evaluation, SRE)和时间鲁棒性评估(temporal robustness evaluation, TRE)这3类曲线[22]。其中,OPE为一次性评估,即根据第一帧标注的目标进行跟踪而得到的结果;SRE为空间鲁棒性评估,即对第一帧标注的目标进行位置偏移(目标尺寸的10%)和尺度缩放(目标尺寸的90%～110%),然后进行跟踪,得到结果;TRE为时间鲁棒性评估,即对视频序列每隔10帧开始跟踪,最终对得到的结果取平均。

2.1 在SNL数据集上的跟踪结果

SNL数据集是ViSAR的经典数据集,该数据集是美国Kirtland空军基地的成像结果,其中成像平台工作在Ku波段。这里取其中一个目标阴影进行跟踪,该目标在视频中从出现到消失共有30帧。下面给出所提算法在SNL数据集上的跟踪结果可视化图,如图5所示。其中,γ取0.3,ξ取0.7,ζ取0.2。图5中绿色框为目标阴影的真实位置,红色框为跟踪结果。从图5可以看出,两个框重叠度较高,验证了所提算法的有效性。

图5 SNL数据集目标阴影的跟踪结果Fig.5 Tracking results of target shadow on SNL dataset

对所提算法与其他目标跟踪算法进行对比实验,如图6所示。这里比较了本文算法、传统的ASMS算法与其他7个SOTA的算法,即颜色名(color names, CN)算法[23]、判别式尺度空间跟踪(discriminative scale space tracker, DSST)算法[24]、协同相关跟踪(collaborative correlation tracking, CCT)算法[25]、核相关滤波(kernelized correlation filter, KCF)算法[26]、多特征尺度自适应(scale adaptive with multiple features, SAMF)算法[27]、BACF算法[28]、核互相关滤波(kernel cross-correlator, KCC)算法[29]。

图6 SNL数据集目标阴影跟踪对比实验图Fig.6 Diagram of contrast experiment for object shadow tracking on SNL dataset

从图6可以看出,本文所提算法的精度远高于其他算法。原因为该数据集中目标阴影和背景较为相似,利用颜色特征之外的特征进行跟踪,容易将背景和目标阴影混杂一起,使得跟踪失败。通过本文算法与传统的ASMS算法对比,可以看出本文所添加方法的有效性。

不同跟踪算法的跟踪速度和平均CLE如表1所示。从表1可以看出,本文算法的平均CLE最低,且跟踪速度仅次于CN算法与传统的ASMS算法,满足实时性的要求。

表1 SNL数据集对比实验结果Table 1 Results of contrast experiment on SNL dataset

2.2 在圆周ViSAR数据集上的跟踪结果

为进一步验证所提算法在ViSAR数据集上的有效性,下面对圆周ViSAR数据集进行目标阴影跟踪。该数据集利用基于面向对象的ViSAR成像方法对城市十字路口取得成像结果[30],其中平台工作在毫米波波段。这里选用数据集中的3个目标进行跟踪,其中目标1从出现到消失共有156帧,该目标为尺寸较大的目标,且由于路口红绿灯的指示,该目标在停留数十帧后开始移动。目标2从出现到消失共有64帧,该目标为尺寸较小的目标,且在第33帧时出现阴影干扰。目标3从出现到消失共有45帧,该目标为尺寸较小的目标,且在路口运动时经历了转弯。

2.2.1 目标1跟踪结果

与第2.1节类似,下面给出目标1跟踪结果的可视化图,如图7所示。

图7 目标1的阴影跟踪结果Fig.7 Result of shadow tracking for Target 1

从图7可以看出,在第3帧、第6帧、第9帧、第12帧时,由于路口红绿灯的指示,目标1呈停留状态,此时本文算法跟踪框也呈停留状态,且在后续目标1开始运动时能较好地跟住目标,验证了算法在此情形下的有效性。

与第2.1节类似,现在给出在目标1上的对比实验,如图8所示。

图8 目标1的阴影跟踪对比实验图Fig.8 Comparative experimental diagram of shadow of tracking Target 1

从图8可以看出,本文所提算法的精度最高。但在这种情况下,其他算法的精度比第2.1节的要高,原因是本节数据集中目标1尺寸较大,导致其他算法不只是单纯地提取颜色特征,因此提取的有用特征增加,精度也随之提高。与传统的ASMS算法相比,本文算法的精度提升较为明显,验证了所提方法的有效性。

与第2.1节类似,在目标1上进行不同跟踪算法的跟踪速度和平均CLE如表2所示。从表2可以看出,本文算法在目标1上的平均CLE最低,且在实时性上同样具有优越性。由此可知,本文所提的局部预处理方法没有明显增加特征计算的负担。

表2 目标1的对比实验结果Table 2 Results of contrast experiment on Target 1

2.2.2 目标2跟踪结果

在对目标2进行跟踪时,第33帧图像在目标附近出现了阴影的干扰,如图9所示。其中,红色方框内为要跟踪的目标阴影,金色椭圆框内为周围的阴影干扰。这里给出目标2跟踪结果的可视化图,如图10所示。从图10可以看出,目标2的跟踪结果图中的两个框重叠度较高,且对阴影的干扰具有鲁棒性,验证了所提算法的有效性。对目标2进行跟踪的对比实验,如图11所示。

图9 第33帧图像中目标2周围的阴影干扰Fig.9 Shadow interference around Target 2 in Frame 33

图10 目标2的阴影跟踪结果Fig.10 Result of shadow tracking for Target 2

图11 目标2的阴影跟踪对比实验图Fig.11 Comparative experimental diagram of shadow tracking of Target 2

从图11可以看出,本文所提算法的精度相对于传统的ASMS算法有一定的提升,且远高于其他算法。原因为目标2尺寸较小,以至于此时提取的有用特征减少。同时,其他算法计算时将阴影的干扰考虑到计算区域中,使得目标在受到干扰时跟踪失败。

在目标2上进行不同跟踪算法的跟踪速度和平均CLE如表3所示。从表3可以看出,本文算法在目标2上的平均CLE最低,在实时性上同样具有优越性。

表3 目标2的对比实验结果Table 3 Results of contrast experiment on Target 2

2.2.3 目标3跟踪结果

目标3跟踪结果的可视化图如下。从图12可以看出,所提算法在目标出现转弯情况时,仍能捕捉到目标的当前位置,验证了所提算法的有效性。

图12 目标3的阴影跟踪结果Fig.12 Result of shadow tracking for Target 3

对目标3进行跟踪的对比实验结果,如图13所示。从图13可以看出,本文所提算法的精度远高于其他算法。原因为目标3尺寸较小,以至于此时提取的有用特征减少。通过与传统ASMS算法结果的对比可以发现,本文算法极大地提升了传统ASMS算法的精度。

图13 目标3的阴影跟踪对比实验图Fig.13 Comparative experimental diagram of shadow tracking of Target 3

目标3上进行不同跟踪算法的跟踪速度和平均CLE如表4所示。从表4可以看出,本文算法在目标3上的平均CLE最低,在实时性上同样具有优异性。本文算法在精度和实时性上均取得了较好的效果。

表4 目标3的对比实验结果Table 4 Results of contrast experiment on Target 3

3 结 论

本文提出了一种适用于ViSAR数据的鲁棒的目标阴影跟踪算法,该算法在跟踪时融入了时间信息,并加入了改进的中值滤波作为预处理步骤。在对当前帧的目标阴影进行跟踪时,在预处理时仅对所截取的图像块进行处理,减少了计算量。然后,在背景比例加权操作中加入了对时间信息的加权处理,得到目标阴影的位置坐标。最后,利用时间信息加权修正尺度因子,增强了跟踪算法对目标阴影尺度变化的鲁棒性。实验结果表明,该算法具有较高的跟踪精度和速度,在受到背景噪声干扰的情况下,对不同尺寸和运动状态下的ViSAR目标阴影均具有良好的跟踪性能。与现有的高性能算法相比,所提算法在保证了实时性的同时,得到了更高的精度。