局部加权距离度量的双向稀疏表示目标跟踪

王业祥,朱文球,孙文静

(1.湖南工业大学 计算机学院,湖南 株洲 412007;2.智能信息感知及处理技术湖南省重点实验室，湖南 株洲 412007)

0 引 言

目标跟踪的研究在计算机视觉和模式识别中一直是一个热点，是各种高级处理如场景理解、行为识别的基础，在智慧工厂、智能安防系统及智能人机交互等新兴产业中应用广泛。但是如何提高目标跟踪在遮挡、形变、光照变化等复杂环境下的鲁棒性一直是一个亟待解决的难点。

近年来，稀疏表示理论[1]已经应用到包括目标跟踪在内的大量计算机视觉任务中，包括图像去噪[2]、人脸识别[3]、图像修复[4]等领域。由于基于稀疏表示的目标观测模型对环境的变化具有一定的鲁棒性，因此，用稀疏表示解决复杂场景下的目标跟踪问题具有较大的研究价值。稀疏表示应用于目标跟踪时，将跟踪问题的求解转化为在模板空间中寻求一个稀疏近似解。Zhong等[5]提出将目标模板集和候选模板集进行对比，并把差异度最高的样本作为目标，但是其用两个独立的稀疏表示模型需要对候选样本集进行两次稀疏求解，理论难度增大的同时也增加了算法的计算量。Zhuang等[6]用候选样本集稀疏表示目标正负模板集，构建目标模板和样本之间的距离概率相似图，由此确定真实目标。但是该方法必须使用大量的过完备候选样本集，而且当目标发生漂移时，不能对正负模板集及时更新，造成概率相似图不准确以致跟踪效果下降。

对传统稀疏表示模型的研究发现，正向稀疏表示正负目标模板集对候选样本集的重构，反向稀疏表示候选样本集对正负目标模板集的重构，基于以上理论首先提出双向稀疏[7]表示模型框架。该模型以L1范数[8]来约束正反稀疏表示重构误差，通过加速逼近梯度(accelerating approximation gradient，APG)算法求得正反稀疏系数矩阵；在目标模板和候选模板的距离度量上，传统欧氏距离(Euclidian distance，ED)对光照变化、遮挡比较敏感，从而造成局部权重的不准确性。因此，文中提出改进的局部权重距离度量算法，把最优跟踪目标划分为16个局部块，每个局部块赋一个局部距离权重度量值，根据局部权重度量值更精确地确定候选样本集与正负目标模板集的相似程度；最后，将该算法与其他算法进行比较。

1 相关内容

1.1 贝叶斯跟踪框架

(1)

P(xt-1|Zt-1)dxt-1

(2)

P(xt|xt-1)=N(xt;xt-1,σ)

(3)

其中，P(xt|xt-1)是相邻帧的转移模型，服从高斯分布。对目标进行仿射变换，即用6个仿射变换参数来表示目标的状态：x={x,y,θ,s,α,φ}，其中x和y分别表示目标水平和垂直方向的平移，θ,s,α,φ分别表示目标状态的旋转角度、尺度变化、比例变化及倾斜角度。P(zt|xt)表示观测似然模型，可由候选样本在稀疏映射表对正负模板的区分度来决定。

1.2 传统欧氏距离度量

则目标模板t∈Rp×1和候选样本y∈Rp×1之间的欧氏距离度量可表示为：

(4)

(5)

图1 部分遮挡下传统欧氏权重分布

2 改进的局部权重距离度量

(6)

强分类器由五个弱分类器组成，首先获取上一帧跟踪目标每个像素的RGB特征值u,u∈R3×1，以及样本正负标记值(-1和+1)等参数，然后根据参数对每个弱分类器进行训练，每个弱分类器通过权重线性平方回归来预估计每个像素的正负标记，最后得到一个强分类器F(uj),uj∈R3×1,j=1,2,…,Z。其中j表示跟踪目标的像素索引，Z表示跟踪目标像素的总个数。那么，第t-1帧的整体置信图sj根据式(7)计算：

sj=1/exp(-Ft(uj)),j=1,2,…,Z

(7)

其中，Ft(uj)是第t-1帧，负样本区域为0，正样本区域为(0,1]。

得到第t-1帧的整体置信图后，就容易得到第t帧跟踪目标局部块的相似性局部距离权重Wi。

(8)

其中，∑sj表示属于第i个局部块的权重。

由置信图分配的局部权重距离在遮挡的区域分配较小的权重，在目标区域则分配较大的权重。后续帧目标跟踪的局部权重距离dl(t,y)为：

(9)

(10)

式(10)说明改进的局部权重距离度量具有约束性。

当然，为了适应目标外观变化的随机性难题，就必须解决分类器的更新问题。文中的分类器更新策略如下：

(11)

3 双向稀疏表示

3.1 模型建立

目标模板集由m个正模板和n个负模板组成：T={tj∈Rp×1},j=1,2,…,q，m+n=q。文中用RGB颜色特征来跟踪目标，p是每一个模板的特征维度。那么目标模板集可表示为：

(12)

传统正向稀疏表示是目标模板集T对候选模板集y的稀疏表示：

(13)

其中，αi为第i个样本的稀疏表示向量且αi∈Rq×1，α∈Rq×r；yi为第i个候选样本；r为候选样本集个数；λ1为惩罚项。可根据αi求得观测似然函数并求出yi的接受概率；同理，逆稀疏表示模型是候选样本集y对目标模板集T的稀疏表示：

(14)

其中，βj为第j个目标模板的稀疏表示向量且βj∈Rr×1，β∈Rr×q；Tj为第j个目标模板；q为目标模板集个数；λ2为惩罚项。可根据βj求得观测似然函数并求出Tj的接受概率。

正反向稀疏表示都需要计算各自稀疏表示稀疏矩阵，虽然分别基于正反向稀疏表示的跟踪框架也取得了比较好的跟踪效果，但是它们的稀疏系数矩阵是通过几次迭代收敛得到的，与最优目标仍有一定的误差。

通过对比研究发现，样本集合y与目标模板集合T之间的相关性是一个固有属性，那么稀疏系数矩阵α和β之间的相关性也是一个固有属性，即矩阵α和β之间具有某种相似性，文中添加如下限制性条件：

‖α-βΤ‖2≤η,s.t.α≥0,β≥0

(15)

基于这一条件，构造双向稀疏表示目标跟踪框架：

β‖2+λ1‖α‖1+λ2‖β‖1}

(16)

其中，ψ是惩罚项。

基于双向稀疏框架完全考虑了正反稀疏系数矩阵之间的相关性，实验证明双向稀疏比单向稀疏表示能更好地跟踪目标。

对于求解正向稀疏表示系数矩阵α和逆向稀疏系数矩阵β的问题，文中采用APG[10]快速算法框架。

3.2 观测似然值的求解

文中用正负目标模板的差异度进行观测似然函数的求解，稀疏系数矩阵α的每一列可作为候选样本在目标模板上的区分度，同理，稀疏矩阵β的每一行亦可。与其他传统目标跟踪算法一样，为了得到更好的区分度，使用式(9)改进的局部权重距离计算目标模板集与候选样本集之间的局部权重距离，得到q×r个权重集合：

i=1,2,…,q,j=1,2,…,r,z=1,2,…,N

(17)

(18)

当然，每个稀疏映射表可化简为：

(19)

考虑到负模板个数较多，使用池化方法简化对稀疏映射表的运算：

(20)

其中，L(f,l)是取f这个函数中第l大的数，文中l值取正模板个数的一半；Si-pos与Si-neg分别表示第i个候选模板与前l个正负模板之间的关系。

(21)

(22)

3.3 模板在线更新

j=1,2,…,mi=1,2,…,N

(23)

对于负模板的更新，文中用与目标相差甚大的候选模板更新为负模板。在当前帧结束时，利用上一帧跟踪目标的中心点坐标来确定候选模板集，并以此候选模板集来替代更新负模板集。

4 实验结果及分析

文中算法用Matlab编写。相关参数如下：分类器更新常数ψ=0.2,正向模板更新常数τ=0.1，正模板、负模板以及候选模板个数分别为10、100和500，每个模板图像大小为32×32像素，分为16个8×8像素的局部块。为了验证该算法的性能，现与增量视频跟踪[11](IVT)、加速逼近梯度跟踪[12](APGL1)、分解视频跟踪[13](VTD)、多实例学习[14](MIL)、基于片段的跟踪[15](frag)五种经典方法进行性能对比，实验所用视频也均为挑战性的经典序列。

4.1 定性分析

如图2所示，在Deer视频序列中，刚开始Frag和L1开始出现漂移，在第18帧时，MIL也开始出现跟踪目标丢失，只有VTD和文中算法跟踪效果较好。Singer序列第107帧时受强烈的光照影响，只有IVT、VTD和文中算法跟踪比较稳定，随后随着目标的缩小，只有文中算法准确跟踪到目标。在Face中，当目标受到严重遮挡时，MIL算法首先跟踪失败，其他算法良好。从图中可以看出，文中算法一直准确跟踪到目标，其余算法在不同的视频系列中效果差强人意，产生明显的漂移甚至跟踪失败，因此文中算法优于其他五种算法。

4.2 定量分析

文中应用中心位置误差和重叠率来衡量各种算法的性能。平均中心位置误差越小，跟踪效果越好，反之越差。从表1可看出，文中算法在不同视频序列中，其中心位置误差均最小，性能最优。

图2 跟踪结果对比

图3 重叠率对比

表1 中心位置误差对比

5 结束语

文中提出了一种基于双向稀疏表示及改进的权重度量算法，利用过完备字典和候选目标来互相表示，通过正负稀疏矩阵计算候选目标的正负相异度作为观测似然值；在模板度量上采用改进的欧氏距离权重度量方法，采用分类器权重迭代及分块思想解决传统相似性度量问题。实验结果证明了文中算法具有较好的跟踪性能。但是算法在目标瞬间剧烈抖动时跟踪性能一般，下一步重点解决此问题，以提高算法的适应性。

参考文献:

[1] 孙君顶，赵慧慧.图像稀疏表示及其在图像处理中的应用[J].红外技术,2014，36(7):533-537.

[2] 孙玉宝,韦志辉,吴 敏,等.稀疏性正则化的图像泊松去噪算法[J].电子学报,2011,39(2):285-290.

[3] 谢文浩,翟素兰.基于加权稀疏近邻表示的人脸识别[J].计算机技术与发展,2016,26(2):22-25.

[4] 李志丹,和红杰,尹忠科,等.结合颜色和梯度信息的稀疏图像修复算法[J].计算机研究与发展,2014,51(9):2081-2093.

[5] ZHONG W.Robust object tracking via sparsity-based collaborative model[C]//Proceedings of the 2012 IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2012:1838-1845.

[6] ZHUANG B,LU H,XIAO Z,et al.Visual tracking via discriminative sparse similarity map[J].IEEE Transactions on Image Processing,2014,23(4):1872-1881.

[7] 王 华,王 倩,顾 鑫,等.基于双向稀疏光流融合的小目标检测方法[J].电视技术,2016,40(3):122-125.

[8] MEI X,LING H.Robust visual tracking using l1 minimization[C]//IEEE international conference on computer vision.[s.l.]:IEEE,2009:1436-1443.

[9] 徐 涛,曾 涛，崔智社.基于贝叶斯推理的目标跟踪[J].计算机仿真,2004,21(5):74-77.

[10] CHEN X,PAN W,KWORK I T, et al. Accelerated gradient

method for multi-task sparse learning problem[C]//Proceedings of the 2009 ninth IEEE international conference on data mining.Washington DC,USA:IEEE Computer Society,2009:746-751.

[11] ROSS D A,LIM J,LIN R S,et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision,2008,77(1-3):125-141.

[12] BAO C,WU Y,LING H.Real time robust L1 tracker using accelerated proximal gradient approach[C]//IEEE conference on computer vision & pattern recognition.Washington DC,USA:IEEE Computer Society,2012:1830-1837.

[13] KWON J,LEE K M.Visual tracking decomposition[C]//IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2010:1269-1279.

[14] BABENKO B,YANG M,BELONGIE S.Visual tracking with online multiple instance learning[C]//IEEE conference on pattern analysis and machine intelligence.Washington DC,USA:IEEE Computer Society,2009:983-990.

[15] ADAM A,RIVLIN E,SHIMSHONI I.Robust fragments-based tracking using the integral histogram[C]//IEEE conference on computer vision and pattern recognition.Washington DC,USA:IEEE Computer Society,2006:798-805.