空时一致的视频显著性检测

柳 林，张兆丰，吴泽民，张 磊

(1. 中国船舶重工集团公司第七二二研究所，湖北 武汉 430205；2.中国人民解放军理工大学 通信工程学院，江苏 南京 210007)



空时一致的视频显著性检测

柳 林1，张兆丰2，吴泽民2，张 磊2

(1. 中国船舶重工集团公司第七二二研究所，湖北 武汉 430205；2.中国人民解放军理工大学 通信工程学院，江苏 南京 210007)

针对现有视频检测算法在空间和时间显著度上一致性不足，提出了空时一致性模型。首先构造梯度流场，整合空间上的颜色对比度与时间上的目标运动信息。而后基于空时梯度流场构造全局对比度，综合局部对比度和全局对比度，得到初始检测结果。最后通过马尔可夫随机场，对其进行空时一致性优化，得到最终显著图。在3个公开数据集上的大量实验表明，所提算法检测性能较好，并且具有较强的鲁棒性。

视频显著性；空时梯度流场；马尔可夫随机场；空时一致性

0 引言

近年来，越来越多的学者对人类视觉注意机制进行了深入研究，在生物学、心理学和计算机视觉等众多领域取得了突破性进展。

目前针对图像显著性检测研究已经比较深入，相对于图像，视频的显著性检测难度大，性能上还有很大提高空间。造成这一现象的主要原因是视频显著性检测不仅包含空间显著性，还要对复杂的运动特征，也就是时间显著性进行处理。现有的视频显著性检测算法缺乏对视频显著目标空时一致性的估计。

针对这一问题，本文首先参考文献[1]对不同的视觉特征进行预处理，并利用梯度流场整合目标空间信息和目标运动构造全局对比度，综合局部对比度和全局对比度，得到初始显著检测结果。而后为了更好地解决视频显著性空时一致性的问题，本文利用马尔可夫随机场(Markov Random Field，MRF)[2]，将时间一致性、观测一致性以及空间紧致性结合在一起，得到最后的优化视频显著性检测结果。最后在3个公开测试数据集上的实验结果表明，本文提出的空时一致的视频显著性检测模型具有较好的性能，优于目前主流算法。

1 空时显著性检测

1.1 空时梯度

在图像显著性检测中[3]，通常采用颜色对比度衡量局部区域性差异。类似的，对于一段给定的视频序列I={I1,I2,…}，首先对每一帧进行超像素分割预处理。这里选取简单线性迭代聚类进行超像素分割，分割后的视频帧保留明显的目标边缘、轮廓等原有的结构化信息。本文将空间上的结构信息和时间上的运动信息整合到显著性检测框架中，利用颜色梯度和光流梯度进行视频显著区域检测。

(1)

(2)

为了突出运动信息对视频显著性的作用，构造负指数函数表示光流梯度对空时梯度场Gk的影响：

(3)

(4)

因此坐标位于(x,y)的超像素p的梯度流Ff(x,y)可以表示为：

(5)

至此，可以通过超像素p的梯度与邻接梯度流构造其梯度流场：

A(p)=G(p)+min(Ff(x,y))

(6)

1.2 局部显著性与全局显著性

对比度在显著性检测中是一种常用的要素，很多现有的模型都利用局部区域与周围的对比度进行显著性检测。

(7)

其中，pi和pj代表划分后的超像素；R为对pi产生影响的局部超像素集合；dc(pi,pj)代表超像素pi和pj在颜色空间上的距离；ω(pi,pj)=exp{-dc(pi,pj)/σ2}，表示超像素pi和pj的距离权重，其中σ为权重控制参数。

局部对比度通过计算某一区域与周围背景区域的平均距离来衡量局部显著性。为了更加全面、准确地计算显著性，本文综合考虑颜色空间距离与梯度距离，提出了全局对比度来衡量全局显著性。超像素p的全局显著性表示为：

s.t.p′∈B

(8)

其中，ri和ri+1为相邻超像素，A(ri)和A(ri+1)分别是ri和ri+1的梯度流场。显然，如果超像素p位于显著目标以外，很可能存在于背景相对更短的路径中，而在这条路径上的超像素在颜色空间和梯度上与背景对比度相差很小。反之，如果超像素p在显著目标内部，与背景有较大差别，Cg(p)也会随之增大。

为了综合局部显著性和全局显著性，把Cl和Cg归一化到[0,1]内，则超像素p的显著性可以表示为：

S(p)=min{Cl(p),Cg(p)}

(9)

2 空时一致性优化

(10)

(11)

其中，Ωk代表第k个视频帧所有可能的标签集合；E(ψ;L1…k-1,O1…k)、E(ψ;O1…k)以及E(ψ)均为能量函数，分别代表同一位置的超像素在相邻帧之间标签的时间一致性、标签与观测特征之间的一致性和空间紧致性；Tt、To以及Tc都是常数。

2.1 时间一致性

对于相邻的视频帧，同一区域的显著性应该相对一致。对于第k个视频帧的超像素p，Np表示其临近帧的所有相邻超像素q的集合。时间一致性可以进一步表示为：

(12)

其中，Ek(p)表示在Np范围内，对时间不一致标签(例如，Lk(p)≠Lk-1(q))的惩罚函数。

超像素q的显著标签L(q)观测特征服从伯努利分布P(L(q))=O(q)L(q)(1-O(q))1-L(q)，因此超像素q受到超像素p约束的概率为：

b(p,q)=O(q)ψ(q)(1-O(q))1-ψ(q)

(13)

因此超像素p与q之间的一致性可以表示为：

(14)

其中，A(·)表示利用式(6)得到的超像素的梯度流场。至此，参照文献[2]，给出时间一致性能量函数：

(15)

2.2 观测一致性

与时间一致性类似，本文用能量函数E(ψ;O1…k)衡量标签与观测特征之间的一致性：

(16)

2.3 紧致性

一般来说，如果某一超像素的临近超像素都是显著的，那么该超像素的显著性应该增加。这种与空间紧致性的能量函数定义为：

(17)

(18)

其中,Φ(p)表示与超像素p临近的超像素的显著性，p+和p×分别表示p的一阶相邻和二阶相邻。

3 实验结果及其分析

3.1 实验设置

测试数据集：本文在NTT 、SegTrack 和VideoSal 3个公开数据集对所提出的算法进行测试。

对比算法：本文选用近年来主流的视频显著性检测算法，包括：GD[5]、GF[1]、SP[6]以及RW[7]，与本文所提算法进行横向比较。

评价指标：为了更加全面地衡量本文提出算法的检测性能，通过P-R(Precision-Recall，准确度-召回率)曲线、F-measure、ROC(Receiver Operating Characteristics，接收者操作特性)曲线、AUC(Area Under ROC Curve，ROC曲线下面积)和MAE(Mean Absolute Error，平均绝对误差)对所有算法进行评价。

本文所有试验都是在MATLAB平台上实现的，所应用的计算机配置为Intel E5-2620，CPU 2 GHz，96 GB RAM。

3.2 与其他经典算法的比较

图2 不同算法的P-R曲线

图3 不同算法的F-measure值

如图1所示，本文在NTT、SegTrack以及VideoSal 3个公开数据集上，对包括本文所提算法在内的5种视频显著性检测算法进行对比，每个测试视频选取两个视频帧，给出了部分示例图。

图1 3个数据集上不同算法显著性检测示例图

对比之下，本文所提算法鲁棒性较强，综合考虑空时梯度流场与空时一致性优化，增强了检测结果的空时一致性，对于复杂环境、目标与背景对比度较小、摄像头运动等多种场景，都有较为理想的检测结果。

为了更加客观地展现算法的性能，本文首先利用P-R曲线对所有算法进行评价。如图2所示，在3个数据集上测试的结果显示，本文所提算法与其他算法相比，检测结果表现较好。

通常准确度和召回率难以同时保证，为了综合评价显著图的质量，采用F-measure曲线进一步对所有算法进行评价。其实质是准确度和召回率的调和平均。如图3所示。

由图3给出的本文算法与其他算法的F-measure值比较，可以看出本文算法整体上优于其他算法。

为了进一步对所有算法进行比较，本文还分别计算了不同算法的ROC曲线。如图4所示，ROC曲线可以很好地反映不同算法的正确率和误警率。

为了更加直观地反映不同算法的性能，本文利用AUC在一维空间上量化ROC曲线，其值在[0,1]范围以内，越大代表性能越好。如图5所示，本文所提算法在3个数据集上检测性能较好。

最后，用MAE来衡量显著图与真值之间的相似程度，其值在[0,1]区间内，越小代表性能越好。如图6所示给出了所有算法的MAE值。反映出本文所提算法在不同数据集上都与真值更加接近。

图4 不同算法的ROC曲线

图5 不同算法的AUC值

图6 不同算法的MAE值

从上述评价指标的结果来看，本文所提算法与近年来主流算法相比，性能有所提升，而且在不同数据集上均有相对较好的表现。

4 结论

本文综合考虑视频空间上的结构信息与时间上的目标运动信息，构造空时梯度流场，并利用马尔可夫随机场进行空时一致性优化，有效地解决了目前算法对于视频显著度的空时一致性估计不足的问题。大量实验说明本文模型能够取得更好的检测结果，有较强的鲁棒性。

[1] WANG W, SHEN J, SHAO L. Consistent video saliency using local gradient flow optimization and global refinement[J]. IEEE Transactions on Image Processing, 2015, 24(10): 1-12.

[2] KHATOONABADI S H, VASCONCELOS N, BAJIC I V, et al. How many bits does it take for a stimulus to be salient[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 5501-5510.

[3] 刘杰, 王生进. 融合聚类与排序的图像显著区域检测[J]. 清华大学学报(自然科学版), 2016,56(9):913-919.

[4] BESAG J. Spatial interaction and the spatial analysis of lattice systems[J]. Journal of the Royal Statistical Society, 1974, 36:192-236.

[5] WANG W, SHEN J, PORIKLI F. Saliency-aware geodesic video object segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 3395-3402.

[6] LIU Z, ZHANG X, LUO S, et al. Superpixel-based spatiotemporal saliency detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(9): 1522-1540.

[7] KIM H, KIM Y, SIM J, et al. Spatiotemporal saliency detection for video sequences based on random walk with restart[J]. IEEE Transactions on Image Processing, 2015, 24(8): 2552-2564.

Video saliency detection by spatiotemporal consistency

Liu Lin1, Zhang Zhaofeng2, Wu Zemin2, Zhang Lei2

(1. No.722 Research Institute, China Shipbuilding Industry Corporation, Wuhan 430205, China;2.College of Communications Engineering, PLA University of Science and Technology, Nanjing 210007, China)

To cope with the lack of consistency between spatial and temporal saliency in existing video saliency detection algorithms, we propose the spatiotemporal consistency method. First the gradient flow field is structured to integrate color contrast and motion information. Then we construct global contrast with spatiotemporal gradient flow field. Taking local and global contrast into account, we can get the initial detection results. The final saliency maps are obtained by the spatiotemporal consistency optimization based on Markov random field. Extensive experiments on three datasets show that the proposed model has better detection performance and has strong robustness.

video saliency; spatiotemporal gradient flow field; Markov random field; spatiotemporal consistency

TN919.85

A

10.19358/j.issn.1674- 7720.2017.13.013

柳林，张兆丰，吴泽民，等.空时一致的视频显著性检测[J].微型机与应用，2017,36(13)：42-45.

2017-01-12)

柳林(1970-)，男，学士，高级工程师，主要研究方向：军事通信、数据分析处理。

张兆丰(1991-)，通信作者，男，硕士，主要研究方向：显著性检测。E-mail：zhangzhaofeng5@163.com。

吴泽民(1973-)，男，博士，副教授，主要研究方向：信息融合。