探讨基于Tsallis熵的视频关键帧提取技术

杨 振

（天津城市职业学院，天津，270000）

探讨基于Tsallis熵的视频关键帧提取技术

杨 振

（天津城市职业学院，天津，270000）

关键帧是视频中的一组有限数量的帧的子集，一个视频的关键帧序列能够合理地概括该视频信息，从而减少过大的视频数据对生产生活带来的承载负重。本文讨论了基于Tsallis熵的Jensen距离公式——JTD在视频关键帧提取中的应用。根据得到的差异性距离值JTD，首先检查子镜头边界，进而从每个子镜头中抽取一帧作为该镜头的代表帧，最终得到该段视频的关键帧序列。

关键帧提取；Tsallis熵；Jensen不等式

0 引言

20世纪90年代以来，人类逐步步入了信息社会的时代。随着人们日常娱乐活动的增多，数字视频得到人们的广泛应用。视频关键帧的提取，使得一个视频得到有效地总结，从而大量降低了视频存储的数据量。本文提出了利用Tsallis熵和Jensen距离的视频关键帧提取算法，对视频关键帧提取技术的研究起到积极的推动作用。

1 基于Tsallis熵的关键帧提取理论基础

1.1 Tsallis熵

Harvda和Charvat[1]给出了Tsallis信息熵的广义定义。随机变量X的Tsallis熵定义为：

其中，α〉1称为Tsallis熵指数。

1.2 Jensen距离

对于一个在区间[a,b]上的f是一个凸函数，并且x1,x2,...,xn在区间[a,b]中， Jensen 距离（JD）[2]：

1.3 基于Tsallis熵的Jensen距离

Tsallis熵在其指数范围内，具有凸函数的性质。对于具有RGB直方图分布差异的两个相邻帧fi-1和fi，它们之间的基于Tsallis熵的Jensen 距离可以表示为：

2 关键帧提取的原理过程

视频序列可以看成是一种分级模式：视频序列—〉子镜头—〉帧[3]。一般来说，基于镜头的视频关键帧提取算法是对一小部分的视频帧作处理[4]。

2.1 子镜头的检测与视频序列的分割

根据公式（3）可得到具有平滑效果的窗口均值化的JTD公式：

其中，nw=5是所做的窗口的大小。同时定义与的比值：

2.2 子镜头的评估标准与分割

当一个视频中有较大的内容变化时，需要在这个视频序列中分割子镜头，这样可以提取出更加完全展示出这个视频序列的内容信息。此处定义帧fi处的JTD梯度：

2.3 视频关键帧的提取

基于我们对一段视频分割得到的镜头和子镜头，根据每一个分割片段所表现出来的内容信息变化量的大小，选取其中的一帧作为关键帧。对于在视觉内容上较为平滑的子镜头，可以选取其中的任何一帧作为该子该镜头的关键帧；对于在视觉上含有较大的内容信息变化量的子镜头，则选取与其周围帧的JTD之和达到最小值的帧作为该子镜头中的关键帧。

3 实验结果与分析

本文采用的测试视频来自于网站“The Open Video Project”[5]。测试视频“BOR14_001”是一段由多种视频类型段组合而成的视频。该视频含有1083帧，36秒时长。图1(a)(b)分别给出了Downsampling和JTD方法提取出来的关键帧序列。图中可以看到，使用JTD提取出的关键帧较完整和无冗余地表述了该段视频的每一个场景内容。

图 1 对测试视频“BOR14_001”的关键帧提取实验

4 总结

关键帧的提取在视频信息检索技术中占有很重要的地位。本文讨论了基于Tsallis熵的Jensen距离公式——JTD在视频关键帧提取中的使用。实验结果显示，JTD关键帧提取技术可以根据视频内容选取出较为完整和无冗余的视频关键帧序列，可以满足基于内容的视频检索系统的需求，这为当下存储代价较高的信息社会提供了许多便利。

[1] Harvda, J., Charv´at, Quantification method of classification processes, Conceptof structural a-entropy, 1967, 30～35.

[2]T. M. Cover, J. A. Thomas, Elements of Information Theory, 2nd Ed., SanFrancisco： Wiley-Interscience, 2006, 10～18.

[3] A. Hanjalic, Shot-boundary detection： Unraveled and resolved?, IEEE Trans.Circuits Syst. Video Technol, 2010, 90～105.

[4]B. T. Truong, S. Venkatesh, Video abstraction： A systematic review and classication,ACM T. Multim. Comput., 2007, 1～37.

[5] http：//www.open-video.org/index.php.

The key frame extraction technology based on Tsallis entropy is discussed

Yang Zhen
(Tianjin city Career Academy,Tianjin,270000)

Key frame is a subset of a limited number of video frames and key frames of a video sequence can reasonably generalize the video information, thereby minimizing weight bearing on production and life bring large video data. This paper discusses Jensen distance formula based on Tsallis entropy of JTD application in video key frame extraction. According to the difference of the distance value JTD, first check the sub shot boundary, and then extracted from each sub shot frame as a representative of the lens frame, finally get the key frames of the video sequence.

key frame extraction;Tsallis entropy;Jensen inequality