一种改进的从交通监控视频中提取关键帧的方法

姜腾飞　陈祎琼　江金铭　汪超　张倩倩

摘要：考虑到交通监控视频中相邻帧内容比较相近，为了减少检索计算量，从中提取视频关键帧。文章介绍了从交通监控视频中提前关键帧的常用方法，着重研究了基于内容提取关键帧，并对此种方法做了一定的改进，减少了计算量。文章中阐述了根据欧式距离的大小确定本帧和前后帧的相似度，欧式距离极大时表示三帧间相似度极小的思想，并在此基础上实现了视频关键帧的提取，给出了实验结果。

关键词：关键帧；三帧差；欧式距离；极大值

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）34-0151-03

Abstract：Considering content of the adjacent frames in the traffic monitoring video is similar， in order to reduce the searching computation， extract key frames from the video . This paper first introduced the commonly methods of extracting key frames from the traffic surveillance video ， then studied the method of extracting key frames based on content， and done some improvement in this kind of method， reduced the amount of calculation. This paper elaborated according to the size of the Euclidean distance to determine the similarity of before and after the frame and the frame， Euclidean distance will be a maximal value when the three frame were little similarity ， and on this basis to realize extracting the key frames from the video ， and the paper gave the experimental results .

Key words：key-frame； three frame difference； Euclidean distance； maximal value

1 概述

由于视频的数据量巨大，为了减少视频索引的数据量，可以提取视频关键帧。关键帧去除了视频中变化少的内容，提供了视频图像帧序列的概貌，作为视频的索引使用。

基于内容的视频检索一般要经过三个步骤[1]：首先，通过场景转换检测（Scene Change Detection，SCD）技术分割视频镜头，镜头是同一个场景下的一段视频单元；其次，提取每个镜头的关键帧或者代表帧（r帧），并提取这些帧的特征数据，建立索引数据库；最后，根据用户提供的需求信息匹配索引数据库，达到检索的目的。

考虑到交通视频和一般视频有明显的区别[2]，一般的视频拍摄场景可能会有变换，导致视频数据由多个镜头组成，而交通视频通常是将视频采集设备固定到某个路口，所以几乎没有场景转换的问题，所以对于交通视频的检索，我们一般可以省略分割视频镜头的步骤，直接进入提取关键帧的步骤。而基于车牌识别的视频中车辆检索，只需要分析提取关键帧中出现的车辆牌照信息，存入索引数据库，以备检索即可。所以提取视频关键帧是检索的第一步。

2 关键帧提取常用方法

交通监控视频中车辆检索时，提取视频关键帧必须反应视频中主要的内容，使得视频中出现的所有车辆都能出现在关键帧中。所以提取的关键帧必须能够反应镜头的主要事件，宁可错选，不能错过，但是，之所以提取关键帧是考虑到减少检索时的数据和计算量，因此关键帧又要越少越好，目前提取关键帧的主要方法有：

1）镜头法

镜头法选取关键帧一般有三种方法：基于镜头边界的方法、直方图均值法和帧均值法。基于镜头边界的方法通常选择镜头片段的第一帧、中间帧和最后一帧为关键帧；直方图均值法是求取镜头中所有帧的直方图，而后用这些直方图均值构建一个新的直方图，拿每一帧直方图和均值均值直方图比较，取最接近的帧作为关键帧；帧均值法则是求某个位置上所有帧的像素均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧。

镜头法取关键帧算法比较简单，是一种简单快速的关键帧提取方法，但该方法忽略了当前镜头视觉内容的复杂性，且提取的关键帧一般就1帧、2帧或者3帧，无论视频内容如何变化，都是固定的帧数，这样的做法对于内容丰富的镜头会丢失很多信息，无法充分反映镜头的主要内容，所以这种方法一般使用于内容变化少的视频。

2）基于内容分析的方法

视频图像中，由于有运动目标的存在或者其他拍摄因素的影响，通常需要多帧图像老表达一个镜头。根据信息论的观点，关键的帧图像比类似的帧图像携带更多的信息，所以提取关键帧时主要是考虑帧之间的相关程度。

该方法为帧图像选取一个特征向量，计算不同帧图像特征向量的相关系数，选取相关度最小的一组图像作为关键帧。这种算法的一般实现过程如下：

假设[Ti（i=1，2，3，...，M）]表示一个有M帧图像T的特征向量，

[ρij=Cij/（σiσj）] （1）

其中[Cij=（Ti-mean（T））（Tj-mean（T））]，[mean（T）]表示T特征量的均值，[σi2=Cii]。

式1中[ρij]表示第[i]帧和第[j]帧的相关系数，分别计算每一帧与其他帧的相关系数，根据相关系数确定相似度，选取相似度最小的一组帧作为关键帧。

该方法在一定程度上改善了基于镜头法的缺点，提取的帧数根据视频内容不同也会不一样，但计算量较大，且当有镜头变化比较大的时候，容易选取过多的关键帧。

3）运动分析法

运动分析法主要是根据运动信息提取关键帧，有些通过计算光流来计算运动量，例如Wolf等人提出的基于光流分析（Opctial Flow Anyalssis）提取关键帧[3]，先用Horn-Schunck法计算光流，对每个像素光流分量的模求和，作为第[k]帧的运动量[M（k）]，[M（k）]为极小值时，第[k]帧即为关键帧；也有提取运动加速和减速的变化提取关键帧，例如Tianming Liu[4]提出了感知运动能量的三角模型，在运动加速和减速的转折点处提取关键帧；也有根据运动加速度提取关键帧，比如Yanzhuo Ma[5]等人提出了物体运动状态（运动加速度）改变时即为关键帧；还有根据MEPG-7标准的运动描述符来提取关键帧，根据描述符描述的时间轴上的运动强度和运动行为的空间分布来确定关键帧。

这种方法考虑了运动特征，但是在分析视频中的运动特征时（比如计算光流、比如计算运动速度）计算量都比较大。

4）聚类分析法

聚类方法其基本思路[6]是：计算当前帧与已存在的每个聚类中心之间的距离，同预先指定的阈值相比较，若当前帧与所有聚类中心间的距离均大于该阈值，则从该帧开始形成一个新类别，否则将其分配到离它最近的类中。最后，取各类中离类中心距离最小的帧为关键帧，其优点是能有效地消除镜头间的相关性，缺点是不能有效地保存原镜头内图像帧的时间顺序和动态信息.

5）压缩域方法

视频数据量大，考虑到存储容量，通常都会压缩存储，比如MP4格式的视频，采用MPEG-7标准对视频压缩。MPEG采用离散余弦变换（DCT）压缩视频，这种方法一般通过DCT的DC系数和运动矢量（MV）等来提取关键顿。

6）其他方法

如图论、曲线分割、奇异值分解等，这些方法[7]将视频帧看成高维特征空间上的点，抽取关键帧就是在这些点中选取一个子集，这个子集中的点有些能在指定特征距离内覆盖其他点，有些反映了镜头内容上的显著变化。此外，还有人把文本检索的相关技术应用于关键帧提取。

3 一种根据三帧差的欧式距离极值选取关键帧的方法

考虑到交通视频中场景转换的可能性比较小，所以不用考虑镜头边界问题，直接提取关键帧即可。上面那些方法中，镜头法过于死板，不能充分反映复杂的视频内容；运动法计算量比较大；聚类法算法也挺复杂，所以本文选取基于内容的方法，基于内容的方法比较简单，容易实现，但是基于内容的方法也有它的缺陷：计算量较大，而且可能会选取多余的帧。

本文对这个方法提出了一点改进。考虑到交通视频镜头的连续性，在时间上不连续的帧相似度很大的可能性比较小，为了减小帧间相似度的计算量，帧间相似度采用连续的三帧差值来衡量；另外为了防止可能选取多余的帧，取三帧差极大值处的帧作为关键帧，步骤如下。

1）设有一[M，N]的视频，其中M×N表示摄像设备的分辨率，提取视频帧图像，灰度化；

2）计算第n帧图像灰度值与前后两帧的差值之差。[In（x，y）]表示视频中第[n]帧在[（x，y）]的灰度值，[Cn（x，y）]=[[In+1（x，y）-In（x，y）]]-[[In（x，y）-In-1（x，y）]]表示第[n]帧图像在[（x，y）]点的三帧差；

3）根据三帧差计算第n帧灰度图像的欧氏距离[diffn=x=1My=1NCn（x，y）2]；

4）对视频每一帧执行步骤1）～3），形成每一帧的欧氏距离；

5）求所有帧欧氏距离的极值，根据一阶导数为0的点的二阶导数大于0为极小值点，而二阶导数值小于0为极大值点，得到欧氏距离为极大值点的帧，因为极大值表明该帧和前帧以及后帧的差距比较大，是比较关键的帧，所以取极大值点处的帧为关键帧；

6）为了防止提取关键帧过多，对欧式极大值点进行中值滤波，最后得到关键帧。

4 根据三帧差的欧式距离极值选取关键帧的MATLAB实验仿真分析

实验仿真流程如图1所示。

实验一：实验数据是从优酷视频下载的某路口监控视频片段，分辨率672x378，时长22秒，共计672帧，提取结果57帧。

实验二：实验数据是从合肥市西一环人行天桥用单反摄录的，设备分辨率1920x1088，时长4秒，共101帧，最终提取了6帧关键帧。

从以上实验结果分析，本文的基于三帧差的欧式距离极值法提取的关键帧 没有将有车牌变化的图像漏掉，对于交通视频中提取关键帧是有效的方法，且计算方法简单，计算速度比较快。

5小结

本文首先介绍了提取视频关键帧的常用方法，分析了各种方法的优缺点，而后在基于内容分析方法提取关键帧的基础上进行改进，提出了基于三帧差的欧氏距离极限值提取关键帧的方法，并用MATLAB仿真实现，分析了实验结果，经实验验证这种方法是一种行之有效的关键帧提取方法。

参考文献：

[1] 季春. 视频检索中关键帧抽取方法的研究[D].南京理工大学，2005.

[2] 夏洁. 交通视频中机动车辆检索关键技术研究[D].苏州大学，2010.

[3] Wolf Wayne. Key frame selection by motion analysis[C]//Acoustic，Speech，and Signal Processing，1996.ICASSP-96.Conference Proceedings.，19[EB/OL]96 IEEE International Conference on. IEEE，1996，2：1228-1231.

[4] Tianming Liu，Hong-Jiang Zhang，et al.A novel video key-frame-extraction algorithm based on perceived motion energy model[C].IEEE Transactions on Circuits and Systems for Video Technology，2003 ：1006-1013.

[5] Yanzhuo Ma， Yilin Chang， Hui Yuan.Key-frame extraction based on motion acceleration[J].Optical Engineering，2008，47（9）.

[6] 彭德华，申瑞民， 张同珍. 基于内容检索中的视频分割技术及新的进展[J].计算机工程与应用，2003（11）.

[7] 袁爱龙. 基于视频的汽车车型识别研究[D].成都电子科技大学，2013.

[8] 陈祎琼. 基于车牌识别的交通监控视频中车辆检索技术的研究[D].合肥工业大学，2014.