基于Map/Reduce的海量视频图像检索系统设计

杨 曼，何 鹏，齐怀琴，安井然

（齐齐哈尔大学 通信与电子工程学院，黑龙江 齐齐哈尔 161006）

基于Map/Reduce的海量视频图像检索系统设计

杨 曼，何 鹏，齐怀琴，安井然

（齐齐哈尔大学 通信与电子工程学院，黑龙江 齐齐哈尔 161006）

齐齐哈尔市公安视频监控系统中每天所产生的大量视频数据对视频图像的检索、管理及安全产生了迫切的需求，视频图像的检索存在两个急需解决的问题，一是视频检索的准确度问题，二是检索效率的问题。面对海量的视频数据库，提出了基于Map/Reduce分布式计算模型与关键帧算法结合的方法，既提高了检索效率，又提高了检索准确率。

Map/Reduce；关键帧；视频检索

近年来，视频监控系统在公安、交通、银行等重要领域大规模应用，尤其在公安监控领域扮演着必不可缺的重要角色。通过视频监控系统打击违法犯罪行为屡见不鲜。然而随着摄像头的增加，产生的视频数据也呈爆炸式上涨。如果以一个普通摄像头进行录像为例，一小时视频存储容量大小约为150 Mbyte，连续录12 h则数据储存量将达1.8 Gbyte，齐齐哈尔市约有2 500个摄像头，视频数据保存的周期一般约为15天，经过计算得知，在视频存储的周期中约产生1 320 Tbyte的数据，然而特殊的情况之下视频数据量可达到PB级。

在实际应用的过程中，工作人员希望可以快速准确地从这些海量数据中找到所需要的图像。然而传统的视频存储对服务器的容量有很高的要求，这使得监控系统的造价增加。传统的基于时间的视频检索[1]方式，面对视频特殊的非结构化数据以及日益增长所形成的庞大的视频数量，对于海量视频数据的挖掘往往无能为力，因此如何快速准确地进行智能检索就成为大型视频监控系统急需解决的重要课题。

针对海量视频中提高检索的准确度和效率问题，本文采用计算帧运动量的方法对监控视频进行分类，去掉冗余视频数据，提取有运动目标的视频，采用SIFT算法对视频进行关键帧[2]特征计算，将提取的关键帧存入数据库，将视频存入分布式文件系统（HDFS）中，将Map/Reduce分布式计算模型应用于关键帧提取的检测算法中。这样既解决了海量视频的存储容量问题，通过Map/Reduce编程模型与关键帧的提取又提高了检索效率与准确度，有助于监控人员实时检索视频信息，尽快找到所需数据。

1 系统总体设计

首先将视频序列分割[3]为若干个镜头序列，然后在各个镜头序列中找到若干个关键帧，视频序列被结构化之后，提取各关键帧的视觉特征（纹理、颜色、形状等），存入特征数据库中；用户可以通过相似性匹配模块查询，在视频数据库中寻找相符合的图像。由于视频监控存储容量大，采用Hadoop架构，将视频存储在分布式文件系统，关键帧存于分布式的、面向列的开源数据库（HBase）中。系统结构如图1所示。

图1 系统结构

2 视频图像关键帧的提取

现如今，关键帧技术主要应用在视频内容检索上。关键帧能反映出视频内容的主要信息，由于视频信息的复杂性，一般一段视频信息会包含多个关键帧。关键帧是静态图像，但能反映监控视频中的动态变化。在公安侦查过程中，往往包含犯罪嫌疑人体貌和行为特征，车辆的外形特征图像作为关键帧。目前在提取视频关键帧上有很多方法，但是每种方法都有自己适用的范围。针对固定摄像机拍摄监控视频的特性，不只希望可以看到运动信息，更希望看到运动过程。结合监控视频特性，本文采用基于图像颜色特征，计算图像颜色直方图，比较相邻帧相似性来提取关键帧。

2.1 运动检测

从一段大小为p×q视频中提取背景图公式如下

式中：B（x，y）为得到的背景图；Fi（x，y）为视频中任意一帧。

2.2 视频分段

很显然，帧运动量范围在0到1之间。设Dt表示t时刻对应的灰度视频图像，帧运动量设为Mt。

根据判断Mt的大小来对视频进行分类

针对上述问题，本文提出将视频按照帧运动量大小分为3类，对视频中的当前帧进行标记，类别符号记为Si，i取0，1，2这3个整数，分别为

颜色直方图表示将光谱颜色量化后，每一个颜色范围中所包含的图像像素个数[4]。颜色直方图能够直观表示出图像中颜色分布的颜色特征，描述不同颜色在图像中所占的比例。颜色直方图适用于所有的图像，对于单色图像，可以计算出灰度直方图，对于彩色图像，可以对每一个通道分别计算颜色直方图。

对于两幅相同大小的图像Ii和Ij（Ii和Ij为相邻两帧），首先计算出图像Ii和Ij颜色直方图，然后比较前后两帧图像对应点的像素值（p，q），求其最小值得出两帧图像同一点像素值的相似性，然后累加求和，最后计算出两帧图像每一个通道相似的像素点数占后一帧图像该通道总像素点的比例。

对于彩色图像，进行相似度与设定阈值对比，应用三基色RGB与d（灰度）公式

相邻两帧的相似性d∈（0，1]，经多次验证，阈值设定为T=0.85，如果d小于设定的阈值，说明两帧的相似度过小，设定后一帧为新的关键帧。

对于灰度图像，直接将求出的比例与设定的阈值进行对比，判断后帧是否为关键帧。

3 实验过程

3.1 关键帧提取具体步骤

1）首先对视频A进行背景建模，用背景差分法记录视频中存在运动物体的起始帧A1和结束帧An，取出存在运动物体的视频。

2）将取出的视频每隔25帧提取图像作为初始关键帧集合。

3）在提取初始关键集合中将首帧A1设为关键帧F1，F1=A1，i=1。

4）j=i+1，计算Aj与Ai的相似性，如果得到的d小于阈值，说明两帧的相似性较小，设Aj为新的关键帧F2。

5）检测到最后一帧，计算结束，显示关键帧集合。

3.2 关键帧提取结果

在运动检测的基础上进行关键帧算法的验证。对一段含有运动信息的监控视频进行关键帧提取。视频时长为23 s，帧总数为347帧，文件大小为1.34 Mbyte，视频分辨率为512×288，文件码率464 kbit/s。图4为初始关键帧集合。

图4 初始关键帧集合

从上述初始关键帧集合中采用基于图像颜色特征提取出的关键帧如图5所示。

图5 基于颜色特征法提取的关键帧

从初始关键帧集合中提取出来的帧分别为第1，9，12，13，14帧。从图5可以看出，关键帧能够很好地反映出物体的运动趋势，并能很好地识别出物体的特征，并且关键帧的总占用量为117 kbyte，涵盖了有效的信息，大大节省了存储空间，便于用户浏览观看。

3.3 特征计算

将提取出的关键帧按照时间顺序分别计算出每帧的特征，然后组织在一起，构成视频特征。

在特征计算上，由于在监控视频中主要关注运动物体的特征，所以本文采用SIFT特征算法[5-6]进行特征提取。通过尺度空间的极值检测，得出关键点。在关键点的确定过程中，对于低对比度的点和边缘点进行了剔除，并采用梯度直方图来确定关键点的主方向可以使得算子具备旋转不变性。

SIFT的特征向量由关键点邻域梯度信息的统计特性实现。根据Lowe的方法，以关键点为中心取16×16的窗口。将其分成一些不重复的4×4的小块，在每一个小块中统计8个方向的梯度方向直方图，绘制每个梯度方向的幅值累加值，这样便可形成一个种子点，可见，一个特征点由4×4共16个种子点组成，每个种子点有8个方向的向量信息。然后将这16个种子点共有128个方向的向量信息，组合成一个128维的向量。

本文通过建立一个三元组来表示一个关键帧（视频ID，关键帧ID，关键帧特征）。其中，视频ID和关键帧ID作为Map/Reduce模型中的key值。关键帧的信息通过这个三元组能够被很好地表示出来。将关键帧存于HBase中，而视频数据存于分布式文件系统中。

3.4 分布式数据

分布式数据分析是建立在分布式数据存储系统的基础上的，基于Map/Reduce编程模型[7-9]，其可并行处理多个任务，表1为Hadoop系统性能对比指标。

表1 Hadoop系统性能对比指标

其中测试了Hadoop集群与Non-Hadoop集群在搜索性能上的差异。

本文提出利用Map/Reduce模型计算相似度，在分布式计算框架中，其中一台作为Master的NameNode和JobTracker，另外3台作为Slave的DataNode和TaskTracker。

串行方法和Map/Reduce方法在时间上的对比如表2所示。

表2 串行和Map/Reduce在时间上的对比

该实验表明，基于Map/Reduce的分布式计算方法，使得检索效率显著提高。当分布式存储系统的Slave主机数量增加的同时运行时间也明显减低，如图6所示。

图6 Slave主机数量与运行时间对比

4 结论

本文主要研究面向海量视频数据的检索方法，如何快速准确地进行智能检索成为大型视频监控系统所要急需解决的问题。本文通过对关键帧的提取，并利用Map/Reduce编程模型，在一定程度上提高了检索效率并且减少了检索时间。在公安视频监控中使用此方法，能够快速、准确地找出可用图片，使人们能够安居乐业。

[1]李子青.海量视频智能分析研判系统[J].中国公共安全：综合版，2012（19）：180-185.

[2] 冯珺，高新波，杨益敏，等.视频镜头关键帧重构算法及其在检索中的应用[J].计算机辅助设计与图形学学报，2008，20（6）：775-780.

[3] 朱登明，王兆其.基于运动序列分割的运动捕获数据关键帧提取[J].计算机辅助设计与图形学学报，2008，20（6）：787-792.

[4] 苗立刚.视频监控中的图像拼接与合成算法研究[J].仪器仪表学报，2009，30（4）：857-861.

[5]杨胜，钟玉琢.一种从MPEG压缩视频流中提取关键帧的方法[J].中国图象图形学报：A辑，2001，6（3）：254-258.

[6] GUDIVADA V N，RAGHAVAN V V.Content based image re⁃trieval systems[J].Computer，1995，28（9）：18-22.

[7] RUI Y，HUANG T S，CHANG S F.Image retrieval：current techniques，promising directions，and open issues[J].Journal of Visual Communication And Image Representation，1999，10（1）：39-62.

[8]PRATT B，HOWBERT J J，TASMAN N I，et al.MR-tandem：parallel Xtandem using hadoop MapReduce on amazon web ser⁃vices[J].Bioinformatics，2012，28（1）：136-137.

[9] LEE Y，KANG W，LEE Y.Traffic monitoring and analysis[M].Berlin：Springer，2011.

Huge Amounts of Video Image Retrieval Technology Research Based on Map/Reduce

YANG Man,HE Peng,QI Huaiqin,AN Jingran
（Communication and Electronic Engineering Institute,Qiqihar University,Heilongjiang Qiqihar 161006,China）

With the rapid development of Internet and multimedia technology,city public security video monitoring system produce a large number of video data every day,many problems need to be solved as video image retrieval, management and safety of the pressing demand.In general there are two points,one is the video retrieval accuracy problem,the other is the issue of retrieval efficiency.In the face of huge amounts of video database,the method is proposed based on the Map/Reduce distributed computing model combined with algorithm of key frames,which improve the efficiency and accuracy of retrieval.

Map/Reduce;key frames;video retrieval

TN911.73

A

10.16280/j.videoe.2015.04.009

杨 曼（1988— ），女，硕士研究生，主研图像处理与视频监控技术；

2014-08-07

【本文献信息】杨曼，何鹏，齐怀琴，等.基于Map/Reduce的海量视频图像检索系统设计[J].电视技术，2015，39（4）.

科技部科技惠民计划项目（2013GS230301)

何 鹏（1970— ），教授，博士，主研图像处理。

责任编辑：闫雯雯