一种基于XML的海量视频监控信息检索技术

冯少奇，巩思亮，陈春明

(公安部第三研究所 物联网技术研发中心,上海 201204)

一种基于XML的海量视频监控信息检索技术

冯少奇，巩思亮，陈春明

(公安部第三研究所 物联网技术研发中心,上海 201204)

针对智能视频监控中视频解析产生的结构化数据不能集合存储到视频录像而由此带来的信息检索不便问题，文中提出了一种基于XML的异构数据集成解决方案。它主要通过将监控数据库中的检索数据导入XML文件后和关联视频文件进行一体化的异构数据存储，使用户可以通过统一的接口来实现对监控数据和视频文件的访问。首先在对相关技术进行研究和分析的基础上，设计了一个统一的数据集成和用户查询平台；然后在高清卡口场景下，针对车辆信息检索进行了实验。结果表明，该方法不仅实现了基于关键词的视频文件检索，也实现了基于单一视频文件的信息检索。该技术提高了数据的自由迁移能力，可以实现基于视频文件的离线信息检索，因此具有极高的实用性。

海量视频；视频检索；AVI；RIFF；可扩展标记语言；高清卡口

0 引 言

近年来，作为建设平安城市和智慧城市重要组成部分的视频监控业务，由于其在治安巡逻、警情处置、治安管控、案件侦破等方面发挥着不可或缺的技术支撑作用，受到全国各地公安机关的高度重视和政府的大力支持。随着视频监控基础设施建设的日趋成熟以及大联网和高清化等因素的推动，海量视频背景下的信息检索能力显得尤为重要。

视频数据的爆炸式增长，意味着需要投入更多的资源以及付出更多的人力，才能在这些体量庞大的数据中寻找到有价值的信息。原始的信息检索往往是人工基于时序的浏览和排查，这种方式不仅效率低，而且极易遗漏转瞬即逝的重要信息。同时传统基于文件名的视频文件搜索由于受字数限制，只能存储少量的文本标识信息，无法满足基于摄像头名称、编号、地理位置信息和录像时间等更加灵活的关键词搜索。

如图1所示，监控摄像头所获得视频经过转码压缩后存储于基础视频库，同时视频解析服务器把原始视频按照定义的结构类型进行数据挖据后输出到监控数据库中以提供决策型数据访问的基础。通过该数据库可以精确映射到基础视频库中的目标文件和实现基于内容的海量视频快速检索。但是在以文件系统为核心的数据存储方式下，作为非结构化数据的视频录像与视频挖据产生的结构化数据存在着不能集合存储到统一文件的问题，这给视频的存储管理和信息检索带来诸多不便。

图1 海量监控视频信息的存储和管理

1 数据迁移相关技术

1.1 XML技术

XML(可扩展标记语言)作为一种结构性标记语言，由于其简单、可扩展、跨平台的特性而被广泛应用于数据信息的交换和传输。从文件格式来讲，由XML语言生成的文档为纯文本文件，因此在编辑和创建上不仅支持文本编辑器，同时也支持大型可视化开发环境；从数据存储能力上来讲，XML文档具有极强的可扩展性，支持小到配置文件大到企业级数据库的存储应用[1]。因此使用XML文件完全可以满足图1中监控数据库的检索数据向基础视频库中关联视频文件的数据迁移需求[2]。

实现基于XML的数据迁移包括模式映射和数据转移两个步骤。前者将数据的关系模式映射为XML模式,后者依据XML模式将数据映射到XML文档。DTD和XML Schema语言均可以用于实现模式映射。由于XML Schema不仅提供了丰富的数据类型，而且具有良好的继承性和可扩展性，因此可以使用XML Schema实现模式映射和数据迁移[3]。

数据迁移生成的XML文件通过SAX(Simple API for XML)和DOM(Document Object Model)编程接口可以实现对XML文件的解析[4]。鉴于DOM的文档驱动机制，即可以把XML文件一次性读入的特性，文中使用DOM作为数据解析的编程接口。

1.2 AVI文件解析

AVI作为视频监控中一种常见的视频存储格式，遵循RIFF规范将音视频数据以交错存储进行存储。其基本单元为LIST和CHUNK。其中LIST相当于文件系统的目录，可以包含多个LIST或者多个CHUNK。CHUNK是保存数据的基本单元，可以保存音视频数据以及参数信息[5]。

图2为使用RIFFspot软件对一个AVI文件的结构解析。

图2 AVI文件结构解析

如图2所示，整个文件呈树状结构，其中根节点RIFF_AVI表征了AVI文件类型，其子节点为三个LIST：LIST_hdrl、LIST_INFO、LIST_movi。LIST_hdrl用于描述AVI文件中各个流的格式信息；LIST_INFO用于描述使用的编码器工具信息；LIST_movi用于保存真正的媒体流数据，包含视频图像帧数据和音频采样数据；Idx1是一个可选的索引CHUNK，用于为AVI文件中每一个媒体数据块进行索引[6]。

使用AVIMaster软件可以进一步详细查看CHUNK结构的数据内容，经过解析可知其中LIST_INFO下ISFT CHUNK的存储内容为“Mencoder SVN-r33883<20110779-gcc4.5.2”，它表征了当前AVI文件中媒体数据使用的编码器及其版本信息。

因此，可以通过在RIFF_AVI LIST下创建一个LIST_USER LIST,然后在该LIST下创建用户自定义CHUNK,在该CHUNK中存储包含迁移数据的XML文件，实现XML文件与CHUNK数据的映射关系。

2 基于XML实现视频检索

2.1 研究现状

通过XML实现数据迁移和信息检索，国内外目前已有较多深入研究和可借鉴的应用成果。文献[7]提出了一种面向数据库升级应用的XML数据迁移技术。文中提出利用SAX解析器实现源数据库向XML文件的导出，然后把XML文件中的数据转换为目标表字段格式后导入到目标数据库中实现数据迁移。文献[8]为了解决电子政务中的异构信息交换问题,设计了一个基于XML的星型结构的数据交换模型，实现了任意数据库与XML的数据交换，并提出了具体的实现原理，具有极强的借鉴意义。文献[9]针对高校存在学生信息管理、教务管理、财务管理和科研管理等多个信息系统的现状，设计了一个基于XML的统一数据交换平台，提出在异构数据源和用户应用程序之间设计一个中间件以提供虚拟视图来集成异构数据源，可作为文中设计的重要参考。

2.2 系统方案

针对目前视频监控中存在的信息检索不便的问题，文中在对上述相关技术充分研究的基础上，提出了一个基于XML的异构数据集成方案。该方案主要通过将监控数据库中的检索数据导入XML文件后和关联视频文件进行一体化的异构数据存储，使用户可以通过统一的接口来实现对监控数据和视频文件的访问。这不仅提高了海量视频监控背景下数据的自由迁移能力，而且大大提高了用户在有效检索信息的同时快速访问关联视频的能力[10]。

基于该方案，设计了一个统一的监控数据集成和信息查询平台，服务于一线公安视频监控业务实战应用。如图3所示，该平台业务流程包括监控数据库中的数据迁移到基础视频库和基于视频库实现用户信息检索两个部分。

图3 监控数据集成和信息查询平台

2.2.1 数据迁移

如图3所示，为实现数据集成，首先需要将监控数据转换为XML文件，然后将XML文件按照视频结构封装后写入关联视频文件。第一步需要将数据在数据库中的关系模式使用XML Schema映射生成后缀为.xsd的文件，然后基于该文件从数据库中取出对应元素，将其映射到XML文档。该映射需要遵循两个原则：

(1)XML Schema应保留关系模式中的所有约束；

(2)在不丢失语义的前提下避免XML文档中的数据冗余。

第二步需要依据视频文件的数据结构对XML文件进行结构封装后写入关联视频文件。由于篇幅有限，文中针对上述技术研究中的AVI文件展开论述。如1.2所述，可以通过创建一个LIST_USER LIST，在该LIST下封装XML文件形成自定义CHUNK后写入AVI文件，完成数据迁移。需要注意的是，一个视频文件往往关联到多个XML文件，对此可以通过在一个LIST下创建多个CHUNK分别进行数据封装。

2.2.2 信息检索

由于遵循RIFF规范实现了检索数据与监控视频的异构一体化存储，因此通过上述平台既可以实现监控视频的随机播放，也可以实现基于视频库的信息检索。为实现该过程，首先需要从AVI中解析出XML文件，然后基于XML文件实现信息检索和视频的关联播放。如1.1所述，通过使用DOM作为数据解析的编程接口来实现用户信息检索。具体的信息检索工作流程如图4所示[11]。

图4 基于视频库的用户信息检索

3 高清卡口实验

高清卡口在智能交通检测领域发挥着重要作用，其检索数据包含车辆信息数据和车辆抓拍图片。文中采用2.2节所述系统方案将车辆信息数据与关联高清视频录像数据导入数据集成和信息查询平台，实现了基于AVI文件的车辆信息检索和关联视频的定位播放[12]。该系统数据源为SQL Server 2008数据库，开发工具为VS2008，开发语言为C++[13]。

3.1 数据集成

(1)车辆信息数据导入XML文件。

以东方大道编号为0001的高清卡口于2015年1月11日下午15：53分所摄录的时长为3 min的一段高清视频所关联的卡口信息数据为例进行分析。其中表1为卡口信息数据，表2为录像文件数据，表3为车辆信息数据。

如图5所示，其中表1和表2、表3以表1主键“编号”为关联形成“一对二”的数据映射关系。

表1 卡口信息数据表

表2 录像文件数据表

表3 车辆信息数据表

图5 卡口数据表映射关系图

在建立XML关系数据模型后，把源数据库中的上述数据导出到XML数据文件中[13]，依据数据映射关系进行数据迁移后生成的XML文件如下：

<卡口信息 卡口编号=“0001”

卡口名称=“东方大道”

地理位置信息=“120.874825,31.272796”

录像开始时间=“2015-01-11 15:53:00”

录像停止时间=“2015-01-11 15:56:00”>

<车辆信息 经过时间=“2015-01-11 15:53:24”>

<车头牌号 存储值=“苏E9R623”/>

<车辆颜色 存储值=“蓝色”/>

<车辆类型 存储值=“小型轿车”/>

<车辆信息 经过时间=“2015-01-11 15:55:51”>

<车头牌号 存储值=“苏HT0211”/>

<车辆颜色 存储值=“银色”/>

<车辆类型 存储值=“小型面包车”/>

<卡口版本 version=“1.0”/>

(2)车辆信息数据导入XML文件。

在生成XML文件后，需要将其导入关联的视频文件20150111155324.avi。首先创建了一个LIST_USER LIST，在该LIST下封装XML文件形成名称为“0001”的CHUNK后写入AVI文件，完成了卡口数据和视频文件的集成。

3.2 信息查询

图6为基于2.2节所述的XML解析和AVI文件解析所设计完成的信息查询平台，可以快速地进行海量卡口视频背景下的信息检索。在文件检索方面，支持基于卡口名称、编号、地理位置信息和录像时间等更加灵活的关键词检索；在车辆信息检索方面支持基于牌号、车型、车辆颜色检索的关键词查询，同时也支持基于AVI视频文件的车辆信息预览和快速定位播放[14]。

(1)AVI视频文件检索。

在图6中，首先设置导出的检索视频文件夹路径，然后搜索卡口编号为0001位于东方大道时间在2015年1月11日的所有视频文件。在软件左下角列表框中列出了满足条件的所有AVI视频文件。然后随机将光标选中文件名为20150111155300.avi的文件，即可在右侧查询和观看该文件所包含的所有车辆信息。

(2)基于牌号、车型、车辆颜色检索。

当选中目标文件后，在右侧卡口信息检索栏可以确认当前的文件名，同时在列表框中显示的是该视频文件中所有车辆的经过时间，随机选中“20150111155324”，即可实现在播放器循环播放关联视频片段的同时查看车辆信息。如果在右上方“车型”下拉框选择“小型轿车”或者在“车辆颜色”下拉框选择“蓝色”，然后点击“车辆搜索”，同样可以获取目标车辆信息。

3.3 结果分析

由实验可知，基于文中所提出的系统方案可以将卡口数据库中车辆信息关系数据实现基于XML的数据迁移和基于时间关联的AVI视频录像文件的一体化存储，然后基于XML解析技术和RIFF规范设计了基于AVI视频库的信息检索平台，实现了基于关键词的视频文件和车辆信息的灵活检索。

4 结束语

目前的智能视频监控建设由于没有统一规划，存在着信息共享困难、数据分散存储的问题，由此形成的信息孤岛给数据挖据等大数据技术的应用带来了困难。文中所提出的基于XML的海量视频监控信息检索技术，巧妙地将携带检索信息的XML文件写入AVI视频，实现了基于AVI文件的条件检索和视频播放。最后在卡口应用场景下，将卡口车辆信息和高清视频相融合，使得用户可以在快速获取车辆细节信息的同时通过高清视频了解整个卡口的宏观动态，为事件提供了更加丰富、更加准确的信息。

图6 基于AVI文件的卡口信息检索

[1] 白 涛,王 斌,张太红,等.基于XML的高校网招录取数据交换技术的研究[J].计算机技术与发展,2014,24(8):202-205.

[2] 张先花．基于XML的异构数据源的数据存储和集成研究[D]．天津:南开大学，2007.

[3] 曹温华,邓美玲.XML与关系数据库之间转换技术的研究[J].科技风,2008(16):68-69.

[4] 鉴保瑞，宋余庆，陈健美，等.一种基于关系的XML文档模型映射方法[J].计算机应用研究,2011,28(12):4621-4624.

[5] 张南豫，张连堂．AVI在多媒体技术中的应用研究[J]．电脑知识与技术，2010,6(21)：5813-5814.

[6] 徐殿武.AVI文件格式及其应用研究[J].现代电子技术,2008,31(2):119-122.

[7] 赵艳妮，郭华磊．基于XML的数据迁移技术在信息系统升级中的研究与实现[J]．计算机应用与软件，2014，31(12)：52-54.

[8] 孙 腾，孙安健．基于XML数据交换的电子政务系统集成[J]．计算机应用与软件，2012，29(5)：188-190．

[9] 赵芳云．基于XML的异构数据源查询系统设计[J]．计算机应用与软件，2009，26(8)：185-188．

[10] 傅珊珊．基于聚类的XML文档集成管理方法研究[D]．泉州:华侨大学，2007.

[11] 华珊珊,谢铉洋.XML查询语言XQuery的研究与实现[J].计算机技术与发展,2009,19(4):48-50.

[12] 张建伟．高清智能卡口管理平台设计与实现[D]．成都:电子科技大学，2014.

[13] 顾 兵.SQL Server2005中的XQuery应用研究[J].计算机技术与发展,2011,21(3):98-101.

[14] 郑 宏,李 年,丁 凯.XML检索方法研究[J].计算机技术与发展,2013,23(10):15-18.

A Technique of Surveillance Information Retrieval for Massive Video Based on XML

FENG Shao-qi,GONG Si-liang,CHEN Chun-ming

(Center of Internet of Things,the Third Research Institute of Ministry of Public Security, Shanghai 201204,China)

A heterogeneous data integration solution based on XML scheme is proposed to solve the information retrieval inconvenient problem which comes from that structured data generated by the video parsing cannot be merged into video recording file in intelligent video surveillance system.By integrating the XML files exported from the surveillance database with the associated video files in heterogeneous way,this solution enable users to access the monitoring data and video files through a unified interface.Firstly,an unified platform for data integration and user queries is designed after the research and analysis of related technology.Secondly,an experiment for vehicle information retrieval in HD bayonet scene is carried out.The result shows that this method not only achieves the retrieval of video files based on keywords,but also realizes the video file-based information retrieval.This technology makes the free migration of data possible and offers the ability of off-line information retrieval based on the video file.Hence,it is very practical.

massive video;video retrieval;AVI;RIFF;XML;HD bayonet

2015-06-11

2015-09-16

时间：2016-03-22

公安部技术研究计划(2014QZX005)

冯少奇(1982-),男,研究实习员，硕士,研究方向为数据库技术、视频编码与视频处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1518.038.html

TP311.13

A

1673-629X(2016)04-0182-05

10.3969/j.issn.1673-629X.2016.04.040