基于语义关联的视频元数据库构建

凌 坚，蔡国炎，练益群

（1.浙江传媒学院 电子信息学院，浙江 杭州 310018；2.浙江广播电视集团，浙江 杭州 310005）

责任编辑:哈宏疆

0 引言

当前，广电行业普遍都在进行视频内容管理系统的建设，大量视频被数字化和编目后进入内容管理系统，随着系统规模不断扩大，视频信息的检索、过滤和提取技术已成为媒体内容管理方面的研究热点。然而，利用计算机技术直接从数据中理解视频内容十分困难，建立视频数据的描述数据（即元数据）的视频检索和分析被普遍认为是现阶段最有效的解决方案，视频数据的元数据库构建变得十分重要，一个结构良好、内容合理的元数据库成为视频数据管理的基础。由于现有的媒体内容管理系统中缺乏数据语义方面的信息，大部分系统的搜索引擎仅仅利用关键词的直接匹配或词频统计作为检索依据，对关系型需求的查询缺少支持；其次，在自然语言中，可能用不同词汇来表达同一个概念，仅依靠关键词匹配和词频统计，可能造成检索错误。要克服上述问题，一个有效的方法是利用元数据的语义建立关键词或标签（tag）之间的语义关联，为搜索引擎提供语义信息。本文提出了一个利用语义关联信息的视频元数据数据库构建方法，利用该语义信息的检索方法可有效改善系统搜索准确性。

1 语义关联网络模型

元数据编目使关键词和视频之间建立了对应关系，但关键词本身并不仅仅是一个符号，而是具有一定的语义，在实际中，人们是使用关键词不是使用符号本身，而是其包含的实际意义。因此仅仅记录关键词和视频之间的关系对计算机理解视频是不够的。语义关联的目的是在关键词数据库中引入类似人类具有的“知识”，使计算机能理解关键词的词义。在概念网络模型（Conceptual Network Model，CNM）中，用概念来表示词汇在自然语言中的实际意义。一个词往往对应着多个概念，即一词多义，比如“病毒”这个词，可以是指计算机中一类能复制自我的恶意程序，也可以表示生物学意义上的一类低等生物。同样，也存在着不同的词汇表示相同的概念，例如:成都还可被称为蓉城、锦城、锦官城；世博会的同概念词汇还有世界博览会、国际博览会、万国博览会、世博会、世博、万博等。

概念虽然表达了明确的语义，但人对视频的检索等操作仍然会采用包括关键词等自然语言方式，因此，需要在元数据库中建立词汇和代表语义的概念之间的关联。

另一方面，由于视频数据数目十分庞大，具有相似关键词但不同类型的视频在内容上可能相去较远。为了改善语义关联的元数据库在检索方面的性能，在关联网络中引入视频的多重分类，如图1所示。

元数据语义关联数据库中的视频分类，可按照时间、地点、人物、知识属性等角度提供多重分类体系标准，用于对视频进行分类编目。知识属性分类体系分类可参考国家广电总局的《广播电视音像资料编目规范-电视资料部分》中对视频节目分类建议和《中国新闻信息分类标准》相关规范和标准等，其构建原则是保证类别之间重复少（唯一性）和类别集合的总体完备性。

2 词汇表管理

在具体实现中，概念和关键词类似，用词或词组表示，语义词表管理提供对词汇和概念词汇进行定义、维护的能力，包括基本词汇管理和用户自定义词汇管理。在基本词表管理方面，从知识属性、题材和节目形态等方面考虑常用的词汇和语义，汇集基本词汇和语义关联作为基本词库。在基本语义关联词库的基础之上，概念词汇可以进行动态更新，包括新词汇的增加和旧词汇的去除。由于概念词汇属于相对固定、封闭的词汇体系，它的动态更新需要管理者审核后方可正式纳入到编目系统中。

在用户自定义词库管理方面，主要包括关键词分析以及具有相同语义的关键词库（即同义词）管理两部分。通过关键词统计分析，可以得到关键词的使用频率，在不同视频中的使用情况等多方面信息，从而为关键词的自动推荐以及更新提供依据。具有相同语义的词汇库主要关注的是关键词间的关联信息。一定数量的编目之后，数据库会积累大量的关键词，这些词汇中会有许多词汇具有相同的语义或同一词汇具有不同语义的情况出现。由于词库的建设和维护需要较大的工作量，视频库编目系统可以设有专职词库管理员，该管理员借助同义词检测、关键词使用频率和权重等技术指标，将关键词归类，给出正式的关键词作为一个统一使用概念，并建立这个概念词汇与其对应的关键词之间的联系，同时建立同义词词库与概念索引库的动态联系，保持关键词和概念之间的关联，保证检索的一致性。

3 数据表示和存储

目前对于关联数据的存储方式主要有纯文本方式、专门存储程序和关系数据库方式3种:

1）纯文本存储。纯文本（如.OWL文件）的方式，按某种方式直观地表示语义之间的关联，符合词汇的语义特性，易于理解，适用于直接表示和存储。但文本形式较简单，当关联的概念和实例较多时，效率较低，不适合大规模的词汇和概念的语义关联的管理。

2）专门的管理工具存储。如OMM等软件，支持对RDF、OWL等类型文件的存储管理，并提供各种接口，可使用查询语言对语义关联关系进行查询，但这些软件工具技术上尚不够成熟，达不到关系数据库存储的效率。

3）关系数据库存储。关系数据库技术相对成熟，适合大规模数据的存储，存储效率高，易管理且便于查找数据。在当前支持语义信息存储的技术尚未成熟的时候，对于海量数据本体的存储和管理，关系数据库是最佳选择。

这里采用第3种关系数据库存储形式，数据的存储采用与应用分离的设计，对于以后扩展和维护系统都具有较好的灵活性。存储视频语义关联信息主要包括4个表，视频-关键词表、视频-分类表，关键词-概念词表，分类表。此外，为了记录完整的视频、词汇和分类数据，还至少需要建立视频元数据相关的表、词汇说明表和类说明表。表1、表2分别定义了词汇表的主要字段和属性，视频-分类表和分类表与此类似。

表1 视频-关键词表

表2 词汇-概念表

数据采用基于关系数据库技术存储和组织语义关联信息，可以充分利用数据库管理系统（Data Base Manage⁃ment System，DBMS）提供的各类数据定义、维护和检索操作，采用结构化查询语言（SQL）实现语义关联数据的管理，图2是一个简化的利用关联语义信息检索的过程，并利用数据库管理系统的功能，保证数据的一致性和完整性。

4 小结

数字视频内容管理的一个关键问题是视频内容的智能检索和推荐。直接在非结构化的视频数据中理解视频内容十分困难，在媒体资产（MAM）等内容管理系统中，是通过视频数据对应的元数据对视频进行组织和检索等操作，本文在分析了视频元数据中关键词在自然语言理解上的特点，引入“概念”，利用关键词和概念之间语义上的关联，建立视频数据、关键词和概念之间的语义关联网络，并根据视频可能涉及的时间、地点、人物和属性进行分类，最后给出了在关系数据库中存储语义关联信息的方法，利用关联信息可以改善视频检索的智能化程度。计算机对词汇在语义的理解上需要充分的语义“知识”，本文提出的语义关联是这种知识的其中一个部分，要进一步提高计算机视频数据管理的智能程度，另一个关键的知识是概念间的语义联系，如何对概念之间的语义联系进行细分，并建立概念之间的语义关联模型是本文后续研究的一个方面。

[1]苏伟峰，李绍滋.一个基于概念的中文文本分类模型[J].计算机工程与应用，2002，38（6）:193-195.

[2]KARAM O，HAMAD A，ATTIA M.Exploring the sem antic gap in content-based image retrieval:with application to Lung CT[EB/OL].[2010-01-03].http://www.icgst.com/GVIP05/papers/P1150535241.pdf.

[3]沈玉利，郭雷，耿苑.一种新型图像检索语义网络构建方法[J].计算机应用研究，2005，2（5），148-151.