元数据技术在舰艇数据共享平台中的应用与实现*

吴亚非 邓振国 王振龙

(华北计算技术研究所 北京 100083)



元数据技术在舰艇数据共享平台中的应用与实现*

吴亚非 邓振国 王振龙

(华北计算技术研究所 北京 100083)

元数据是描述数据的数据,是数据共享的关键技术。以元数据为核心构建数据共享平台需要建立统一的元数据标准,以实现异构数据的一致性表达,资源的生产者按照元数据标准抽取元数据,注册到全局资源目录中;使用者通过资源目录查询定位元资源,并与资源生产者建立订阅关系从而实现数据资源的共享。论文利用元数据技术、Web Service架构实现了无线环境下不同平台之间的数据共享,能够适用于舰艇之间数据共享。

元数据; 元数据标准; 资源目录; 数据共享

Class Number TP391.1

1 引言

数据是信息系统的基础,在指挥自动化系统建设过程中,如何共享各平台的自有数据,快速发现、充分利用处于分布式网络环境中的各类异构数据,是提高资源利用效率、减少重复建设、决定指控系统建设成败的关键因素。

通常,业务系统数据共享主要通过以下两种方法:

1) 直接使用模式。资源使用者直接向资源生产者提出申请,经允许后按照双方约定的格式进行共享。这种方式的优点在于简单直接,但缺点也非常明显,扩展性和维护性太差,若有新的数据需求或者数据发生变化,就必须更改程序代码。

2) 共享使用模式。资源生产者将可以共享的数据提交到公认的位置,比如网络磁盘空间或共享数据库中,资源使用者可以按需获取所需数据。这种方式的优点在于公开透明,建设成本也相对较低,但对于海量异构数据缺少必要的管理机制,在多用户网络环境背景下的安全性、便捷性都可能带来一定的问题。

本文提出一种基于元数据技术的数据共享机制,并在某科研项目中得以实现和验证,取得了良好的效果。实验证明,这种机制应该能够用于舰艇之间的数据共享。

2 元数据

元数据(Metadata)的定义有两种,即“关于数据的数据”或“描述数据的数据”,它提供了数据或信息资源的描述性信息,是对数据特性的抽象与概括。

利用元数据描述数据资源,使得数据资源能够被发现、定位、获取、管理和评价。对数据资源进行个性化描述,使用户能够识别数据资源;提供数据资源的位置信息,如出处、位置等,以供用户访问时使用,通过在描述数据中提供检索热点,方便用户对资源的检索和利用;通过对记录数据资源的各种特征属性,辅助用户对是否使用、何时何地使用数据资源进行判断;信息系统处理数据时可以利用元数据所记录的数据特征属性,决定数据处理的具体方式,例如在交换过程中进行数据的转换;元数据是原始信息的简洁描述,通过元数据可以实现对数据资源的管理。

利用元数据描述数据资源而不直接访问数据在信息系统中有很明显的好处:

1) 通过元数据描述可抽取出数据的表示细节,如数据的格式及组织方式,从而使系统能够以独立于数据表示细节的方式来获取数据的信息内容。

2) 元数据描述可用来表达与数据所属信息领域相关的领域知识。系统可利用此领域知识来对数据进行推理,以确定数据之间的相关性。而这种推理又无需直接访问数据,因而使需要处理的数据量呈几何级降低。

3 元数据共享的原理与实现流程

图1演示了元数据共享的一般流程。

图1 元数据共享的一般流程图

1) 构建元数据标准。基于元数据共享必须构建元数据标准。元数据标准采用结构化的表达方式,描述数据的逻辑结构,在组织与系统内部统一元数据标准,能够让数据的生产者和使用者达成对数据理解的一致性,同时有利于计算机的自动识别与分析。在不同的数据之间建立统一的元数据标准,实现对数据的统一描述,为数据共享提供基础。

2) 以元数据标准为模型抽取元数据。基于元数据标准,在资源生产节点上,对该类数据进行抽取后,形成对数据可理解的描述,即元数据,元数据是用户进行数据发现的基础。

3) 形成资源目录。在局部节点通过将各类数据的元数据组织成有序的树状结构,形成资源目录,使得元数据有机的进行组织,并以快捷的形式提供用户可见,方便用户的发现。这解决了节点内资源发现的问题。

4) 建立全局共享的资源目录。在全局空间内通过对局部资源目录的进行管理与整合,形成全局的资源目录,使得分布式环境下各个节点都可以发现自身感兴趣的资源,这解决了节点间数据发现的问题。

5) 数据的订阅与分发。基于资源目录,用户可以选择感兴趣的资源进行订阅,在建立订阅关系后,资源发布方的数据在变化时,自动推送给资源订阅方,达到数据共享的目的。

4 舰艇平台元数据共享的设计实现

在某科研项目中模拟建立了具备多级指挥关系舰艇编队环境,实现了无线环境的基于统一元数据标准的数据交换、共享的服务平台,它的设计实现,为必要时丰富舰艇装备数据共享手段奠定技术基础。

基于元数据的数据共享服务平台利用元数据来构建信息资源目录,可为海上异构信息资源建立起统一的注册、发布、维护与检索平台,从而使得信息资源对用户可视、可访问、可理解,实现数据的有效发现、定位、集成和对使用数据的有效维管。在此基础上,可进一步实现基于订阅/分发机制的数据共享模式:数据拥有者将数据及其相关元数据发布到共享环境中,订阅者根据自己的信息需求,从共享环境中获取所需的数据来完成自己的处理功能和任务。同时,采用半结构化语言XML进行描述,在数据的语法上进一步约束数据涵义,使数据标准化、规范化,从而提高系统数据的表示能力和共享程度。

基于元数据的数据共享服务平台采用分布式J2EE的Browser/Server/DB三层软件架构,前端界面使用浏览器搭建用户UI界面,利用XML技术表达统一的元数据标准,实现了元数据构建、查询、共享、监察等功能,并能够结合用户权限管理实现数据的分级、分类访问,保证了数据的安全与保密性。

图2 元数据共享软件架构图

在浏览器端,利用浏览器设计工具软件人机界面,用户直接利用浏览器进行数据抽取、注册及共享本机数据工作,同时可以同步、下载其他平台的数据,并执行用户管理的任务。

服务端采用EJB技术实现逻辑服务,向客户端提供元数据标准服务、资源目录服务、订阅/分发服务、用户管理服务,是元数据共享服务平台的核心。元数据标准服务提供业务数据的描述抽取、注册服务,用户统一的元数据标准采用自动、半自动甚至手工方法描述数据资源,以便将数据资源注册到本级资源目录,供资源使用者发现访问。资源目录服务提供资源目录维护与管理,保证资源能够被及时发现与访问;资源目录服务同时提供目录同步服务能力,能够将本平台的资源目录同步注册到上一级管理节点,逐级注册后能够形成一个全局的资源目录,根据需要全局资源目录可以逐级同步到具备指挥关系的各个节点,此时资源使用者只需访问本平台的全局资源目录即可定位数据资源,否则就需要逐级访问相应的目录,直到最高级指挥节点的全局目录以搜索数据资源。订阅/分发服务利用无线环境提供的各类通信手段,以订单的方式,提供用户间的数据共享手段;用户管理服务维护数据使用者及使用权限。

数据库段存储本地业务数据,包括本地产生的业务数据和共享而来的业务数据;资源目录库存储全局资源目录,各平台资源目录同步一致;系统管理库保存系统运行时必备的运维数据,包括用户数据及系统运行日志,后者便于资源评价、故障排除。

为适应舰艇平台之间基于无线环境的多种通信模式,基于元数据的数据共享服务平台在设计时也针对多种通信链路的有对应的传输模式与方法。数据同步以订单为媒介在数据的订阅方和发布方建立同步关系,数据发布方对捕获出来的二进制数据进行数据压缩和加密,并用可配置数据包的大小来进行拆包控制发送的频率以适应不同带宽的通信,由此变化数据到达数据订阅方;数据订阅方接受到变化数据后,采用已存在数据更新、未存在数据插入的策略来支持数据同步过程中重复数据的冲突检测及处理机制,由此实现变化数据的入目的数据库。同时对于节点不连通的情况下也提供了离线的数据同步手段,来进行数据的离线同步。同时对于数据同步策略也动态进行配置调整,比如从变换数据同步的模式(自动、手动),数据同步的频率和优先级等手段均可以适应不同通信信道条件下数据的同步需求。

5 结语

元数据为描述异构数据提供了有效的途径,构建元数据标准是实现元数据理解一致性,达到数据共享与交换的前提与保障。以Web Service为技术基础能够建立跨平台分布式的数据表现与交换平台。

元数据共享技术同样能够在军事项目中发挥重要作用。基于元数据技术,论文在某科研项目中实现了基于元数据进行共享的解决方案,为在舰艇编队环境下进行跨平台、跨业务系统之间进行数据共享提供了有效支撑。研制过程中进行了多级指挥关系下的数据共享试验,同时运用规模非实时数据相关实验,实验均取得了良好的效果。

一定意义上说,元数据标准的抽象统一的程度与数据应用的便利性是相反的。军事作战过程中包含大量的异构数据,元数据标准的高度统一不利于海量数据大快速查询定位与应用。下一步将进一步探索在分级指挥关系背景下构建分类的专业元数据标准,并且研究在多标准下的元数据表达与共享方案,为元数据在军事项目中的推广应用奠定基础。

[1] 赵亮,楼向英,张春景,等.元数据应用:语义、结构与句法[J].图书馆杂志,2004,23(7):49-55.

[2] 张晓林.元数据研究与应用[M].北京:北京图书馆出版社,2002.

[3] 牛晓琳,季民,赵志刚.基于元数据管理的数据共享研究[J].舰船电子工程,2006,26(1):71-74.

[4] 邰峻,李博,梁丽华,等.国内元数据研究共词图谱分析[J].情报杂质,2013,32(10):106-110.

[5] 游祎,赵荣.我国元数据研究现状与发展[J].图书情报工作,2008,增刊(1):202-205.

[6] 王继周,李成名,林宗坚.面向共享的空间元数据管理框架研究与设计[J].国土资源遥感,2003,3:67-70.

[7] 赵景明,张福.元数据互操作方法体系研究[J].图书馆理论与实践,2007,4:52-54.

[8] 辜寄蓉,苗放,王成善.基于元数据的信息共享机制研究[J].物探化探计算技术,2006,28(1):75-79.

[9] 罗英伟,汪小林,许卓群.基于XML的地理信息元数据系统计[J].计算机学报,2005,28(7):1205-1212.

[10] 韩夏,李秉严.元数据的互操作研究[J].情报科学,2004,22(7):812-814.

Application and Implementation of Metadata-based Technology for Naval Vessel Data Sharing Platform

WU Yafei DENG Zhenguo WANG Zhenlong

(North China Institute of Computing Technology, Beijing 100083)

Metadata is data about data, is the key technology for data sharing. The metadata technology, core structure in data sharing platform, needs to build a unified standard, consistency of data schema. Producers extract and define the metadata int global libraries, subscribers query the global libraries to find the data, since the relationship between subscribers and producers has been established. Metadata, a rich data form, has been implemented with web service architecture to communicate between different platforms under the wireless environment, can be applied to data sharing between ship.

metadata, metadata standard, resource directory, data sharing

2015年6月13日,

2015年7月30日

吴亚非,男,高级工程师,研究方向:军用图形学、指挥自动化系统的工程设计和研究工作。邓振国,男,硕士,工程师,研究方向:搜索引擎技术的研究工作。王振龙,男,工程师,研究方向:指挥自动化系统的应用与研究工作。

TP391.1

10.3969/j.issn.1672-9730.2015.12.025