水文信息资源统一组织平台的实现

2010-05-07 04:26陈雅莉程海云史芳斌
水利信息化 2010年6期
关键词:数据源水文虚拟化

艾 萍 ,陈雅莉 ,程海云 ,史芳斌

(1.河海大学水文水资源学院,江苏 南京 210098;2.长江水利委员会水文局,湖北 武汉 430010;3.湖北省水利厅,湖北 武汉 430071)

0 引言

全球气候变化和人类活动,导致水文传统模拟分析途径与生产应用中“水文过程的环境背景条件是稳定的和各种不确定性因素的干扰相对较小”2 项隐含的假设不再成立,水文分析、预报和设计等方面的不确定性大大增加,风险随之剧增。因此尽可能考虑多个途径组合而成的水文循环过程及更多影响因素,以减少对其认知的不确定性。另一方面,经济社会发展要求水文行业拓展服务领域的需求十分迫切。无论是水文学科的发展,还是拓展水文服务领域,都需要更加丰富的水文信息,更需要科学的水文信息组织。而对各类异构、多源和不同时空尺度的水文信息进行科学组织,必须依靠信息组织理论与系统的支撑。

为此,河海大学与长江委水文局等单位合作,以“水文信息资源统一组织平台技术研究与应用”为题,开展了多学科交叉的研究与实践,并取得丰硕成果。所开发的水文信息资源统一组织平台(以下简称平台)软件系统,已经在多个部门得到应用。仅在长江委水文局国家水文数据库结构重构的定制性服务中,通过描述与规则的严格验证,平台系统 1 次就完成了 67 种源和 107 种目标数据表、9 736 282 条数据记录的抽取、按字段值的复杂转换和数据结构的重构,既保证了数据的一致性,又极大地提高了工作效率。

1 水文信息组织的需求

水文信息是国民经济建设与社会发展中一切水事活动决策的依据,也是水文行业服务于社会、经济、环境、生态和国防等领域的主体信息产品。水文信息的数字形式主要是人工或自动设备观测获得的各类水文数据。随着 3S 技术在水文信息采集中的广泛应用,数字化水文信息的种类不断增加,时空尺度更加复杂,特别是遥感信息的加入,数据量成倍增加。

全球气候变化、人类活动(如三峡工程、南水北调工程)等对水文循环的影响日益显著。理论上,水文循环的物理和化学过程相当简单:水文循环的过程是水量、能量和动量平衡的过程,这是水文科学的关键核心理念。在这个过程中,水循环通过蒸散发与能量循环相联系;水的运动带动物质运动,参与碳循环等等。但现实中的水文循环过程却非常复杂。这是因为现实中的水循环都是由多个简单路径组合而成的复杂路径,水文过程受到多种不同的地球物理因素的控制和影响,导致对水循环的认知不确定性的累积与放大。此外,由于水文过程时空尺度跨越幅度相当大,也使水文研究与应用必须面对时空尺度不同导致的不确定性问题。故在学科研究方面,尽可能考虑多个途径组合而成的水文循环过程及多因素的影响;在水文生产应用方面,尽可能多地收集和处理相关信息以减少对水循环过程认知的不确定性的影响,已经成为水文学科发展和水文生产应用的共识[1]。

不同水文数据的采集、处理与存贮和应用的模式与技术条件存在较大差异,在水文行业和各级水文部门内部,存在着数据分散,不易进行统一的建库、管理与维护,难以形成流域(区域)完整的水文信息资源等问题。不仅如此,为了满足增加信息以减少水文不确定性的研究与生产应用,还需要考虑共享非水文部门(如气象、国土、农业、林业、交通等)的相关信息的需求。面对多源、异构和自治管理的数据源,采用传统的数据集成方式,难以实现水文信息资源的集成与应用。因此,必须引入新的理念与技术。

采用“虚拟化”技术,“组织”信息而不是“集成”信息,构造水文信息资源组织模型,将水文信息组织成为虚拟化的水文信息资源,并据此开发计算机信息系统平台,来支撑多源、异构和自治管理的水文数据源的虚拟化组织与应用,是解决问题的有效途径[2]。

平台系统就是支撑多源、异构和自治管理的水文数据源的虚拟化组织与应用的专业计算机信息系统,其主要需求可归纳为:

1)保持各数据来源的高度自治。由于考虑水文数据的采集、管理与维护等可能分属于不同的行业与部门,因此,必须保持其原有数据源的独立性。

2)支持动态配置机制。由于数据源具有高度的独立性,因此,必须考虑其加入和退出服务的随机性。

3)支持动态需求。由于统一的水文信息资源组织,主要面对主题化的决策支持需求,而决策支持具有“就一事论一事”的特点,具有明显的不确定性。

4)简单实用。不应使用复杂的水文信息资源组织结构,导致处理的复杂化。

2 平台主要功能及结构

根据需求分析,水文信息资源统一组织平台必须支持资源的动态配置,从而实现水文资源的虚拟化组织,并可支持个性化应用需求。因此,平台的结构需要充分考虑实现基于反射机制的资源动态配置与演化需求。为了达到这个目的,根据自治多源异构水文信息资源组织架构[2],将平台的功能划分为以下 4 个主要部分(结构示意图如图 1 所示):

图1 水文信息资源统一组织平台功能结构示意图

1)资源组织。完成资源(包括数据和软件功能构件)的注册和撤消,支持建立数据源间的映射关系,从而实现资源的组织。

2)资源安全。实现通过“用户→用户组→角色→权限”的方式控制 1 个注册用户可以在系统中操作哪些功能;通过“用户→用户组→共享等级→权资源”的路线控制 1 个注册用户可以在系统中使用哪些资源,从而实现资源的安全管理。

3)资源应用。提供组合资源(包括数据和处理)功能,用以支持用户的应用需求定制。

4)系统维护。配置管理支撑系统安全、稳定、高效运行的全局参数,定义系统运行时动态状态,维护系统资源等。

平台系统的功能结构,很好地体现了支持水文信息资源虚拟化组织与动态演化式应用的特征:

1)通过资源的注册与撤消机制,支持各类自治的异构多源水文数据源的动态加入与退出;支持数据处理功能构件的动态加入与退出。

2)通过对注册数据资源和处理功能的统一管理,实现数据资源与处理的动态配置,形成统一的水文信息资源组织(虚拟化信息资源)与应用体系。

3)支持解耦信息服务过程中数据抽取、转换、运算、重构、再生及展示等主要过程,用户可以按自己的需要对这些关键过程进行动态定义。

4)考虑到水文信息资源统一组织平台系统的用户属同一专业领域,各类水文数据的语义比较明确。为了不使系统过于复杂,系统不重点考虑语义异构问题,但预留支持本体处理的结构。

为了实现上述功能,并达到支持水文信息资源虚拟化组织与动态演化式应用的目标,系统采用了如图 2 所示的结构。

图2 系统结构示意图

平台从层次结构上划分为 3 个部分:Web 应用支撑层、元数据管理层和资源层。其中,元数据管理层是平台的核心,管理平台中的各种资源描述及基于平台服务的服务规则;Web 应用支撑层是平台的运行支撑,通过元数据和服务规则对各种资源进行动态调用和处理,即基于平台的各种服务由 Web 应用支撑层完成最终的运行;资源层是平台的基础,存放平台内的各种资源。

根据平台的需求,为了支持其数据、处理、服务的用户自主定义与运用,必须引入相应的计算机软件新技术,并进行综合性的集成创新。应用的技术主要包括:动态演化[3]、专业业务构件抽取[4-5]、轻量级框架及其运行时体系结构标记语言和反射机制[6]等。

平台的主要功能是组织各类水文信息资源,形成虚拟化的水文信息资源集合,并提供相应的方法和手段,让用户根据需要组织数据并配置处理生成个性化的信息服务。

根据平台的功能,在平台上进行信息组织与应用的一般过程是:

登录进入系统,通过选择系统功能,注册数据资源和构件(处理功能)资源,或选择已经注册的资源,按处理需要,配置所需要的数据和处理规则,生成个性化的用户服务。用户服务保存后,可供授权用户重复使用,直到服务被撤消。

平台系统中预先定义了基本系统服务,也就是已经在平台中预先定义好的操作,支持用户直接实现基本功能,并供用户进一步配置后形成个性化服务:数据源注册/注销;构件(组件、处理功能模块)注册/注销;映射方案(资源提取转换规则)管理;资源安全管理;资源应用支撑(资源配置及个性化应用定制);数据抽取、转换、重构等等。

图3是在平台上定制的,不同数据源抽取重构服务执行结果的例子,这个例子充分展示了平台的技术特色。实际上,在开放和可演化技术的支持下,平台可以支持实现水文信息各个层次、不同类型的水文信息组织与应用需求。

3 技术特点

平台系统采用开放技术,以轻量级 J2EE 架构为基础,综合应用 MVC 设计模式及反射机制,以资源描述为核心,实现了水文信息资源集合的虚拟化统一管理和应用。

图3 多源数据抽取组织的结果

平台系统,支持用户自行按照主题构造所需要的信息服务。平台系统已构造的基本水文数据的常规服务,特别是构造的基础水文数据库从原非行业标准结构库向行业标准结构库的数据迁移服务的成功应用,充分验证了水文信息资源统一组织理论和采用的软件系统平台实现技术,能很好地满足水文信息集成应用的需求。

水文信息资源统一组织平台系统与运行平台无关和具有全部自主知识产权,并且充分考虑了减少对复杂水文循环的认知不确定性,拓展水文服务领域,支持水文信息综合开发与应用的需要,支持用户需求的动态定义,因此,具备了在全国水文系统、水文水资源研究机构、防汛抗旱指挥、水资源管理等水利,能源,交通,环保行业推广应用的条件,也可向国内国际水文水资源教学、管理及研究部门进行技术推广。特别是对于需要综合和主题化水文信息服务的防汛及水资源等水事务高层决策,系统可为其提供更加有效的信息支撑。

4 结语

水文信息资源统一组织平台系统以描述为核心,实现了对水文信息资源的虚拟化组织与应用的支撑。系统不但理论依据充分,平台无关,支持动态演化,技术先进实用,运行维护简单,应用方便,而且具有全部知识产权,便于推广。

平台的实现,涉及水文、水信息、计算机和管理等学科,是多学科融合的综合性研究与开发,需要各方面专家密切配合进行集成创新。平台系统在生产实际中的成功应用,表明了平台系统为用水文信息科学组织来支撑开展复杂因素和多途径组合水循环的研究及拓展水文服务领域,提供了确定和解决相应问题的信息基础架构、设施与手段,在开拓水文学科研究思路、拓展水文服务领域等方面极具价值和应用前景。

[1] Malcolm G Anderson and Jeffrey J McDonnell. Encyclopedia of Hydrological Sciences [M]. John Wiley & Sons Ltd, USA. 2005.

[2] 陈雅莉,马勤,陈春华. 虚拟化自治多源异构水文信息资源组织研究[J]. 水文,2010 (5): 12-15.

[3] 陈雅莉,艾萍,姚成霞. 动态配置机制及其在水利信息系统中的应用[J]. 水利信息化,2010 (3): 13-27, 40.

[4] Ping Ai,Ya-Li Chen. Extracting software component from hydrological information service system[A], Hydroinformatics in Hydrology, Hydrogeology and Water Resources[C], 2009,IAHS Publication 331: 333-341.

[5] Ping Ai, Ya-Li Chen, A Survey of Applied Research of Soft Computing for Hydrology in China[A], International Conference on Information Technology & Environmental Systems Sciences 2008[C], PROCEEDINGS: 741-746.

[6] Jian Yu, Ping Ai, WISE MVC++: A Web Application Framework for High-level Software Reuse[A], International Conference on Information Technology & Environmental Systems Sciences 2008, PROCEEDINGS[C]: 719-723.

猜你喜欢
数据源水文虚拟化
继往开来 守正创新——河北省水文工程地质勘查院
水文
水文水资源管理
基于OpenStack虚拟化网络管理平台的设计与实现
对基于Docker的虚拟化技术的几点探讨
Web 大数据系统数据源选择*
虚拟化技术在计算机技术创造中的应用
水文
基于不同网络数据源的期刊评价研究
存储虚拟化还有优势吗?