苟在明+姜维军+王彦兵+王海峰+刘静+徐景东
摘 要:文章分析了宁夏全业务水利数据模型的研究背景,阐述了模型的研究路径,介绍了模型的需求分析、模型设计和数据建模内容,以期发挥水利信息化的优势,促进行业发展。
关键词:水利信息化;全业务;水利数据模型;宁夏
中图分类号:TV222文献标志码:A 文章编号:2095-2945(2017)31-0122-03
1 背景
长期以来,宁夏水利信息化建设按照项目应用方式建设,数据库建设及数据库的物理部署缺少统一统筹规划,呈现数据库类型和数据库结构异构现象普遍,数据建设内容突出表现为专项业务数据,数据资源被纵向(地域)横向(业务部门)切成了若干碎片,造成数据库条块分割和数据库交叉重复建设的现象,形成存在入库数据量分布不均、入库数据种类不全、入库数据规模偏小、数据分类不齐全、编码不统一、数据零散孤立且缺少关联的数据质量差的事实,导致数据资源的“一数一源”难以保证,数据更新和数据安全得不到有效保障。这严重降低了宁夏水利数据资源的利用率,减缓了宁夏水利信息化现代化水平的发展。
综上各种因素,为了满足宁夏水利数据资源的全局共享、应用和统一管理需求,适应当前“互联网+”、大数据技术的发展趋势,发挥水利信息化的最大社会经济效益,为宁夏水利数据资源的“资源集约、信息集中、业务集成”数据环境提供支撑,需要研究一套“结构清、数据明、使用畅、管理范”的宁夏全业务水利数据模型是非常有必要的。
2 研究路径
基于《水利数据中心建设基本技术要求》中对数据层的建设要求,以宁夏水利信息资源规划理论为指导、借助于其他行业的成功经验,以及云计算、大数据等新技术的拓展要求,进行宁夏“全业务水利数据模型”的研究与设计工作。宁夏全业务水利数据模型按照“需求分析”→“数据模型设计”→“数据建模”的研究路径进行研究、设计和实现。首先通过对宁夏水利业务职能分析确定宁夏水利全业务范围和数据资源范围,其次对确定的水利业务范围流程进行分析,形成业务资源目录、职能分布等分析成果,最后进行根据业务流程,对业务流程环境蕴含的数据资源的数据及数据流程进行分析,形成数据资源目录、数据分类及编码等成果。通过业务数据关系成果确定业务和数据的映射,从业务角度,可划分业务所包含的数据、数据内容。保证从数据角度,可规范数据的业务分类。
在需求分析的基础上,数据模型设计工作,按照“客观信息表述”→“客观信息到计算机过渡”→“计算机物理实现”的数据模型设计过程进行概念数据模型→逻辑数据模型→物理数据模型设计。
在完成数据模型设计的基础上,着手进行数据建模工作,包含建模型方法、数据库逻辑划分、制定数据库规范、数据库模型优化等内容。
3 需求分析
3.1 职能域分析
职能域模型决定了数据中心的业务建设范围。职能域是对宁夏水利相关单位范围内主要业务活动领域的抽象。对宁夏水利职能域的划分,应在充分了解宁夏水利各机构单位职能的基础上,辨别业务相关度,进行合理的、粗细适宜的划分。
3.2 业务分析
按照宁夏职能域划分需求,将宁夏水利业务划分为17大类业务,包括:防汛抗旱、水文水资源勘测、水土保持、水利工程移民、农村水利建设、规划计划、水利建设项目管理、水利科技教育、水利经济管理、安全生产管理、水务运营、财务审计、人事管理、党政管理,每一大类业务最多可详细划分到3级业务。
3.3 数据分析
在对宁夏职能域的业务流程分析基础上,根据業务与数据关系分析,依据国家对水利信息分类的相关标准,结合目前对宁夏水利业务数据情况,对宁夏水利数据资源进行数据分类,并对分类数据按照一定的编码规则进行编码,用以唯一表述分类数据。
4 模型设计
在对宁夏水利相关的各类数据深入的分析基础上,进行逻辑数据库的设计和划分;基于数据标准,完成数据的概念模型、逻辑模型、物理模型的设计。
4.1 数据模型设计过程
针对各类数据库中数据模型的设计,采用从概念数据模型到逻辑数据模型,最终到物理数据模型的设计方法进行数据建模。数据库建设方案以概念数据模型和逻辑数据模型设计为主。物理数据模型可根据选用的数据库管理系统的不同,从概念模型或逻辑模型中导出生成。
数据中心的数据库是个复杂的系统,包含内容众多,需按照一定调理进行设计。无论是概念模型还是逻辑模型均采用分层化设计。按照数据间关系及数据划分,顶层概念模型表示了各类数据间的转换和使用关系,顶层逻辑模型描述了各逻辑库划分及关联关系,以下各层将逐层细化。
专用数据库的设计应依据各应用数据库设计而定,主题库设计视不同主题设计各自的数据库结构,元数据库设计应以元数据建设规范为依据,设计元数据库包含的内容和结构。
4.2 概念数据模型设计
数据库概念模型设计是一种面向问题的数据模型,是从用户的角度,按照用户的观点对水利业务和管理数据和信息进行描述,按照现实的工作流程和流转的信息抽象成数据库的概念模型。概念模型独立于数据库逻辑结构,也独立于支持数据库的DBMS和计算机系统,是现实实体和信息化系统中实体的中介,一方面能够充分反映现实世界,包括实体与实体、实体与属性之间的关系,同时又易于向关系、网状、层次等各种数据模型转换,它将现实世界的信息结构统一用属性、实体以及实体间的联系来描述,因此概念模型设计是数据库设计的关键一步。
(1)顶层数据概念模型
宁夏全业务水利概念数据模型如图1。
(2)二层概念数据模型
二层概念数据模型包括专用数据内部概念模型和基础数据内部概念模型。专用数据内部根据关联的不同应用划分成不同的专用数据子集,相互之间无交互关系,通过基础数据、主题数据共享信息,因此相互相对独立。基础数据相互之间虽独立存储,但存在着相互影响的关联关系,图2为各类数据的概念模型。endprint
(3)主题数据概念模型
主题数据内部按照不同主题划分成不同的数据子集,相互之间相对独立。
(4)元数据概念模型
元数据内部,内联映射元数据实现技术元数据与业务元数据的层间映射,元数据概念模型如图3。
3.3 逻辑数据模型设计
逻辑数据模型反映的是设计者对数据存储的观点,是对概念数据模型进一步的分解和细化。逻辑数据模型是根据业务规则确定的,关于业务对象、业务对象的数据项及业务对象之间关系的基本蓝图。逻辑数据模型的内容包括所有的实体和关系,确定每个实体的属性,定义每个实体的主键,指定实体的外键,需要进行范式化处理。逻辑数据模型的目标是尽可能详细的描述数据,但并不考虑数据在物理上如何来实现。
逻辑数据建模不仅会影响数据库设计的方向,还间接影响最终数据库的性能和管理。充分详细地逻辑数据模型设计,可在物理数据模型设计时有更多可供选择的方法。
3.4 物理数据模型设计
物理数据模型是面向计算机物理表示的模型,描述了数据在储存介质上的组织结构。每一种逻辑数据模型在实现时都有其对应的物理数据模型。依据和逻辑数据模型的对应关系,包括专用数据库物理模型、基础数据库物理数据模型。
(1)专用数据库物理数据模型
专用数据库是以各个单一业务应用为主,通过对现有各业务应用系统数据库的整合同步、数据处理形成。各应用系统根据功能及实现需根据数据中心相关规范设计,自行设计项目库数据模型,并完成相关的数据库,宁夏水利数据中心提供各专用数据库的物理结构实现。
(2)基础数据库物理数据模型
基础数据库是数据中心体系的核心,存储从专用数据库抽取来的基础明细数据以及部分轻度汇总数据和派生指标数据或水利相关部门业务中产生的业务数据,包括水利对象基础数据和基础业务数据等内容。
借助于面向水利对象的设计思路,以水利数据对象为主线,设计基础数据库物理数据模型,把宁夏水利相关的12基础业务数据有机组织为一个整体。基础数据库数据物理模型主要用于存放水务对象的个体属性、关系(如对象间关系、编码关系等),以及字典信息,具有共性的水利业务数据。
(3)元数据库物理数据模型
根据制定的符合宁夏水利情况的元数据标准,设计数据中心元数据库数据模型,元数据库存储用于对数据中心各类实体数据进行描述的元数据信息、元数据的字典信息、信息资源目录信息。用来主要描述实体数据的定义、内容、质量、表示方式、空间参考系、管理方式以及数据集的其他特征等,提供对宁夏梳理数据资源统一描述、应用和管理支撑能力。
(4)主题数据库物理数据模型
面向业务决策的需求建模,其数据源包括基础库、元数据库以及外部共享数据。其中前两类数据源的使用可以通过数据挖掘技术,按照应用需求,从基础数据库通过抽取和轻量级汇总,抽取汇集到一起,形成数据立方,进行多维度的统计分析,提供面向主题的数据服务。外部共享数据源包括互联网上的实时信息以及可获得的外部单位提供的共享信息,对其的使用可以借助宁夏水利数据中心的应用服務平台,通过大数据分析技术形成面向主题的成果供业务分析和决策支持使用,得到按主题划分的主题库汇总数据层的数据模型。主题数据库物理数据模型架构如图4所示:
4 数据建模
4.1 数据库逻辑划分
根据宁夏水利数据分类,按照用途和业务属性,可将数据中心分成四个逻辑数据库,即:元数据库、专用数据库、基础数据库、主题数据库。其中元数据库内容包括技术元数据、业务元数据和内联映射元数据;专用数据库按照不同的应用系统划分为不同的逻辑数据库;基础数据库根据数据分类包括28个逻辑子库;主题数据库按照挖掘的不同主题包括多个对应的数据库表群。
4.2 制定数据库规范
数据规范化的设计和建立是将数据库各类标识名称统一化、规范化,有助于确立信息之间的一一对应关系,保证信息的可靠性、可比性和适用性,保证信息存储及交换的一致性与唯一性,便于信息资源的高度共享。综合国家已制定各类标准,结合宁夏水利信息化本地情况,制定符合宁夏水利情况、满足宁夏水利需求的数据库标识符标准。
4.3 数据库性能优化
分析并优化数据库的“时-空”效率,尽可能的“提高处理速度”并降低“数据占用空间”是数据库性能优化设计的主要依据。数据库性能优化主要包括数据库的物理存储优化、数据库结构优化、数据库运行优化。物理存储优化涵盖数据库实例、表空间等方面优化,数据库运行优化涵盖表分区、索引、查询优化等。
5 结束语
研究和设计宁夏全业务水利数据模型对满足宁夏水利数据资源的全局共享、应用和统一管理需求,适应当前“互联网+”、大数据技术的发展趋势,发挥水利信息化的最大社会经济效益具有重要意义。
参考文献:
[1]贺挺.面向水利应用网格的数据中心设计与开发[D].西安理工大学,2010.
[2]贺挺,解建仓,李建勋,等.一种面向水利网格的数据中心设计与开发[J].中国水利,2009(16).
[3]成建国,钱峰,艾萍.国家水利数据中心建设方案研究[J].中国水利,2008(19).endprint