北京水务数据中心建设方案研究

刘 梅，万 烁

（北京市水利自动化研究所，北京 100036）

1 水务数据中心建设背景

水务数据中心是实现水务基础信息的共享存贮、集中交换和综合服务的重要信息基础设施，是实现水务信息资源综合开发和利用的基础，是水务信息化建设与发展的核心工程。

一方面，随着水务信息化的快速发展，信息自动规模化采集的能力日益增强，信息资源的数字化程度不断提高，支撑北京水务主要业务的数据库急需完善，网络对信息交换与应用集成的支撑能力基本具备；各项主要水务业务应用系统正在转入常态化或正在加紧建设，水务信息化建设已经取得重大进展并在支撑防汛抗旱、电子政务等方面发挥了十分重要的作用。

但是，分散建设的业务应用和数据库导致的信息资源开发利用程度不高，技术条件差异很大，形式与结构的异构现象严重，发展极不平衡。业务功能层次提升困难，业务协同难以实现的问题已经显现。特别是围绕单一业务应用需求建设的数据库不能适应水务业务协同与功能提升的需求，并反过来制约水务信息化发展的问题日益严重。

另一方面，国家和社会信息化的高速发展，对综合性水务信息服务的要求十分迫切，但已建的水务信息资源无论是综合程度、共享条件和服务方式均难以满足需求。因此，启动水务数据中心建设，对信息资源进行整合，尽快实现全市水务信息资源共享，以满足行业和社会对综合性主题化水务信息服务的需求，已经成为当前水务信息化建设十分重要的任务。

2 水务数据中心建设目标

水务数据中心建设目标如下：依托现有水务信息基础设施，以支持业务协同处理为重点，以知识发现与应用为支撑，以提供主题信息产品服务为手段，整合重构各类水务信息资源，构造新一代水务业务应用，为水务的可持续发展服务。

水务数据中心建设近期目标如下：

1）依托水务信息化建设已经取得的成果，遵循集约化建设的原则，基于水务信息化重点项目形成的资源，构建水务数据中心的基础框架。

2）重点整合各类水务基础数据，并在统一的数据交换与共享平台上实现系统内部的数据共享，支撑信息的发布和与其它行业的数据交换。

3）通过建立信息服务网站为社会公众提供涉水信息服务；建立基于空间数据的信息综合分析与服务环境，逐步向水务系统内提供可定制、扩展的主题信息服务。

4）建立安全管理系统，为实现数据在各单位间的安全和高效交换与共享提供保障。

5）基本形成水务数据中心建设与运行管理机制与组织架构。

3 水务数据中心架构

根据北京市水务数据中心的主要应用需求和水务信息化综合体系，数据中心的逻辑框架包括：基础支撑层、数据层、平台层、应用层、用户层，以及信息采集梳理、安全保障系统、运维保障系统和标准规范体系等。具体架构如图1所示。

图1 数据中心架构

在基础支撑层中，计算机服务器系统主要指各类服务器、工作站、存储设备。网络系统部分，局数据中心分别通过专线与政务专网与各局属单位、区县水务局连接起来，在逻辑上形成一个整体。支撑软件平台由 GIS、遥感处理、数据库管理系统、中间件、信息交叉索引等基础软件组成，支持数据库系统的运行、图形的生产加工、基于知识链的信息服务。

数据层包括元、专用、主题和基础等信息库。

平台层主要提供信息分析与决策支持业务应用服务的接口，信息共享与交换服务系统，公众服务系统。该平台提供的有关功能通过应用层实现信息交换、数据汇集和服务功能提供。

用户层包括对外部、内部、公众等3类用户提供的特色专业服务门户。

4 水务数据中心建设内容

4.1 建设内容划分

根据逻辑框架，数据中心的建设内容划分为以下3部分：

1）基本的软硬件环境。主要包括数据中心运行需要的网络、服务器、存储设备、操作系统与数据库管理系统、应用服务器、空间及影像数据加工系统等。基本软硬件环境的配置，应充分共用现有设施设备和基本软件，不形成与现有设施相重复的冗余。

2）数据中心数据存储、交换与服务系统。主要包括各类数据库、数据交换和信息服务系统3部分。由各业务应用或原有的已建数据库，原则上逐步纳入数据中心；已由数据中心建设维护部门运行管理的数据库，数据标准归一化后重构的主题数据库，元数据库、数据产品库等统一纳入数据中心的建设与运行管理。基础水务数字地图的加工建库，在统一规划与任务部署下，按统一的技术要求组织各水务单位实施。应用系统，由各级节点根据服务对象与需求，在统一的框架与技术标准的规范下，按综合规划，分步实施，急用先建的原则建设，并以实现信息整合基础上的综合性主题信息服务为突破口。

3）安全、标准等其它基础工作。为了数据中心的整体性与一致性，北京水务各单位按照统一的技术标准建设信息管理系统，并由信息管理部门统一管理。安全体系除数据库管理的基本安全要求外，资源与身份认证依托水务电子政务的安全体系统一建设。备份系统按数据中心参考模型的基本划分原则，分级实施。

4.2 具体建设内容

4.2.1 硬件环境

1）网络。各级节点均应建立在现在的水务内网的基础上。一般在同一局域网段内设备间的网络连接不小于1000M，与不在同一局域网段但在同一局域网内的设备间网络连接不小于100M。各级节点与局中心节点间的网络连接内、外网分别不低于10M。

2）服务器。总体上要求服务器有足够的数据处理能力，支持并行处理和负载均衡。当系统未来业务量增加时，应通过系统升级平滑地适应用户的要求；作为系统的核心处理部件，服务器应有足够的容量，提供海量数据的存储和处理能力，保障高响应速度；应具备可靠的数据备份和恢复工具，以处理可能出现的意外；应具有高可靠性、可用性，保证系统能够长时间无故障运行。

技术上应充分应用计算机集群或网格、负载均衡、单元组合等技术，配以多层计算模式。各级节点应在对数据存储、处理与服务的实际负荷进行认真分析的基础上，确定各类服务器的 CPU 处理能力、内存和外存容量；并考虑如工业标准的热插拔等可在线扩展技术的应用，以支持系统的扩展与维护。各级节点原则上均应在2个域内分别配置双机热备系统。

3）存储设备。存储设备包括存储区域网络（SAN）、磁盘阵列、磁带（光盘）库、存储管理系统和网络辅助设备等。

4.2.2 软件环境

1）服务器操作系统。数据中心服务器操作系统应具有3级以上安全等级，运行稳定可靠，支持大规模数据库系统，界面友好，方便管理维护和应用软件开发，并保证应用软件有良好的可移植性。

2）数据库管理系统。北京水务数据中心采用的数据库管理系统，不仅要满足数据存储和主题应用快速响应的需要，还要支持空间数据的存储与应用，更要保持 7×24h 的高可用性，数据的安全性和一致性，以及系统的可管理性和扩展性。因此，应选用支持空间数据管理、集群和数据远程复制的国内外主流产品。

3）应用服务器中间件。数据中心的应用服务器中间件不仅要支撑已知的应用系统，还要充分考虑今后对应用系统开发的各种要求，特别是要考虑对集群系统的支持、负载的自动均衡、良好的可扩充性等。应优先选用国内外主流产品。

4）消息中间件。消息中间件主要用于支持数据中心各级节点间和节点内的信息交换。

4.2.3 数据库群

数据中心的数据库群由元数据库、资源目录、专用数据库、主题和基础数据库等组成。

1）元数据库和数据资源目录。元数据用于描述数据中心各类实体数据的定义、内容、质量、表示方式、空间参考系、管理方式，以及数据集的其它特征等。

数据资源目录是以元数据为基础，对水务数据资源进行分级分类和格式标准化，形成水务数据资源的有序组织体系，用于数据资源的查询、控制和管理。

2）主题数据库。主题数据库是基于数据仓库和挖掘等技术，从基础或其它主题数据库按主题抽取的数据重构而成的数据库。国家水务数据中心除按常规性的应用主题构造主题数据库外，还应支持根据业务需求动态构造相应的主题和信息产品等数据库。

3）基础数据库。基础数据库存储基础性的数据，主要包括水务空间、基础水文、水务工程、水资源、防汛抗旱、水环境、水土保持、郊区水务、水务行政管理等数据。

基础数据库建设应在信息资源规划的基础上，按照统一的数据模型，结合各级节点的业务应用特点，在相关技术标准的规范下进行建设。对于各类数据的基本要素，在按专业类型枚举时，存在重复要素。因此，在将其整合建库，形成数据中心的基本库存内容时，必须消除基本要素间可能存在的重复及包含。

4.2.4 数据交换

数据中心数据交换系统的主要功能是实现水务局各单位通过局中心的数据交换，主要包括基于数据库复制（用于节点间的数据同步）的数据同步和基于消息机制的数据推送。大数据量也可在交换体系的管理下实施脱机的介质交换。

数据交换系统应实现以下3种基本功能：1）数据库间的数据同步，应支持同构和异构数据库间的数据同步；2）支持结构化及非结构化数据的数据传递；3）支持与其他应用系统间的数据交换。

数据交换系统的基本技术要求是：保障数据传输的安全性、完整性与可靠性；易于部署、便于个性化配置；支持多种数据格式；容易与安全产品集成配套使用；跨平台、兼容性强。

数据交换系统应能根据系统负荷的变化动态增减服务进程的个数，调整同类服务以分担客户端请求。

4.2.5 软件工具

数据中心的服务通过以下3种方式实现：提供信息产品，提供信息综合查询，提供服务接口。

为了实现这些服务功能，需要大量的软件工具，对数据进行抽取、综合加工、分析挖掘和重组。这些工具主要包括：数据处理工具、数据挖掘（DM）、数据仓库（DW）、数据抽取转换与装载（ETL）、目录服务、空间及影像信息服务、门户等。

数据中心所需的基本软件工具以购置成熟的商品软件为主。应根据数据中心服务的实际需求，确定所需的软件工具，并遵循逐步扩展的配置原则。

数据中心必须将提供主题信息服务作为基本建设内容。

数据仓库和挖掘软件的选择原则是：支撑实现数据整合，元数据管理，数据仓库及数据集市的建立，实用和易于集成。能够对大量数据实现实时复杂转换和处理，能够对海量数据实现批量的转换和处理,能够建立统一的元数据管理系统，将数据服务包装成 Web Service 或其它形式供其他系统共享。

GIS 及影像处理软件采用国内外的系列化产品，并按需配置。

目录管理应选用支持中文处理的成熟产品，至少应包括以下几个系统：编目、目录报送、目录管理、目录服务等系统。

基本的体系与功能要求如下：

1）编目系统。利用编目系统，从不同形态的信息资源中抽取出元数据，生成信息资源目录。

其主要功能是：

a）目录生成，分为自动和手工2种方式，实现从各自的业务系统数据库中整理出元数据，形成信息资源目录；

b）资源编码，按照统一的指标编码规则对资源进行编码；

c）资源分类与主题词提取，对信息资源进行分类，包括自动与手工2种方式，并实现主题词提取。

2）目录报送系统。各级节点按照统一的指标编码规则、数据格式要求整理用于共享的数据，定期自动提交到国家级节点的目录（元）数据库中。基于数据交换系统，建立目录报送系统，实现目录传送。

3）目录管理系统。目录管理实现对目录数据服务的集中管理,主要包括以下3点：

a）目录互访：为了构筑逻辑上集中，物理上分散的信息资源目录体系，每个部门按照目录体系标准对外提供目录发现接口和目录管理接口；

b）目录管理：用于管理各部门上报的目录，包括目录的审核、目录日常维护；

c）系统管理：提供配置、备份、迁移、认证、用户管理等功能，提高系统运行可靠性和可维护性。

4）目录服务系统。将目录按照多种分类方式发布到信息服务门户，供使用者进行浏览和查询导航，以及对信息进行挖掘分析与聚类。

4.2.6 安全备份

数据中心的安全依托整个水务信息安全体系来实现。主要包括三个方面。一是常规的安全管理与配置（防入侵、防病毒等）；二是基于身份认证的资源使用授权管理；三是系统备份。

水务各单位必须对现有安全条件进行认真分析，制定详细的安全配置与实施方案。在备份方面，北京市水务局中心建立全系统的异地数据备份系统和本节点的本地备份系统（多机热备、磁带或光盘库）；其它节点的数据备份在局数据中心。

4.2.7 技术标准

保障数据中心的建设运行与管理规范化和技术标准化，需要按数据中心规程模型的框架，构造相应的技术标准体系。其重点是术语、信息分类、信息表示、信息集成和信息开发应用等方面的标准，已由国家或水利行业标准颁布的，应在研究其对数据中心建设的适用性后引用，还缺少或现有标准不适用的，应争取作为水务业务技术标准或数据中心专用标准，安排编制和试行。

[1] 北京市经济和信息化委员会.北京市经济和信息化委员会关于智能北京发展纲要（2011-2015）[R]

[2] 北京市经济和信息化委员会.北京市“十二五”时期城市信息化及重大信息基础设施建设规划[R].2010.

[3] 成建国，钱峰，艾萍.国家水利数据中心建设方案研究[J].中国水利，2008（19）: 32-34.

[4] 北京市水务局.北京水务“十二五”信息化发展规划[R]2010.9

[5] 北京市水务局.北京市 “十二五”时期水资源保护及利用规划[R].2010.