基于数据中心的数据交互及应用服务技术研究

胡金龙，柏 屏，朱海波，曹 帅

（1. 江苏省水文水资源勘测局，江苏 南京 210029 ；2. 江苏省水文水资源勘测局南京分局，江苏 南京 210029）

基于数据中心的数据交互及应用服务技术研究

胡金龙1，柏 屏1，朱海波2，曹 帅1

（1. 江苏省水文水资源勘测局，江苏 南京 210029 ；2. 江苏省水文水资源勘测局南京分局，江苏 南京 210029）

介绍基于数据中心的数据汇集、共享、服务技术研究的目标和内容，制定总体技术路线，通过多种通信技术的融合、封装，解决多种分布式通信模式下异构系统或数据库之间频繁的大量数据汇集问题，利用 JMS、适配器、数据定向回滚等技术，解决数据中心不同用户节点之间的数据共享问题，采用接口和服务重用、事件驱动模型、微内核插件式等设计的混合模式，实现对不同业务需求的数据中心应用服务，构建省级水利数据中心模型，形成一套较为完整的数据中心建设解决方案，供后续数据中心建设参考。

数据中心；数据交互；通信技术融合与封装；数据定向回滚技术；混合设计；数据汇集；应用服务

0 引言

现今，信息已成为市场经济不可或缺的重要组成部分，基于数据中心的信息汇集、交换、服务体系的建设已成为各企事业单位实现现代化的重要指标。《江苏省水利信息化发展“十二五”规划》已明确要开展江苏省水利数据中心建设，数据中心的建设目的很明确，就是要做到数据收集规范化、集中化，数据访问标准化、接口化，应用服务多元化、透明化，从而实现资源存储、共享的最优化。水文信息作为江苏省水利数据中心基础性信息，开展基于企业服务总线架构的数据汇集[1]、共享及应用服务平台解决方案研究，一方面，是解决目前日益增长的水利水文数据的共享交换完整性、时效性及规则制定需求；另一方面，也是建设数据中心，实现数据整合、汇集、共享的前期方案探索和技术储备。

该项课题以水文业务为依托，研究基于数据中心的数据汇集、共享及应用服务，旨在为江苏水利数据中心建设设计一套数据汇集、交换及共享的总体架构技术方案，具体达到下述目标：

1）研究分析各种水文数据的数据结构，结合信息应用需求，对水文信息进行收集、分类、整合；

2）开发江苏省水文数据交换共享平台，实现异构和异源数据的汇集、交换及共享，实现水文信息的初步整合、汇集。

3）构建江苏省水文信息查询系统，实现水文信息“一平台”展示。

1 研究内容

在查阅与参考国内外水文行业热点及数据交换共享方面新技术、新方法的前提下，确定研究主题，进一步研究新技术和新方法在数据中心的数据汇集、交换及共享方面的应用。通过对信息的收集、整合、扩展，依托企业服务总线构建数据交换共享平台，实现水文信息全面、统一的展示。

1.1 信息收集

针对以往信息采集系统建设和共享存在的问题，按照水文业务应用的实际需要，研究各类水文信息的综合采集技术，积极引进物联网技术，建设统一的水文信息采集接收平台，达到满足各类水文信息采集和加工的需要，并可以动态扩充，为水文业务应用全面提供数据支撑。

按水文业务的基本分类，水文数据包括历史水文、水雨情、水资源、水质、地下水、水土保持、水文站网、空间、元数据等数据。

1.2 信息资源整合扩展

在充分利用和整合现有数据库信息资源的基础上，补充收集整编全江苏省水文工作所必需的水雨情、水资源、地下水、水质、水土保持、水文站网等基本数据，形成数据中心统一的数据资源，为后续数据深入分析、应用、服务、数据挖掘搭建数据环境。

1.3 水文数据交换平台

开展数据交换平台研究，实现省中心及各分中心之间水文数据及时、准确、稳定地传输和交换，并扩展至其他相关机构和部门，最终实现跨系统、数据库、业务的数据汇集及交换共享服务。

1.4 服务层架构

服务层应可部署实现具体业务所必须的服务，包括运维管理服务与集成业务应用所必须的访问控制服务，以及数据共享交换平台等。这些服务具有标准调用接口，开放性好，可扩展，可复用。当然，对于所有服务接口的调用过程是有严格的用户权限控制的。开发服务层的目的是为业务应用层提供强有力的服务支撑。

1.5 应用服务展示

基于服务层架构应用服务，实现水情、雨情、蒸发、地下水、水质、墒情、气象、水文地理空间等信息查询服务；水文业务所必须的数据综合分析、对比；水情防汛决策所需的气象信息查询服务；成果发布。

2 总体技术路线

2.1 SOA 服务体系架构

水利数据中心要建设成一个开放的服务平台，而面向水利的服务又是多样的，各部门或用户的需求也是多样的，这就要求在建设水利数据中心服务平台时，要充分考虑服务的可扩展性，采用面向服务的体系结构（SOA）无疑是目前最好的架构方式。

SOA 是一个组件模型，将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，应该独立于实现服务的硬件平台、操作系统和编程语言，这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。

2.2 JAVA EE 规范

水利行业多年的信息化建设造成了诸多的“应用孤岛”和“服务孤岛”，这些“孤岛”由于没有统一的编程规范，想要集成整合几乎不可能，作为水利数据中心统一服务平台的建设就不能再出现这样的“孤岛”。为保证平台高可用性、高可靠性和可扩展性，系统须选择支持企业级计算的成熟技术路线。能够满足这些条件的技术首推 JAVA EE 企业标准，采用 JAVA 语言，确保服务和支撑环境可跨平台运行。

2.3 中间件软件技术

随着水利部门的应用需求不断增加，部门与部门之间的数据、服务交互日益加大，水利数据中心服务平台上的服务亦会不断增多，服务与服务之间的组合、封装形式将会多样化，如何解决这些服务的分布式计算，服务、接口的标准化，中间件技术显然是解决这些问题的成熟的技术手段。中间件有支持分布式计算，支持标准的协议和接口，可跨平台运行等特点。以大量 API 服务，实现异构环境的通讯，从而屏蔽异构系统中复杂的操作系统和网络协议。以符合接口和协议规范的多种标准化服务方式，解决不同操作系统和硬件平台的服务接入和引用。

2.4 企业服务总线技术

通过调研，企业服务总线技术（ESB）是上述 3 种技术路线的完美体现，它不但是一个数据交换平台，同时也是一个服务架构平台。ESB 的 ETL（extract，transform，load）组件提供了历史数据的迁移、同步、合并等功能，可以实现不同数据源（file，database）的数据实时访问[2]。基于 ESB 总线进行服务集成，再通过服务进行应用集成，集成示意图如图 1 所示。信息系统之间的交互通过总线进行，这样可以降低应用系统、各个组件及相关技术的耦合度，消除应用系统点对点集成瓶颈，降低集成开发难度，提高复用，增进系统开发和运行效率，便于业务系统灵活重构，快速适应业务及流程变化需要。

2.5 异构系统适配器服务

图1 基于 ESB 总线的应用服务集成示意图

异构系统适配器服务是数据交换系统的基础服务部件，是各信息系统接入 ESB 的桥梁，是从数据层面实现水利“信息孤岛”之间数据交互共享的纽带，是多种异构系统之间互连互通及互操作的服务单元。适配器应遵循国际级行业标准，提供标准的XML 数据对象、服务接口、服务操作方法，真正实现信息系统服务重用，架构图如图 2 所示。适配器服务分为提供和消费 2 种服务者，既可以提供服务消费，也可以消费其他服务。可以实现信息系统常用文件、数据库、通讯等技术适配能力，并可以按照特定规范进行适配器服务定制，满足可扩展需要。

图2 异构系统适配器架构图

2.6 消息队列技术

作为数据、服务的集散中心，水利数据中心要时刻响应大量用户的数据或服务请求，为实现大数据服务的并发压力控制[3]、网络上大数据的可靠传输，平台将实现数据与消息的适配器服务的编排，解决多部门、信息系统之间数据发送和接收过程中的可靠传输保障需求。

消息队列技术基于点对点的队列通讯通道，确保信息系统之间的数据有且仅有 1 次完整传输给对方，并为适配器服务提供异步数据缓存机制，提高适配器服务的数据并发压力承载能力。

3 技术难点及解决方法

3.1 数据汇集技术

随着水利水文自动测报软件技术的不断演变和进化，信息采集、传输实现方式的多元化，系统软件研发各自为阵，不同程度地影响了新建系统与已建系统的正常集成和各级网络的互连互通，信息资源得不到有效共享，信息“孤岛”日益增多，如何实现这些数据的汇集是水利数据中心建设首先要解决的问题。在对其他行业数据中心建设成功经验分析的基础上，采用多种通信技术的融合、封装，解决了多种分布式通信模式下异构系统或数据库之间频繁的大量数据汇集问题。

该项目利用多种公认、成熟和可靠的通信技术，来支撑上层数据传输的多种模式。在 CORBA及 JMS 技术的基础上，同时支持同步和异步通信模式。在异步模式中，将多种通信模式融为一体，其中包括目标通信（Message Channel）、点对点通信（Point-to-Point）、发布/订阅通信（Publish-Subscribe）、扩展的发布/订阅集群（P/S Cluster）等模式，并支持通信过程中的加密、压缩、断点续传等重要保障功能[4]。依托企业服务总线，将多种通信方式有机封装成一个整体，并通过 CORBA IDL，SOAP，JMS 等标准接口方式对外进行发布，从而使得基于企业服务总线构建的不同应用能够以透明、一致、高效的方式应用不同的底层通信机制。

3.2 数据共享技术

水利数据中心数据的来源不唯一，同样，用户群体、数据需求亦不唯一，如何解决不同用户群体之间不同数据的交互、服务的共享也是水利数据中心建设需要解决的技术难点之一，本项目利用JMS、适配器、数据定向回滚等技术，解决了数据中心不同用户节点之间的数据共享问题。

通过 JMS 和适配器等技术将原有网络服务组件、应用系统和数据库系统进行封装，并开发统一的、可重用的接口供不同应用或服务调用，实现多系统之间的互连互通；同时，还支持事务和连接的管理。考虑到数据灾难恢复，通过对线程工作原理的分析，平台利用数据定向回滚技术解决了各服务节点之间的数据重传问题。在重传过程中数据传输源、目标、量均由用户自行控制。

通过建立交换服务网络群，形成全局的服务仓库，通过路由策略的定制，将并发的请求分担群集中各节点的服务上，以达到负载均衡的能力；整个交换服务网络中各节点可以配置 master/slave 关系，保证高性能、容错的服务能力；传输的信息可以持久保存在设备上，保证了服务的可靠性。线程池的使用提高了数据汇集、交换、共享并发响应的能力[5]。

3.3 应用服务架构技术

随着水利水文信息量的成倍增长，各级水行政部门、社会公众对水利水文信息的需求日益变化[6]，这就要求水利数据中心提供的服务快速化、多元化，如何对这些需求进行拆分、合并，使服务更具个性化、易扩展是水利数据中心要解决的重点难题。采用接口和服务重用、事件驱动模型、微内核插件式等设计的混合模式，实现对不同业务需求的数据中心应用服务是一种不错的解决方案。

SOA 方式直接提高了重用程度，降低了维护难度，因而降低了系统的总体拥有成本。项目设计支持每个组件的通信、互连、转换、移植性和安全性标准。使运行业务的过程变得平滑，节约时间、人力和集成支持这些业务过程的组件的费用。允许利用已经可供整合的组件，根据具体要求快速、方便地构建新的应用，可节约技术投资，减少开发时间和提高现有软件资产的重用程度。

事件驱动模式是对服务提供者和消费者之间的交互进行解耦，使得集成环境中的各个 IT 系统可以异步、多对多、基于事件地通讯，同时也是对 SOA模式的一种补充。整个设计将事件驱动的方法和面向服务的方法结合使用，可简化业务系统的集成；中间件是异类系统进行通讯的中介，部署到中间件上的服务可由服务提供者或事件触发。同时支持同步和异步方式，可以使服务一对一和多对多通信。

微内核[7]插件式的设计思想将服务组件完成的功能从应用系统内核中剥离出来，组件功能和核心总线以松散耦合的方式结合，降低了内核的复杂度。集成项目中费用最高的部分是对遗留系统的定制，可以在总线上很容易开发、部署所需的插件，并对内核和其他插件的运行没有任何影响。采用插件式应用框架开发技术，具有模块化、可重用性、可扩展性、简单性和可维护性等特点，这种开发方式能大大提高开发效率，又能轻松实现系统功能的扩展和提高系统的稳定性。开发时先设计 1 个系统应用框架，然后按照这个框架所制定的标准开发各种应用功能（在程序编写中表现为插件），最后通过这个系统应用框架加载开发的应用功能。整个设计思想是将系统功能以插件对象的形式通过系统应用框架统一管理。

3.4 数据中心架构技术

基于数据中心的数据汇集、数据共享、应用服务等架构技术，可构建省级水利数据中心模型[8-9]。主要采用 3 层体系对水利数据中心进行架构，可使整个平台结构更加清晰，核心服务层更易扩展，复用性更高，面向具体水利水文业务部门或用户的业务应用服务更易组合和封装。3 层体系具体如下：

1）数据层。数据层设计涵盖所有水利要素信息（本项目汇集了水文所有要素数据），以及开展业务所必须的地理空间、工程、站网等信息，以及元数据；

2）服务层。采用企业服务总线作为架构基础，一方面解决数据汇集、交换共享，另一方面本着标准化、可复用原则，依据实际业务需求，开发和部署相应的应用服务、逻辑关系、计算方法，以及运维管理、集成业务应用所必须的访问控制服务等。

3）业务应用层。通过服务层提供的服务组件进行组合、封装，实现业务应用系统的个性化需求。

4 结语

作为水文信息化的标志工程，江苏省水利数据中心建设必须做到以下 2 点：1）对全省水文信息进行规范化分类、整合、汇集、存储；2）根据不同业务应用，对数据中心服务进行合理化分类。这样可使共性的服务不需重复建设，特殊的业务需求或逻辑特殊对待；另外，也使相关的服务多元化、透明化，使用户在调用服务时一目了然，有什么服务可调，怎么调，都很清楚。

经过努力，基于数据中心的数据汇集、交换及应用服务相关技术研究已经完成，形成了一套较为完整的数据中心建设解决方案，并有部分原型实现，可供后续数据中心建设参考。

[1]曹张治. 空间环境科学数据汇集及关键技术研究[D]. 北京：中国地质大学，2010.

[2]薛涛，崔健，杨帆. 基于 ESB 的企业应用集成[EB/OL]. (2008-04-09)[2013-12-15]. http://www.vsharing.com/k/SOA/2008-4/610214.html.

[3]李志强. 大型数据库并发访问的控制与实现[J]. 中原工学院学报，2004,15 (6): 24-27.

[4]张锦珠. 数据中心平台的一种设计与实现[J]. 信息安全与技术，2011 (12): 46-49.

[5]杨开杰，刘秋菊，徐汀荣. 线程池的多线程并发控制技术研究[J]. 计算机应用与软件，2010, 27 (1): 168-170,179.

[6]胡金龙，莫晓聪，高祥涛，等. 基于不同遥测终端的水文自动测报系统研究[J]. 长江科学院院报，2013, 10 (30): 118-122.

[7]谌桂枝，沈晓建，龚兴艳. 基于 Spring 框架的 IoC 微内核的实现机制与应用[J]. 湖南工业大学学报，2009, 23 (3): 50-53.

[8]朱利伟，曹播. 数据中心的模型分析与研究[J]. 智能建筑与城市信息，2010 (3): 45-51.

[9]沈燕，雷蕾. 一种面向领域 Web 服务的数据中心模型[J].计算机系统应用，2013 (6): 67-70.

Technology Research of Data Exchange and Application Service Based on Data Center

HU Jinlong1, BAI Ping1, ZHU Haibo2, CAO Shuai1

(1. Jiangsu Provincial Hydrology and Water Resource Survey Bureau, Nanjing 210029, China；2. Nanjing Branch of Jiangsu Province Hydrology and Water Resource Survey Bureau, Nanjing 210029, China)

The article introduces the research goal and content of techniques of data collection, sharing, and service based on data center, makes the overall technique route, and solves the problem of data influx in heterogeneous systems and databases through integrating and packaging communication technologies. It solves the problem of data sharing between different user nodes in data center, through techniques of JMS, and software-adapter, and data oriented rollback. It achieves the data center application service of different business needs, constructs a provincial water data center model, and forms a solution of data center construction, through the model of mix design mode of the interface and service reuse, event driven model design, micro kernel plug-in. It offers reference for data center construction in future.

integrate and package of communication technology; data oriented rollback technology; mixed design; data center; data exchanging; data influx; application service

TP393

A

1674-9405(2014)02-0005-04

2013-12-27

胡金龙（1976－），男，江苏南京人，高级工程师，主要从事水利信息化的规划、设计及建设管理等工作。