江苏省水利普查数据处理信息系统部署方案

2013-10-05 14:04:30高祥涛胡金龙
江苏水利 2013年1期
关键词:普查数据处理部署

曹 帅 高祥涛 胡金龙 陈 宁

(江苏省水文水资源勘测局,江苏 南京 210029)

1 概述

第一次全国水利普查是一项重大国情国力调查。普查数据处理工作是通过格式规范、标准统一的数据处理专用软件,对水利普查调查成果进行一系列严密的数据处理工作,获得以报告、图件、表格数据、数据库、信息系统等方式展现的水利普查成果。对于省级节点,建设基础水信息数据库,部署基础水信息应用系统,是必须完成的一项重要任务。普查数据处理系统作为普查基础工作平台,采用了网络直报、海量数据处理、GIS等多种技术手段,为普查工作的顺利完成提供了有力支撑,提高了普查的工作效率和成果质量,其软硬件组成和架构不仅为普查成果的汇集、管理、应用、发布做好了环境准备,也为今后面向全省的基础水信息平台建设管理积累了经验,促进了水利信息化发展。

2 系统组成和功能

省级水利普查数据处理信息系统软件部分由国务院水利普查办统一部署,主要包括:①基层登记台账管理系统,主要服务于县级,在清查登记阶段,完成清查对象、普查对象、台账表指标数据的录入、编辑、审核、汇总工作,可采用单机版部署和省级集中部署两种方式;②普查数据处理上报系统;③普查数据管理系统,分别服务于地、省两级,在填表上报阶段,开展表格数据的审核分析、汇总平衡工作;④空间数据处理系统,服务于省级,主要完成普查对象空间位置及形态标绘和对象关系建立,以及成果管理。机房、网络、软件、硬件等支撑环境建设由省级根据现有信息化资源合理建设。

3 方案设计

3.1 总体架构

表格处理系统采用B/S方式部署于水利信息网,软件符合J2EE技术规范、基于中间件的三层应用架构。第一层表示层,提供交互界面与数据的展示。第二层应用层,利用中间件中JavaBean等组件处理业务逻辑和数据计算,并于数据库交互。第三层数据层,通过数据库实现数据资源的管理和存取。空间数据处理系统采用C/S架构,部署于政务内网。硬件配置Web服务器、应用服务器、数据库服务器以及图形工作站等。存储备份采用SAN架构,利用光纤交换机与高速磁盘阵列,满足数据访问高性能和存储安全需求。因本次业务系统运算处理主要集中于数据层,表示层和应用层瓶颈在于并发访问量大,故将前两层物理合并,在两台服务器上同时部署业务软件实现共享访问,数据库层采用集群配置。

3.2 服务器配置

Web服务器用于前端接入,处理HTTP请求,对并发连接数、内存要求较高;应用服务器部署中间件及业务处理程序,对CPU运算能力、内存要求较高;数据库服务器对稳定性、事务处理能力、内存以及缓存要求高。应参照偏重网络访问和JAVA应用性能的SPEC标准、计算数据库事务处理和查询性能的TPC标准,合理配置。

3.3 网络建设

江苏省水利信息网采用租用电信SDH光纤链路方式建设,其中,骨干网4 M联结省地级,地区网2 M联结地县级,少部分县(市、区)因地址搬迁、费用停交、地级访问控制等原因未联入。厅网络中心已配备防火墙、入侵检测、安全审计、病毒防护等软硬件,以满足安全防护要求。政务内网部署于涉密区,与专网、外网物理隔离。方案要求各地建立和恢复专网连接,厅已建VPN设备(200用户),提供少量通道供特殊情况应急使用。

3.4 可靠性和性能保障

数据可靠性采用热插拔双控制器冗余磁盘阵列,分别采用raid1镜像和raid5奇偶校验方式存储日志和数据,冗余控制和并行读写提高存储安全性、容量和访问速率,配置虚拟磁带库,与将要建设的异地灾备中心结合保障数据安全。服务可靠性由双服务器集群实现,中间件软件配置实现应用共享访问,实时应用集群RAC技术实现数据库双主机(Active-Active)热备,消除单点故障同时实现负载均衡,提升可靠性和性能。

3.5 与信息化系统整合

厅已建水文遥测信息系统、水利地理信息系统,以及将要建设的中小河流、水库管理信息系统均与普查数据处理信息系统架构一致,面向全省进行信息采集和提供服务。为更好利用现有资源,整合信息化投资,属性数据的数据库双机和存储备份可与上述系统共用,空间数据、软件、硬件与政务内网内系统结合构建普查信息服务系统。数据经解密后可在水利信息网和政务内网同时向全省和厅直属单位提供数据共享和信息服务。江苏省水利普查数据处理信息系统部署架构见图1。

4 我省水利普查数据处理信息系统特点

4.1 集中部署,分散录入

我省地处东部沿海,不含国际河流相关水资源和水利工程规划数据,可采用网络直报方式进行普查信息录入编辑。采用省级集中部署、市县分散录入方式,有利于减轻地、县级分散部署与维护系统的压力;有利于省、市级水利普查机构及时监控数据采集和处理的进度与质量;有利于基层单位分散录入与处理数据,提高普查工作效率。

4.2 访问集中,在线录入与分析服务并重

普查数据处理工作具有时点性、阶段性特点,市县人员在线登录时间较为集中,高峰访问人数较多。采用“逐级上报、超级汇总”方式,省、市、县均直接采用原始数据进行汇总分析。录入检索产生较多数据库操作,尤其是汇总分析往往采用联表查询方式,对网络带宽、数据库并发处理性能提出较高要求。

图1 江苏省水利普查数据处理信息系统部署架构图

4.3 网络联通性、安全、保密要求高

运行网络环境要求为:优先选择水利专网,未覆盖到的单位,利用因特网通过VPN系统建立网络连接。省级网络环境需增加负载均衡设备,以满足大量市县级用户同时访问、进行数据处理业务的需要。对外服务带宽要求2 M以上,支持500个以上用户的并发访问。系统应按信息系统安全等级保护第三级信息系统的要求进行防护。水利普查空间数据属于涉密数据,需在涉密网络环境中存储。

4.4 数据、服务可靠性和质量要求高

水利普查以电子化形式存储的数据成果包括:数据表格、数据库、GIS数据、原始档案、报告、照片和扫描图件等,其中,我省普查空间数据包含国家下发1∶50000和我省现有1∶10000矢量及0.5 m高分辨率影像数据,数据量较大。系统不仅满足全省普查工作需求,也为成果发布、部署基础水信息应用服务。安全存储、冗余备份、服务可靠性和服务质量要求较高。

4.5 与信息化建设结合较为紧密

水利普查工作具有阶段性,水利普查数据成果的应用以及建立健全基础水信息登记和台账管理系统,建立水信息数据库,建立水信息资源整合和共享机制的任务要求与水利信息化建设紧密相关,系统建设应与信息化建设规划相协调,在合理节约基础上统一规划实施。

5 实施效果

系统建设完成后,进行定期巡检,监测运行状态,并针对性能瓶颈对软硬件参数调优,保障运行状况良好,有效支撑了全省13个市级、105个县级普查机构、31万普查对象、620万表格数据项、13万水利空间对象的数据上报和信息处理工作,并为普查数据发布和应用做好了环境准备。建设省级普查水信息数据库,与水利信息化建设相结合,可为部署水信息应用,形成水信息汇集共享机制,发挥重要作用。

猜你喜欢
普查数据处理部署
立即全面普查 警惕二代粘虫发生
今日农业(2022年13期)2022-09-15 01:17:58
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
心理学报(2022年4期)2022-04-12 07:38:02
一种基于Kubernetes的Web应用部署与配置系统
胡春华强调:确保脱贫攻坚普查取得圆满成功
今日农业(2021年4期)2021-11-27 08:41:35
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
水泵技术(2021年3期)2021-08-14 02:09:20
晋城:安排部署 统防统治
今日农业(2021年7期)2021-07-28 07:07:16
部署
部署“萨德”意欲何为?
太空探索(2016年9期)2016-07-12 10:00:02
关于农业文化遗产普查与保护的思考
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用