上海市海洋数据基础平台框架设计

李静芳

[摘 要] 分析了上海市海洋数据基础平台建设的必要性和建设背景；设计了海洋数据基础平台的总体框架；海洋数据中心管理系统、海洋数据处理系统、海洋数据检索系统、海洋数据分析系统、海洋数据交换与更新体系。

[关键词] 上海；海洋；基础数据平台；框架设计

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 23. 070

[中图分类号] TP315 [文献标识码] A [文章编号] 1673 - 0194（2018）23- 0166- 04

1 前 言

近年来，上海市海洋局通过海洋数据资源管理、网络基础设施建设和业务应用系统开发等一系列专项工作的开展，海洋信息化建设取得了长足发展，初步搭建起上海市“数字海洋”管理框架，发挥了重要的信息支撑保障作用。

上海市“数字海洋”管理框架主要包括海洋数据基础平台框架、基于ArcGis的数字海洋原型系统框架、海洋综合管理与服务信息框架和海洋网络与安全框架。其中海洋数据基础平台框架是整个“数字海洋”管理框架的支撑和基础。

由于上海市海洋局的数据来自多方单位，包括国家海洋局、国家海洋局东海分局信息中心、国家海洋局东海分局预报中心、国家海洋局东海分局监测中心、上海市海洋局历史数据、各局属单位和各涉海单位等，原有数据归各单位独立存储、独立管理，最后形成了一个个的信息“孤岛”，各方数据标准不统一、数据结构不统一、数据字典各不同，无法实现海洋数据的共享共用和统一管理。海洋数据基础平台的建设将来各方结构不统一，内容及形式复杂多样的数据，通过一套针对多源、异构数据进行处理和整合技术方案，以数字海洋基础平台的方式实现各应用系统之间海洋数据交换和共享，并将各应用系统中产生的分析和成果数据集中存储到海洋数据中心。

2 总体框架设计

上海市海洋数据基础平台的规划和建设依据“统一规划、统一标准、统一设计、数据共享”的基本原则，海洋数据基础平台架构主要分三个层次。首先经过数据交换和更新体系将各行业数据对象进行规范定义，从而形成行业基础数据，其次对海洋基础数据进行整合后形成市海洋局核心数据，最后按照不同的业务需求对核心数据进行分析应用，形成数据分析与应用部分。

3 海洋数据中心管理系统设计

海洋数据中心管理系统是决策支持系统和各业务管理系统的数据基础，信息主要来源于国家海洋局、国家海洋局东海分局信息中心、东海分局预报中心、东海分局监测中心、上海市海洋局、局属单位、涉海单位等。各单位提供的海洋基础数据是海洋数据中心管理系统中数据中心的一个重要来源，这些数据主要分为四类：实时类数据、基础类数据、核心类数据、元数据类数据。海洋数据中心管理系统整体结构采用“集中与分布相结合”的方式，将数据按照支撑不同的业务分成四个区域：互联网区、核心业务区、东海分局数据区以及交换区。通过使用DataExchange对数据进行抽取、传输、汇总、整合到海洋数据中心管理系统中。

3.1 互联网区

互聯网区存储的是科技服务类数据、海洋经济类数据和行政许可办理类等需要对涉海单位、涉海企业、社会公众公开的数据，以及涉海单位、涉海企业上报的数据，这部分数据通过交换区与核心数据区进行交换。

3.2 核心业务区

核心业务区存储的是上海市海洋局的业务核心数据，有来自国家海洋局东海分局信息中心、监测中心和预报中心的基础地理数据、基础资料数据、专题数据、产品数据以及业务数据等；还有上海市海洋局的历史数据以及海洋的实时监测数据，它们是支撑上海示范区业务的核心数据，这些数据根据业务特点，通过设置关键标志位的方式，为原型系统和综合管理信息系统提供数据支撑。

3.3 东海分局数据区

东海分局数据区存储的是上海示范区前期国家投资部分的数据，主要是908专项数据，这些数据按照上海市海洋局的数据标准进行整理、归类，并成功迁移到上海市海洋局数据中心。

3.4 交换区

交换区存储的是临时数据，交换区是数据交换的中转站，是交换数据临时存放的区域。交换区的数据来源于国家海洋局、国家海洋局东海分局、上海市海洋局、实时监测数据以及互联网区。

海洋数据中心管理系统的建设过程中，形成了上海市海洋局数据库管理规范，制定了响应的数据标准和管理规范，保证了各业务系统的正常运行，并为以后的业务扩展提供数据接口，实现了海洋数据共享共用、统一管理、统一规范的项目目的。

4 海洋数据处理系统

海洋数据处理系统按照国家海洋局统一的《“数字海洋”信息基础框架构建总体实施方案》、《海洋环境基础数据库标准》、《海洋综合管理专题数据库标准》和《“数字海洋”上海示范区（地方配套）项目数据库详细设计》通过对海洋数据调查和评价、海洋观测站和其他重大历史专项资料的收集，这些数据格式多为文档（DOC），表格（XLS）、图片文件（JPG）、图层数据，围绕示范区的应用系统需求，对数据按照数据中心的数据库结构、属性结构将这些数据进行分类、格式转换、栅格图片矢量化、图幅拼接等操作，然后入库保存，进行结构化存储，利用导入程序自行转化入库工作，实现上海海洋数据交换与共享。海洋数据主要有以下几类：海洋基础地理及908专项调查数据、海洋环境类监测数据、海洋气象及灾害类数据、其他908调查数据、机关业务数据等。

还对相关的海洋数据依据海洋数据中心的入库规范，将数据按照相应的要求，按基础地理类、基础资料类、产品信息类、专题信息类、业务运行类、元数据类等进行分类整理，规范并入库。

其数据处理流程见图3。

5 海洋数据检索系统

海洋各类数据经过海洋数据处理系统处理后，形成具有规则的数据结构，数据检索系统分别针对结构化数据和非结构化进行检索，结构化数据的检索通过目录管理模块进行分类管理，海洋数据目录管理模块将海洋数据分为基础资料数据、基础地理数据、专题数据、产品数据、业务数据。结构化数据检索通过建立数据加载集群、查询机集群和元数据集群，实现高效率的数据检索系统。非结构化数据检索是用户通过文件属性、关键字及分类等信息来搜索所需要的文件，基于平台的数据索引，快速给用户展示出相关查询结果。其检索流程见图4。

非结构化数据查询的步骤主要包括：①对查询内容进行解析，区分查询内容中单词和关键字，根据查询语法的语法规则形成一棵树；②搜索索引，得到符合语法树的文档集合；③根据查询语句与文档的相关性，对结果进行排序，将查询结果按顺序展现给用户。其查询逻辑见图5。

6 海洋数据分析系统

海洋数据分析系统利用分析方法对数据进行检查、变换和建模，从中提取数据潜在价值。其中使用的数据分析技术有：分类、聚类、关联规则、时间序列分析和优化等技术。通过建立海洋数据分析模型，实现对海洋水文、海洋气象、海洋化学、悬浮体等专业数据按指定的方法、要素、分布位置或者空间网格大小、时间间隔、空间层次进行统计计算，并对统计分析的结果进行客观分析开发。

6.1 海洋数据分析

将海洋数据管理中心的数据通过特征分析后，采用Java语言作为处理语言，根据海洋数据特点，开发数据统计分析工具，如：日月年及任意时间范围的统计、自定义公式方法的统计分析、滑动数据统计、数据比对统计分析、任意参数和数据类型的长期值。

对海洋相关大量的数据进行数据分类存储，分级管理，建设数据自动同步平台，实现各个数据源之间的数据交换和同步，形成一套分级管理、综合应用的信息挖掘和应用机制。同时建设一套数据审核机制和规则，实现对各类数据的审核和整理加工，提高数据的可靠性和完整性，并以标准的数据交换格式提供给模型，提高模型预报时效和精度，以实现各类数据的交换、审核、整编、挖掘、刷选等需求，并为各类信息发布和模型调用提供精确、完整、高效的数据服务。

6.2 数据可视化

海洋数据经过分析后，采用Echarts完成分析数据的可视化，ECharts是一款开源、功能强大的数据可视化产品，紧跟着大数据时代的步伐。ECharts是商业级数据图表，一个纯Javascript的圖表库，可以流畅地运行在PC和移动设备上，兼容当前绝大部分浏览器（IE 6/7/8/9/10/11，chrome，firefox，Safari等），底层依赖轻量级的Canvas类库ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。其分析显示界面见图6。

支持折线图（区域图）、柱状图（条状图）、散点图（气泡图）、K线图、饼图（环形图）、雷达图（填充雷达图）、和弦图、力导向布局图、地图、仪表盘、漏斗图、事件河流图等12类图表，同时提供标题，详情气泡、图例、值域、数据区域、时间轴、工具箱等7个可交互组件，支持多图表、组件的联动和混搭展现。

在实现海洋数据分析系统时，预留了将来对业务数据进行分析的业务接口，并对上海市海洋局目前所建有的“水之云”中的数据也预留有数据分析接口，实现对上海市水务局（海洋局）业务分析系统的统一规划。

7 海洋数据交换与更新体系

海洋数据交换和更新系统用于实现系统间数据交换和数据同步的数据集成平台，能够访问主流的数据库、结构化、半结构化数据，并可以从中提取、转换、加载到指定的数据源中，在复杂网络环境下，提供安全控制、错误处理、断点恢复与续传等数据传输能力。

系统以元数据服务为支撑，基于 CWM-XMI、W3C-XML Schema 规范，提供对传统的数据库、半结构化和非结构化文件数据的支持，以及对分布式存储等新兴技术的支持。

在运维层面上，提供了基于 Web 的管理与监控工具； 在开发层面上，提供了图形化的配置工具。

在组件层面上，系统提供了数据访问服务、错误处理服务、数据转换与清洗服务、数据传输服务、任务调度服务、元数据管理服务、管理监控服务等服务。其体系如图7所示。