海洋剖面要素数据处理系统的设计与实现*

2015-09-29 03:21张丽婷张洪欣段康弘张小波刘婷婷
海洋开发与管理 2015年1期
关键词:航次数据结构数据处理

张丽婷,张洪欣,段康弘,张小波,刘婷婷

(1.国家海洋局北海海洋技术保障中心 青岛 266033;2.山东省海洋生态环境与防灾减灾重点实验室 青岛 266033)

1 引言

随着海洋技术的发展和调查设备的进步与完善,海洋科学考察尤其是剖面连续观测的数据种类和数量日益增加。调查所得为原始数据,并不能直接应用于科学研究,需要经过调查设备配套软件预处理后再进行规范化处理存档[1]。同时,海洋剖面要素数据具有较强的时效性,需要对数据本身包含的科学信息进行发掘和提取,并且需要不断地应用于科学实践中去,否则,无异于对于资源的极大浪费和对数据科学价值的忽视。与此同时,大量的数据处理过程极大地影响了海洋科考尤其是剖面调查的工作效率。因此,研究一种高效的海洋环境剖面要素数据平台,对国家海洋调查数据及时有效利用具有重要的现实意义。

本研究以Oracle数据库为基础数据库,在Visual Studio开发工具的支持下综合运用WPF技术构建C/S架构模式的海洋剖面要素数据处理平台[2]。一方面针对海洋调查中CTD(Conductivity Temperature Depth)[3]、LADCP(Lowered Acoustic Doppler Current Profiler)[4]、ADCP(Acoustic Doppler Current Profilers)[5]、自动气象站等调查设备获取的海洋环境剖面要素数据[6]进行综合处理;另一方面,结合海洋调查相应规范标准对处理数据进行质量控制[7]。

2 海洋剖面要素数据分类及数据结构设计

对于海洋剖面数据处理过程来说,需要统筹考虑包括调查数据、航次信息数据、站点信息数据等多种来源多种结构的要素数据。因此,在统筹处理海洋剖面要素数据前,需要根据数据的类型和用途,对各种数据进行分类,并结合质量控制体系规定规范相应数据结构,以便数据库管理和数据后续处理需要。

2.1 航次信息数据

航次信息数据是海洋调查过程中的共享数据信息,包括航次号、调查机构、调查船名等。航次信息数据以航次信息表的形式进行存储和使用,航次信息表的数据结构如表1所示。

表1 航次信息表数据结构

2.2 站点信息数据

海洋剖面观测过程中依据剖面特点设置多个调查站点,针对每个站点包含物理海洋调查、生物拖网、高空气象等多种观测项目,因此,站点信息数据主要包括站位号、作业时区以及作业项目等。站点信息数据以站位信息表的形式进行存储和使用,站位信息表的数据结构如表2所示。

表2 站位信息表数据结构

2.3 调查数据

海洋剖面调查数据通常以特定格式的文件存在,属于非结构化数据类型,因此,在处理过程中通过文件索引形式对已有调查数据文件进行读取和处理,调查数据索引表数据结构如表3所示。

表3 调查数据索引表数据结构

3 系统框架设计

3.1 数据处理框架设计

处理平台软件在处理完成原始数据口,通过ADO(activeX data object)接口访问Oracle数据库,完成对已经分类的航次信息表、站点信息表和环境参数数据的分类存储和管理,从而完成对整个海洋剖面要素原始数据的获取和预处理过程,并在处理完成后提供对处理数据的检索和二次利用支持。数据处理框架如图1所示。

图1 数据处理框架

3.2 处理平台架构设计

海洋剖面要素数据处理平台的架构如图2所示。

图2 处理平台架构图

(1)平台为海洋剖面要素处理提供图形化的应用程序界面,同时与Oracle数据库互联,根据用户需求命令获取并处理船载仪器设备的资料数据,并将获取后的数据按照相应分类和数据格式传送至数据库,以备后续使用和进一步处理。

(2)平台的内核主要包括两个功能模块:命令解析模块和数据重组模块。两个模块的功能机组成如下:①命令解析模块。命令解析模块根据用户需求命令,解析用户所需的数据类型并确定数据来源,之后根据不同厂商的仪器设备数据命令格式生成相应的查询命令,并发送至相应的仪器设备。②数据重组模块。数据重组模块通过数据通信接口接收设备数据,并针对相应数据格式进行有效性检测,检测通过后提取数据当中的有效字段并重组,将重组后的数据进行校验后发送至应用程序接口。

(3)平台数据通信接口建立在船舶网络之上,主要参照RS-232接口和RJ-45接口通信标准。按应用逻辑分为命令接口和数据接口,分别完成对于数据查询命令发送和源数据接收的功能。

3.3 应用效果

本平台已试验性应用于常规深远海调查和船舶保障中,主要优势表现在以下几个方面。

(1)实时性。得益于网络传输和串口传输速度的保障以及船载集控处理系统硬件水平的提高,该平台在数据存储和预处理上具有较好的实时性,以一次CTD下放过程为例(水深约500m),可以保证在无人值守情况下,在CTD回收出水前完成对应船舶信息数据的处理,同时在单操作员情况下,能够在5min内完成全部数据的处理和存储,基本可满足海洋剖面处理尤其是站点密集航次对于数据预处理的需要。

(2)有效性好。通过对原始数据的有效性检验和重组数据发送前校验,很好地保障了最终存储数据的质量,从而提高了整体海洋剖面要素数据的质量,具有较好的有效性。

(3)节约人力资源。海洋调查尤其是深远海调查过程中,调查队员通常要在多个岗位上进行工作,本研究提及的处理平台具有较高的自动化程度和较好的自检自纠能力,因此能够在一定程度上节约人力资源,保障整个调查过程的顺利进行。

4 总结与展望

结合海洋剖面调查数据特点和现阶段剖面数据处理相关技术,提出了一种海洋剖面要素数据处理平台的设计方法。在设计过程中,贯彻模块化和功能化思想:将命令处理与数据处理模块化、用户界面与处理内核分层化。使系统具有结构清晰、易维护、易扩展和易重用等优点,取得了较好的试验应用效果。

此外,随着船舶信息系统的发展和移动终端种类的增多,如何采用推送方式向航次科考队员提供数据和检索服务已经逐渐吸引了海洋研究者和计算机学家的重视,同时,也为网络化海洋剖面要素数据处理平台的进一步发展提供了方向。

[1]于慧彬,齐鹏,梁捷,等.内存映射文件在大数据量海洋调查数据处理中的应用[J].海洋技术,2010(1):37-40.

[2]赵毅,朱鹏,迟学斌,等.浅析高性能计算应用的需求与发展[J].计算机研究与发展,2007(10):13-22.

[3]陈淼,李占桥,袁延茂,等.海鸟系列CTD数据预处理分析[J].海洋测绘,2004(16):62-64.

[4]熊学军,郭炳火,胡筱敏.LADCP观测和资料后处理的关键技术[J].海洋技术,2002(4):32-36.

[5]段文义,张坚樑.河口、浅海 ADCP定点海流观测资料的比较与整理[J].浙江水利科技,2006(5):18-21.

[6]蔡树群,张文静,王盛安.海洋环境观测技术研究进展[J].热带海洋学报,2007(3):78-83.

[7]韩春花,耿姗姗,杨锦坤.海洋综合调查数据集成管理方法研究:以广东省近海海洋综合调查与评价数据集集成为例[J].海洋开发与管理,2013,30(3):29-32.

猜你喜欢
航次数据结构数据处理
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
数据结构线上线下混合教学模式探讨
“翻转课堂”教学模式的探讨——以《数据结构》课程教学为例
高职高专数据结构教学改革探讨
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
CDIO模式在民办院校数据结构课程实践教学中的应用
Matlab在密立根油滴实验数据处理中的应用
我国集装箱航运企业实施作业成本管理法面临的困难及解决方案