基于云环境下海洋环境监测大数据处理平台的研究

刘儒，石学涛，耿铭晨，郑凯，姚抒均

（1.齐鲁工业大学（山东省科学院），山东青岛，266000；2.山东省科学院海洋仪器仪表研究所，山东青岛，266000）

1 海洋环境监测系统存在问题

相比以前所有资源来看，基于海洋检测系统数据具有多样化特性，可以表现为多样、多态及多源的等。数据可以根据很多种数据来源和不同的监视方法共同获得。海洋遥感数据处理水平都比较高，通常经过处理后能够接近70TB，当然其他经过实验的一系列数值也能够达到一种较高的水平。通过对监控系统的研究，其可能存在下面一些相应问题。

系统管理和数据处理分析来研究，具有一些分散结构化、或者半结构化、或者一系列非结构化监视数据，上述数据都存在很多数据信息；（2）科学研究角度分析，现在数据都属于一种大数据时代，大部分都会采用融合方式将不同来源数据进行整合，对其数据进行全面和宏观的分析理解。无论研究什么系统，数据集成都是非常重要的一部分；（3）研究方法论角度分析。在现在大数据范围中，研究员只要通过对数据驱动的整合协作来进行分析，才能真正达到研究的效果。

本文研究云环境下监测系统基本上都是采用大数据特性来分析和研究，这样能够不实现对多源异构数据的透明分析和运用，最后以统一方式运行和使用。

2 海洋监测大数据平台的设计构想

2.1 大数据与海洋监测数据管理流程

云计算是一种网络资源共享模式，它在大量分布式计算机或远程服务器上分布计算，根据Internet操作模式将资源切换到所需的应用程序，并根据需求访问计算机和存储系统。在此共享模型中，“云”是指各种虚拟化的计算资源池，其中包括用于构造应用程序的各种基础结构以及这些基础结构上的特定云计算应用程序。云计算提供了一种新型的计算模式。在这种模式下，应用程序，各种数据和IT（信息技术）资源通过网络即服务提供给用户。云计算也是基础架构管理的一种方法。大量计算资源形成一个IT资源池，以动态创建高度虚拟化的资源并为用户提供这些资源。人们可以根据自己的需求确定所需的IT资源，并为使用的IT资源和服务付费。人们还可以根据需要通过云平台远程部署自己的应用程序。而且，无论身在何处，只要拥有可以连接到Internet的客户端，就可以访问云资源，大数据与海洋监测数据管理流程如图1所示。

图1 大数据与海洋监测数据管理流程

与其他数据资源相比，海洋监测数据具有多源，多态和多样性的特点。数据的多源性是由不同的数据监视方法引起的，例如浮标，观察船，遥感和卫星。观测方法的差异导致数据准确性和数据格式的多样化，带来了数据结构的复杂性和灵活性。生成的数据量巨大，存储和分析变得越来越困难；因此，数据中心面临的压力正在增加。此外，不同格式的数据分别存储，独立处理和分析，很容易形成信息孤岛。

2.2 大数据技术Hadoop在海洋监测数据处理平台定位

近年来，大数据引起了行业，科技界和政府部门的极大关注。实际上，Hadoop已经是大数据技术的标准。尽管Hadoop受到许多大数据技术的挑战，但Hadoop仍在不断发展并适应新技术。需求。另外，这些技术在归根结底都采用了Hadoop的主要思想，但是在某些方面进行了优化和改进，实际上也应该属于Hadoop技术。这些大数据集成平台基本上都是基于Hadoop大数据技术的，使用数据虚拟化技术来集成多源异构海量数据，重点是不同的。此外，几乎没有集成的大数据模式，其中大多数只是MapReduce和Hive，没有其他计算模式，例如流和迭代。“大数据集成的四个特征”部分提到的相关学术研究主要集中于数据集成技术或集成模型，而在大数据平台上的集成研究相对较少。

图2 Hadoop 在海洋监测数据管理中的定位

3 基于云环境下的海洋环境大数据平台分析

本文所涉及到海洋环境监测系统主要包括监测管理系统、遥感监测系统以及卫星遥感监测等系统，通过对比传统架构系统，本文云环境海洋监测系统有很大的不同，不仅仅体现在海洋环境监控大数据平台上面，还在使用的物理层、数据层及服务层都存在很多不同的地方。通过在云平台上建立一系列监控系统和模块，能够实时监控海洋环境下各种动态信息。大数据处理平台包括以下模块：基本软件部分、高端中间连接模块、数据访问源部分、监视数据中间部分及数据防篡改部分，正因为该平台具有这些功能，开发和研究成本相比较低、安全性能较高，稳定性较强。在现实生活中，往往存在一些自主开发网站，一味追求利益，降低成本，造成技术较为落后、安全性降低，无法对数据兼容性进行支撑，根本无法满足当前系统需求。

本文构建使用平台都会综合考虑各种监控模块之间的集成兼容性，对点到点集成要求较为严格，通常会对SOA总线部分到很多主数据、从数据管理的每一个阶段都会考虑，每一个阶段都会要求较高。从虚拟架构来对系统进行分析，每一个模块都内含有各自部分集成平台，这些集成平台都由内部云平台物理架构支撑，以提供系统所需求的服务模式。

4 结论

云计算和大数据被广泛应用于各个领域。海洋环境监测数据的特点适用于大数据处理技术。云数据主要利用Iaas平台实现，该平台获得都是通过一系列商业模式购买或者采用一些开源平台对其进行构建。商业软件使用较多的有Vmware esx+Vcenter/Vsphere及开源OpenStack，其中前者使用较为广泛，方案也较为成熟和稳定，后期开源模块仍然处于研究之中，因为开源具有一系列相对优势，因此也吸引了较多开发者青睐。建立基于云计算和大数据技术的海洋环境监测数据处理平台符合IT发展趋势。针对多源异构海洋环境监测数据面临的大数据问题，本文提出构建数据虚拟化平台并整合大数据计算模式，并使用两层元数据（在数据虚拟化平台中，数据连接层元数据生成，数据消耗层的元数据建模和本体语义框架，以实现海量海洋环境监测数据的集成，并提出基于这些技术的应用架构。利用云计算和大数据建立海洋环境监测数据平台，将给海洋环境监测数据的业务管理和决策带来巨大的变化，对海洋环境监测的科学发展具有重要意义。