大数据技术下海洋测绘数据的存储与挖掘

钟磊

广东邦鑫数据科技股份有限公司 广东广州 510310

1 大数据技术概述

大数据也被称为巨量数据，是指数据规模较大、在短时间内无法进行人工截取和管理，需要通过计算机技术对数据进行处理，涵盖大数据平台和相关指数体系，是目前助力产业发展和城市建设的先进技术形式。现阶段，大数据技术包括数据采集、预处理、挖掘和存储等多方面内容，数据采集主要通过传统的MySQL和Oracle等数据库，对网络数据进行识别与收集，目前由于数据技术的发展，通过开源Kettle和Talend，可实现对主流数据库之间的同步与集成，使得非结构化或半结构化数据得到统一处理，达到对本地数据资源的采集与优化管理[1]。

2 海洋测绘数据分析

海洋测绘数据种类繁多，不仅包括温度、盐度、深度等水文信息，也包含地址信息、生物信息以及遥感信息等，这些不同类型的数据有不同的特点，在对它们进行存储和处理时需要考虑到它们的处理需求和存储格式。在分析了海量的海洋测绘数据后可以发现，海洋测绘数据的特点如下：

（1）海量。在进行海洋测绘时会有大量的监测点，它们收集到的数据结构复杂，而且是动态变化的，这就决定了势必会产生大量的测绘数据，仅仅使用本地存储难以满足海量数据的存储需求。

（2）数据格式及结构存在差异。不同的测绘数据的记录格式是不同的，存储结构也随之不同，造成测绘数据在存储时并没有一个统一的数据结构标准。已经收集到的海量海洋测绘数据包含了海洋、地址、水文等多方面工作人员的辛劳汗水，所以在收集到的数据的积累、存储等方面需要慎重考虑，需要结合海洋测绘数据的特点提高存储、处理的高效性和安全性；另外，还需要考虑海洋测绘数据的稳定性。海洋测绘数据的种类很多，比如海底地形数据、海岸带航空遥感数据、海岸线测量数据等，不同种类的数据格式也存在很大的差异，这就需要对这些有差异的数据进行数据加工处理，形成标准统一的矢量数字海图、航空摄影正射数字影像等。

3 大数据技术下海洋测绘数据的存储与挖掘

3.1 数据的存储分析

对于采集到的海洋测绘数据，一般都会先保存在本地系统之中，然后在大数据技术的支持下，借助Hadoop所提供的API将采集到的有关数据上传到HDFS文件系统中。对于测绘过程中所布置不同的测绘点而言，在大数据技术下能够以一个统一的身份将采集到的海洋测绘数据传送到HDFS文件系统中，并且能够成功上传到HDFS文件系统的数据一般都是以一种透明的组织形式存在的，即HDFS文件系统会与本地存储系统拥有一个对应的位置，而采集到的海洋测绘数据会不间断地传送到这个位置上，同时会按照固定的时间间隔传送到HDFS文件系统中。数据传送到HDFS文件系统的过程如图1所示。

图1 数据传送到HDFS文件系统的过程图

3.2 数据挖掘分析

经过一系列的过程将采集到的海洋测绘数据上传到HDFS文件系统中后，就要面对存储的大量的海洋测绘数据进行相应的数据挖掘分析，从而找到有价值并满足相关需求的数据信息，而在这个过程中就会用到相应的数据挖掘工具。数据挖掘工具的管理层主要作用是用于海洋测绘数据和用户之间进行信息交互的交互界面，相关用户通过借助数据挖掘工具的管理层，就可以实现对采集到的海洋测绘数据进行上传、下载或者浏览等操作，从而对数据进行有效的处理。数据挖掘工具的计算层通常会给用户提供常用的数据挖掘分析算法，用户通过使用相应的和数据挖掘分析算法，就可以对大量的海洋测绘数据进行相应的计算，从而得到自己需要的数据信息。而用户通过数据挖掘工具的存储层，可以借助HDFS文件系统对海洋测绘数据相关的文件进行很好的保存，并且在存储大量的海洋测绘数据的同时，也能够实现数据的冗余备份[2]。

通常在进行数据挖掘的时候，Hadoop分布式计算平台中的HDFS分布式文件系统内，并没有与之相关的文件，这个时候就需要将海洋测绘数据上传到HDFS文件系统中。在对大量的海洋测绘数据进行相应的数据挖掘后，就会得到相应的中间文件和结果文件，这两种文件也都是保存在HDFS文件系统中，如果用户想要在本地对这些文件进行访问来获取相应的信息，就需要再将这些文件下载到本地的文件系统中，然后进行相应的查询。

4 结语

由于我国的海洋面积辽阔，在进行海洋测绘的过程中就会出现种类繁多并且复杂的数据，海量的海洋测绘数据在存储方面也是值得重点关注的问题，而在当今计算机信息技术和物联网技术快速发展的背景下，大数据技术已经普遍的应用于社会中的多个领域，在数据的处理方面表现出强大的能力。