基于大数据的数字海洋系统及安全需求分析*

2015-02-24 03:23:01董贵山刘振钧
通信技术 2015年5期
关键词:海洋数字信息

董贵山,王 正,刘振钧

(中国电子科技集团第三十研究所,四川省 成都市 610041)



基于大数据的数字海洋系统及安全需求分析*

董贵山,王 正,刘振钧

(中国电子科技集团第三十研究所,四川省 成都市 610041)

回顾了数字海洋系统国内外发展情况,提出面向大数据时代,数字海洋系统在架构和应用服务能力方面存在的局限。进一步提出了基于大数据平台的数字海洋系统能力目标以及包括信息获取层、通信传输层、基于云计算的海洋大数据基础平台、海洋大数据处理平台、海洋大数据服务层以及数字海洋应用等6个层次系统总体框架,分析了基于海洋大数据平台存在的安全风险,提出了海洋大数据平台的安全保障发展需求,为大数据时代的海洋安全体系规划与建设提供参考。

数字海洋;大数据;云计算;安全保障

0 引 言

党的十八大吹响“海洋强国”战略号角,对于我国开发海洋、利用海洋、保护海洋以及维护国家海洋权益,提升国家综合实力具有十分重要的战略意义。海洋信息化是实现国家战略目标的重要支撑,而数字海洋是实现海洋信息化的必由之路。数字海洋把遥感技术、地理信息技术、传感与信息采集技术、自动化和网络技术与人类不断深入开发海洋的需求联系在一起,为海洋信息化提供了一个基础框架,其实质是信息化的海洋,是充分利用信息、实现海洋开发利用的有效手段[1]。发展“数字海洋”系统,是我国掌握和管控海洋态势、实现“建设海洋强国”的宏大目标的重要支撑。随着云计算、移动互联网应用的不断深入,世界已经进入了大数据时代,“数字海洋”系统在海洋信息获取、海量信息分析处理和规模化服务应用等方面需要不断适应技术的发展,其系统安全保障也面临着新的挑战。

1 数字海洋系统发展现状与问题

1.1 国外情况

发达国家非常重视数字海洋信息基础设施的建设。目前美国、加拿大、英国、日本等发达国家在数字海洋相关领域,如海洋空间数据基础设施、海洋信息共享与应用等方面处于领先地位[1]。

(1)海洋空间数据基础设施建设

海洋空间数据基础设施是“空间数据基础设施(SDI)”的重要组成部分。美国、加拿大率先提出SDI,并开展了16 个框架项目,有多个项目涉及海洋水文、海洋管理、海洋数据融合等内容。

(2)海洋数据处理

美国、日本等海洋强国十分重视海洋数据收集、处理与融合,支持了大量海洋信息相关研究和海洋可视化技术的研发项目。其海洋监测和信息处理手段十分先进,并具备大规模海洋数据存贮和处理的能力。

(3)海洋信息共享与应用

美国于2006 年初开始进行大规模的“数字海洋原型系统”研究计划,内容包括海岸带管理、防灾减灾、海洋油气、海洋渔业等4个方面。此外,Google 公司的Google Earth和Google Ocean系统在数字海洋信息共享与应用方面也取得了显著成效,可为用户提供了虚拟的海洋世界。

1.2 国内情况

我国也通过科研专项方式(908专项),启动了数字海洋信息基础框架构建工作,在信息基础平台、数字海洋原型系统、海洋综合管理信息系统、节点建设与集成方面取得了阶段成果,实现了全部节点的网络互联与信息交换共享等[2]。

(1)构建了海洋信息基础数据库,为数字海洋提供丰富的历史资料数据源,是数字海洋系统开发和应用的基础。还开发了中国近海潮汐潮流预报,海平面上升影响评价,遥感监测基础信息等数字海洋应用。

(2)构建了 “数字海洋”原型系统,形成了一个信息集成与展示基础平台,对各类海洋信息进行空间分析和动态、直观的可视化表达,并可以实现多类信息的综合查询。

(3)研制了“海洋综合管理信息系统”,包括海域海岛管理、海洋执法、环境保护、防灾减灾等多个子系统。

(4)完成了国家海洋局及省级节点的网络连通,初步实现了节点间的信息共享。基于数据和服务总线,形成集成框架,实现了数字海洋原型系统以及各级节点等的一体化集中监测、管理和控制。

我国数字海洋系统框架如图1所示。

图1 数字海洋系统框架

如图1,目前我国的数字海洋系统是一个5层框架,包括数据库层、数据仓库层、可视化模型层、组件层和应用层。

分布式的关系数据库层是指分布于各个海洋部门的各类海洋数据,是构建数字海洋系统的基础;数据仓库层作为一个统一的海洋数据存储容器,构建面向专业应用的海洋时空数据仓库平台;可视化模型层主要针对现有的海洋要素进行可视化建模,形成系列可视化模型库;组件层是对数字海洋应用提供信息共享、数据分析、信息更新与发布等组件化的服务接口;应用层是指利用数字海洋系统构建的各类海洋业务应用。

1.3 大数据时代数字海洋面临的问题

上述数字海洋系统的阶段成果,基于传统管理信息系统的模式构建,能够满足我国海洋信息化初期的对海洋实施数字化模拟以及静态的海洋信息发布与查询服务等需要。随着我国建设海洋强国、维护海洋权益的迫切需要,以及云计算、移动互联网、大数据时代带来的大规模复杂的海洋信息化应用需求的发展,当前数字海洋系统存在如下局限:

(1)缺乏全局性、多途径的海量海洋信息获取能力,难以适应各类海洋应用系统对大规模、全面、动态海洋信息利用的需要;

(2)缺乏海量信息的动态获取和智能分析、处理能力,难以适应海洋整体态势感知和预警监测、辅助决策的需要;

(3)系统基于传统管理信息系统模式构建,规模化、多类型数据处理能力不足,并且针对规模化的海洋信息应用缺少平台化、开放性扩展支持的能力;

(4)缺乏体系化的信息安全保障设计。

2 基于大数据的数字海洋系统

为适应我国建设海洋强国战略的发展需要,突破上述局限性,应当立足当前云计算、物联网、移动互联网深入应用,信息化步入大数据时代的发展趋势,提出基于大数据的数字海洋系统。

2.1 能力目标

普遍的观点认为,大数据是规模大且复杂,无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合,具有以下4 个特点(4V)[3]:

(1)数据体量( Volumes) 巨大。大型数据集,从TB 级别,跃升到PB 乃至更高级别;

(2)数据类别( Variety) 繁多。数据来自多种数据源,数据种类和格式冲破了以前所限定的结构化数据范畴,还包括音视频文件等半结构化和非结构化数据;

(3)数据价值( Value) 密度低;

(4)数据处理速度( Velocity ) 要求快,在线分析和实时数据处理的需求强烈。

对照上述特点,海洋信息的获取途径复杂、数据类型众多、数据规模庞大,本身就是一个典型的大数据系统。应该充分基于大数据特性,构建适应我国海洋战略目标需要的数字海洋系统,提出能力目标如下:

(1)应当具备全局性、大规模、多途径的海洋信息数据获取、存储和高速并发处理能力;

(2)数据获取和分析处理应具备动态性和响应的实时性;

(3)应当具备从海量海洋信息数据源中进行数据挖掘、智能分析以形成海洋整体态势的能力,为各类海洋应用提供支持;

(4)应当具备平台化、开放式海洋信息化应用支持,以及信息共享和多业务协同支撑能力;

(5)应具备完善的信息安全保障能力。

2.2 系统框架

根据能力目标要求,提出基于大数据的数字海洋系统框架如图2所示。

图2 基于大数据的数字海洋系统框架

基于大数据的数字海洋系统框架包括信息获取层、通信传输层、基于云计算的海洋大数据基础平台、海洋大数据处理平台、海洋大数据服务层以及数字海洋应用等6个层次。

(1)信息获取层,是数字海洋系统所有信息的来源,包括来自近海测绘、海岛监视、水下探测、海洋渔业作业、海洋浮标监测、海洋科考、油气平台环境监测、遥感卫星监测等多种途径的静态、动态海洋环境信息和海洋业务信息。这些信息来自于不同部门、不同业务目标的海洋信息系统,有视频、音频、数据、文档等多种类型,分为结构化、半结构化和非结构化(视频、音频为主)数据。随着海洋维权、海洋资源开发、海洋科考、海洋监测、海洋管控等业务的不断发展,这些数据将持续、快速、海量增长,是基于大数据的数字海洋系统构建的基础。

(2)通信传输层,是海量海洋环境和业务相关数据向海洋大数据处理平台传输的途径,也是岸基通信站、舰载平台、机载平台、维权编队、天基(卫星)平台、海岛监测、油气平台、浮标平台等各类海洋业务实体间信息交互的通道。基于海域广、环境复杂等特点,传输手段以无线为主,包括短波/超短波、通信卫星(海事卫星、中通卫星)、导航卫星(GPS、北斗)、遥感卫星、激光通信、水声通信(水下探测)、3G移动通信等。岸基通信则以有线网络和无线网络结合方式存在。

(3)数字海洋的大数据基础平台,是基于云计算技术的基础计算平台(IAAS层)。采用虚拟化技术,实现存储、计算、网络等设施的虚拟化,通过云存储、虚拟化网络、虚拟主机服务以及云平台管理模块等为构建数字海洋的大数据中心提供了弹性可扩展、按需服务、高可用性的基础平台。此类基于虚拟化的云计算基础平台技术与应用较为成熟,典型产品有VMWare系统,Citrix的基于Xen的虚拟化系统,基于KVM的虚拟化系统等。

(4)数字海洋的大数据处理平台,是基于基础平台,适应海量数据存储、分析、处理的计算与软件开发的云计算平台(PAAS层)。Google、Amazon、IBM、Intel以及国内的百度、阿里、华为等公司都有相应的商用平台提供。Intel以及国内的大数据处理平台主要是基于Apache的Hadoop开源工程构建,其中Intel的Hadoop商用平台则是该类平台的代表。Hadoop是一个能够对大量数据进行分布式处理的软件框架,以一种可靠、高效、可伸缩的方式进行数据处理[4]。具体内容如下:

1)MapReduce:基于分而治之的思想,是大数据分析处理的并行计算框架。将大数据任务分解为多个子任务,将得到的各个子结果组合并成为最终结果;

2)Hbase:是一个分布式的、面向列的数据库,适合于非结构化数据存储处理,用于构建分布式数据存储集群;

3)HDFS:分布式文件系统,是云计算平台存储的基础;

4)HIVE:数据仓库工具,提供类SQL语言,实现完整的SQL查询功能。可以将SQL语句转换为MapReduce任务运行,并行处理能力强;

从契约与道义权源间的一般竞合上看,搜救责任区内的缔约国与人道主义救援国之间都存在协调权的行使问题,只不过前者源于契约或协定,并在所缔结的搜救责任区内行使,而后者单纯地源于人道主义救援国以及搜救责任区内的缔约国各自的搜救计划或预案,甚至是人道主义救援精神,不受任何公约或协定的影响。然而,海上救助的顺利进展来源于力量的整合而不是分散。因此,如果不通过某种方式进行有机配合,反而让这些国家各行其是,单一地依靠自身力量进行协调处理,这些协调权之间不但会产生摩擦和冲突,对救助目的的实现也无帮助。

5)Pig:为用户提供多种接口的大数据分析模块;

6)数据挖掘:如Mahout,是运行在Hadoop集群上的支持协同过滤、聚类分析、分类分析等多种数据挖掘算法的工具;

7)Hadoop平台管理:实施对Hadoop平台的安装、部署、配置、监控、告警和访问控制等综合管理。

通过数字海洋的大数据处理平台,可对海量的海洋信息数据进行分析处理:

1)数据预处理:海洋信息的数据源多种多样,包括数据库、文本、图片、视频、网页等各类结构化、非结构化及半结构化数据。第一步是从数据源采集的数据进行预处理,为后继流程提供统一的高质量的数据集。同时,在数据集成过程中对数据进行“清洗”以消除相似、重复或不一致的数据;预处理后的海量数据采用分布式存储系统存储(HDFS);

2)数据分析:数据分析是大数据处理的核心流程,通常基于MapReduce计算模型进行实时性要求较高的数据分析计算。数据分析任务类型包括数据的语义分析、数据挖掘、聚类分析、查询索引等。

3)数据解释:旨在更好地支持用户对数据分析结果的使用,包括人机交互、数据表达(可视化)等。

(5)海洋大数据服务层:为各类数字海洋应用提供基于大数据平台的信息服务,包括信息预报、环境模拟、信息更新发布、信息查询检索、信息可视化等系列服务,以webservice、组件接口等方式为各类数字海洋应用提供服务。

基于海洋大数据基础平台、海洋大数据处理平台,可以构建数字海洋系统数据中心,该数据中心具备海量海洋信息的动态获取、更新和分析处理能力,相比原先的数字海洋系统,更具有动态、智能、全局性等特点,且具备更强的服务能力和多类型应用的平台化扩展能力。各类企业和个人都能够在海洋大数据平台上构建各种海洋应用或服务组件,为海洋领域的各相关产业发展、以及海洋维权、海洋管控等业务提供服务,使基于大数据的数字海洋系统最大化地发挥应用服务效能。

2.2 安全风险分析

数字海洋大数据平台,从海洋信息采集、数据挖掘与分析、海洋信息服务等全过程形成一个完整链条,在大数据处理各个环节的数据都存在数据丢失、数据越权访问、数据篡改或丢失等风险。结合大数据平台的特性,以及海洋领域的特点,基于大数据的数字海洋系统的主要安全风险分析如下:

(1)海洋信息获取并传输到海洋大数据平台,存在其中敏感信息泄露的风险,以及信息源不可信、信息被篡改等导致获取错误信息、影响海洋事务分析决策的风险。

(2)海量数据的安全存储问题。海量海洋信息及其多样的数据来源,传统的存储系统无法满足大数据应用的需要。来自不同海洋业务系统的海量数据汇集存储到海洋大数据平台,并采用基于HBase的NoSQL存储技术完成对对大数据的抓取、管理和处理。由于业务敏感程度不同,所依托的HBase的认证、访问控制和数据安全管理机制尚不满足分级数据保护的要求,海量分布式数据存储,增加了数据访问失控的风险。

(3)海洋大数据系统所依托的云计算平台自身存在的主机虚拟化、网络虚拟化所带来的信息安全风险[5][6],目前关于基础云计算平台安全风险分析成果较多,在此不赘述。

(4)海洋大数据平台中,需要对数据的所有者和使用者、运营管理者进行权限分割,而且许多数据的生命周期极为短暂,数据存储和处理的动态化和并行化、处理环境边界的动态化、数据的操作行为的复杂多样化,都带来了对大数据处理安全防护的挑战。

(5)海洋大数据平台需要从陆海空天、多业务、多平台获取海洋信息,也将面临与物联网、移动互联网应用的对接,越来越多的敏感性分析数据在移动设备间传递,对移动数据安全防范能力、数字海洋移动用户终端防护提出了挑战。

(6)数字海洋系统的用户涉及到我国涉海事务的大量单位、团体以及个人,他们既是大数据平台的使用者,也是海洋信息的重要提供者,相关信息系统具有各自的目的和不同的信息安全等级,如何解决好这些业务系统的隔离,并按需实现信息共享以及业务协同,是一大挑战。

(7)海洋大数据服务层,具有面向多应用的开放式、平台化、可共享等特点,面临着非授权使用或越权使用相关服务,造成信息泄露或系统服务失效等风险。

3 大数据数字海洋系统安全需求分析

针对基于大数据的数字海洋系统存在的安全问题,提出海洋大数据平台的安全保障需求如下:

(1)需要研究构建数字海洋大数据平台的信息安全体系。目的在于:从管理和技术上保证海洋大数据安全策略得以完整准确的实现,满足大数据获取、传输、处理、分析、挖掘、展示与应用等各环节的数据保护需求。该安全体系包含大数据环境下信息安全所必需功能与服务、安全机制与技术、标准以及管理要求等,需要结合防护、检测、响应和恢复(PDCA)模型,形成动态发展的大数据安全体系,为海洋大数据平台的安全方案设计提供参考。

(2)需要研究突破海洋大数据安全保障系列关键技术,包括:

1)海洋大数据平台的统一信任管理与服务技术。研究突破适应海洋大数据平台架构特点的身份认证、资源管理、授权管理、访问控制、安全审计监管等关键技术,通过平台化支撑、分布式服务的方式,实现对大数据中心海洋信息数据获取、处理、分析、挖掘、服务利用等各环节,以及对大数据平台支持的各类海洋信息化应用、海量数据的分级管理、信息共享与业务协同,提供统一的信任管理与服务;

2)突破多类型、多通道的海洋信息获取与安全保护技术,实现岸、海、空、天、水下多种来源,卫星遥感、短波/超短波、3G移动通讯等多种通信手段的海洋信息获取与数据传输、存储的密码保护,构建可信、可控、安全、可扩展的海洋数据获取系统;

3)立足自主安全云平台研究,突破海洋大数据平台自身的体系化安全防护技术,包括安全虚拟机、安全移动智能终端、虚拟化网络防护、安全云存储、安全的云平台管理、大数据平台密钥管理、Hadoop平台安全增强、大数据服务安全增强等系列关键技术,构建自主、可控、安全、可信的海洋大数据处理平台;

4)突破海洋大数据平台的综合安全监管与运营技术,包括平台自身的安全事件监管、网络安全管控、大数据基础与处理平台的运行状态监管,并突破基于海量的海洋信息实施数据分析、挖掘,形成可视化的态势感知和监测预警信息等关键技术,以可扩展服务的方式为数字海洋系统面向各类海洋信息化业务的长期运营服务提供支持。

(3)加强海洋大数据安全管理,制定和完善相关标准或法规制度。需要使用科学的大数据安全管理方法,通过标准或法规加以规范,降低各种安全隐患的发生。包括:

1)规范海洋大数据平台及应用服务扩展建设要求,是海洋大数据平台建设、服务运营高效、有序推进;

2)完善海洋大数据资产管理,尤其是数据资源的访问与处理过程审计管理;

3)做好海洋大数据安全风险评估,尤其是针对不同海洋业务系统及相关信息的分密级管理与保护。

4 结束语

大数据时代的来临不以任何人的意志为转移,以大数据为代表的数据密集型科学必将成为新一次技术和产业变革的基石,海洋大数据平台建设与应用只是海洋信息化适应大数据时代来临的必然发展趋势。工业、农业、服务业等各领域的信息化都将面临大数据时代的机遇和挑战,随之而来的大数据安全问题是影响其深入应用与产业化发展的关键问题,我们需要明确需求、快速行动,分领域提出相关大数据平台的体系框架、突破关键技术,通过完善的安全保障为大数据时代各相关领域的产业发展保驾护航。

[1] 刘贤三.“数字海洋”原型系统设计与实现初步[J].微计算机信息, 2010, (9):9-11. LIU Xian-san,The Design and Implementation of“Digital Marine”Original System[J].Microcomputer Information 2010,(9):9-11.

[2] 李四海.我国数字海洋建设进展与展望[J].海洋开发与管理, 2010, (06):39-43. LI Si-hai, The Progress and Prospect of Chinese Digital Marine System[J].Ocean Development and Management, 2010,(06):39-43.

[3] Ahlswede R, Cai N, Li S Y R, et al.Network Information Flow[J].IEEE Trans.on Inform.Theory, 2000, 46(1):1204-1216.

[4] 崔文斌.大数据平台的搭建与测试[J].山东农业大学学报自然科学版, 2013, 44(4):550-555. CUI Wen-bin. The Construction and Testing of Big-Data Platform[J]. Journal of Shandong Agricultural University(Natural Science Edition),2013, 44(4): 550-555.

[5] 董贵山, 邓春梅.基于密码的云计算网络虚拟化安全解决方案研究[J].信息安全与通信保密, 2012, (11):47-51. DONG Gui-shan and DENG Chun-mei. Study on Virtualized Network Security in Cloud Computing based on Ciper Technology[J]. Information Security and Communications Privacy, 2012, (11):47-51.

[6] 葛勤革. 虚拟化:技术、应用与挑战[J].通信技术, 2011,(10):97-99. GE Qin-ge. Virtualization: Technology, Applications and Challenges[J]. Communications Technology, 2011,(10):97-99.

Digital Marine System and Its Security Requirements based on Big Data

DONG Gui-shan , WANG Zheng, LIU Zhen-jun

(No.30 Institute of CETC , Chengdu Sichuan 610041, China)

The development of digital marine system at home and abroad is reviewed, and then its limitation in terms of framework and service capabilities in the era of big data presented. Furthermore, capability goal of digital marine systems based on big data platform as well as six the general framework of six-layer system are proposed, involving layers of information retrieval, communication transmission, marine big data basic platform based on cloud-computing, marine big data processing platform, marine big data service and digital marine application. Finally, this paper analyzes the security risks of marine big data platform, proposes its developing requirements of security assurance and gives some references for marine security system planning and construction in the era of big data.

digital marine system; big data; cloud-computing; security assurance

10.3969/j.issn.1002-0802.2015.05.013

2015-01-20;

2015-03-26 Received date:2015-01-20;Revised date:2015-03-26

TP393.08

A

1002-0802(2015)05-0573-06

董贵山(1974-),男,博士,副总工程师,研究员,主要研究方向为网络安全、信息保密和云计算;

王 正(1974-),男,高级工程师,主要研究方向为通信加密;

刘振钧(1975-),男,高级工程师,主要研究方向为安全平台设计。

猜你喜欢
海洋数字信息
海洋的路
当代音乐(2018年4期)2018-05-14 06:47:13
答数字
爱的海洋
琴童(2017年7期)2017-07-31 18:33:48
订阅信息
中华手工(2017年2期)2017-06-06 23:00:31
第一章 向海洋出发
小学科学(2017年5期)2017-05-26 18:25:53
数字看G20
南风窗(2016年19期)2016-09-21 16:56:12
展会信息
中外会展(2014年4期)2014-11-27 07:46:46
成双成对
数字变变变
每秒碰撞八亿次