多云时代 数据如何高效管理

2020-06-08 15:40耿航
软件和集成电路 2020年5期
关键词:多云上云数据管理

耿航

微盟事件是因为数据被程序员删除,导致平台瘫痪。经过腾讯云的连夜抢救,微盟官方宣布数据全部找回,并发布了赔付计划。经此,我们牢记了数据的重要性和数据备份的重要性。微盟官方发布的赔付计划中有这样一条信息—数据安全保障计划,其中提到了三点:首先是权限安全,第二是多云异地备份,第三是全面上云。

我们主要关注后面两点:多云异地备份和全面上云。数字化转型时代热词包括上云、混合云、工业互联网、两化融合、边缘计算、智能制造等。数据是联通和实现这一切的基础,重要性不言而喻。未来需求场景将以数据智能、技术产业场景协同为主。本文重点探讨数据智能,IDC和Gartner的报告中均提到,在2022年,有一半以上的企业数据将在数据中心或云外被创建和处理,并且以远程方式被管理。

在数字化转型过程中会遇到很多问题,比如在上云、混合云、边缘计算等场景中涉及的数据迁移、复制、同步等问题,这时候就需要一个统一的多云数据管理平台,来统一管理本地与云端的数据,让数据流动起来,充分发挥数据的最大价值,从而完成数据的备份、融合、分析等。笔者依据个人理解整理了一些多云数据管理的优势及场景。

1.多云数据管理解决的问题:数据孤岛,数据融合、数据分析,数据灾备(备份、迁移、复制)。

2.多云数据管理的优势:自由选择最佳云提供商;数据移动性无需担心云/存储提供商锁定;通过多个云架构分布的数据集增强数据可用性和持久性;减少成本,简化管理;让数据流动起来,充分发挥数据的最大价值。

3.多云数据管理的场景:异构存储管理,数据备份到云,长期数据归档到云,数据灾备到云,边缘计算,大数据分析,AI模型训练,异地分支机构数据统一管理。

广义和狭义多云数据管理平台

经过调研,笔者认为,多云数据管理平台分为广义与狭义两类。狭义多云数据管理平台主要包含多云对象存储管理及北向应用接口层,而广义多云数据管理平台不仅包含狭义的多云数据管理部分,还应当包括本地异构存储管理、数据备份、迁移、运维管理(监控、安全、编排自动化等),以及北向应用接口层等。无论广义还是狭义,笔者认为存在即合理,选择哪种还要看具体场景需求。比如在边缘计算中,狭义多云数据管理平台就能满足其需求,而在数字化转型中,可能广义多云数据管理平台更为合适。

多云数据管理与云&存储的关系—相辅相成 未来趋势

随着云计算发展,越来越多的企业开始采用多云IT架构。RightScale 2019 State of the Cloud Report(RightScale 2019年云状态报告)调查报告显示,在1000余家受访企业中有84%的企业采用了多云战略。而在多云应用中,企业又面临着云上云下数据统一管理、数据自由流动,以及跨云应用联动等问题。所以,多云数据管理为存储发展指明了方向。在多云时代,数据不仅仅是存,还要本地与云端交互,让数据流动起来,发挥最大价值。

举个例子,在大量数据需要上云,同时部分数据需要本地存储的场景中,边缘计算更为有效。因为边缘计算在进行云端传输时会通过边缘节点先进行一部分简单数据处理,当面对大量数据时,可以采用一定的压缩算法,提取到有用信息之后再进行传输,能够节省数据带宽的消耗。这时候我们就需要一个本地的数据中转站来临时存放数据,以便闲时回传到云端进行数据融合,确保数据得以长期保存。例如,医院或者安防行业数据都有严格的保存时间限制,比如保存90天或3年以上,这时候为了节省成本,同时符合行业发展趋势,完全可以把长期保存的数据放到云端进行数据的长期保存,以及利用和挖掘分析。

看产业发展—布局未来开源技术储备

开源软件是如何适应产业发展的呢?下面简单介绍一下Linux基金会顶级开源项目—SODA到底是做什么的。SODA主要解决的问题是异构存储统一管理智能化运维,屏蔽底层存储统一接口,对接北向应用。其次是数据生命周期管理,所谓数据生命周期管理是指从数据的产生到数据的跨云流动及挖掘利用等。

笔者从开源技术实践者的视角回顾云计算的发展历程,也大胆做出了未来云计算发展的预测,其中描绘了以5G加持的边缘计算将会得到快速发展的场景,也讲述了未来数据智能发展的趋势,意在为开源云从业者道明开源与产业的发展方向及技术儲备布局。

猜你喜欢
多云上云数据管理
《大数据管理》课程思政教学质量评价体系研究
湖南中小企业“上云”约26.98万家 “上平台”7172家
向日葵·成长·礼物
浙江企业上云势头喜人累计上云企业达37.78万家
如何有效开展DCMM数据管理成熟度评估
按需合理选择云服务 稳妥有序实施上云
企业上云 精彩在“浙”
数据挖掘在学生成绩数据管理中的应用研究
数据挖掘在学生成绩数据管理中的应用研究
何氏“十全大补粥”