马秀秀
(大庆油田信息技术公司网络运行维护分公司,黑龙江 大庆 163000)
关键字:大数据;云存储;数据安全
伴随大数据时代的到来,云计算、云数据等技术飞速发展,区块链技术的出现更是彻底改变了人们的工作生活,大数据技术应用发展的不断深入,对数据中心有了更高的要求,不仅需要数据中心具备足够规模的数据吞吐能力,也有要求数据中心的存储基础架构安全型符合使用需求。
大数据时代下,数据规模逐步庞大,人们使用各类基于大数据技术的各项应用,对自身在生活工作中产生的诸多信息进行实时的存储,如文字信息、语音信息、照片、视频、消费记录、搜索记录等等,传统硬盘等数据存储手段已经不断满足现代人的需求,云数据技术的出现彻底打破了数据存储的时间、空间、地域、规模限制。让人们可以随时随地进行数据的交互,但数据安全威胁也逐步加大,如何加强云数据技术的安全性能以及成为云数据技术发展必须面对的问题。
云存储是伴随互联网技术以及大数据技术的不断发展背景下的全新产物,是基于数据分布式处理、并行处理的全系技术。依托数据网络以及相应的计算机处理程序,通过自动拆分并由多个服务器进行计算后传回用户,可以极高的数据吞吐效率,网络服务提供者可以在数秒甚至更短时间处理超过亿次的信息。
云存储的概念类似与云计算技术,依托分布式任务处理系统,对互联上存在的数据存储单位以及服务进行整合应用,并使用相关的软件实现多个服务器的协同工作。目前,云存储主要分为公共云存储、内部云存储、混合云存储。
亚马逊公司以及nutanix公司是最早应用并提供公共云存储技术的企业之一。亚马逊公司通过云存储技术与全世界各地的经销商建立稳定高效的数据共享、传递平台,供应商则可以对每个客户建立独立、私有的存储服务。其中dropbox为代表的个人云存储时公共云存储技术的先驱者,率先面向市场推出了自身的云数据存储产品。我国虽然在云数据存储发展相对较晚,但近年来发展十分迅速,涌现出如百度网盘、乐视网盘、金山快盘、坚果云、微云等一系列优秀的公共云存储软件。
内部云存储与公共云存储相反,时面向企业或团体内部提供的云数据共享技术,代表产品有安全办公私有云、联想网盘等。
该类型的云存储技术时是目前最先进的云存储技术,依托公共云平台,通过分权限帐号实现公共云和私有云的融合,企业可以根据实际需求,通过不同权限分级的帐号在公共云上划分一部分容量做为私有云,实现不同群体的不同数据使用权限。
(1)存储层。存储层时云数据存储技术的基础部分,也是核心部分,存储层主要由各类存储介质以及光纤通道组成。组成设备一般为nas、iscsi等ip存储设备,近年来也有部分云数据企业使用scsi、sas、das等存储介质构建自身的存储层。受云存储技术原理决定,存储层的硬件设备多数分布在不同的区域,通过互联网络以及光纤网络连接,构建云存储的存储层网络。(2)基础管理。基础管理是云存储系统的枢纽部分,也是技术最为集中的部分,许多技术难点和障碍都集中在基础管理上。基础管理通过分布式文件系统和网络计算技术,对存储层设备进行统一的调度和管理,让存储层中所有的存储介质进行协同工作,实现云数据存储系统的各项功能。(3)应用接口。应用接口层让云存储系统可以实现不同的功能,用户可以根据自身的使用需求,使用不同应用层结构,来实现不同的服务获取,应用接层是云数据系统最为多元化的组成部分。(4)访问层。在云数据系统中,任何一个授权用户,都可以使用访问层中的公共接口来揽入云存储系统中,实现云数据的服务获取,不同的运营单位可以使用不同的接口,实现差异化的访问类型以及访问手段。
(1)存储虚拟化技术。储存虚拟化技术是通过相应的分布式文件技术以及互联网技术,将内存设备与外部存储相结合,从而虚拟出一个巨额容量额存储设备,是一种网络化额存储设备。我国在虚拟化存储技术的研究上起步较晚,但近年来进展飞速,在虚拟存储的数据访问性能、数据管理性能、扩展储存性能上具有较大的突破。(2)重复数据删除技术。伴随数据规模的不断增加,云存储中会产生大量的重复数据,导致云系统压力骤增,也占用了大量的云数据系统的吞吐力,重复数据删除技术可以有效降低重复数据对系统的影响,有效减少系统中私用的存储容量,提高系统最大数据规模的承载能力。重复数据删除技术是一种高新的数据处理技术,可以高效率对庞大数据资源进行筛查,精准定位重复数据。(3)分布式存储技术。分布式存储技术是实现不同区域网络存储设备整合应用的高端技术,通过该技术将不同服务商存储空间虚拟化,并整合应用。分布式存储技术主要包括分布式文件系统、网络存储技术等。通过该技术让云系统内所有的虚拟存储单位进行协同工作。(4)数据备份技术。在大数据时代,网络数据的价值不断提高,为了确保数据的使用安全,就必须对重要数据进行备份,降低意外发生时可能产生的数据风险。一直以来数据安全都是业内的热点课题,数据备份技术是将需要保护的数据本身或关键部分在某一时间以特定格式保存下来的技术,以备在原数据信息遭到恶意的破坏、删除或意外损坏时进行数据恢复。因此数据备份技术既是一种数据复制技术也是一种数据恢复的技术。(5)内容分发网络技术。该技术是一种新型的网络构建模式,通过该技术可以对现有网络环境进行必要的改造,从而优化网络数据的传输速度以及稳定性,技术的核心是对网点分布和用户访问时间差异进行合理的调配,实现更高的网络利用效率。(6)存储加密技术。存储加密技术是对数据进行加密,进一步提高数据的安全性,也更好的实现了数据信息的分级,通过对系统数据加密让只有获得授权的用户才可以访问相应的加密卷以及相关的文件目录。
伴随云存储技术的不断流行,云存储产品数量不断增多,市场竞争力不断增加,许多云存储的服务商为了提高产品的市场占有能力,纷纷不断降低价格,提高服务宽度、服务容量,占用了大量的经营和研发成本,导致数据安全方面的投入较少,系统安全性普遍不足。对于多数用户而言,数据安全性需求要大于其他服务需求。
目前我国多数云存储平台,加强了安全系统的构建,并取得了一定的成果,云数据系统的整体安全性得到了有效的提高,但在数据保密方面,仍存在许多弊端。如亚马逊公司的云服务平台,存储服务和数据库服务没有提供分级的数据加密技术导致数据存在泄漏的风险。华为网盘提供了面向文件的数据存储服务,并有着强大的数据同步和数据共享功能,但是不支持数据的加密。
多副本是为了减少数据系统因自身原因导致发生数据丢失时降低数据的安全风险,该技术通过物理资源对数据进行备份,并依托最新的云技术实现系统内部的多副本管理,在系统的实际运行过程中,一旦发生数据损坏,系统内部多个存储副本会进行相互的数据恢复,降低数据丢失的风险。
为了避免敏感数据被恶意用户轻易拿到,除了对数据的存取和访问做到严格的限制以外,还需要对其进行加密,加密提供了资源保护功能,同时密钥管理则提供了对受保护资源的访问控制,所以加密及密钥管理是保护数据的核心机制。