基于云计算时代下数据管理技术的研究

柳秀清

（西宁市教育科学研究院，青海西宁 810000）

云计算是一项在科技时代的影响下形成的新技术，它能够储存海量的数据，为用户提供按需分配的计算能力，改变用户使用计算机的方式。云计算的核心是为用户提供海量的数据储存和高效率的计算，使用户能够方便的管理数据和资源，合理进行资源分配。云计算需要许多其他技术的配合，云计算的海量分布式储存能够为用户提供长期保存数据服务，其数据管理和并行计算的能力都是为用户提供了巨大的方便，加快了经济的发展。

1 云计算产生的背景

在20世纪60年代的时候，麦卡锡就提出“将计算能力作为一种像水和电一样的公用事业提供给用户”的理念，被人们认为是云计算的思想起源。网格计算、公用计算、虚拟化技术、SOA、SaaS应用为云计算提供了有力支持，云计算这种新兴的资源使用和交付模式渐渐被人们所熟知。云计算的出现为信息时代的各行业发展创造了广阔的前景。云计算颠覆以往的行业模式，被看作第三次IT浪潮，为中国的战略性新兴产业注入了新的活力，加快了现代社会发展的脚步。在未来，云计算必将使人们的生产和生活方式发生巨大的改变，成为全社会关注的焦点[1]。

2 数据管理技术的发展

数据管理技术具体指对数据进行收集、组织、存储、加工和利用等一系列活动过程的总和，数据管理技术主要的发展阶段有以下几个。

2.1 人工管理阶段

在计算机尚未问世之前，人们利用纸张记录、利用计算工具进行计算，通过这些常用的手段对数据进行记录、存储和分析，大部分的数据管理都是依靠人工而得到的。20世纪50年代中期，科学计算可以开始依靠计算机，但是直接存取设备并没有研究出来，只能依靠纸带、卡片、磁带等将数据进行存储，当时的计算机没有操作系统，各种软件更是没有，只能以批量处理的方式对数据进行简单处理。

2.2 文件系统阶段

计算机系统在20世纪60年代左右才开始出现，软件和硬件随之迅速发展起来，磁盘、磁鼓等可以进行直接存取的设备被广泛使用，这一时期主要是将计算机中的数据进行组织，组成独立的被命名的文件，通过文件名对数据进行访问，存取文件中的记录。文件系统中的数据能够在计算机上长期保存，并且可以反复处理，方便了人们对数据进行查询、修改与删除等操作。遗憾的是，文件系统在记录内做到了结构化，但文件在整体上看并没有结构，整个系统缺少灵活性，其内部储存的数据只能与特定的程序相对应，数据无法做到独立，不能与其他用户共享，同时冗余度大，十分不利于管理和维护。

2.3 数据库系统阶段

计算机的性能从20世纪60年代后期开始，有了巨大的提升，大容量磁盘开始出现病得到了广泛应用，存储容量有了很大的提高，并且价格降低，为数据库的出现提供了条件。数据库满足了实际应用中多用户、多程序共享数据的需要，使有限的数据能够在更多的程序上发挥价值，数据的利用率大大提高，解决了文件系统管理数据的短板。数据库的特点是，数据不再仅仅只针对特定的一个应用，可以面向全组织，在整体上具有结构性，能够共享，进行统一的控制，冗余度减少，在一定程度上应用程序和数据可以存在独立性[2]。

3 云计算背景下的数据管理技术

云计算能够对海量的数据进行分析，数据管理技术能够对大量的数据进行管理。目前云计算的数据管理技术主要有亚马逊的 Dynamo，Google的 GFS、Big Table、Map Reduce。

3.1 Dynamo技术

Dynamo存储系统的适应度非常高，这项技术只支持底层技术，不能在外网体现，并且融合了数据库和DHT的特点，便于存储，保护数据的安全。Dynamo技术能够均匀的将数据存储于环内，且每个节点互通，可以在环内自由转发数据，具有很高的灵活性，同时节点相互之间进行故障探测，有很强大自我管理能力，故障率非常低。Dynamo技术最主要的优点是，能够提供三个参数，分别是副本的个数、数据读取后的成功性和一致性、成功记录的个数，它能够记录不同版本的数据，并加以分析、处理，对数据进行有效的整合利用。

3.2 GFS技术

客户端、主服务器、数据块服务器是GFS的三个技术节点，客户端专门用于客户访问程序，直接运用库存数据，不需要特定的文件系统规范，用户访问程序时库函数可以直接向程序提供数据，并将GFS和库直接相连；主服务器是GFS技术系统控制着整个系统的运行，同时将数据保存，是系统中唯一的管理节点；数据块服务器可以有很多个，其数量直接体现GFS系统的存储能力，文件被分成数据块，每个的大小为64 MB，有对应的编码。

3.3 Big Table技术

Big Table技术将所有数据看作一个整体，对其进行分析，自动生成一个巨大的表格，它能够对海量的数据进行存储和分析，很多产业都用它对数据模型比较大的应用进行设计。Big Table是由时间节点和行列关键字组成，数据在单元格中形成字符串，将所需保存的页面内容存储下来，如果文档内部有一列标题和文本，可以将对应文档进行快速定位，还可以在文档内生成超链接，随意修改文档内容，便于工作。

3.4 Map Reduce技术

Map Reduce技术的特点是能够将云端的数据高效利用，在Map Reduce中，所有操作都被抽象为两种操作，map和reduce。通过map函，可以对任务进行分解，从而使其适合在单个节点上进行计算，最终处理的结果形成一个“值/对”集。reduce函数运用预先制定的规则，将map运算得到的“值/对”集进行归并，最终得到结果。Map Reduce技术的最大优点在于可以按照需要对海量异构数据进行处理，允许多个节点灵活调度，实现了计算和存储资源的最优化管理[3]。

4 云数据管理技术分析

4.1 组织管理

云数据管理技术运用了分布式系统，GFS技术在组织管理中最为常用，可以在普通硬件中有效完成组织管理，在云计算技术中，GFS技术可以提供容错功能，提高了高效性和可靠度，从而使数据并行问题变得更加简单。GFS技术可以形成大型的存储模块，将云计算的海量数据有组织的存储起来，便于云数据管理技术的操作，同时为用户访问提供专业的接口，与云数据相连接。

4.2 集合管理

云计算中，云数据的集合管理至关重要。云计算的数据具有动态化、海量性的特点，在分布式数据分析的过程中需要注意数据的集合管理。Big Table技术能够直接对海量数据进行处理，提高云数据的集合管理质量。集合管理保证数据以集合的方式运行，有效提高了云计算的水平。

4.3 分布处理

分布处理能够发现数据的可应用价值，为云计算提供了数据挖掘的有效途经。在云数据管理中，利用分布处理技术可以实现数据信息的自动分解，通过映射、化简处理，利用节点位置将数据有效存储起来，将云数据合理分配。用户可以自由使用数据，提高数据处理水平[4]。

4.4 数据处理

云数据管理的数据处理，是根据云计算的目标挖掘相关数据信息，为用户提供有用的数据，之后由用户选取数据内容。在数据处理的过程中，采用多种方式，从而能够挖掘到更多的有用数据，云数据管理需要做到理解数据、满足云计算的应用需求，数据处理及时准确。

5 基于云计算时代下数据管理技术展望

云计算的出现让人们眼前一亮，基于云计算的数据管理技术定会为科研的进步、经济的发展、社会的管理提供巨大的便利。学校的教学信息比较杂乱、碎片化，同时又存在连续性，具有多维度，在数据管理过程中费时费力，错误率也比较高。而云数据管理技术能够有效地解决这样的问题，教学任务、授课内容、学生信息等所有的教学信息都可以存储在云端，利用云计算的数据管理系统，对数据进行综合分析，针对具体问题迅速地给出数据。

为迎合大数据时代的社会发展形势，学校进行数据管理需要构建“大数据”管理思维，摆脱传统学校数据管理对于纸质文档管理形式的依赖，完善相关资料的数据管理路径，完善学校各级管理单位的数据管理体制，将数据管理纳入学校行政管理范畴内，构建多层次的数据管理体系，建立与数据管理相适应的管理平台，云计算会将学校的数据管理环境大幅放开，重视数据网络安全问题，也是学校数据管理工作重点，通过云计算提升学校数据管理工作效率。

6 结语

基于云计算的数据管理技术能够对海量的不确定性数据进行存储、分析和处理，有着非常鲜明的特点，大大提高了计算机技术的发展空间。因此，提高人们对云计算下数据管理技术的认识，将云数据管理技术广泛应用起来，有利于社会经济的飞速发展。