基于云计算的云数据管理技术

展鹏飞

（中国航天科技国际交流中心 北京市 100048）

云计算是在现阶段发展相对比较快的，对数据进行管理的一种技术，自从他诞生以来，人们就在逐渐的将网络资源和资源的储备，以各种服务的方式向客户提供，而这种转变使得人们对计算机的操控方式产生了本质的改变。因此，我们为了能够更好的顺应未来云计算技术的发展趋势，我们就必须对其进行深入的探讨与研究，我们只有这样做，才能够将数据的安全性得到保障，与此同时，通过对云数据的管理技术和云计算技术进行深入的研究，还能够极大的推动我国计算机网络的发展，有着非常强的现实意义。

1 云计算概念以及它的特点

近些年来，随着我国科技水平不断提升和市场经济的不断发展，我国对相关数据的管理水平也有着明显的提升。现阶段云计算最新技术，已经广泛应用到许多领域上，同时云计算的广泛应用，也使得我国的云数据管理工作有了本质上的提升，具有里程碑式的意义。改革开放以来，特别是进入20 世纪以来，我国的经济正在以飞快的速度发展着，我国的科学技术也在不断取得重大突破，从而极大地促进了我国互联网技术的普及与发展，与此同时，它还推动了我国各行各业的综合发展，极大得便利了人们的日常生活。在这一客观背景下，各行各业为了更好的适应市场，提高自身的竞争力，都在积极的引进先进的技术，总的来看，这在一定程度上促进了我国很多行业的发展，但他还导致了一些非常严重的问题，这些问题往往都不是明显的，是潜在的。所以我们在发展的同时，必须给予这些问题足够的重视，尽可能的避免危害产生。

我们这里所讲的云计算技术指的是那些在现阶段，对互联网数据处理效率较高的一种数据处理技术，它本身拥有着众多优势，而其中最明显的一个优势就是，效率更高，成本更低。我们通过日常生活中，相关的数据，就能够明显的看出，相比于那些传统的计算方式，云计算的成本更低。而这在很大程度上促进了那些新成立的互联网公司的发展，因为对这些新成立的公司而言，所需要投入的资金更少，风险也更低，与实体的对数据进行计算的计算技术相比，云计算技术，有着明显的不同，其中最代表性的就是云计算技术是通过计算机为载体通过网络对数据进行处理的一种技术，是一种虚拟的技术，他能够非常高效的，配置和整理，那些存在于计算机中的资源，他还能够在很大程度上将用户的成本降低，最重要的是他的工作效率非常高，并且稳定性也比较高。

与此同时，它还能够将与计算过程相关的内容合理的分配在计算机各个部分中，将那些比较复杂的问题简单化，这就极大的缓解了用户在使用计算机时的压力，利用云计算技术，用户在对相关数据进行计算时，有着较大的自由发挥度，云计算技术允许用户在计算时，将自己的想法融入到计算过程中，从而使得用户可以按照自己习惯的方式来进行操作和控制。随着互联网技术的不断发展，人们越来越重视云计算技术。在发展初期，云计算技术主要是应用在相关的搜索引擎上，这主要是由于以前的互联网技术不够发达，相关的公司，也没有非常雄厚的资金，这些公司为了更好的控制成本，就选择了那些成本相对比较低的计算机处理技术，进而云计算技术得到了产生并不断发展，在操作方面上，云计算对用户比较友好，他的操作难度比较低，用户在使用云计算技术进行计算时，并不需要非常专业的技术，同时，云计算在获取相关信息和数据方面的速度也比较快，用户在获取相关内容和信息时，能够将自己的要求融入其中，然后将信息与内容统一起来。

云计算技术有许多免费的操作，这些免费的操作能够在很大程度上满足用户的日常需要，但如果用户所需要的功能比较特殊，还可以进行单独的付费运行，用户们通过付费，可以获得更多更专业的服务，与此同时，用户还可以组建那些成本比较低的模块，建立起一个与云计算服务相关的平台，现阶段，国内的互联网公司很多都是为他们的用户提供相关的互联网服务的，而随着我国云计算技术不断的发展，它们的服务也将会不断得到创新与改善。云计算还有着许多其他的特点，例如较强的扩展性和管理性，除此之外，他还具有服务多样化，经济可靠性高的特点，如果我们想要建造一个服务水平较高的云计算服务平台，那么我们就必须投入大量的资金，但是在计算机比较密集的商业圈中，我们所需要投入的资金就比较少，云计算技术的多样性集中体现在，用户在使用云计算时，可以根据用户不同的需求提供不同的服务。而应用云计算技术的门槛也比较低，用户在使用云计算技术时，并不需要对云计算的相关原理进行深入的研究，它们也能够得到自己需要的相关服务，由于云计算技术主要是以计算机为载体来发挥自身作用的，因此计算机的性能在很大程度上影响着云计算技术，我们能够通过提高计算机的性能，从而提高它的服务水平，与此同时，在对相关数据进行处理时，我们还可以将多台计算机联合，进而提升处理数据的正确性。

2 云数据管理技术

随着现阶段科学技术水平，不断的进步，使得互联网技术愈加成熟，而这都在客观上促进了云计算技术的发展，但是云计算技术的发展并不是一帆风顺的，它在发展的过程中同时出现了一些问题，而这些问题对于发展云计算技术起着很大的阻碍作用。例如，在众多用户之间，将数据进行分隔的问题，数据的安全性，数据修复技术等等，这些问题非常不利于云计算技术的发展。所以为了云计算技术能够更好的发展，我们必须基于这些问题足够的重视与关注，把工作的重心放在，对云计算管理技术的研究方面上，不断完善云计算的各项服务和功能，对数据的集合问题进行有针对性的研究，以此来保证信息系统能够有效的将众多数据的集合进行处理.

与此同时，为了能够更好的对组织文件和数据的管理问题进行处理，我们可以在实际工作中利用那些先进的数据管理技术。例如，谷歌公司，为了能够更好的对数据进行储存，它们存在研究big table 技术，并且这项技术已经出具形态，云数据管理技术是即数据库管理系统和网络数据管理之后的一个正在飞速发展的技术，它主要从分布式特点和结构化入手，将数据进行转化，并以云数据管理系统，对其进行管理，这项技术有着许多优势，它的数据读取方式更符合人们的习惯，同时用户在获取数据时更加方便，并且数据的可靠性较高。然而我们需要注意的是，云计算管理系统本身别不能处理关系型的数据，因此我们为了能够使相关数据系统更加多样化，就需要相应的提高它的数据牵引功能和查询功能，并且，现阶段的云数据智能水平还不够高，为了能够更好的服务于我们的需求，我们就必须完善其智能形式，提高其智能水平，以此来满足人们日常的需求，为用户提供更多样化的服务。云数据管理技术主要有以下几种技术，以下将对其进行分析。

2.1 Gfs技术

Gfs 本身是属于那些分布式的大型文件系统，它可以储存大量的谷歌云计算，数据，与此同时它还合理的融合了big table，chubby 现阶段比较先进的技术，它可以有效的解决那些针对谷歌的运算问题，Gfs. 技术系统主要有主服务器，数据模块，服务器用户端，三个方面组成。用户端的作用在于它可以利用各种程序允许用户对数据进行访问，它以库文件为传递方式，相关程序可以利用库运算以及库文件进行连接，Gfs 的核心部分是主服务器，主服务器可以有效的储存众多的云数据，而数据模块服务器是一个具体化的管理模块。与前两者相比，它的数量比较多，在大多数情况下，它的数量收到系统规模的直接影响。在gfs 中，64 MB. 是它的默认容量，它在对文件进行分类时，往往采用模块化的方式，每个模块都是一个单独的数据快，并且在这些数据块中，有着不同的索引号，用户在用户端对Gfs 系统进行访问时，首先需要访问主服务器，然后降速巨快服务器获取相关的信息，最后再访问各个数据库服务器，从而实现对数据的提取和存入。Gfs 系统可以将控制流和数据流进行有效的分离，由于控制流仅仅在服务器和用户端之间存在，它还可以将主服务器的负载有效的降低，这就突破了系统性能固有的局限性，数据快服务器与用户端之间，仅需要对相关数据进行传输就可以了，最终这些文件以分布式的形式进行储存，而这一切就使得用户能够实时的访问多个数据块服务器，与此同时，它还可以实现系统进行高效的并行处理，促进整个系统性能的提升。

2.2 Map reduce技术

为了能够更有效快速的对志愿和信息进行运用，云计算可以利用Map reduce. 程序来编写相关模式，在这种模式下，它的操作主要有两种类型，一个是，Map. 一个是Reduce. Map. 还说能够有效的分解相关任务，让他可以在单独的节点上，处理相应的子任务，然后再对数据进行处理和调度之后，实现值/对集合，然 reduce 函数，所以实际需求为出发点，通过对Map. 还说进行合并和分类，处理后的集合，这样可以更方便的求出最终结果，Map reduce. 技术，从现实需求出发，能够非常有效的分解那些复杂大量的云数据，除此之外，每个节点还能够，以灵活的方式，有效的处理相关数据，从而使得云计算的数据储存和资源处理得到不断的优化和提升.

2.3 Big table.技术

在我国科技水平不断提升，经济不断发展的大背景下，我国相关的数据管理水平也在不断的提高，现阶段，由于云计算技术的出现以及广泛应用，使得我们在对数据的管理方面出现了很大的改变，极大提高了人们对数据管理的效率和准确性，促进了数据管理的高速发展，而正是由于其本身独特的优势，使得它普遍的在互联网得到应用。其中，BigTable 技术是基于GFS 技术和MapReduce技术的大规模分布式数据库，其实质是一个大规模的表格，容量高达1PB，将云数据视作对象来计算和管理。其实，Big-Table 是数据化管理的分布式存储系统，扩展性较好，比如目前许多谷歌应用程序都基于BigTable 技术，企业服务器高达PB 规模的存储容量等。Big Table 本质是有序的、多维的、分布式的Map 各单元格通过行关键字、列关键字来进行定位。

3 云数据管理整体构架分析

在当前时代不断，进一步与发展的大背景下，云计算的数据管理技术也在不断的更新和完善，现阶段云数据管理整体构架主要有四个层面构成，它包括数据分析，数据集成和管理，并行处理数据组织以及管理。这是四部分，相互配合，将云计算数据管理技术得到了充分的发挥，首先在在数据管理和组织层面，在组织方面主要是分布式的储存，这一数据储存方式可以有效的对分布式和大规模的数据库进行有效的查询与访问，它还能够直接的作用于普通的硬件设备中。除此之外，它的容错能力也比较好，他能够对数据进行真实快速和准确的存取。第二，在数据集成和管理层面，语音数据本身就有着巨大的容量，以及较高的结构差异性和不确定性，对数据进行管理时运用分布式的管理技术，能够非常有效得提高对数据的分析和计算能力，成为更好的满足用户的需求，更有效的解决用户的问题。第三，并行处理层面，在以云计算为核心的云数据管理模式中，用户能够使用并行程序编写模式。例如，map reduce 并行处理，能够有效的将操作任务进行分解，更有效的对资源并行处理和调度相关资源。第四，数据分析层面，云数据管理最后一个步骤就是，合理利用相关的数据分析技术，同时通过数据分析引擎来合理的调度和语义分析技术，以此来对相关信息资源实现深度的挖掘，帮助用户们在众多的信息和数据中，找出对他们有用的信息。

4 结束语

综上所述，云计算本身就有着许多优势，它可以更高效的处理相关数据，并且处理数据和对数据进行管理的成本比较低，对新建的互联网公司比较友好，它可以帮助企业在日常的活动中，提升工作效率，计算机网络在未来会不断的得到发展，相应得云计算技术也会得到发展。但是，在现阶段云计算的发展过程中，也存在着许多急需解决的问题，这些问题严重阻碍着云计算技术的发展，为此我们必须基于这些问题足够的关注与重视，不断的完善相关技术，努力创造和完善更多的数据处理方式，从多方面入手，真正得让云计算技术得到发展与完善。