分布式存储数据技术应用探讨

王为轩

（湖北科技学院计算机科学与技术学院 湖北 咸宁 437100）

0 引言

随着科技的发展，人们对数据的需求逐渐增大，传统的数据存储技术已无法满足人们的需求。分布式数据存储技术的应用范围越来越广泛，为人们提供了更加便利的数据存储方式。但是分布式存储数据技术的应用也存在一定弊端，尤其体现在传输成本方面，还有一些额外的费用，这可能导致因距离或分布限制而产生额外的数据传输成本。这些额外的费用可以看作是使用分布式数据库的障碍，而解决这一障碍的主要方法是在分布式数据库中使用适当的数据存储技术，这也是本文的重点[1-2]。

1 分布式存储数据技术的应用优势解析

随着物联网、云计算技术在如今社会的全面应用与发展，其处理数据体量也获得了显著提升，数据中心的规模冗余也势必成为一个较为显著的挑战问题。例如，针对地理位置的挑选来说，以往的几十年中，数据中心的选址历经了多个阶段。而除了三大运营商之外，在其他行业也无法找到面积较大的机房场所。同时目前，各个行业的大型企业自行建设上千平方米的机房也较为常见。而数据中心规模的持续扩张，代表着业务高度集中，业务高度集中也会进一步催发运作风险性的提升。伴随着数据中心的扩张，其整体的运作压力也在倍增，较大规模数据中心运营监管系统的日常维护经费也极为可观。

传统的数据中心在如今数据大爆炸的信息背景下已经不适应时代全面发展的需求。为了更好匹配全新技术的发展，全面应用好大数据资源，推动全新数据中心建设，为大数据应用给予重要的环境支持，全新数据中心需要将注意力进一步放在数据计算方面。在立足于大数据与云计算的全新大数据中心建设之中，如何有效解决此项矛盾是探究的关键点。因为设施容量相对有限，传统的集中式存储数据模式势必会逐步被更替，而分布式存储系统因为其具有优异的扩展性、高效性，无疑超越了传统的集中式存储技术，以实现数据存储的安全、稳定。

2 分布式数据库概述

分布式存储是一种数据存储技术，它利用企业网络中每台计算机的存储空间来创建这些分布式存储资源的虚拟档案，将数据存储在企业的不同位置。分布式数据库是分布式的，意味着数据存储在多个地点，由子数据库管理每个地点的本地数据，这使得它们比传统的集中式数据库更容易管理。分布式存储系统，即数据存储在多个独立的设备上，比传统的集中式数据库要开放得多。传统的网络存储系统使用中央服务器来存储所有的数据，这导致了系统性能的瓶颈、可靠性和安全性问题，并且不能满足大型存储应用的需要[3]。分布式网络存储系统采用可扩展的系统结构，使用多个存储服务器来分配存储负载，并使用搜索服务器来检索存储的信息，这不仅提高了系统访问的可靠性、可用性和性能，而且还有利于系统的扩展。

分布式数据库的主要功能有：首先，分布式数据库通常在物理上或逻辑上是独立的，所以用户在查询和访问分布式数据库时不需要指定相关的链接或关系拷贝位置。此外，该系统必须在查询成本、查询的传输和执行以及地点之间的数据访问方面进行优化。其次，分布式数据库是原子化的，因此用户在访问分布式数据库时，可以在不同的地方编辑数据，包括本地和远程。如果变更被拒绝，就不允许再进行变更。

2.1 分布式数据的存储方式

数据存储方式是指将分布在不同位置上的所有信息进行集中管理，并对其加以记录、保存和传输。分布式数据的存储方式主要包含以下几种形式：（1）根据网络拓扑结构将数据信息进行分类后，选择相应的节点以及相应的存储设备，对信息进行加密处理，最后再传输至分布式文件系统中。（2）利用改善存储机制中的结构，对数据进行保存。数据存储指的是通过使用分布式存储系统，建立一个完整的数据库，对信息进行处理后，将存储到数据中不同位置上的信息加以记录保存，使之成为分布式文件系统中重要组成部分，为用户提供了强大而完善、可靠以及高效的服务。该存储方式有着较强的灵活性，且存储数据的性能较高，能够满足用户对于信息处理速度和容量要求。（3）采用数据加密的形式对数据进行存储，但是若需要存储的数据量较大，不仅数据的安全性无法得到保证，且数据传输的过程也比较缓慢，数据的完整性也得不到保障。通常情况下，这种数据存储的方式只适合应用于少量数据的存储方面。

2.2 分布式数据库存储分类

数据存储方式主要有两种类型，一是数据存储类型，二是存储系统对数据进行储存的类型。从数据存储类型而言，为了提高数据在存储过程中的安全性，通常需要对修改数据本身后再进行数据的存储。通常情况下，大部分数据存储的方式都会利用数据加密技术，利用数据加密技术来保证存储的安全性，但是对于分布式存储数据的处理上，则需要利用分布式文件系统、图形加密技术以及服务器系统来对其进行有效的保护。数据存储加密技术的安全性中等，当有攻击者对加密算法进行破坏时，就会对数据的完整性以及安全性造成破坏，或者是对数据信息进行篡改，造成数据丢失或者导致系统瘫痪。但是这种方式在传统的数据加密技术的加密算法能力进一步加强，其对保存数据的保密方法也有了变化，并没有对所要保存的数据进行保密，而只是对存放服务器的ID信息、IP地址以及数据存放路径信息等进行了保密，而且加密的时间、保存的时间也大大减少，因此对数据的保存性能也大大提高了，被越来越多的使用者所认可。从存储系统对数据进行储存的类型来看，其可以进一步加强数据存储的质量，主要以网络存储数据为基础，利用图论点着色法，根据数据的访问时间以及安全性，对所存储的数据进行加密，从而达到保护用户信息安全、提高网络传输速度和可靠性的目的。除此，在存储系统中，此存储类型通常分为存储代理、数据存储以及第三方审核几个部分，从而形成一种层次结构，对数据的安全进行有效保障。

3 分布式数据的体系结构

随着信息技术的发展，出现了3种形式的分布式数据库架构：客户-服务器架构、共享服务器架构和中间件架构。

（1）客户-服务器体系结构。这种类型的架构由一个或多个客户进程和一个或多个服务器进程组成，可以从任何使用中的服务器调用。客户端进程的主要任务是与用户互动，而服务器进程的主要任务是管理数据和处理客户端进程。根据操作模式的不同，用户进程可以在单个计算机上运行，但有些应用程序必须在大型服务器上运行。

（2）协同服务器体系结构。客户端-服务器架构不允许向多个服务器单独请求数据，这使得客户很难请求和访问数据，在某些情况下甚至无法将客户和服务器分开。这导致了协作服务器架构的发展，它可以用服务器到服务器的协作来取代客户端-服务器的协作，以促进本地事务处理[4]。

（3）中间件体系结构。这种类型的架构支持多个服务器之间的查询和数据访问，并且不需要数据库服务器。这种类型的架构已被证明是数据处理的重要工具，但却难以整合和扩展。

4 分布式存储关键技术

4.1 系统弹性扩展技术

在如今大数据时代背景之下，数据的规模在进一步扩大，数据也变得更为复杂多样，这也就意味着在分布式数据存储的过程中，对系统的弹性提出了更高的要求。而系统弹性扩展技术是分布式存储关键技术中的重要组成部分，该技术能够有效提高存储系统的扩展性，能够有效解决分布式存储数据过程中可能面对的原数据分布和透明的数据迁移的情况。系统必须能够根据数据量和工作负荷来估计所需的节点数量，并在节点之间动态迁移数据。系统应能在节点之间动态地传输数据，以实现同步的负载平衡。在节点发生故障的情况下，应能使用复制等机制来恢复数据，而不影响更高级别的应用[5]。

4.2 存储层级内的优化技术

数据存储系统应从成本和容量的角度来考虑，所以数据存储系统通常使用不同级别的存储设备，具有不同的成本，形成一个数据存储层次。有大量的数据，通过利用存储层次内的优化技术，构建不同的存储层次，只有这些存储层次具有有效性和合理性，并能够在大量的数据中将这些数据有层次有效地进行分层次管理，可以确保在容量足够的情况下，减少了相关设备的功能消耗，并且能够降低相关的构建系统的成本。存储层次结构还可以通过热点数据和冷数据处理的方法进行结构的优化，能够有效地进行存储层级内优化技术的应用。在节约成本方面，一种信息生命周期管理方法，即将数据以低延迟传输到低成本、高速的存储设备上，可以大大降低系统生产成本和功耗，而不会明显降低整体系统性能。

4.3 针对应用和负载的存储优化技术

在这个阶段，在链接提取过程中，最频繁使用的数据被储存在本地，最频繁使用的链接数据被复制并储存在每个领域。在分布式数据库中使用数据存储技术，主要可以从两个方面来解决。

（1）划分存储。共享存储是指将一个数据链路分割成较小的链路或部分，可以在每个地方存储，以代替原始链路。一般来说，有两种类型的分割关系：水平分割，即原始关系被分成若干部分，各部分不重叠，而且各部分的集合正好等于原始关系的子集之和；垂直分割，即每个部分是原始关系的无损分解，每个部分都有自己的唯一标识符。当然，如果原始关系有一个额外的身份属性，它可以被添加到垂直分区中，但是必须注意确保分区是无损的。一般来说，关系可以在几个层次上被拆分，即原始关系的部分可以进一步拆分，但重要的是，原始关系可以使用被拆分的部分重新创建。

（2）复制存储。复制存储是指对已保存的链接或部分已保存的链接的存储，其中已保存的链接可以复制成多个版本的已保存的链接，并存储在不同的位置，链接的部分也可以被存储。例如，一个原始链接可以分成5个部分——A1、A2、A3、A4和A5，只有A1、A2和A3的两个副本可以被存储，而A4和A5的所有副本都可以存储。目前，主要有两种复制存储的方法：同步复制存储和异步复制存储。这两种复制存储方法的区别在于，复制和更新之间必须有持续的关系。复制群主也存在着其自身独有的优势，首先复制群主是以备份的数据存储形式所使用的，相当于一份数据存储了两份位置及具有较高的可用性，当某一份数据无法使用时便可以使用备份数据，通过拷贝和传输等方式可以得到另一份数据，这样有效防止了数据丢失所导致的无法找回数据的情况的发生。此外，复制群主还可以将复制的数据与原始数据之间放置于不同的位置，可以通过副本取代等远程方式的访问形式，提高数据检索的使用效率和速度，有效降低了相关成本费用的支出，复制群主具有一定的经济效益。

5 大数据分布式存储技术背景及现状研究

5.1 大数据产业发展和应用现状调查

企业计算的逐步发展和互联网的社会化以及云计算、物联网和移动互联网等衍生解决方案的广泛采用，导致了世界上数据量的增加和类型的转变。

5.2 企业级大数据的处理要求

随着信息技术的发展，互联网公司的增长，用户数量和存储空间的增加，数据量正在以惊人的速度增长。然而，存储容量往往与整体存储性能成反比。本文解决了传统数据库在管理大型数据集时存在的并发性低、可扩展性差和效率低的问题。本文着重于解决企业中不断增加的数据量所引起的访问性能问题，并为企业级存储技术提供高并发、高可用性和高可扩展性的支持。

5.3 云计算下的分布式文件系统的应用

云计算是分布式和并行计算网络的持续发展以及这些科学概念在实践中的工业应用。数字和互联网技术的发展导致了数据量的指数级增长，造成了计算能力的相对短缺。为了满足对计算能力的需求，需要更多的投资来建立具有更多计算能力的系统。

6 大数据分布式存储技术的设计对策与建议

6.1 改变企业的数据分析和存储模块的底层数据库

该措施可以解决与数据分析有关的问题，以提高存储系统的低竞争力以及企业应用中“大数据”的可扩展性、低存储和可读性。企业数据中心仍然主要使用集中式存储设备，以FC-SAN为代表。缺点：同时读写大量数据的速度低，介质容量有限，可扩展性低，制造、操作和维护成本高，对分布式系统有限制。

6.2 对海量数据的有效存储和深度分析

高效存储和深度分析大数据，提高商业价值和竞争力。NoSQL是关系型数据库的统称。在新时代背景下，传统数据库面临着使用新的数据存储方式的挑战，尽量减少数据交互，减少代码编写和调试，实现高效存储和有效访问大型数据集，同时开源和免费，降低业务成本。

NoSQL的主要特点：不需要预定义的模式，没有通用的架构，灵活性和可扩展性，分区，异步复制，BASE。

主要优点：高效的数据库配置，数据库的可扩展性，低数据库配置成本，灵活的数据模型。

6.3 企业级大数据的集中式存储模式设计

大数据的集中式存储模式已经被提出，并正在演变成云服务的分布式存储模式。分布式文件系统集中管理物理分布式存储设备上的文件逻辑，从而改善数据共享、灾难恢复管理、访问性能等。以往分布式存储必须由多个专家来管理，导致额外的停机时间和人员成本，使用云存储和通用资源管理界面的公司将有更多的标准化管理。随着越来越多的公司拥有更多的公共和共享资源，一个开放的云存储系统将是满足这些需求的好方法，在公司网络上使用云存储时，可以暂时绕过互联网。云存储的高级安全和信任控制可以深入到云存储的核心，检查底层云存储技术[6]。

7 结语

综上所述，随着科技的发展，分布式数据库正在逐步取代集中式数据库。这种数据库的转变使得用户在使用和访问相关的数据过程中变得更加容易，但是伴随着分布式数据库的建立，同时也需要应用到分布式存储数据技术，该技术的应用，在未来必然被应用于更多的领域，但是分布式存储数据也会面临额外的成本。本文通过对分布式存储技术的应用情况进行分析，希望能够提高用户访问数据的速度，并减少因数据本地化而产生的额外数据消耗的成本，以供参考。根据上文的分析，分布式存储数据技术的应用范围在逐步扩大，虽然其自身有一定的局限性，但是随着技术的完善，其发展空间潜力巨大。