数据库大数据分布式存储技术研究

洪成斌

（铜陵职业技术学院 安徽 铜陵 244061）

0.引言

数据库是存储数据的主要载体，也是管理数据的主要工具。 在大数据时代，数据量快速增长，传统数据库和集中式存储技术已经不能适应现代信息数据处理的需要，数据处理效率较低，数据处理速度较慢，大数据分布式存储技术应运而生，解决了大数据处理中的种种问题，满足了大数据处理的特殊需求。由于分布式存储技术的多种优点，使得其受到众多企业的欢迎， 已经成为了主要的大数据存储技术，推动了大数据技术的发展。

1.分布式存储技术简述

1.1 分布式存储技术概念

分布式存储技术是一种新型的数据处理技术，主要是将数据分布存储，同时在分布存储的数据之间构建联系，从而构建一个虚拟的存储设备。 这种技术将数据分布存储到网络之中，并将网络中分散的数据连为一个整体，有效的节约了存储空间。 分布式存储技术最早应用于气候研究和物理研究，由于研究人员的地理位置分布的不同，所以数据存储也呈现出分布式特征。 随着互联网技术的发展，分布式存储技术的应用范围也越来越广，提升了网络存储资源的利用率，满足了人们存储数据的需求，同时为人们提供了数据共享通道，方便了人们之间的数据交换。

1.2 分布式存储技术与集中式存储技术的区别

分布式存储技术是相对于集中式存储技术来说的数据存储技术，两者主要有三个不同之处：第一个不同之处是数据存储量。 集中式存储技术将信息数据存储在一个数据库中，数据存储量相当有限，只能存储T 级别以下的数据，不能满足高级别数据存储的需求。 分布式存储技术将数据存储在零散的网络空间中，可以存储海量数据，能够满足多种级别的数据存储需求。 第二个不同之处是防御性。 集中式存储技术的防御性低，这是因为信息数据全部集中存储在服务器中，而服务器一旦遭受黑客攻击或是感染网络病毒， 全部的数据就会丢失、损坏。分布式存储技术的防御性高，这是因为数据分布存储在网络之中，部分数据受损不会影响其他数据的使用，有效保证了信息安全。 第三个是并发性能。 集中式存储技术的并发性能低，不能同时读写信息数据，在查询大量数据时速度非常慢。分布式存储技术的并发性能好，能够同时对海量数据进行读写操作。

1.3 分布式存储系统

分布式存储系统是应用分布式存储技术的数据存储系统，主要是将数据存储在多台设备当中，而且多台设备互相并不干扰，每台设备都能独立工作。 相对于传统的存储系统来说，分布式存储系统的可靠性更高，安全性更好，扩展性更强，能够满足大数据时代人们存储管理数据的需求。 分布式存储系统当中主要应用了两种技术:第一种技术是弹性扩展技术。可扩展性是存储系统的首要特性。在大数据时代，一个存储系统的性能主要取决于系统的可扩展性。分布式存储系统的可扩展性非常好，这主要得益于弹性扩展技术。 第二种技术是元数据管理技术。元数据即描述数据的数据，随着信息数据量的不断增长，元数据量也在不断增加。 元数据管理是存储系统首先要完成的工作，因此存储系统必须要有良好的元数据管理能力。分布式存储系统具有一流的元数据管理能力，并且不需要专门的元数据服务器，减轻了企业的成本开支。

2.数据库大数据分布式存储技术

2.1 低成本分布式存储技术

在大数据时代，信息数据飞速增长，致使存储成本不断提高。低成本分布式存储技术的出现解决了存储成本过高的问题，有效的节约了存储成本。 在多种低成本分布式存储技术中，节约效果最好的当属基于对象的分布式存储技术， 这种存储技术主要通过使用Web 协议实现数据传输通道与数据控制通道的分离，提升了数据传输的效率。 基于对象的分布式存储系统为用户提供两个ID，一个为存储对象ID，一个为存储空间ID，两个ID 互相对应，实现了数据的定向存储，同时系统的存储空间处于平级，互不干扰，不会发生连带故障现象，有效防止了数据的丢失。 除此之外，基于对象的分布式存储系统还压缩了硬件存储成本，主要通过网络来实现数据的存储和管理，可靠性非常高，能够保障用户的信息安全。 最为经典的低成本分布式存储系统为Swift，这个系统主要有两部分组成，一部分是数据访问，一部分是数据管理，能够多节点查询信息，节省了查询时间。

2.2 极限数据分布式存储技术

在大数据时代，极限数据出现的次数越来越频繁，需要数据库存储系统有非常良好的极限数据处理能力。极限数据分布式存储技术满足了极限数据处理需求，能够同时处理多样的、大量的数据，主要应用于各类购物网站和购票网站的存储系统之中。在现有的极限数据分布式存储系统中，最为主要的有三种：Hadoop、NoSQL、NewSQL，这三种处理系统的核心原理是一致的， 都是通过零散的存储空间来存储数据，以此实现存储资源的优化配置。 NewSQL 存储系统相对于其他两种存储系统来说，兼容性更好，能够满足用户的多种存储需求，数据处理速度更块，是传统数据的十倍，为用户提供了优质的信息存储管理服务。 除此之外，GemFire 系统也是一种非常受欢迎的极限数据分布式存储系统，已经应用到我国的12306 铁路订票网站之中。

3.大数据分布式存储技术面临的难题和解决措施

3.1 大数据管理人才缺乏问题和解决措施

大数据管理人才是大数据的主要管理者，直接影响着大数据的管理和使用。目前，我国普遍缺乏大数据管理人才，许多大数据管理人员对大数据分布式存储技术了解不足，认识不深，不能主动的应用大数据分布式存储技术，大数据管理效率较低，让信息数据失去了使用价值。为了解决这个问题，我国就要重视大数据分布式存储技术的应用，引导我国高校开设大数据相关专业，增强学生大数据分布式存储技术的使用能力。 企业要做好员工招聘和培训工作，不仅要通过多种考核挑选能力最优的应聘者，还要通过多种培训提升员工的技术水平和综合素质，最终促进企业的发展。大数据管理人员要端正工作态度，主动学习大数据分布式存储技术，提升数据管理效率，提升自身工作水平，深度挖掘信息数据，发挥出大数据的作用。

3.2 大数据分布式存储系统的安全性问题和解决措施

在大数据时代，信息数据的重要性逐渐凸显，但是网络威胁也随之出现。黑客攻击、病毒感染都威胁着用户的数据安全，而现有的大数据分布式存储系统还不能完全抵挡病毒、黑客，也就无法全面保障用户的信息数据，因此，信息数据安全问题是使用大数据的各行各业首先要解决的问题，也是必须要解决的问题。为了解决这个问题，大数据存储系统的开发者就要加强研究力度，增强系统的防御能力，同时提升系统的内部自检能力，以此来应付外部黑客的攻击和内部病毒的感染。 大数据存储系统的使用者要做好两方面工作：一方面要提升信息保护意识，要自觉主动的保护信息数据，要为系统设置密码，为使用者划分等级，以此来确保信息的安全性。另一方面要制定系统使用守则，以此来规范使用者的行为，确保使用者能够正确使用系统，防止信息数据外泄。

3.3 大数据分布式存储系统的适用性问题和解决措施

大数据分布式存储系统的适用性是系统使用价值的具体体现，适用性越高，使用价值越高。 但是我国目前的大数据分布式存储系统都还存在一些问题，也就是说系统还有可以提升的空间。 为了提升大数据分布式存储系统的适用性，系统的开发者首先要了解用户需求和市场需求，通过分析得出用户和市场实际需要的系统类型和功能，然后制定出完整的系统设计计划。 在设计系统时，要不断的增加系统的功能，提升系统的数据处理能力，提升系统的数据处理效率，提升用户喜爱度。 在系统销售之后，还要对系统定期维护，确保系统能够正常运行，保证系统中的信息不被窃取，同时要根据用户的需求优化系统，提升用户的忠诚度。

4.结语

数据库大数据分布式存储技术是一种新型的大数据存储技术，主要通过零散的网络空间分布存储数据，有效的节约了存储成本，提升了数据管理效率。大数据分布式存储系统是以大数据分布式存储技术为基础的存储系统，能够满足用户的多样化需求，加快了信息数据的处理速度，提升了数据管理人员的工作水平，具有非常高的应用价值。大数据分布式存储技术和存储系统应当受到人们的欢迎和使用，这样才能带动大数据的发展，才能让大数据的价值得以显现。