数据库技术在大数据中的应用

吴坤芳 赵慧娜

摘要：如今互联网的用户数量正在大规模地增加，这一切都与互联网的高速发展相关联，现在简单的数据库已经无法满足用户的需求，随着云计算技术的高速发展，大数据采用數据库集群技术以后，系统的可靠性和处理效率都能够得到明显的提高，同时也能够提高用户对数据的处理速度和可用性。文章主要对数据库集群技术以及数据库技术的应用做出了简要介绍。关键词：大数据；数据库集群技术；数据库技术；分布集群

1 互联网发展状况以及分布集群数据库分析

1.1 互联网发展状况

现在，可以毫不夸张地说互联网的发展已经进入了全盛阶段，在人们的生活中，对互联网的应用无处不见，尤其是移动互联网技术的发展已经成熟，无论是传统企业，还是现代企业，都开始全方面地运用移动互联网技术，在这样的背景下，大数据技术的发展已经成了必然趋势，什么是大数据技术呢？大数据作为一种新兴产物，全球最具有权威的机关——麦肯锡全球研究所给出了大数据技术的基本定义，大数据技术是一种大规模的数据库，它不仅拥有高速的处理数据能力，同时还拥有多样式高价值的数据。

1.2 分布集群数据库概述

分布集群数据库系统是由多台计算机所组成的，而且这些计算机任何一台都可以单独放在一个地方，因为该系统中的任意一台计算机都保存着完整的数据库，每台计算机都有自己的数据库，即使在不同的地方，只要通过网络将各个计算机进行连接，就可以组成一个完整的大型数据库。

对于分布式集群系统，就逻辑方面而言该系统是一个数据库整体，数据库具有以下3个性质：一致性、完整性、安全性，这3个性质都是用来对逻辑整体进行控制和管理的。虽然说共享的数据是通过分布集群服务器进行统一管理的，但是如果是非数据库的处理操作是完全可以通过客户机来完成的。

对于分布式集群系统，完成数据库的远程控制往往是通过外部链接技术来实现。分布式集群的各个组成部分，也就是各个计算机，它们之间都可以进行相互的信息交换，用户可以通过访问其中的一台计算机，也可以访问整个数据库来获得信息，远程数据库链接技术，顾名思义就是通过互联网将各个数据单元链接在一起，从实际应用的角度来看，分布集中数据库系统可以称作数据库服务系统。用户对此系统单一的逻辑访问请求都被自动分解进而就会换成网络请求，并且利用相应的数据库结点来实现系统的操作请求。

分布集群数据库通常支持混合的网络拓扑结构，一般会采用混合的网络协议，来完成对网络协议的转化，在分布集群数据库系统中，数据系统的基础就是保证海量数据的存储，进一步的目标便是利用高可用、高可靠集群来提高数据库系统的可用性，从而达到当代社会对互联网应用的要求。

物化视图就是利用单个或者多个基表得出的，进行同视图比较，它是导出表真实数据的储存空间，一旦基表中的数据出现了改变，物化视图中储存的数据就会变得陈旧，这时候用户可以通过刷新的方法对数据进行手动同步，物化视图包含了查询结果的数据，是远程数据的副本。它只可以对数据副本进行读取，没有权利进行其他方面的操作，同时物化视图还包括查询结果的数据对象[1]。

2 高可用集群、高可靠集群概述

数据库高可用集群的基本实现方法是缓存交换技术，数据库服务进程建立在同一份文件时，可以提供多个数据库实例。高可用集群的高可用到底是指的什么，高可用性一是通过对数据完整性的保护，从而保证高可靠性。二是数据库一定要维持在运作的状态下，不能够关机，否则会给客户造成损失。

当今大数据已经占据了信息时代的主导地位，数据库系统的停机主要有两种情况：具有计划性、目的性的停机；非计划的停机。数据库中管理方面软件或者系统版本较低时，为了紧跟时代需要进行升级，这时候停机是有计划、有目的性的。而非计划性停机主要是机体本身出现了故障，突发情况，导致了停机，往往是不在计划范围内的停机，而这类停机通常会造成数据库系统的损失。

据相关资料显示，高可用集群数据库技术主要有以下几种技术：（1）负载均衡技术，负载均衡技术则分为静态和动态两种，无论是静态负载还是动态负载，其作用都是为了实现负载的各节点均衡，从而避免节点出现高低不同的现象。

（2）全局事务并发控制技术，该技术主要是利用高速缓存复制技术，保证各个节点的数据一致，同时认真分析全局锁和事务视图，从而实现事务的ACID特性。（3）多节点并发访问文件控制技术，该技术中多个节点同时运用一份数据，各个节点同时对这一份数据进行更新，多对一以确保数据的安全更新。（4）动态增加和移除节点技术，高可用集群环境中，想要不停歇地对数据进行服务，往往需要增加节点来处理数据信息，为了防止节点出现问题从而影响数据服务，通常对出现问题的节点采用移除政策。

想要达到数据库系统的高可靠性，通常使用数据复制技术，数据复制技术在保证数据库系统高可靠性的同时还能够实现对数据库访问压力的降低，数据复制存在着物理和逻辑两方面的分别，将一个服务器上的数据复制到另外一个服务器上，可以解决数据访问给数据库带来的巨额压力。

高可靠集群可以保护数据库的完整性，可以在保护数据的同时对出现故障的数据进行修复，生产数据库会利用到备库，备库顾名思义，就是对生产库中物理方面的全备份，生产数据库时可以通过对备库的利用完成对数据库的生产。

高可靠集群利用数据库的容灾和数据保护等，来确保数据库之间的来回变换和遇到故障的恢复。我们在数据库生产的同时也要确保“事物一致性”，利用物理备份创建备库，它能够使用生产库传来的数据自动产生维护数据库。

高可靠集群中数据同步技术的优势：（1）对数据进行配置管理时方法简单，不需要其他辅助软件的介入。（2）无论何种的数据类型，都可以采用到数据同步中。（3）采用最大保护模式时候，可以保证数据的零损失[2]。

3 MPP技术

大规模并行处理（Massively Parallel Processor，MPP）架构主要通过操作数据库引擎，完成对数据的操控，将数据分散到各个数据库节点上，在高速的网络环境下，对数据进行分析，从而达到降低1/0，提高查询效率的目的。MPP系统可以比作为一台与世隔绝的计算机，它可以自己进行数据处理，对进行数据仓库分析时，该系统查询性能远高于传统的数据库系统，MPP系统具有高可靠性，可以帮助企业管理数据，也可以帮助企业发展，还可以为数据库中软件的更新提供基本方法。

4 数据库管理系统在大数据中的应用

完美的建造高可用、高可靠的分布集群数据库系统是大数据中必不可少的，在这种分布集群数据库系统的环境中，各个高可用集群之间可以利用服务器联系在一起，成为主备关系。然后再通过与高可靠集群相关联，最终构成分布集群数据库系统，这种情况对于用户个人来说，只是一种单一的数据库服务。

通过利用外部链接将单机数据库服务器、高可用集群、高可靠集群看作一个个单独的节点，将它们添加到分布集群数据库系统里，通过对数据库系统的分布集群事务机制的利用，在保存局部数据自我控制能力的同时，完成对全局分布集群系统的数据分析。

针对海量数据的存储问题，可以通过提高数据的流转速度来解决。数据库技术还完成了以下内容：（1）利用物化视图技术和高级复制技术，提高分布集群系统中数据流转的速度。（2）利用面向对象、XML数据类型达到数据对类型多样化的要求。（3）通过对数据的筛选，进一步展现数据中的规律，促进数据模型化的完成。

据相关的书本显示，数据库是计算机所有应用系统中的一种，它主要的作用是管理数据资源。数据的样式众多，比如有文字、符合、图形、数字等，这些都是计算机系统需要进行处理的对象，最开始人们对数据的存取一般都是采用制作文件的方法来实行，然而随着现在人们对数据存取的需求增大，简单的文件已经无法满足人们的需求，但是数据库系统可以对大量的数据进行存储。总结来说，数据库就是通过计算机处理过后的数据总和，对数据库进行管理的系统叫作数据库管理系统[3]。

5 结语

现如今计算机技术得到了高速发展，数据库管理系统也被称作处理数据的核心，该管理系统在大数据中占有重要的地位。分析如今的科技发展趋势，每个国家都必须增强对大数据技术的重视程度，对大数据技术进行全面的研发，提高国家的大数据技术，只有这样国家才能在这个信息时代站稳脚跟。

[参考文献]

[1]陈雪.分布式数据库技术在大数据中的应用[J].科技传播，2016（12）：108， 120.

[2]吳卉男.探析分布式数据库技术应用在大数据中的策略[J].数字技术与应用，2016（12）：235.

[3]孙银博.数据库技术在大数据中的应用[J].电脑知识与技术，2016（3）：19-20.