基于大数据的信息系统关键技术研究

陆冉

摘要：本文研究的主要目的是在现代化信息技术高速发展背景下，强调基于大数据的信息系统关键技术研究的重要性。明确大数据技术的定义、特征与应用价值，对大数据语境下的信息系统关键技术做出细致分析，以全方面提升大数据技术在信息系统中的应用水准，进而推动社会主义现代化建设，满足人民群众的生产生活需要。此次研究选用的是文献研究法，通过对相应文献的查找，为文章的分析提供一些理论基础。

关键词：大数据;信息系统;关键技术

前言：大数据技术是在互联网技术与计算机技术飞速发展的技术环境下应运而生的，其在信息数据管理工作中的效率优势使其成为当今社会下的热点话题。信息系统管理技术在现阶段已经延伸进社会生产生活的方方面面，已经成为社会生产有序开展的关键。可以预见的是，将大数据技术应用与信息系统管理将为我国信息技术行业的发展与人民生活水平的提高提供新的动力。因此，本文此次研究的内容和提出的策略对大数据技术研究具有理论性意义，对信息系统关键技术突破具有现实意义。

1.大数据概述

1.1大数据的定义

大数据作为现阶段新兴的信息技术，其定义的模糊复杂是现阶段时代属性的突出展现。根据该技术使用主体的经验可以将大数据定义为高于使用者本身处理与分析能力最高限度的数据。在互联网行业中，其主要是指信息数据的流通，将其应用到人们日常生活领域中就是需要对其进行的收集、整理以及分析分，从而能做出最正确的判断和决策[1]。在对于现阶段的大数据应用而言，数据量的提升并没有与数据价值呈现正相关关系，数据大爆炸时代下的数据价值的弱化问题，反映出人们对待数据的漠视同时也呼吁着更多技术与人才的引入。

1.2大数据的特征与价值

大数据最明显的特征在于其内容庞杂、类型多样，同时其自身的价值性与生成的时效性在目前研究中的关注度也在不断上升。可以肯定的是大数据技术中不仅蕴含着数据量累积相加的价值，更包含了由数据组别间的关联性与规律性所带来的潜在衍生价值，合理利用此类价值将会给整个社会的经济发展、技术创新和价值取向带来重大变革[2]。以现代企业为例，企业在生产过程中的原料采办、交通运输、产品销售环节都将产生大量的数据信息，其中或是蕴含这原料交通成本价格波动规律，或是包括用户偏好数据等产品销售层面的影响因素信息。随着互联网技术的发展与移动终端设备技术支持水平的不断提高，大数据的来源更加多样，其内部结构组成的系统化正逐渐受到消解，而与此同时大数据在数据生成过程与传播变换过程的速度却呈现出指数上升的趋势，这无疑对大数据的处理分析与价值挖掘造成相当程度的干扰。

2.基于大数据的信息系统关键技术研究

2.1分布式数据库与处理系统

根据大数据技术数据内容的庞杂特点，传统关系型数据库在处理大体量多样性信息时存在一定程度上的卡顿缺陷，面临着数据混乱丢失的风险，对于此类数据而言，其有效价值比例低于数据整体搜集比例，同时大数据服务强调通过将各类大数据操作进行封装，为消费者提供无处不在的、标准化的、随需的检索、分析与可视化服务[3]。因此，其呼吁着一类管理方式更加便捷简单的信息数据库处理系统的出现。在这种背景下分布式数据库利用大数据信息传播原理以其精简的数据处理模型与大容量的数据储存空间脱颖而出，分布式数据库与处理系统的结构模型如图1所示。该系统内部主要采用了Bigtable与Dynamo两种技术工艺，在Bigtable工艺中，该技术将数据信息使用字符串的方式进行单位统一，通过牺牲具體内容展示的方式获取了高速信息处理的能力。在Dynamo工艺中，该技术将分布式哈希表管理理念注入大数据信息管理工作中，为信息管理提供了批处理与流处理两种方案结合的处理思路。批处理技术在大数据处理中使用特定处理方案对大数据进行分组处理，在此基础上大数据处理实现了多个处理器的并联处理，虽然一定程度上打散了原有数据的关联性，但只要根据待处理数据特点规律。采取科学合理的数据分组模式，数据间的处理速度和灵活调度能力将会得到相应的提升。流处理技术则不同于批处理技术，该技术将大数据内的信息数据看成某种连续的信息流整体，在处理的过程中信息以此进入系统并将处理结果进行同步上传，应对时效性要求较高的数据信息常优先采用流处理技术。

2.2分布式文件管理技术

大数据技术对数据的存储与管理所提出的要求较高，传统的文件管理技术在速度与空间上往往难以满足其要求，为了提高大数据信息管理的效率分布式文件管理技术结合大数据信息特点广泛应用于国内外互联网公司。分布式文件管理技术结构模型如图2所示。在该技术中最具代表性的为谷歌公司所推出的GFS文件管理系统，该系统充分发挥了谷歌公司作为互联网大厂内部原有的资源基础优势，将多个低成本服务器进行连接，极大地提高了文件管理工作中的拓展性。分布式文件管理结束整体借鉴了分布式数据库与处理系统的批处理技术工艺与经验，将数据分组放置于多个服务器之中进行管理，同时为了避免数据分流所带来的时效性损耗，谷歌公司的GFS系统创新采用了在服务器间增设缓冲层的技术，以提升大数据信息传输与存读速度。

结束语：将大数据技术与信息系统技术相结合是我国数字化、信息化、现代化转型升级的重要举措，目前已经得到行业内广泛的认可。通过本文研究得知大数据技术在定义、特征与价值方面与信息系统技术存在契合点与兼容性，基于此本文着重研究并分析了分布式数据库与处理系统与分布式文件管理技术两种基于大数据的信息系统关键技术。

参考文献：

[1]张海浪.基于大数据的信息系统关键技术研究[J].数字技术与应用，2018，36（01）：67+69.

[2]禹禄君.基于大数据的信息系统关键技术研究[J].湖南邮电职业技术学院学报，2015，14（03）：40-42.

[3]朱攀.基于大数据的信息系统关键技术研究[J].电子技术与软件工程，2014（04）：216.