“大数据”时代背景下计算机信息处理技术分析

方海诺哈尔滨华德学院电子与信息工程学院

“大数据”时代背景下计算机信息处理技术分析

方海诺
哈尔滨华德学院电子与信息工程学院

摘要：网络的发展加速了数据交流，信息爆炸迎来大数据存储时代的到来，互联网已成为当下人们生活的重要组成部分。互联网的大环境下，需要处理海量信息，给信息处理技术提出了更高的要求。本文从“大数据”时代的相关知识描述入手，详细叙述了“大数据”时代背景下的计算机处理技术，为促进“大数据”时代的信息处理效率提供理论参考。

关键词：大数据；计算机；信息处理；技术分析

网络时代的全覆盖，让世界变得更小，各领域的交流丰富了网络数据的内容，给人们生活送去了方便，提升了人们的工作效率。当然，信息量的激增也给网络造成了巨大的压力，如何处理庞大的数据信息成为计算机信息处理研究人员面临的重要课题，因此，增加对“大数据”背景下的计算机处理技术的研究有重要意义。

一、“大数据”时代相关概述

1、“大数据”的定义及特点

“大数据”顾名思义，就是是网络信息数据比较庞大，借助现有的信息处理技术很难实现短期的存储和高效传输。数据信息总量还不具备统一的规定，通常来讲信息总量达到10TB便可称作大数据了。大数据具有数据量大，占用存储空间多，增长速度快等特点。从数量级的角度讲，已从TB转为ZB；从速度上讲，大数据信息的实时性更强，速度要求更快，信息处理快速性要求也比较明显。另外复查性也比较突出，主要是指重复处理的数据量比较大，需要有效的并发处理机制，信息处理技术要求较高；处理数据的种类比较多，处理信息的类型千差万别，主要有文字、图片信息、视频信息和网页格局信息等；数据格式方面也存在明显的多样性，由于信息处理语言不通，面向对象的程度不一，计算机处理手段也不同，信息处理技术的要求更高。

云计算是对互联网服务的增加，使用和模式的改变，提供虚拟化的资源，是一种比喻的说法，新兴互联网技术的产生为大数据时代提供了全新的平台，是计算机应用行业的革命性变革，给广大计算机用户，企业单位和个体私营企业之间交流带来了便利，大数据的重要核心就是数据，普通的消费者和一般的网民对大数据时代的到来略显迟钝，也没有清晰的概念，给一些跨国企业和计算机应用型技术人才在企业的经营管理和个人的发展上都带来了机遇与挑战。

2、“大数据”时代的机遇

随着经济的高速发展，对各行各业都产生了巨大的冲击和影响，计算机行业首当其冲，经济的发展刺激计算机行业不断出现新产品和新技术，网络的普及范围逐年增高，也直接导致了在各个行业产生庞大的数据，如果不产生新的理念和算法，对如此庞大的数据的分析和整理，会消耗大量的人力物力，云计算技术的出现，达到每秒计算10万亿次以上，各个不同级别的用户可根据个人的需求，直接接入数据中心，根据个人的要求进行直接运算。例如在企业的日常办公中，大数据管理可以提升企业管理的精细化程度，提高个人和本部门的工作效率，在一定程度上减少了企业的庞大的材料的开支，提升了企业的核心竞争力；在高等院校，任课教师可更具不同的学生的需求、天赋、兴趣爱好等方面进行因材施教，集中优势资源进行个性化教育，扬长避短；在商业方面，用于大数据就等于拥有了资源，可快速锁定用户的需求，并根据客户喜欢浏览的商品，经过分析计算出此顾客的爱好，以便能快速制定适合该客服的服务方案，加速产品的营销，快递提高产品销量，提高了利用率。现在世界各个国家都将未来大数据的研发提升到国家的战略高度。

3、“大数据”时代带给我们的挑战

任何事物都具有两面性，大数据给我们便捷生活体验的同时，对企事业管理、教育资源的整合等方面都产生了重要的影响，也给整个社会的发展带来了全新的挑战，可以说是机遇与挑战并存。

1）首先庞大的数据给网络传输、存储空间、技术和网络资源的消耗都带来了全新的挑战，过去的宽带从最开始电话上网，到2M、4M、到现在的12M光纤上网，是庞大的数据催生了行业的设备的改善，这是对硬件设施的要求；在软件方面数据压缩、存储都需要根据形势的发展提出应对措施，以应对大数据时代的到来。

2）大的数据时代的到来，上网客户更看重的是数据的安全性问题，这对个人和企业都非常重要，数据流量加大，网络游戏，在线聊天和互联网购物等活动日趋频繁，这给一些黑客和投机分子有机可乘，使用大数据信息处理技术很方便和容易对企业和网络购物的消费者进行数据分析，非常容易获得个人资料、银行账号和企业商业机密，因此，亟需加强网络安全的法律法规实施，以应对日新月异的互联网技术的出现，个人也需要及时对个人计算机或者企业办公用计算机进行及时的维护，修复漏洞，设置安全防火墙，尽量做到不浏览不完全的网页或者网站，对一些个人发布的信息，要时刻保持一颗警惕的心，不贪便宜就不会吃大亏。

3）随着大数据时代的到来，对个人电脑和企业电脑的硬件设施提出了新的要求，以便能方便和快捷的处理海量的数据信息，同时，网络传输速度也在逐渐加快，2G、3G、4G、5G时代的到来，提高了网络的带宽，以便能应对庞大的数据流量。

4)如何选取对自己有用的数据是我们面对大数据时代到来的首要挑战，必须要掌握从海量信息中筛选有用的信息，此项工作不仅信息量大，难度系数高，而且对电子计算机信息处理技术的要求也更高，因此，必须提升相应的硬件水平。

二、“大数据”背景下的计算机数据处理技术分析

1、数据获取、加工和传输

打开电脑，输入一定的关键词就能搜索到自己感兴趣的信息，但是此类信息的发布之前，都需要对其进行各种方式的处理，此项处理工作非常复杂，工作量巨大，必须要计算机使用信息处理技术才能完成，要对大数据的信息处理。首先要做的就是信息获取，也就是要运用合理的手段收集数据信息，可以设置实时监控机制，并对具体需求做出信息存储，对垃圾信息要进行清楚处理，以保障处理软件所处理的数据是有效的，也是提升软件处理效率的重要点。其次是信息处理工作，也就是要结合客户需求，对数据信息进行加工，如可以按学科分类，功能分类和性质分类等，一方便用户查阅和处理。最后是信息传输，信息传输是网络技术应用的重要优势，是指需要将信息进行加工处理，根据实际需求，将信息送达请求客户的信息平台上，实现信息的有效传送。

2、信息储存技术

“大数据”时代，数据信息存储数量增速较快，信息实时更新速度也出现了空前的加快，提升信息存储有利于控制“大数据”的安全，提升网络信息处理效率。信息存储主要是通过获取技术获得海量信息，再将信息按一定分类原则进行分类处理，再将数据以一定的结构存储到数据库中，当用户请求获得信息时，再经过检索技术将信息调取出来，合理的信息处理技术可以确保信息调用效率。信息大爆炸让海量数据的存储得以实现，信息安全、完整性和稳定性更好，信息存储技术已成为大数据时代急需解决的问题，因此，要加大信息存储技术的研究。

3、信息安全技术

随着大量数据信息的出现，信息之间的关联性非常强，如果某一个信息出现了问题，与之有关联的数据信息也会跟着出现问题。这种数据信息的管理不是单纯建立在单一的数据信息上，而是对计算机信息系统进行统一安全管理。这种管理可以很好地提高计算机信息处理技术，有很大的发展机会。要加强信息安全体系建设，对安全管理人员加强技术培训，使管理人员在技术上和管理能力上都能适应现代网络信息管理体系，能够使新的安全管理体系发挥最大的功能。

为了适应“大数据”时代的信息安全特点，必须加快信息安全技术的发展，可以考虑从以下三个方面入手：（1）构建计算机信息安全体系。加大培养计算机信息安全人才是构建计算机信息安全体系的必要条件；（2）加快研发“大数据”信息安全技术产品。传统的信息安全软件等技术产品已经不能满足“大数据”时代的数据安全特点，因此必须加快研发可靠的数据安全技术产品；（3）提高对重点数据的检测程度。由于“大数据”的信息量非常大，对每个数据进行检测明显不现实，因此需要重点加强对重要数据的检测。

4、大数据背景下计算机信息处理关键技术分析

1）DEEP WEB数据感知与获取技术

它是利用网络深层空间技术对网络中的信息进行抽取、分析和集成。主要利用信息数据的动态变化、信息的规模、数据的分布式处理与访问技术，对网络数据进行处理和分析，实现对数据的高质量集成、抽取和整合。

2）分布式处理技术

分布式数据处理主要是由谷歌公司提出的GFS技术来实现数据的分布式存储和处理。它利用存储列的概念，以列为单位对数据进行存储，具有数据压缩快，循环利用效率高，采用行列混合是存储结构，能够快速加载海量数据和缩短数据查询的时间，同时也能够高效的利用磁盘空间。

3）数据高效索引

该技术是谷歌公司提出的BIGTABLE技术，目前主要集中在聚簇索引和互补式聚簇索引技术的研究。聚簇索引技术是按照索引顺序技术对相应的技术进行处理，互补式聚簇索引主要采用多副本索引技术创建相互补充的数据建立数据索引表，进而实现对数据的优化查询。

4）基于内容信息的数据挖掘技术

基于内容的数据挖掘技术主要是依据网络搜索技术和信息实体的关联技术对数据进行分析挖掘。例如网络信息搜索的热点排序学习算法主要针对媒体的信息量和信息数据的关注特点、短文本特征实现对数据的搜索等，目前常见的学习算法有逐点，逐对和逐列等几种算法。

5）分类和聚类分析技术

分类分析技术首先是对信息的数据点进行归类分析，然后通过综合之后形成新的数据点之后，对数据点进行明确的假设和客观结构预测，然后预测未来信息的发展。聚类分析技术主要是在没有明确数据点的前提下，将数据集合分为若干个对象组，通过对对象组的数据进行分析，实现对数据的综合查询。

6）关联规则学习和机器学习技术

关联规则学习技术就是在复杂的数据处理过程中，通过排序、对比等方法寻找到数据之间的关联规则，是指在数据处理的过程中，找到数据之间的关联规则，进而能够实现对重复数据的筛选。而机器学习主要研究计算机模拟人类学习的智能技术，对现有的信息知识体系进行重新组织，它是人工智能的核心技术，在数据处理时，关联规则和机器技术主要运用在数据挖掘技术中。

7）数据分析技术

数据分析技术在数据处理中应用比较广泛，它主要包括情感分析技术、网络分析技术、空间分析技术、数据时域序列分析技术以及数据回归分析技术，该技术在大数据处理中具有十分重要作用，其中，情感分析技术采用对自然语言进行编码分析的技术，网络分析技术就是基于网络的特征对数据的特征进行分析。

8）可视化技术

可视化技术主要功能是在对大数据进行分析和处理之后，能够通过图片、动画、图表等方式表示出来，便于人们进行沟通、交流与理解。例如Clustergram是可视化技术，它采用聚类分析技术，对数据进行处理，然后显小数据集的个别成员是如何经过数据处理后分配到大的信息集群中。

三、信息处理技术的发展方向

计算机硬件设施的客观性，制约了计算机网络的快速发展，因此需要借助云计算网络来提升数据的存储效率和运算速度，这也是未来“大数据”时代处理技术发展的新方向。计算机网络发展已开始走向分叉路口，硬件和网络的分体已在某种程度上刺激了网络的新发展，云计算向云计算机网络发展态势明显。区域性“大数据”的网络与计算机构成大型网络系统，彼此依赖性增强，计算机处理技术也由单一个体研究转向系统性研究，通过“大数据”网络可以实现多元合作性研究开发和专项个性开发。

“大数据”时代背景下的计算机处理技术发展速度也许会更快，应用性更强，但也会存在信息安全问题，信息共享与信息安全本身就是一个矛盾体，要如何调配好两者的关系，发挥各自的优势是未来大数据网络需要注意和不断探索的问题。计算机网络对当代人的生产生活产生着巨大的影响，相关计算机信息处理技术的研究和探索需要整个社会的共同努力，只有更加先进的技术，才能使计算机网络更好地社会服务，才能切实推动社会的进步。

四、结语

大数据信息处理需求量越来越大，信息处理内容丰富程度更强，最大限度的挖掘信息处理技术的能力，是提升大数据时代信息处理效率的关键。我国网络服务群体比较庞大，网络服务人群比较宽泛、网络产品样式繁多和交互性信息交流频率较快等现状，要求计算机处理技术必须与之相匹配。大数据的数据处理优化方法的采用，有效的提升了信息处理效率，另外，信息安全技术的采用必然会让大数据时代背景下的计算机信息处理技术更上一层楼。

参考文献：

[1]冯骞.大数据时代的信息处理技术[J].信息通信,2013.

[2]何文娜.大数据时代基于物联网和云计算的地质信息化研究[D].吉林大学.2013.

[3]张允壮,刘戟锋.大数据时代信息安全的机遇与挑战：以公开信息情报为例[J].国防科技，2013.