“大数据”时代背景下计算机信息处理技术分析

耿冬旭

（北京理工大学珠海学院 广东 519088）

0 引言

随着计算机网络用户数量的增长，每天都产生上万亿 GB的数据，“大数据”时代已经到来，这是过去几十年计算机领域没有预见的，这对计算机信息处理技术带来了新的挑战。必须利用新的思路和理念来处理与日俱增的计算机数据。

1“大数据”时代的概述

1.1“大数据”的定义

所谓的“大数据”，顾名思义就是数据量巨大的意思，值得是信息的数据量巨大，以目前的计算机主流软件都无法在短时间内实现对其进行获取、处理、储存、传输等管理功能，以便为客户提供合理的信息技术服务。对于数据量巨大到什么程度，业内目前还没有统一的标准，一般认为数据量在 10TB-1PB（1TB=1024GB，1PB=1024TB）以上。

1.2“大数据”的特点

“大数据”具有数据量大、快速化、复查、多样化等特点。数据量大指的是“大数据”时代需要处理的计算机信息数据量特别大，而且与日俱增，以及从原来的TB数量级甚至发展到ZB的数量级（1ZB=10242PB），这些数据真可谓是海量的。快速化也是“大数据”的又一特点，现在网络数据流有相当一部分是实时的、高速的，这就需要对这些数据流进行实时的、快速的、持续的处理，目前对这些数据流的进行处理的工具也在不断的更新。复查指的是“大数据”计算机信息处理的难度非常大，信息处理技术有待于发展。多样化指的是“大数据”时代下的数据类型十分的庞杂，数据主要包括文本、网页、音频、视频、图片等，其格式也是千变万化，为计算机信息处理带来了新的难度。

1.3“大数据”时代的影响

云计算技术和物联网技术的产生给“大数据”时代的到来提供必要条件，是计算机行业又一次重大的革命性的转变，并直接影响着广大计算机用户、企事业单位和政府机关的活动方式和它们之间的交流途径。数据是“大数据”时代的最重要的核心内容，企业、消费者和网民之间的界限在“大数据”时代的到来后就显得很模糊，没有明确的界限，这对企业的运行、经营、管理和发展方向都产生了重要的影响，同时也带来各种的挑战和机遇。

2“大数据”时代的机遇和挑战

2.1“大数据”时代的机遇

计算机网络普及化程度高导致了“大数据”产生在各行各业中，虽然面对海量的数据的处理难度很大，但是还是可以通过新的理念和方法对其进行处理和分析，其结果具有非常重要意义的。例如：在企业的管理中进行“大数据”的信息处理可以提高企业管理的精细程度，提高职能部门的工作效率，从而减少了企业的开支，使企业更加具有竞争力；在教育领域应用“大数据”信息处理来统计广大学生的兴趣爱好、特长和优缺点，就可以针对每个同学的不同情况进行因材施教，发展他们的长处；在商业竞争中应用“大数据”信息处理技术分析消费者的喜好、需求和热门商品的卖点，可以有针对性的推出消费者需要和满意的商品，这样就可以提高商品的销量，提高利润率。目前，美国已经率先将“大数据”信息处理技术的发展上升到国家的战略上，与2012年正式的启动投资额为2仪美元的“大数据研究与发展计划”。

2.2“大数据”时代信息处理技术的挑战

“大数据”时代的到来给企业、商业、教育界以及国家战略带来重大机遇的同时，也为整个社会带来了新的挑战：

①数据量巨大的信息给数据的储存技术、存储空间、数据快速传输技术以及资源的损耗带来了新的挑战：计算机信息的数据量巨大就需要与之适应的储存空间，同时对储存技术也有一定的要求包括压缩技术都有待于发展，“大数据”的信息传输所需要的时间也相应的长，这就需要对数据传输技术的发展。

②“大数据”时代对用户、企业的隐私和计算机信息安全提出新的要求：“大数据”时代的数据流非常多，在线社交和网上购物等活动也越来越频繁，这就给网络黑客和诈骗分子提供了犯罪的平台。而且只要应用“大数据”信息处理技术就很容易的对企业以及消费者的数据进行分析，这就导致企业商业机密的泄露和个人信息的暴露。这就需要加大网络安全立法和加强对用户和企业的信息的加密保护程度才能保证商业机密和用户的个人信息不被不法分子获取，同时广大网民要提高安全意识，要对网络上的事件和人物保持一定的警惕态度，保证自己不被诈骗。

③“大数据”时代给网络运营商的硬件设备和对海量数据的信息处理能力带来的挑战：“大数据”的网络传输速度取决于网络运行商的硬件设备，网络宽带是传输速度瓶颈。同时对海量数据的处理能力也是一大挑战。

④庞杂的数据流对有价值的数据撷取的挑战：“大数据”有着价值高和密度低的特点，这就意味着真正有价值的数据往往在海量的信息中，要从中提取需要的、有价值的信息是个非常有难度工作，而且工作量也十分巨大，这就对信息处理技术提出新的要求。

3“大数据”时代的信息处理技术及其发展方向

3.1 信息撷取、加工和传输技术

通常进行计算机信息处理的首要工作就是进行数据的撷取，任何的信息处理手段都是建立在数据的撷取上。所谓的数据撷取就是对目标信息源进行实时的信息监控，并将所需要的数据收集并储存到预制的数据库中，这样就可以向各个软件系统平台提供信息输入。信息处理的第二个步骤是信息的加工，就是将保存到数据库中的数据进行分类和加工。最后将处理好的数据通过数据的传输技术传送到需要该数据的用户手中，从而实现了数据的传递。

3.2 信息的存储技术

计算机信息存储技术就是将通过一定手段撷取到的信息储存到结构数据库，当用户在需要某些信息的时候可以通过一定的操作从数据库中直接调出相应信息的技术手段。在“大数据”时代的数据有着数据信息巨大、信息变更速度快等特点，这就需要合理应用计算机信息存储技术，以实现对大量数据的长时间、稳定的存储。

3.3 信息安全技术

为了适应“大数据”时代的信息安全特点，必须加快信息安全技术的发展，可以考虑从以下三个方面入手：（1）构建计算机信息安全体系。加大培养计算机信息安全人才是构建计算机信息安全体系的必要条件；（2）加快研发“大数据”信息安全技术产品。传统的信息安全软件等技术产品已经不能满足“大数据”时代的数据安全特点，因此必须加快研发可靠的数据安全技术产品；（3）提高对重点数据的检测程度。由于“大数据”的信息量非常大，对每个数据进行检测明显不现实，因此需要重点加强对重要数据的检测。

3.4 信息处理技术的发展方向

由于计算机硬件的限制，计算机网络存在着诸多的局限性，需要将目前的计算机网络转换为云计算机网络，这是“大数据”时代计算机信息处理技术的发展趋势。未来计算机网络发展理念是将计算机硬件和网络数据分开，从而实现将目前的云计算转化为云计算机网络。在未来计算机会与信息网络形成“大数据”网络系统，两者不可分离，而计算机信息处理技术的发展不在依靠某个单一的公司研究、开发，而是通过“大数据”网络系统由诸多公司联合研究开发。

[1]冯骞.大数据时代的信息处理技术[J].信息通信，2013，08：155.

[2]何文娜.大数据时代基于物联网和云计算的地质信息化研究[D].吉林大学，2013.

[3]张允壮，刘戟锋.大数据时代信息安全的机遇与挑战：以公开信息情报为例[J].国防科技，2013，02：6-9.