谈大数据技术在计算机数据信息处理中的应用

◆王国娟 刘安诺 黄福亮

谈大数据技术在计算机数据信息处理中的应用

◆王国娟1刘安诺1黄福亮2

（1.北京国电通网络技术有限公司 北京 100070；2.国网青海信通公司 青海 810000）

信息化时代，各行各业数据信息规模不断增大，对数据处理时效和处理准确度也提出了更高要求。大数据技术具有强大的数据挖掘、分析、分布式存储等处理功能，对提高计算机数据信息处理水平作用明显。本文首先解析大数据和计算机信息处理的内涵，其次概述了大数据技术的主要处理工具，最后探讨大数据技术在计算机信息中的应用，以供相关读者参考。

大数据技术；计算机；数据信息处理；应用

当今社会，计算机和网络技术应用越来越广泛，不仅为人民的生活、工作带来了巨大便利，而且推动了整个社会的发展进步，产生了深远的影响。伴随着计算机使用量和网络用户群体的不断增加，数据信息规模越来越大，社会已经迈入了大数据时代。如何高效、精准地处理批量化数据信息，并从海量数据中挖掘出重要信息发挥数据的最大化价值，已经成了各行各业新一轮竞争的焦点。大数据技术的出现让计算机数据处理工作变得更加简单，也受到了社会的追捧。笔者就此分析和探讨以大数据技术为支撑的计算机数据信息处理应用。

1 大数据技术及计算机信息处理内涵

1.1 大数据技术及其特点

大数据指的是在一定时间范围内超出常规软件工具的捕捉、管理和处理能力的数据集合。必须依靠更新、更强大的处理模式才能获得更强的决策力、洞察发现力和流程优化能力的多样化信息资源。大数据技术也就是大数据的应用技术，具体表现为各种大数据平台、大数据指数体系等。大数据是以现代信息技术为基础发展起来的，其数据流量、规模等都非常庞大，其中包含了各种结构形式的重要信息。大数据技术的主要特点为：一是可以存储巨量数据。大数据的数据集通常是万亿或EB的单位，互联网一天所产生的数据内容可以刻满1.68亿张DVD，大数据技术一般使用LSI技术，可存储数据超过宇宙天体数的三倍以上。二是可以抓取、搜集类型繁杂的数据[1]。大数据技术对各种结构化、非结构化、半结构化数据都可以进行处理，包括各种各样的语音、图像、文本信息、地理位置信息、数字符号等。三是应用空间巨大。大数据分析技术可以帮助用户从巨量数据中准确挖掘出所需的数据资料，对提高决策科学性作用巨大。当前大数据技术已经被广泛应用于工业、教育、服务行业等诸多领域，发挥着重要价值。

1.2 计算机信息处理技术及发展情况

计算机信息处理技术，是指以计算机为基础，集数据采集、传输、整合、分析为一体的一类技术。它并非单一技术，而是多种技术应用综合体，主要包括网络技术、信息处理技术、通信技术等，其中信息处理技术是其中的最核心部分，对数据的处理起着关键作用。伴随着大数据时代的到来，计算机信息处理技术既面临着机遇，又存在诸多新挑战。其机遇是指，社会对数据处理技术的依赖，推动计算机技术的不断发展，可以运用新的思想和方法来改进技术现状。挑战指的是，面对数量庞大的数据信息，现有的计算机软硬件能力都达不到快速、精准、全面、安全处理数据信息的技术要求，必须升级更新引入更先进的技术。

2 大数据技术及处理工具

2.1 大数据处理流程

（1）数据采集

大数据的基本特点是数据多、类型复杂，所以，通过有效方法来获取有效数据信息就显得尤为重要。数据采集是大数据处理过程中的一个基础环节，当前使用较普遍的数据采集手段包括：传感器采集、射频识别（RFID）、数据检索分析（Baidu、Goole等主流搜索引擎）及条形码技术等。

（2）数据处理和集成

这一步建立在数据采集基础上，主要是对所采集的各种数据信息进行筛选、分类、清洗去噪并进一步地集成存储等。

（3）数据分析

在大数据处理的过程中，数据分析是最核心的环节，它是实现从海量数据中，准确找出有价值的数据信息的关键。在大数据时代，传统的数据处理分析方法显然已经无法满足规模化、个性化数据的分析需求。关于数据分析技术，Google在2006年率先提出了“云计算”的概念，它将各种数据的应用建立在云计算技术之上，如GFS（分布式文件系统）、BigTable（分布式数据库）、MapReduce（批处理技术）以及开源实现平台Hadoop等[2]，有助于进一步提升大数据的处理、分析水平。

（4）数据解释

在完整的数据分析流程中，数据结果解释极为重要。但是，由于数据量的持续增加，结果分析也往往变得越来越复杂，用传统的数据显示方法难以达到数据分析结果快速输出的要求，所以为了提高数据的解释力和展示效果，“数据可视化技术”被引入了大数据系统中。利用结果可视化分析可将数据分析结果直观地展现给用户，更便于用户理解和接受。常用的可视化技术包括基于图标的技术、面向像素的技术、分布式技术以及基于集合的可视化技术等。

2.2 大数据技术依托

云计算作为计算机概念的一种具体实现，也是大数据技术的主要依托，它不仅可以实现分布式计算、网格计算和并行计算的功能，还在此基础上进行了进一步扩展，被广泛用于数据备份、灾难恢复、电子邮件、虚拟桌面、软件开发和测试、大数据分析以及面向客户的Web应用程序等。云计算中的“云”是一个虚拟容器，集合了基础设施、平台和软件等。每种类型的云计算都提供不同级别的控制、灵活性和管理，因此可以根据需要选择合适的服务集。云计算功能的有效实现需要多种信息设备和技术的支持，包括数据存储设备和功能、数据索引技术、查询系统等，最终支持数据分析处理功能的实现。

2.3 大数据处理工具

关系数据库模式是传统数据处理的基本依托，能够应对常规计算机数据的处理需要。但是这种模式并适合大数据环境下的计算机信息处理要求。目前已经出现了多种大数据处理工具，社会评价效果较好的有Hadoop、HPCC、STORM、ApacheDrill以及RapidMiner等。以RapidMiner为例，作为世界领先的数据挖掘解决方案，RapidMiner的数据挖掘任务涉及范围很广泛，包括各种数据技术，能简化数据挖掘过程的设计和评价。它可以免费提供数据挖掘技术和库；100%用Java代码（可运行在操作系统上）；数据挖掘过程简单、强大和直观；内部XML保证了用标准化的格式来表示交换数据挖掘过程；支持用简单脚本语言自动进行大规模进程；支持多层次的数据视图，可确保有效和透明的数据；命令行（批处理模式）可自动大规模应用等。

3 基于大数据技术的计算机信息处理技术应用

大数据技术的强大功能，对计算机数据信息的处理有着重要的支撑作用，可以促进计算机信息处理体系的不断完善，促进处理效率和处理质量的有效提升。其技术应用主要有：

（1）应用于信息采集与加工

在大数据技术支持下，可构造出信息采集与处理技术系统，该系统建立的数据模型具有较强的实效性，能有效地处理网络上的各类信息内容，并实现数据内容的及时采集。通常来说，基于大数据的信息采集和处理技术的数据模型可分为两类：一种是数据流处理模型，另一种是批量处理数据模型[3]。其中流数据处理方式可调速计算机数据的传输速度，也就是对计算机中的大数据内容进行正确及时的调整，保证计算机内部空间上的大数据信息精准，还可以调整数据处理技术体系结构，支持数据信息的有效筛选与采集，确保所有的数据信息都能得到有效处理。这一过程将特别采用分析、存储等精细处理的技术方法，确保数据处理质量。另外，还可以建立数据动态监测机制，对可能被疏忽的数据内容进行监控，分析数据的变化状态，联合通信技术将采集的有用数据及时传送到指定地点，凸显数据信息的预设作用，充分发挥其数据的应用价值。

（2）应用于虚拟资源调度

虚拟化资源的调度就是虚拟网络的合理配置，目的是保证其资源分配和虚拟存储得当。首先使用大数据技术全面采集各种信息资源，并对这些资源进行存储管理[4]。然后，建立资源优化技术体系，对虚拟技术应用过程进行数据处理，通过灵活调控、合理划分虚拟云资源，形成一套完整的计算机应用与技术服务体系，确保相关数据信息能够围绕着不同的使用目的得到有效处理和管理。科学、合理的虚拟资源调度与任务分配，可以有效提高资源利用率，降低成本开销和时间约束，使整个系统达到一个良好的平衡。

（3）应用于信息数据挖掘

在利用大数据技术挖掘、分析计算机数据信息时，首先建立基于Internet的数据检索与数据关联技术体系，保证系统数据挖掘和分析的顺利实施。同时提出一套基于互联网平台的核心排序算法，并结合多种流媒体平台，对数据信息进行整合、分析处理，找出其中的关键信息，实现对数据的高效、准确挖掘。简而言之，就是在主流算法的基础上对数据内容逐个按点、按组、按列进行有效调整。

（4）应用于遗传算法和神经网络技术

在计算机系统中应用GeneticAlgorithm遗传算法，可以保证产生的随机思维内容符合生物发展与进化规律，以此优化信息资源的获取与分析流程，保证在遗传信息的基础上融入概率思维的内容，确保数据信息中自动调节的信息易于搜索。与此同时，通过应用信息技术识别功能，借鉴生物神经网络和信息传递模式，以遗传算法为基础来处理计算机数据信息，可建立完善的机器人学习机制实现人工智能。

4 结语

大数据技术作为现代信息技术的杰出代表，其强大技术功能可以很好地弥补计算机数据信息处理方面的不足，能够让数据采集更全面，数据分类更准确，数据挖掘更深入，可以满足各种以计算机和网络为基础的多样化数据信息需求。从而提高工作便利性，实现最大化效益。

[1]张文娟，孙丹.大数据时代背景下计算机信息处理技术分析[J].科技资讯，2017，15（36）：202-203

[2]郝宾波.“大数据”时代背景下的计算机信息处理技术安全分析[J].数码世界，2018（02）：71.

[3]刘丽凤.试论基于大数据视域下计算机信息处理系统的优化设计[J].电脑知识与技术，2020（5）：12-13.

[4]孙芳芳.“大数据”时代背景下计算机信息处理技术分析[J].中国设备工程，2019（2）：196-197.