云环境下大数据计算机处理技术应用研究

袁小勇

摘  要：云环境中，通过大数据可以实现冗余信息的处理与分析，通过数据挖掘等技术手段的支持可以实现信息资源的优化与处理。为了充分满足云环境中数据处理的需求，通过现代技术手段综合分析，可以切实保障信息数据的安全性。大数据时代，计算机技术高度发展，可以实现多种信息数据以及资源的整合，对于国家、企业以及群众的信息安全具有重要的影响。在云环境中为了实现信息数据处理的安全性、高效性，要基于实际状况对信息数据的采集、存储以及安全管理等方面进行综合分析。

关键词：云环境  云存储技术  大数据  计算机处理技术

中图分类号：TP393

Research on the Application of Computer Processing Technology for Big Data in the Cloud Environment

YUAN  Xiaoyong

（Guizhou Vocational College of Economics and Business， Duyun， Guizhou Province，558000 China）

Abstract： In the cloud environment， the processing and analysis of redundant information can be achieved through big data， and the optimization and processing of information resources can be achieved through technical means such as data mining. In order to fully meet the needs of data processing in the cloud environment， comprehensive analysis through modern technological means can effectively ensure the security of information data. In the era of big data， computer technology is highly developed， and it can achieve the integration of various information data and resources， which has an important impact on the information security of the country， enterprises and the public. In order to achieve the security and efficiency of information data processing in the cloud environment， it is necessary to conduct a comprehensive analysis of the collection， storage and security management of information data based on actual conditions.

Key Words： Cloud environment; Cloud storage technology; Big data; Computer processing technology

云环境中，通过大数据可以实现冗余信息的处理与分析，通过数据挖掘等技术手段的支持可以实现信息资源的优化与处理。为了充分满足云环境中数据处理的需求，通过现代技术手段综合分析，可以切实保障信息数据的安全性。

1云环境下大数据计算机处理流程

在云环境中合理应用大数据等技术手段，可以实现数据的挖掘与处理，在数据处理中主要就是利用计算机技术进行数据信息的抽取、处理与集成数据、分析数据，通过处理之后的信息数据可以根据实际需求形成报表与图表等不同的方式，便于用户分析处理。通过标准化的方式进行数据处理可以挖掘信息数据的内在价值，提高信息数据资源的利用效率。

1.1数据抽取

在云环境中通过大数据进行信息数据的采集分析，在网络技术之下可以拓展范围，实现数据信息的综合处理。而数据连接复杂，为了提高采集精度以及速度，则要综合实际状况合理应用大数据等技术手段[1]。

1.2处理与集成数据

在数据分析之前要通过技术手段对多种信息数据进行集成化处理，通过格式化、噪声处理等操作之后进行数据集合，如果数据采集标准尚未统一，则无法实现数据结构的抑制性，会对后期的数据分析效率以及精确性产生影响。因此，在处理中要应用统一的数据进行采集分析，保障信息数据精准全面。

1.3分析数据

分析数据主要就是通过大数据进行数据挖掘，在采集数据仓库与存储发掘等工具支持之下，对大数据与传统的数据差异性进行综合性的分析，通过多元化的方式提供服务[2]。

1.4数据分析

通过大数据进行数据分析，可以在系统支持之下进行可视化的方案数据设置，基于模拟分析数据结果则可以了解各项信息，根据不同客户的需求提供形象化的结果，充分提高决策制定的科学性。

2云环境下大数据计算机处理技术

2.1云存储技术

2.1.1数据收集以及加工技术

在信息数据的处理与加工中获得信息数据要根据要求进行存储、检测以及利用。而在信息数据的传输中在多种因素的影响之下会出现丢失、损坏等问题，为了提高信息数据的安全性，要综合实际状况进行数据安全管理，提高数据传输的安全性。通过分析传输的渠道，了解安全隐患问题，基于标准进行判断分析，及时处理存在的异常问题，保障传输通道安全的基础上进行数据的处理则可以降低安全隐患问题。在云环境中，做好信息数据的收集以及处理，通过筛选技术进行信息的分析，剔除冗余、错误性的信息数据，通过信息加工技术优化完善，则可以切实增强数据安全性[3]。

2.1.2数字整合处理技术

通过数据参数核算与分析，可以利用网络平台进行数据参数的综合分析、处理，有效提高了数字计算能力。随着现代技术手段的提高，数字整合技术也实现了创新优化，在大数据平台上融合数字整合技术手段，根据技术应用的特征拓展范围，可以实现多元化的发展，充分增强了数字计算的高效性。

2.2云安全与云计算处理技术

2.2.1云安全技术

网络安全问题是人们必须要重视的问题之一，通过云安全技术进行数据安全处理可以有效降低安全隐患问题，保障信息数据的安全性。通过云安全技术进行系统中各项风险隐患的识别以及综合分析，可有效降低非法入侵与病毒侵蚀等问题的出现，充分保障系统运行安全性。通过云安全技术实现病毒查杀以及安全管理，可以切实提高系统运行的安全性。

2.2.2云计算技术

云计算技术具有强大的功能，可有效降低信息资源的损耗性问题，提高信息利用效率。计算机信息在应用中会产生大量的信息数据，这些数据冗余复杂，通过计算方式进行优化可以快速实现目标信息的处理以及优化。通过云计算技术，根据用户的需求与等级等设置提供更加具有针对性的复杂，通过定制化的服务增强满意度，无需人工操作进行优化处理，则可以实现多任务的有效开展。

2.3虚拟化处理技术

虚拟化技术的应用可以充分保障数据信息资源的科学配置，便于信息数据的存储管理。在应用中根据程序、网络以及操作等不同内容进行系统设置。利用技术形成虚拟软件，则可以根据用户需求进行处理，通过服务器进行程序与设备的连接，则可以连接多台终端设备。用户通过升级等方式可以实现系统的优化，有效降低维修负荷等问题[4]。

3云环境下大数据计算机处理技术应用研究

3.1 Hadoop 处理技术

基于 Hadoop 处理技术进行平台建设，其作为一种MAP算法框架结构，通过分布式框架特征进行模块化处理，在分布文化与数据库虚体支持之下可以构建完善的大数据处理框架系统。实现对程序的综合分析以及管理，有利于进行大规模集成化的工程处理。

Hadoop 技术中最为显著的优势就是处理模型 MapReduce 的Map 映射函数属于本地计算方式，在进行数据输出中可以实现在本地计算机中进行运算分析，但是受到计算节点资源的影响，因此在处理中要综合数据分布状况进行综合分析，如果节点数量高于处理片数则要进行远程化的处理。因此，在运算中要分析处理的数据片数，Map 映射函数的公式如下。（1）

式（1）中：其中表示的是Map函数读取的阶段代价；则表示任务数所占节点中的任务比例；S表示的是要处理的数据总量参数；表示磁盘读取速度；网络通信速度；表示的是函数代价；表示的是数据片输入条； 表示系统函数总数。

Map函数可以基于输入不同的数据进行映射处理，通过系统进行函数计算结构的排序，整个过程为混洗过程，系统中会根据数据结果进行磁盘存储。

3.2 MapReduce 技术提供重要支持

云环境中，通过计算机技术分析大数据，通过分布或者并行的方式进行数据信息的处理，基于 MapReduce 技术，对技术接口定义优化，进行数据的调查分析，通过计算则可以进行数据集合的处理与拆分，通过碎片化处理进行数据片段的集成化处理，构建对应键值，配置数据片段，则可以进行大规模的集群节点的设置，根据键值的有效性则可以实现对任务的集合化处理。在处理中要基于 MapReduce 特征进行分析，提高信息数据处理效率，通过云计算技术对数据进行综合性的处理，可以实现 tb 级的处理，在平台中可以根据具体的需要，通过SDFS宽带数据处理等多种技术手段，在计算机服务集群的支持之下进行数据节点的扩展，进而有效增强数据处理的综合效率与质量。

3.3大数据处理模型框架的建设

通过大数据技术进行处理，主要就是基于MapReduce算法进行数据的映射与划分，在处理中要做好纸模块的划分与参数的控制处理。通过框架系统进行分布式的管理，在系统中输入信息数据，通过数据进行智能化的信息数据采集，根据设计的目标参数执行各项任务。对数据信息的处理，通过MapReduce技术则可以有效满足数据转移与分析的目的。基于云计算框架进行分布式的管理，根据系统需求进行综合处理，基于API技术支撑则可以满足不同的需求[5]。

在大数据处理框架系统的配置中，要根据需求对任意配置点进行定量评估，则可以实现自动化的配置，基于黑盒性能建模，进行数据收集与模型训练，通过遗传算法进行自动配置。实现高位配置空间的自动化配置与处理。遗传算法可以实现最优解的优化处理，实现自动化的配置。评估中假设含有n个虚拟的性能模型，获得真实性能公式为式（2）中：U表示不确定度；n表示虚拟性能模型；p表示预测结果；U越大则性能模型的整体精度产生的影响也越大，在进行大数据处理中则可以基于 conf程序进行性能测试，执行 conf，将其在训练数据集中处理，实现性能模型的更新优化。

3.4优化方法

3.4.1深网数据感知

深网数据感知主要的功能就是实现对海量信息数据的研究与分析处理，深网数据万网络规模为常规网络的400～450倍左右。而深网的数据构成以及处理模式与常规网络具有一定的差异性。在深网结构中无法确定访问路径以及信息，通过大数据进行分析，深网通过两套差异性的系统进行计算处理并有效融合，可以提高性功能。

3.4.2数据索引技术

非关系数据库是基于大数据建立的新型数据库，可以实现对非关系的信息数据的平行性存储与管理，此种方式可以有效增强信息数据的承载能力，在处理中可以实现对多种数据结构的优化，构建高效能的存储模式。进而为数据索引等工作提供实时性的信息数据支持。非关系数据库具有较强的自适应能力与可扩展性，信息数据处理能力显著，可有效信息数据存储方式。

4结语

在云环境下，综合时代发展特征，做好大数据计算机技术的优化与更新处理，才可以切实提高核心竞争能力。在大数据计算机技术的应用中要做好传输效率与安全分析，重视信息存储以及安全管理，利用多种计算机技术进行优化完善，切实保障信息数据的安全性、完整性、高效性，这样才可以有效推动社会经济的发展。

参考文献

[1] 孙云.基于云环境的大数据计算机处理技术分析[J].长江信息通信，2022，35（11）：158-160.

[2] 夏慧琳.云环境下大数据计算机处理技术应用研究[J].软件，2022，43（9）：173-175.

[3] 王莉，孟强.脑机接口技术运用中自然人的意思自治与责任承担[J].北京理工大学学报（社会科学版），2023，25（6）：68-82.

[4] 何锡点，朱仲马，张晓兵.云原生模式下体系联动的综合运维技术[J].网络安全技术与应用， 2023， （12）： 62-65.

[5] 刘朝，朱莉芳，接标，等.基于局部邻域滤波的对抗攻击检测方法[J].信息安全学报，2023，8（6）：84-93.

[6] 翟峰.生态环境大数据平台建设及其资源规划运行探析[J].决策咨询， 2023（5）： 57-61.