云计算下环形网络大数据协同挖掘方法分析

2020-12-02 07:51何南
数码设计 2020年12期
关键词:云计算大数据

何南

摘要:传统数据挖掘方法效率过低,利用云计算下的环形网络大数据协同挖掘方法则能够大大提升数据挖掘效率。首先需要对环形网络下的数据集进行选取,包括大数据的协同挖掘、大数据预处理以及数据集成,然后进行整个数据的规约与离散化,进而完成大数据的协同挖掘。经过实验数据表明,云计算下环形网络大数据协同挖掘方法较传统数据挖掘方法效率提升了约1/3,值得对此进行深入研究及推广。

关键词:云计算;环形网络;大数据;协同挖掘

中图分类号:TP311.13;U675.7   文献标识码:A   文章编号:1672-9129(2020)12-0009-01

前言:传统数据挖掘方式由于缺乏特征提取,因此在效率上非常低,数据挖掘的整体有效性显得不足。而云计算下的环形网络大数据协同挖掘方法能够有效确认数据的挖掘范围,并在大数据预处理及集成处理后有效提取到数据的特征,经过数据归约与离散化从而提升数据挖掘的效率。本文将就此进行详细分析。

1 环形网络下的数据集选取

1.1大数据的协同挖掘。在大数据协同挖掘进行过程中,首先需要确认好云计算接口,在硬件及软件的支撑下选取合适的数据集,在微处理器的作用之下完成整个挖掘工作。其中数据集的选取极为关键,需要具备一定的代表性,因此可以采用特征提取技术,确认好数据相关性系数、数据坐标参数、数据模糊度等各项指标。而后再在数据分离技术的作用下根据同性数据组方程实现科学的数据集选取。

1.2大数据预处理。在选定好数据集之后,接下来需要对大数据进行预处理,通常采用Client/Server模式,主要是因为该模式的數据处理能力相比其他模式会更强,对于环形网络而言也会更为适用。大数据预处理的流程图如图1所示:

从图1可以看出,大数据协同挖掘数据的预处理过程主要分为数据采集、数据挖掘以及结果输出三个板块,其中数据采集包含数据库、数据仓库以及其他数据源;数据挖掘包括数据挖掘引擎和知识库;结果输出包括数据输出结果和可视化用户界面。在进行数据预处理时,先将需要处理的数据放至数据仓库,选取非数据性特征集合后再移至数据库,连同其他的数据源对数据关系、数据特征等进行预处理。

1.3数据集成。经过大数据预处理之后,形成了更准确的数学模型,要想实现大数据的有效协同挖掘,还需要进行相应预挖掘过程。通过预处理得到的数据模型再建立在挖掘向导的作用下对数据关系进行准确定义,由此能够对整个数据进行集成处理。实际上数据的预挖掘过程就是数据的筛选过程,同样数据集成也是如此,但与数据预处理又存在本质上的差别,主要是将选取好的数据在某种标准之下完成筛选和拟合,预挖掘也就成了准备阶段。大致步骤如下:在原始数据提取之后,先通过数据的预处理,进而抽取到正确可靠的数据,再通过挖掘算法进行挖掘内核,进行相关模式的整合,通过模式的表达与解释筛选出最恰当的模式,再经过挖掘向导转至挖掘内核,由此形成一个循环过程,最终确定合适的模式,转接至用户。

在这个过程中需要确定好相应的数据集成导入方程,并确认好数据预处理数据量、数据大小、数据长度以及数据产生的随机性。由于在数据特征值处理过程中不同的特征值处理的方式存在差异,因此还需要建立起与不同挖掘点相匹配的索引函数,进而能够更加有效的对挖掘点进行数据挖掘,并使覆盖面能够与挖掘点有效契合。

2 数据归约与离散化

云计算下环形网络大数据协同挖掘过程中数据的规约与离散化是核心程序,经过此项步骤后才能够真正实现数据的有效挖掘。首先是数据归约处理,应当对相关数据集合进行相应的标识,因为在数据挖掘的过程中有可能因为数据量过大的缘故而产生数据归约大范围误差,进行特征性标识后依托归约函数能够使得归约更为有序。在这个过程中主要提取的参数包含调剂系数、规范范围、数据的持续变化量等等。对数据进行归约处理后能够得到一个基本特征值,而这个特征值是基于某一个特征点提取出来的,也就是说在整个数据集中能够得到多个基本特征值,对这些特征值进行离散化计算,由此能够有效实现云计算下环形网络大数据的协同挖掘。

3 结语

传统数据挖掘效率太低,为了能够将此状况进行改进,本文提出了云计算下环形网络大数据协同挖掘,在进行数据挖掘之前需要对数据类型、计算方式、网络拓扑结构以及数据通信协议等进行确认,经过大数据的协同挖掘和大数据预处理后实现环形网络下的数据集选取。再进行协同挖掘的核心程序数据规约与离散化,进而能够完成整个大数据协同挖掘过程。通过实验表明,基于云计算的环形网络大数据协同挖掘较传统数据挖掘方式效率上约提升1/3,值得进行深入研究和推广。

参考文献:

[1]胡金蓉,邹茂扬,文武,周子龙.大数据驱动的学习分析技术研究进展[J].现代电子技术,2020,43(18):54-58.

[2]尹旭熙.基于大数据分析技术的多源监控信息挖掘方法研究[J].电子设计工程,2020,28(17):52-55+60.

[3]张翔,魏小鹏.医院面向健康服务管理的大数据有效挖掘方法研究[J].中国卫生信息管理杂志,2020,17(03):279-284.

[4]郑宪秋.基于时空约束和小波设计的非侵入式负载数据协同挖掘算法[J].西安工程大学学报,2019,33(06):643-648.

[5]廖彬,张陶,于炯,黄静莱,国冰磊,刘炎.多MapReduce作业协同下的大数据挖掘类算法资源效率优化[J].计算机应用研究,2020,37(05):1321-1325.

猜你喜欢
云计算大数据
志愿服务与“互联网+”结合模式探究
云计算与虚拟化
基于云计算的移动学习平台的设计
大数据环境下基于移动客户端的传统媒体转型思路
实验云:理论教学与实验教学深度融合的助推器
云计算中的存储虚拟化技术应用
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索