基于云计算技术的数据挖掘平台设计及技术分析

滕云

摘要：在市场信息资源竞争环境下，会滋生一些不良行为，对云计算中的数据安全造成严重的威胁、资源流失等，如破解密码、僵尸网络等会使得原有的防火墙系统由最初的账号、密码泄露，导致用户找不到相应的系统文件，对工作、学习造成严重的影响。因此，不能片面的认定云计算技术能够准确无误的保障数据信息安全，需要充分的熟悉掌握存在的安全隐患，防患于未然，做好相应的预防及应对措施，才能保障云计算的顺利运行和可持续发展。该文则对云计算技术下的数据挖掘平台设计及技术展开分析。

关键词：云计算技术；数据挖掘；设计；技术

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）30-0005-00

对于数据挖掘平台设计中，可以基于当前云计算技术发展优势，而数据挖掘与数据是密不可分的，运用云计算技术，有助于优化数据挖掘平台设计工作，以提升数据挖掘平台设计性能。以下本篇对此做具体分析。

1云计算技术的应用价值

在数据挖掘平台设计中，数据挖掘（Data Mining），就是可以在实际工作中，针对大量、不完全数据，以及有噪声、模糊的实际应用数据之中[1]，能够去有效提取在其中的隐含的数据，这些数据均是人们事先所不知道的数据，但是对于这些数据中，又潜在存在有用的信息；而对于这个发现新数据、信息知识过程，就是数据挖掘的过程，也成为数据库中的知识发现KDD（Knowledge Discovery in Databases）。对于数据挖掘平台设计中，运用云计算技术，与传统数据挖掘相比，采取云计算技术设计实现的数据挖掘平台，能够通过“云”中的多个资源，去完成数据挖掘的工作，可以使数据资源在该数据挖掘平台中得到充分的利用，提高当前数据挖掘的效率[2]。同时，基于云计算技术的数据挖掘平台，其设计意义重大，可以提高数据挖掘效率的同时[3]，还能够克服实际中网格环境下挖掘数据的弊端，实现面向商业应用的数据挖掘工作，现实中更具实用价值。

2数据挖掘系统设计意义

对于本研究项目中，基于通信资源数据挖掘设计挖掘平台。数据挖掘总体可以分为数据准备、数据挖掘两个大的阶段[4]。数据挖掘平台设计中，根据数据特点运用云计算技术，对数据进行过滤、转换等操作，有助于提升系统设计性能，满足系统设计需求。对于该系统设计中，针对海量用户数据信息，利用数据挖掘技术，基于云计算技术，可在计费数据、业务订购数据、网管数据等海量用户数据中发现商业信息，为通信市场的精准营销打下基础[5]。在系统设计中，运用云计算技术实现数据挖掘， 将云计算技术融入数据挖掘中，采用分布式计算（Map/Reduce）概念，能够将大数据集和挖掘任务分解到多台计算机上并行处理，以确保数据挖掘平台设计符合实际需求。

3云计算技术下的数据挖掘平台设计及技术

3.1 系统总体设计

在云计算技术下，设计数据挖掘平台，采取三层结构，以数据预处理、云计算以及数据挖掘平台为分层，优化提升该平台实现数据挖掘的功能。系统设计结构如下图所示：

图1 数据挖掘系统结构

对于该平台设计中，在数据预处理层，能够存储分布式数据文件，实现对平台的分布式系统管理。对于云计算层，可以对各个数据挖掘步骤及模块总控、调度[6]；对原始数据进行预处理以得到挖掘数据。对于数据挖掘平台，可以实现具体应用，以确保该平台设计符合实际需求。

3.2 系统功能设计

运用云计算技术，设计数据挖掘平台，该平台具备多种数据挖掘功能，由数据收集模块、数据预处理模块、模式规则选择模块、应用接口模块四部分组成。如下图所示：

对于该系统的数据收集模块，其主要的功能，就是可以负责收集在该平台服务器端中的数据，同时也包括客户的一些登记资料，然后就能够运用文本方式，返回这些收集的数据。

对于系统中的数据预处理模块，主要功能则是，能够预处理返回数据信息，去除那些信息中无用的、冗余数据，以便节约系统数据挖掘时间[7]。

在数据挖掘平台的模式规则选取模块，可以获取各个站点通用的模式，是一种学习策略。

在系统的应用接口模块，其功能是可以实现数据与该数据挖掘平台的连接。

3.3 平台数据库设计

数据库设计充分利用关系数据库特征，减少数据冗余，数据只在一个地方存储，通过主键和外键对应动态生成所需视图，方便程序编写查询检索代码。部分表键对应关系如下所示：

平台中，Reduce可以接收来自不同的map任务数据，同时，其每一个任务中传来的数据，也均是有序存在的[8]。在该数据挖掘平台中，若其reduce端数据量接受较小，可以将其直接存储到内存中，若是数据量超过缓冲区比例，可以将数据进行合并，将其写到磁盘之中。由于数据库的编程语句太多，限于篇幅，仅在此介绍创建机架表的相关语句：

CREATE TABLE [dbo].[机架表]（

[Num] [int] IDENTITY（1，1） NOT NULL，

[所属机房] [int] NULL，

[SSType] [int] NULL CONSTRAINT [DF_机架表_SSType] DEFAULT （0），

[WORLD_X] [float] NULL，

[WORLD_Y] [float] NULL，

[WORLD_Z] [float] NULL，

[PIC_PATH] [nvarchar]（50） NULL，

[TEXTURE_TOP] [nvarchar]（50） NULL，

[TEXTURE_BOTTOM] [nvarchar]（50） NULL，

[TEXTURE_LEFT] [nvarchar]（50） NULL，

[TEXTURE_RIGHT] [nvarchar]（50） NULL，

[TEXTURE_FRONT] [nvarchar]（50） NULL，

[TEXTURE_BACK] [nvarchar]（50） NULL，

[XL] [int] NULL，

[YL] [int] NULL，

[ZL] [int] NULL，

[Angle] [int] NULL，

[IsCreated] [int] NULL，

[Vindicator] [int] NULL，

[序号] [int] NULL，

[编号] [nvarchar]（100） NULL，

[名称] [nvarchar]（100） NULL，

[类型] [int] NULL，

[设备型号] [int] NULL，

[生产厂家] [int] NULL，

[投运日期] [smalldatetime] NULL，

[使用年限] [int] NULL，

[运行状态] [int] NULL，

[备注] [nvarchar]（1000） NULL，

CONSTRAINT [PK_机架表] PRIMARY KEY CLUSTERED

（ [Num] ASC）WITH

（PAD_INDEX = OFF，

STATISTICS_NORECOMPUTE = OFF，

IGNORE_DUP_KEY = OFF，

ALLOW_ROW_LOCKS = ON，

ALLOW_PAGE_LOCKS = ON）

ON [PRIMARY]

） ON [PRIMARY]

3.4 数据挖掘平台算法实现

将云计算融入数据挖掘，将计算扩展到无限规模的机器集群上进行。在Map/Reduce框架中，每一次计算请求，均是以此作业。其数据挖掘中，可以将数据挖掘作业拆分为若干个不同的Map任务， 然后将其分配到数据挖掘平台中不同的机器中执行；当完成所有的Map任务后，则可以进入下一个数据挖掘步骤，将这些中间文件合并，输出这些文件；同时，该数据挖掘平台中，又将生成若干Reduce任务，循环以上算法，最后可生成所需的数据挖掘目标文件。运用该算法设计数据挖掘平台，大大提高数据挖掘的灵活性，提升数据挖掘效率。明确数据挖掘的目标，并对挖掘目标建立恰当的模型。

4系统设计的相关建议

云安全检测技术是根据文件、邮件以及网页信誉评估数据库，联合安全网关进行全自动、全智能安全防御，所有的数据实现多处服务器部署，最大限度内保障数据安全。其应用规模已经涉及人们日常生活的方方面面，而且在通信、IT产业、各大运营商以及政府的大力扶植下（证词、资金、人力等各方面），应经成为众所周知的“新鲜事物”（获得了广大用户的认同和接受），具有宽广的发展前景，发展态势也比较良好[9]。在其发展中也需要注意以下方面：

1）验证、管理使用客户的身份以及访问权限（方式不受限制）

要建立完善用户身份、使用权限的验证体系，通过各种各样的方式，审核用户的身份及使用权限是否符合相关规定（通过互联网技术，定期地对所有用户进行访问，及时的更新用户资料），如可以进行大型机、移动、联通、社交环境等多方面的在线访问，除此之外，还要不断的提高洞察力，及时的判断是否用用资料的真实性，改善和控制用户的安全操作，规避数据安全风险。

2）建立数据安全威胁扫描机制

建立数据安全威胁扫描机制，保障不影响整个而操作系统的正常运作。具体做法为；架构IT基础，即创设保护服务器，有效地避免数据安全威胁。同时，需要对网络、大型机、虚拟服务器、服务器以及客户终端进行高质量的安全保护，在全方位、多层次的满足用户的各方面需求的基础上，在整个体系上实现根本性的数据安全威胁预防[10]。

3）加强数据管理（实时的更新、升级数据库）

实时的调查、审核、更新数据，适当地进行数据安全保护调整，并且利用多年的工作经验，综合分析评估各项数据，一旦发现数据漏洞，及时的修补（严格的遵循相关规定），做好保密工作，通过各种各样的方式尽可能的保障数据安全。

4）强化云计算相关工作人员的综合素质

在云服务安全管理工作中，不仅要强化工作人员的专业素质，更重要的是强化工作人员的思想道德素质，做好内部质量控制，通过各种各样的方式，锻炼工作人员的综合化素质，避免不安全行为的发生，用强大的、正确的价值观，鞭策工作人员认真工作，提高内部数据安全质量控制率。

总之，需要各个使用环节通力合作，最大限度的延长云安全检测生命周期的安全性，积极努力地控制好每一步的安全使用，将云计算对社会有益的部分充分地发挥出来，从而方便人们的生活，保障数据信息安全，造福人们社会。

5 结论

综上所述，本篇目的在于探讨云计算技术下数据挖掘平台设计及技术应用效益。通过研究设计云计算技术下数据挖掘平台，在云计算技术支持下，优化设计数据挖掘平台，以改革当前数据挖掘技术质量。结果证实，设计基于云计算技术的数据挖掘平台，不仅可以确保提升技术应用效益，也可以提升数据挖掘质量，提升数据挖掘平台稳定性，相比较传统数据挖掘方式，提高云计算机技术下数据挖掘的效率，提高达到20.0%。由此可见设计基于云计算技术的数据挖掘平台，不仅可以满足当前系统设计需求，也可以满足用户规模的扩大、应用目标多样等环境下数据挖掘的应用需求，提高数据挖掘的效率，具有实际应用价值。

参考文献：

[1] 程苗，陈华平.基于Hadoop的Web日志挖掘[J].计算机工程，2011，37（11）：37-39.

[2] 曹小春，曾安，潘丹，等.云计算环境下面向领域的数据挖掘服务平台研究[J].自动化仪表，2014，35（9）：9-13.

[3] 黄章树，刘晴晴.基于云计算服务模式的数据挖掘应用平台的构建[J].电信科学，2012，28（1）：53-57.

[4] 王德文.基于云计算的电力数据中心基础架构及其关键技术[J].电力系统自动化，2012，36（11）：67-71，107.

[5] 赵海东.关于流数据挖掘技术中有关云计算的应用设计分析[J].数字化用户，2013（15）：142-142.

[6] 金龙.云计算环境中的数据挖掘存储管理设计[J].软件工程师，2012（12）：36-37.

[7] 张大卫，李海雁，李涛，等.云计算环境下多源遥感数据挖掘系统构建[J].信息技术，2015（5）：187-191.

[8] 王水萍，王方.一种基于云计算数据挖掘平台架构的设计与实现[J].信息安全与技术，2014（8）：64-66.

[9] 蔡江云.基于微软云计算平台的海量数据挖掘系统分析[J].才智，2015（5）：375-375.

[10] 朱岩，林穗.基于云计算的移动数据挖掘系统的研究与设计[J].现代计算机：上半月版，2012（3）：50-52.