基于云计算平台下物联网数据挖掘的思考

2019-02-13 10:45贾晓冬
数字通信世界 2019年7期
关键词:数据源数据挖掘分布式

贾晓冬

(中国联合网络通信有限公司石家庄市分公司,石家庄 050000)

人类在2010年提出了“数字地球”的概念,此后这一概念的影响力在不断增强,与此同时中国民众的生活与物联网技术的联系越来越密切。社会各界对物联网提出了更高的要求,而在目前的发展阶段中,数据挖掘是物联网技术所面临的一大难题,本文就此展开讨论。

1 云计算平台理论基础

云计算是在互联网技术的基础上提出的,该计算方式以用户的需求为依据,通过互联网为用户提供相关服务。由于云计算的整个服务资源来源于互联网内的数据,而且互联网在显示相关资源时也大多应用云状图案,因此该技术被称作为云计算。在相关应用技术的基础上,云计算的性能十分先进,具有规模较大的特点,就比如说谷歌云计算,就是由100多万台服务器构成。而其他的较大型搜索引擎也拥有数十万台服务器[1]。虚拟化也是云计算的显著特征,用户能够在任意位置登录,也能在任意终端实现服务器登录。而这些操作步骤都在云空间内实现。云计算的另外一个特征是可靠性,在数据多副本绒促的作用下,应用数据的节点同构作用,实现可靠性服务。云计算的通用性特征十分明显,不会特别针对某一项应用,而是创造出海量应用。此外,超大规模的云计算还能实现动态伸缩,如此一来,用户日益增长的各类需求都能被满足。

2 基于云计算平台下物联网数据挖掘的作用分析

2.1 物联网感知层和传输层的作用分析

物联网感知层能够实现感知作用,通过在目标区域范围内设置大量的数据采集点,实现有效的感知作用。通过传感器和摄像头完成数据采集工作。将采集到数据集中处理,此时要用到物联网感知层的所具备的网路通信作用,这些被需要的数据会被传送至各点,之后集中保存并再一次通过传输层到达云计算平台的数据处理中心,此时整个感知层的职能就全部实现。数据传输的整个过程都要经历的中间环节就是物联网传输层,其中包含的技术有传感器和无限网络。多种设备连接在一起,构建的传输系统能够高效率、无缝式传递信息。物联网感知层在收集数据之后,通过传输系统能够更有效地将收集到的数据传输至数据处理中心,此时全方位的互通互联目标也能完整实现。仔细分析实际的工作内容,可以发现检测处理设备具有多种属性,将所指向的属性相连接并实现联网,不仅传输效率会明显提高,还能在各设备节点之间完成信息传播。

2.2 数据挖掘服务层的功能实现

在数据挖掘服务层中,有数据准备模块、数据挖掘引擎模块,另外还有用户模块。在数据准备模块中,能够实现的功能有分析数据情况、转变数据格式、制定数据规则。在数据挖掘引擎模块中,具备的内容有挖掘数据算法、评估数据模式。而在用户模块中,涵盖的功能是将数据挖掘的知识采用可视化手段展现出来。各种数据挖掘类型之间存在一定差异,因此数据挖掘引擎模块的功能十分多元化,能够对数据进行类似性分析、偏差性分析、趋势分析、关联分析、聚类分析,正是数据挖掘模块中的算法集提供了上述多种功能算法。要想实现在Hadoop 平台中挖掘相关算法,就要对传统的数据挖掘算法进行适当调整,运用并行化模式处理相应算法。比如在用户的直接接触端,也就是物联网数据挖掘平台的用户模块,该模块担负着重要的职责,要将系统的信息转化为用户能够识别的信息,因此该模块必须要具备明显的友好性。

2.3 数据源转换模块的功能

异构性和海量性是物联网数据的明显特征,为此Hadoop 平台在开发物联网数据挖掘系统时要能够较高质量开发物联网数据挖掘系统,以实现更好存储和处理物联网数据。比如在某次构建物联网数据挖掘系统时,建立了数据源转换模块和分布式存储模块。数据源转换模块实现的功能是转换物联网异构数据,分布式存储模块的功能是分布式储存物联网所产生的海量数据[2]。在分布式储存模块实现功能时,要依赖于Hadoop 云计算基础的HDFS 文件系统。在显示物联网中的不同对象时,要用到不同的数据类型,因此物联网的根本性特征便是异构性质,能够比较直观说明这一特点的情况是不同的对象要用不同的数据形式来表示。数据源转换器的功能是保证数据存储完整,同时也能保证挖掘工作科学顺利地进行

3 结束语

综上所述,物联网数据挖掘会在云平台技术的支持下获得良好发展。在Hadoop 平台的基础上开发物联网数据挖掘系统,能够实现更加全面完善的功能。本文做出的功能实现分析在未来会进一步深入,提高数据挖掘的智能性和工作效率。

猜你喜欢
数据源数据挖掘分布式
探讨人工智能与数据挖掘发展趋势
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
Web 大数据系统数据源选择*
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
基于不同网络数据源的期刊评价研究
基于DDS的分布式三维协同仿真研究
基于真值发现的冲突数据源质量评价算法
西门子 分布式I/O Simatic ET 200AL
WONCA研究论文摘要汇编
——初级保健晚期疾病患者照顾者的识别障碍:3个数据源的三角化测量