基于云计算平台的物联网数据挖掘探讨

2018-04-17 13:10:04张素杰柯瑜
电子测试 2018年16期
关键词:数据源海量储存

张素杰,柯瑜

(北京科技大学天津学院信息工程学院,北京,301830)

1 云计算与物联网

1.1 云计算

云计算是以计算机技术和网络技术为基础的全新计算方式,其拥有强大的计算能力,可以帮助人们快速解决生活中的实际问题,同时,应用云计算技术还可以实现技术共享、缓解资源紧缺。随着我国信息技术的蓬勃发展,云计算在各个领域实现了广泛的应用,其是物联网的关键计算模式,为其发展提供了重要支撑。

1.2 物联网

物联网是新时期信息技术的关键组成部分,是信息时代的重要产物,其主要是指利用各种信息技术,将物与物有效连接,形成稳定的局域网络,为用户提供集中操控和远程操控等服务。随着我国信息技术的蓬勃发展,物联网已经在社会各个领域实现了广泛应用,通过互联网与物品的连接,可以促进信息通信和交换,用户利用远程终端对物品进行智能化操控,也为人们提供了便利,保证物品安全。

物联网的主要特点如下:第一,物联网以多项感知技术为支撑;第三,物联网以互联网为依托,是在互联网基础上而建设的泛在网络;第三,物联网不受时间和场合的限制,用户可以结合自己的需求自由互换。

2 数据挖掘技术

2.1 相关概念

数据挖掘从广义角度分析,其主要是指通过对海量数据的分析和计算,挖掘其潜在的隐藏价值。计算机与数据挖掘具有直接联系,数据挖掘通过计算机所具备的机器学习、情报检索、分析统计等手段实现其应用价值。随着数据挖掘在我国各个领域中的深度应用,其应用价值也逐渐发生转变,第一,数据挖掘可以为用户提供可靠、大量的数据;第二,数据挖掘能够帮助用户获取有价值的信息;第三,数据挖掘能够帮助人们对数据进行分析和整理,进而为做出决策提供数据参考。

2.2 技术特征

数据挖掘具规模大、分布广等特点,其中规模大主要是指在物联网中拥有海量的传输应用和数据信息,数据挖掘是数据处理和分析的重要环节,其需要具备较大的处理规模;分布广是数据挖掘最基本的特点,由于物联网本身就具备广泛的分布性,在应用数据挖掘过程中,需要将数据分别储存在多个地方。

3 物联网数据挖掘面临的挑战

根据数据挖掘和物联网的特点,其面临着以下几点挑战:第一,物联网的大量数据分别储存在相关节点中,利用中央模式难以全面挖掘数据,导致数据呈现较强的分布性和分散性;第二,物联网具有规模庞大、数据海量的那个特点,其拥有大量的传感器节点,满足对数据及时处理的需求,如果实行中央结构,会增加对各个节点的数据处理要求,需要对节点硬件进行升级更新;第三,由于各个节点的资源是十分有限的,在中心节点处理数据会花费较为昂贵的资金,因此,通常情况下,不需要通过中央节点处理所有数据,但要对相关参数进行预估和分析,并且在各个节点中对数据进行有效处理,将有价值的信息传递给用户;第四,影响物联网数据的外在因素较多,例如法律约束、数据隐私以及数据安全等,因此,为了保证数据的安全可靠,不能将数据放在同一数据仓库,需要对其进行分别放置。

4 基于云计算平台的物联网数据挖掘技术分析

4.1 感知层

其作用是利用特定区域内的采集节点,通过仪器仪表、摄像头和传感器,采取有关物联网数据,实现数据在感知层中的通信,即利用无线传感器,将数据信息汇聚到节点中,通过对数据的储存汇总,将数据传输给数据中心。

4.2 传输层

传输层是集有线网络、无线网络、传感器网络等多种形态为一体的可靠、无缝和高速传输网络,可以快速灵活的将数据换递给数据中心,促进物联网的互联互通。

4.3 数据层

数据层是云计算平台的核心环节,由于物联网具有海量性和异构性特点,通过数据层可以实现对收集数据的分析和整理。数据层主要包括数据储存和数据转化两大部分,数据储存主要是通过Hadoop平台对数据进行安全储存;数据转化是利用物联网所具备的异构性,对数据完成转化。在物联网内部,对于同一目标经常会选择以不同的类型进行数据表现,因此,在数据转化中,要求保证数据的安全性和完整性,避免数据遭受破坏,实现数据的可靠挖掘。在物联网中,对象不同其数据表现方式也不同,数据源的功能是解决数据异构性的重要方式,其可以确保数据完整可靠,实现数据挖掘的有序进行。数据源转换相当于感知层和数据层中所有监测设备的接口,其可以按照数据源的不同,完整的储存数据,

4.4 服务层

服务层主要包括用户模块、引擎模块和准备模块,用户模块主要涵盖挖掘可视化技术;引擎模块具备类似分析、偏差分析、趋势分析、聚类、关联以及区分等特征;准备模块主要包括数据转变、数据分析等环节,通过引擎模块完成对数据的收集和分析等工作。服务层具有较强的人性化和友好性,可以为用户提供便捷的操作页面,提升物联网的使用功能和应用价值。

猜你喜欢
数据源海量储存
一种傅里叶域海量数据高速谱聚类方法
海量快递垃圾正在“围城”——“绿色快递”势在必行
当代陕西(2019年14期)2019-08-26 09:42:00
Web 大数据系统数据源选择*
安防云储存时代已来
基于不同网络数据源的期刊评价研究
一个图形所蕴含的“海量”巧题
基于真值发现的冲突数据源质量评价算法
冬眠
火电厂碳捕集与储存中吸收法的应用和改进
发电设备(2014年4期)2014-02-27 09:45:33
基于文件系统的分布式海量空间数据高效存储与组织研究