基于云计算平台的物联网数据挖掘研究

陈俊丽

【摘要】 当前随着社会经济科技的发展，计算机网络技术在社会生活中的应用范围也越来越广泛。而物联网技术作为计算机网络技术的重要组成部分，已经成为人们不断应用信息技术推动人类生活智能化发展的不可或缺的推动力。在物联网技术中，数据挖掘是其关键环节，也是物联网技术发展之后对于应用产业的有力支撑。本文首先介绍了物联网与云计算，然后在此基础上进一步介绍了数据挖掘技术，包括其含义、特征，其次对当前云计算平台中数据挖掘技术做了详尽深入的分析，最后进一步阐释了基于云计算平台的物联网数据挖掘技术工作流程以及实际应用范例。

【关键词】 物联网 云计算 数据挖掘

随着科技的快速发展，物联网技术应用在社会生活中越来越广泛，包括芯片技术、无线网络技术、传感技术以及GPS导航定位技术等正在不断完善与创新，信息传感、收集与处理分析技术也越发趋于成熟。在此背景下，更多的物联网应用被人们开发应用，成为互联网之后的又一大信息技术热点领域。由此，物联网技术也被人们寄予了更多的期望，因此需要更加深入和广泛的研究，从而不断推进更新更实用的物联网应用的开发[1]。

在物联网应用中，最主要的技术障碍就是数据挖掘，当前随着云计算平台的出现，物联网数据挖掘技术有了新的发展方向，这使得目前我国众多行业都在开发搭建基于云计算平台的物联网数据挖掘技术，从而让物联网具备更加厚实的IT计算能力、数据挖掘技术分析能力和平台拓展能力。因此，物联网行业产业的后续发展与当前云计算平台的发展有着极其密切的关系，而基于云计算平台的物联网数据挖掘技术则明显有着更加广阔的发展空间。

一、物联网概述

1.1 物联网

物联网（IOT）指的是运用各种各样的传感设备来进行信息传递的计算机集群，这是在计算机互联网之后的再一次飞跃，包括计算机技术、通信技术（移动通信技术、传感器技术网络）等，而且还是下一代网络发展的大方向。物联网具有全面感知性、信息传递可靠性以及智能化处理性，例如运用有线网络或者无线网络将通过传感器采集到的数据信息传递出去，经过云计算等技术进行数据分析处理，整合共享，而后达到对物体的智能化控制。因此，物联网一般至少包括传感器等电子元件、数据存储处理系统以及有线或者无线网络[2]。

1.2 云计算

云计算指的是在互联网支持的基础上，通过互联网服务为用户提供的依据需求而确定服务的计算方式。由于服务资源来源于互联网，并且互联网通常使用云状图案来表示资源，所以称之为云计算。云计算有着集群优势，同时具备高速运算能力和较高的数据存储能力，因而如今正被广泛而深刻的应用至IT行业中，具有高容错性与高伸缩性的特点。目前在云计算平台搭建中，用户主要依靠Hadoop来进行，作为云计算平台搭建基础，可以极为有效的利用集群计算能力与数据存储能力，从而实现大量数据的分析处理。

二、数据挖掘技术概述

2.1 数据挖掘技术的含义

数据挖掘技术产生时间并不算久，可自从20世纪90年代产生以来，在人类社会中产生了巨大的影响，同时受到了人们的广泛应用。目前来说，数据挖掘并不是一个独立的学科，而是交叉学科，因此不同领域不同行业的人对其理解也存在不同之处，因而对其准确的定义还没有定论。目前，大部分学者比较认同的关于数据挖掘技术的含义是韩家炜等人对其的定义[3]，包括三个方面的内容，第一，具有大量的数据来源，并且是真实的数据；第二，通过数据挖掘获得的信息对人们有着较高的价值与作用；第三，获得信息是可以被人们理解分析，被人们接受与运用，能够以此来做出判断或决策。

2.2 数据挖掘技术的特征

数据挖掘技术具有分布广、规模大、节点资源有限以及安全性复杂等特征。物联网数据本身具有分布广的特点，因为数据一般都存储在不同的地方，其次，物联网数据极为庞大，本身有许多传感器节点，因而需要有能够快速解决处理数据的中央节点，再次，节点资源并不是无限的，因而中央节点一般不需要所有的数据，但需要数据参数，从而依靠分布式节点将用户需要的数据传输出去。

三、在云计算平台下的数据挖掘技术分析

在当前的云计算平台中，最主要的是以Hadoop为基础搭建而成的平台，在此以Hadoop为例，简单介绍云计算平台中数据挖掘技术。主要分为四大部分，分别为物联网感知层、物联网传输层、数据层和数据挖掘服务层。

3.1物联网感知层

物联网感知层主要依靠在目标区域范围内放置极多的数据采集节点来发挥感知作用。具体来说，节点主要是通过传感器、摄像头以及其他设备进行数据采集工作，而采集到的数据则会依靠物联网感知层所具备的网络通信设备进行汇聚，将所有的数据传送到节点，而后经过汇总存储之后再次通过传输层输送到云计算平台的数据处理中心[4]。

3.2物联网传输层

物联网传输层主要包括传感器、无线（有线）网络等，通过诸多网络设备搭建的高速度无缝数据传输系统，能够快速将物联网感知层采集到的数据通过网络传送到数据处理中心，从而实现全方位的互通互联目标，也就是将各种类别的监测处理设备联网传输，实现设备之间网络信息的传递。

3.3数据层

数据层是物联网云计算平台中数据挖掘技术的关键部分，物联网本身具有异构性和海量性的特征，因而在数据层内将物联网设备采集到的数据进行存储处理分析的能力是基于云计算的物联网数据挖掘平台的关键。数据层中主要包括数据源转化与存储两大部分，其中，数据源转化主要对物联网异构性的数据进行转化，而存储部分则是使用Hadoop搭建的平台中的HDFS系统进行分布式存储，从而将海量性的数据完整存储到数据节点[5]。

由于在物联网平台中，对于不同的目标会采用不同的数据类型来表现，某种情况下，相同的目标也会采用不同的数据类型来表现，因此数据源转化的作用主要体现在保持数据的完整，防止异构性的物联网数据在转化中出现损毁，从而达到保证数据挖掘目标。数据源转化在系统中的作用相当于数据层与感知层的连接线，通过数据包的解码转换将不同的数据转换成需要的数据类型，并且分布式存储到数据处理中心。

3.4数据挖掘服务层

数据挖掘服务层包含数据准备、数据挖掘引擎以及用户三大部分。其中，数据准备部分的主要用途是对数据的清零、转化以及规约等。数据挖掘引擎则主要包含数据挖掘算法以及模式评估，而用户部分则主要将数据挖掘的内容进行可视化的表现。用户部分是整个云计算平台中数据挖掘技术面对用户的直接体现，因而具有友好性，能够让用户通过操作来对数据挖掘任务进行处理认知。

四、云计算平台上物联网数据挖掘技术应用分析

数据挖掘工作流程为：用户发出数据挖掘的请求之后，主要控制节点收到用户请求之后会首先判断能否进行任务，并且将结果回馈给用户。若是可以进行，主要控制节点就会调用数据挖掘算法，然后根据算法进行分布式数据挖掘工作。通过挖掘数据任务的划分之后，将具体内容传送到众多节点中，节点再具体进行数据挖掘[6]。

本次选择Hadoop搭建云计算平台，并以此进行模拟实验。

首先，选择一台实验所需要的PC机器，配置基于普通水平的2G内存，操作系统为win7。然后在PC端安装虚拟机，虚拟机的操作系统都是Linux操作系统。从而开始部署分布式节点，本次共安装3个虚拟机。其次，需要安装与Linux版本相适应的Eclipse7.5开发环境，并且于PC机上安装SSH服务，用于实验开始之后传递实验数据。3台虚拟机中也安装SSH服务，以便于Hadoop平台运用。

配置安装完毕后，选择采用关联规则算法的数据，将数据依据C++代码程序转换成标准的PML文件，文件大小为1G，然后将文件利用HDFS传入Hadoop平台，采用分布式存储。接下来，运行Apriori算法 [7]，根据计算结果来判断能否找到实验数据集合中所有的项目，然后，选用不同大小的文件再次重复实验，以此来得到较为准确的结果。实验运行Hadoop平台计算得到的数据如下表1。

从表1中可以看出，伴随着文件不断扩大，在Hadoop平台上运行，采用Apriori算法所运行的时间也随之上升。经过大量模拟实验后，可以看出Hadoop平台有着较高的拓展性能，能够满足当前市场对于物联网大量数据挖掘的要求[8]。

五、结语

随着社会经济与科学技术日新月异的发展，物联网技术也在不断的趋于成熟。当前物联网海量的异构性数据也在呈现着飞速增长的态势，导致物联网数据挖掘技术越来越显得困难重重。

在此背景下，基于云计算的物联网挖掘技术与传统的物联网数据挖掘相比，其能够通过分布式存储的方式以及分布式并行的计算方法更好的满足人们对物联网数据挖掘的要求，并且还能够通过计算存储迁移功能来避免数据存储过大导致节点出现故障的问题，不仅缩短了数据传输的时间，提高了数据传输的稳定性和完整性，而且还极大的提高了数据挖掘的效率与质量，有着极大的应用前景。

因此，本文所提出的基于云计算的物联网数据挖掘系统对于当前物联网应用的发展有着深远的意义，并且经过Hadoop平台进行模拟数据挖掘实验后，也验证了这种方案有着极大的可行性。

参 考 文 献

[1]卜范玉，王鑫，张清辰. 基于云计算的物联网数据挖掘模型[J]. 电脑与信息技术，2012，06：49-52.

[2]谢杨. 基于云计算的现代农业物联网监控系统[D].西南交通大学，2015.

[3]李哲青，周毅. 基于云计算的物联网数据挖掘模式的构建[J]. 信息与电脑（理论版），2013，06：122-123.

[4]褚翠霞. 基于云计算平台的物联网数据挖掘研究[J]. 数字技术与应用，2015，01：85.

[5]张旺军. 基于云计算的物联网数据挖掘模式分析[J]. 网友世界，2013，13：39-40.

[6]李立，张玉州，江克勤. 一种改进的基于云平台的物联网数据挖掘算法[J]. 安庆师范学院学报（自然科学版），2014，02：37-40.

[7]陈辑源. 基于云平台的物联网数据挖掘技术[J]. 电子技术与软件工程，2014，09：194.

[8]李虎群. 云计算物联网数据挖掘技术的应用系统分析[A]. 《建筑科技与管理》组委会.2015年5月建筑科技与管理学术交流会论文集[C].《建筑科技与管理》组委会，2015：2.