基于物联网与云计算的数据挖掘技术

杨雅颂

（福州职业技术学院，福建 福州 350108）

0 引 言

物联网技术是信息时代的产物，凝聚着人类的智慧。伴随着社会的发展，云计算、数据挖掘技术发展水平得到有效提升。当前，已对物联网技术、云计算、数据挖掘技术三者进行了融合。在云计算和物联网数据挖掘技术的背景下，数据分析水平和处理水平显著提高，这对及时发现数据价值非常有利。在新形势下，基于云计算的物联网数据挖掘技术被广泛地应用在社会生活中，应用此项技术挖掘数据，充分发挥数据价值，能够为人们的生产、生活提供诸多便利[1-4]。为进一步发挥基于云计算的物联网数据挖掘技术的价值，人们还需要积极研究并创新发展此项技术。

1 相关概念研究

1.1 物联网的概念

在信息技术、互联网技术、计算机技术快速发展的背景下，物联网技术出现在公众视野。狭义的物联网概念不包括人，只包括事物和事物相互联系[5]；广义的物联网概念是以网络为媒介，以人或物为对象，借助互联网实现实时信息交互。物联网技术将物与物、人与物联系在一起，对社会高效发展具有积极意义。当前，物联网技术被广泛应用在能源管理、环境监测、交通管理、医疗保健等多个领域。以能源管理为例，应用物联网技术可以远程控制照明设备、家电设备等，这样不仅可以为人们生活提供便利，而且可以降低能源消耗，减少不必要的浪费。以环境检测为例，应用物联网技术可以检测环境湿度、温度、大气运动情况等，有助于制定科学的环境保护策略，科学落实环境保护工作。以交通管理为例，应用物联网技术可以跟踪车辆、获知车辆数据、加强车辆管理。以医疗保健为例，应用物联网技术可以监测人体状态，便于为其提供科学的保健指导，提高身体健康水平。正因如此，物联网技术得到了社会高度关注，并加大了对此项技术的推广力度，以确保更多的人享受物联网技术带来的便利。

1.2 云计算的概念

云计算是指通过网络云将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析，这些小程序得到结果并返回给用户[6]。通过将云计算应用在实际工作中可以大大提升计算分析水平，为决策制定提供可靠的依据。一般而言，企业常应用云计算加强运营管理，以促进企业自身健康发展。

1.3 数据挖掘的概念

数据挖掘是指通过深度研究、分析大量数据，发现有用数据，发挥数据价值[7]。数据挖掘离不开统计学、机器学习技术、模式识别技术等多种学科技术的支持。在信息时代，企业每天面临着大量数据，如何挖掘数据价值、利用数据全面发展是企业重点关注的问题。数据挖掘技术的出现无疑有利于满足企业发展需求，提升企业发展水平。

2 基于云计算的物联网数据挖掘技术

当前，物联网技术、云计算以及数据挖掘技术逐渐融合，为企业以及社会发展提供了可靠的支持。为强化技术应用效果，有必要深入探究技术运行机理。

物联网感知层、传输层、数据层以及物联网数据挖掘服务层是云计算实践应用的重要组成部分。物联网感知层：感知是该层的重要功能。在物联网感知层可以通过被控制区域内安装的摄像头、传感器等各种感知设备来感知事物，获得各种各样的信息；然后可以将感知获得的数据信息发送到总服务器。在这种情况下，物联网感知层作用得以发挥。物联网传输层：用于传输数据，即把网络采集的数据及时、有效、完整地传输到总服务器。在实际应用过程中会不断地产生数据，因此物联网传输层就需要不断地传输数据。物联网数据层：用于处理数据的结构。一方面，存储数据，即将所获得数据进行存储，便于后续使用；另一方面，转换数据，即合理地转换数据，便于利用数据。存储数据、转换数据是挖掘数据的基础，所以存储数据、转换数据关系着数据挖掘效果。物联网数据挖掘服务层：用于挖掘数据，其数据挖掘水平影响着数据的合理使用。由此可见，物联网数据挖掘服务在数据高效应用方面发挥着重要作用。

虚拟技术支持着云计算应用，基于云计算的物联网数据挖掘技术同样需要虚拟技术的支持。虚拟技术具体应用介绍如下：在实际应用过程中会出现高性能硬件产能过剩，无法完全得到利用或老旧硬件的产能无法满足需求的问题。使用虚拟技术就可以虚拟产能过剩的数据，使之成为多个资源，在这种情况下就可以根据需求科学地选择数据资源，从而高效应用数据资源，发挥数据资源的价值；使用虚拟技术还可以整合老旧硬件，使之成为虚拟资源，为资源的合理使用打下基础。由此可见，虚拟技术在划分资源、整合资源中发挥着不可或缺的作用。在使用基于云计算的物联网数据挖掘技术时，有必要积极研究虚拟技术，科学地将虚拟技术融入，保证基于云计算的物联网数据挖掘技术的实用性。

数据处理与编程模型是基于云计算的物联网数据挖掘技术的重要组成部分。为提升基于云计算的物联网数据挖掘技术的应用水平，要主动探究数据处理与编程模型。从目前现状来讲，MapReduce模型（属于数据处理与编程模型）常被应用在此项技术中。MapReduce模型共包括两种函数：一种是Map函数，另一种是Reduce函数[8]。在两种函数的作用下，才可以更好地发挥MapReduce模型作用。MapReduce模型运行过程如下：首先，输入文件，为数据处理提供资料来源；其次，Map函数按行读取和加工数据，形成数据加工结果，将数据分配到新的节点上；再次，Reduce函数读取上一个阶段获得的数据，并将数据合并处理，如果在处理数据的过程中发现问题，则会再次运行任务，这样有利于提高数据应用水平；最后，在完成上一个阶段的数据处理工作后，就输出文件，如图1所示。

图1 MapReduce并行编程模型

3 基于云计算的物联网数据挖掘实验验证

发挥基于云计算的物联网数据挖掘技术作用的关键之处是深入挖掘数据，为相关人员开展工作提供可靠数据支持。如此一来，就要选择合适的数据挖掘算法。为探究基于云计算的物联网数据挖掘技术的实用性，本章对数据挖掘经典算法之一—Apriori算法进行了可行性分析。

3.1 Apriori算法分析

Apriori算法是数据挖掘的经典算法之一，在数据挖掘中具有重要地位[9]，其主要通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，以此为数据合理使用提供支持。当前，Apriori算法的功能作用已经非常清晰，可以积极地将Apriori算法应用在各大领域。比如，将Apriori算法应用在经济领域，为经济发展建设保驾护航；将Apriori算法应用在网络安全领域，及时发现和科学控制网络危险，为保证网络安全奠定基础。

3.2 实验环境

在验证Apriori算法应用效果的过程中，需要科学构建实验环境。本次实验选择了运行内存为4 GB、存储空间为128 GB、操作系统为Windows XP的台式计算机作为实验设备，在其内部安装了三个采用Linux操作系统的虚拟机，同时分别在这三个虚拟机中设置不同形式的节点，可以在很大程度上保证验证效果，为Apriori算法的实际应用提供依据。

3.3 实验过程

在本次实验中，要充分地把握实验过程，规范开展实验活动。实验过程如下：首先，准备好设备，做好设备调试，确保后续实验活动的顺利进行。其次，要做好与实验算法相关的数据处理工作，包括采用C++程序代码检索重点词语，将其转变成容量为1 024 MB的PLM文件，再将转变完的文件利用HDFS传输到进行实验的模拟平台上。与此同时，还需要将文件进行分类存储。最后，运行计算机，了解数据运行状态，同时做好数据记录，为后续实验结果分析提供依据。总而言之，实验过程影响着实验结果的科学性、准确性，因此有必要谨慎操作实验，科学控制实验过程。

3.4 实验结果

在本次实验中共传输了四种不同内存的文件，包括150 MB、300 MB、600 MB、1 024 MB，而这四种不同内存文件的运行时间分别为82 s、126 s、234 s、308 s，见表1所列。由此可见，文件内存与运行时间两者成正比。应用Apriori算法处理信息数据，有助于提高数据处理效率，保证数据挖掘效果。由此可见，Apriori算法具有良好的应用价值。

表1 文件大小与运行时间的关系

4 基于云计算的物联网数据挖掘技术应用面临的挑战及应对策略

随着信息技术、计算机技术等多种技术的快速发展，基于云计算的物联网数据挖掘技术进入到一个新的发展阶段，但在应用的过程中还会面临如下挑战。

第一，在应用技术时，需要处理大量的数据，充分挖掘数据价值。因此，数据处理水平仍有待提升。未来有必要深入研究数据处理技术，加强数据处理和管理。

第二，计算机硬件设施的性能在一定程度上影响着技术应用水平。目前还会出现计算机硬件设施的性能跟不上技术要求的问题，不利于高效利用技术。为此，相关人员有必要根据技术需求，开发计算机硬件，增强计算机硬件设施性能，保障技术有效应用。

第三，伴随着大数据技术的发展，数据节点需求大量增加，但满足需求的节点并没有随之增加，反而减少了。基于此，要积极处理数据节点的供需矛盾，满足数据节点需求。

第四，在应用此项技术的过程中，应当确保网络的稳定性，以提高技术应用水平；同时还需要构建安全系统，有效保护数据信息。从目前现状来讲，在应用此项技术的过程中有时会出现网络连接问题，不利于有效发挥此项技术的价值；还面临安全问题，容易导致信息泄露[10]。因此，要不断地升级网络技术，确保网络的稳定性，并且还要加强安全技术建设，提升安全技术发展水平，便于保护信息数据。

总而言之，基于云计算的物联网数据挖掘技术的发展前途是光明的，但是在发展的道路上容易遇到各种问题。因此，需要采取合理的措施，解决问题，保障基于云计算的物联网数据挖掘技术为人类社会发展创造更大的价值。

5 结 语

基于云计算的物联网数据挖掘技术为企业和个人的发展带来了机遇，因此有必要科学地应用此项技术，开展生产生活实践活动，抓住发展机遇。本文主要介绍了物联网、云计算、数据挖掘的概念，分析了基于云计算的物联网数据挖掘技术原理，同时还对Apriori算法的性能进行了验证，发现Apriori算法对于提高基于云计算的物联网数据挖掘技术的应用水平具有积极意义。最后探究了基于云计算的物联网数据挖掘技术应用面临的挑战以及应对策略，旨在为云计算背景下的物联网数据挖掘技术发展与应用提供指导。在实际应用此项技术的过程中，需要及时发现技术应用存在的问题，同时采取合理的措施解决技术应用问题，并总结技术经验，为技术应用与研发提供科学支持。