基于SVM的物联网大数据有效信息过滤挖掘

陈国靖 詹跃明

摘 要：随着信息化时代的到来，信息爆炸给世界信息化带来了巨大的改变，同时对人们的生活造成极大的影响。在生活中，人们常常会遇到很多信息，却难以发现其中的有效信息。如何将有效信息从众多信息中过滤挖掘出来就成为一个值得探究的问题。本文从物联网与大数据的关系入手，结合SVM算法的特征，分析SVM算法相比于其他数据挖掘方法的优势。

关键词：SVM算法;支持向量机;物联网;大数据

中图分类号：TP311.13文献标识码：A文章编号：1003-5168（2020）26-0008-03

Absrtact： With the advent of the information age， the information explosion has brought tremendous changes to the world's informationization， and has a great impact on people's lives. In life， people often encounter a lot of information， but it is difficult to find effective information among them. How to filter and dig out effective information from a large amount of information has become a question worth exploring. This paper started with the relationship between the Internet of Things and big data， combined with the characteristics of the SVM algorithm， and analyzed the advantages of the SVM algorithm compared to other data mining methods.

Keywords： SVM algorithm;support vector machine;Internet of Things;big data

数据处理和有效信息挖掘是现代信息技术的重要组成部分，能够在巨大的信息流中为用户提取所需的信息[1-2]。数据转化为价值是当今时代重要的财富创造途径，许多企业通过应用大数据技术实现良好的发展。由此可见，大数据技术能够利用数据，为多个行业提供服务。其中，物联网行业因与大数据技术的结合而发生许多变化，这些变化又反过来促进了大数据领域的变革。

1 大数据与物联网概述

1.1 物联网的概念

物联网是现代信息技术的重要组成部分，其主要思想是对物品进行信息化管理。通常用局域网或互联网将某个区域中的人、传感器、机器、计算机系统连成一个整体，进行远程化、信息化、智能化的整体管理。其将真实物品的控制信息轉变为机器所能识别的语言，最终通过计算机系统对物品进行远程管理。

1.2 大数据的概念

当今社会，大数据能够集合广大的数据信息，而这些信息中必然存在对某个领域有效的信息，能够促进这个领域的发展。大数据算法对于有效信息的提取和分析具有重要作用。现代社会，大数据呈现出三种新特征。一是信息增长速度加快。当前，电子设备逐渐进入千家万户，个人拥有的电子设备通常超过两个，电子设备使用过程中必将产生一定的信息。二是数据类型的广泛性。由于数据来源不同、参数和形态的不同，数据类型趋于多样化，数据表现出异构化特征，而多类数据往往难以进行整合分析，这种特征催生了多种大数据分类算法。三是数据信息规模不断扩大。数据量的扩大使得信息规模不断扩大，尤其是企业信息，往往需要依托较大规模的数据库来进行管理。

1.3 大数据与物联网的关系

大数据由物联网中各个运行的设备或某种操作产生，不断发展和完善。这种完善将推动社会的发展和生活方式的改变，再反向促进大数据的变革。这样的相互作用形成了良好的循环，使得两者双向进步、快速发展。

2 大数据的有效信息挖掘对物联网的意义

2.1 有效提升数据的价值

随着信息产业的不断发展，数据产生价值已经成为迫切需求，大数据中的有效信息挖掘能够为这个问题提供一定的解决方法[3-4]。例如，大数据技术从终端信息渠道采集大量用户数据，在计算机系统中加以分析，对最核心的信息予以深入研究和分析预测，最终使大量数据变成数量少却有价值的信息。

2.2 促进多个领域的发展

在物联网行业，大数据的应用随处可见。无论是常见的移动数据设备，还是高科技的智能物流、智能家居等领域，都与大数据的应用密不可分。同时，大数据的飞速发展使得高精尖芯片的需求增加，使得芯片的核心技术加速提升成为重要的研究课题。因此，物联网与大数据的结合能促进多个领域的发展，极大地改变了人们的生活方式。

2.3 变革故障处理方式

当物联网中某个设备发生故障时，大数据系统能够实时将最后的运行数据反馈出来，便于发现故障原因。收到数据后，诊断系统能够及时进行分析，找到适宜的解决办法，并且将信息存入数据库，以便在下一次发生相似故障时有据可查，迅速做出反应。

2.4 进行定位感知

大数据分离的有效信息不仅能够简单地定位设备位置和故障位置，还能定位产品运行的健康状态。定位感知技术可以察觉设备的一举一动，一旦出现问题，就能及时定位现场，帮助技术人员及时处理问题，提高故障处理效率。同时，定位感知技术有利于感知设备的效能、负载等，优化设备性能。

2.5 进行数据感知

大数据能够通过数据进行一定的预测。计算机云端存储各种设备数据后，再进行数据挖掘，利用有效信息形成回归曲线，预测数据走向。这一作用不仅能帮助信息使用者优化相关产品，还能通过分析运行数据和已出现的故障，诊断设备存在的隐患，及时预测问题发展方向，解除隐患，避免产生更大的经济损失。

3 SVM的内涵及特征

3.1 SVM的定义

SVM指的是支持向量机，是一种常见的判别方法。在机器学习领域，它是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。

3.2 SVM的主要思想

SVM的主要思想可以概括为两点。SVM将数据划分为两类，一种是线性可分的数据，一种是线性不可分的数据。对于线性可分的情况，直接采用线性回归方式进行数据分析和拟合。而对于线性不可分的情况，通过使用非线性映射算法，将数据从低维特征空间输入高维特征空间，使得原本线性不可分的数据转化为高维可分数据，进而采用一般算法进行分析和处理。

3.3 SVM的主要特征

SVM是一種全局优化方式。其目的是建立一种模型，对目标函数进行分析，发现目标函数全局最小值。相比其他算法，SVM更注重全局优化，而不是寻求局部最优值。其通过最大决策边界的边缘方式来控制模型，对模型进行约束和限制，需要用户为其提供相应的参数，如使用核函数类型和引入松弛变量等。SVM在数据分类方面具有良好的特性，能够对每一组被分析出来的数据设置一个哑变量，对每组数据进行有效的标识。SVM一般用于二类问题，对于多类问题使用效果不佳。

4 基于SVM的物联网大数据信息过滤挖掘主要内容

4.1 数据采集

不同类型的数据均可采用多源信息资源云检索机制进行监管，每个发布者收集一组下层传感器数据，并将相关数据流发布给相应子集，数据采集前端接收相关信号，这时，数据管理系统就开始对下层传感器汇报的数据进行分发统计，对采集的信息进行编码，得到其物联网环境下的编码特征。

4.2 数据清洗及预处理

在物联网架构中，首先将各终端设备的数据信息和逻辑传感器收集的实时数据收集起来，放置在数据库中。如果原数据中有太多无用的数据，就会干扰算法的判断，人们要采用人工方法清洗数据，分离有价值的数据特征。然后，基于SVM程序的脚本文件，从清洗后的数据中提取适量的特征，再把数据特征放入一个脚本生成的表格中等待下一步运算。在真实试验中，当数据量较小、价值量较高时，可以不使用这一步。

4.3 数据中信息特征的提取及处理

物联网大数据普遍具有离散性，较难发现规律，往往需要进行降维设计。

本研究采用差分进化算法，将数据划分为数个子列，采用SVM算法进行降维，得到其相应的二维表达式，物联网传感器数据特征满足相关条件，再监测数据关联性，得到相应数据关联特征，然后设计干扰滤波对数据噪声进行清除，得到滤波函数，最后采用多个样本进行训练，根据重要程度，对非主要因素与主要因素的关联序列进行排列，通过以上分析对数据进行关联特征提取和降维映射，有效提高数据过滤的成功率。

4.4 SVM算法的引入和数据挖掘的实现

对于上述过程已经处理过的数据，人们需要设计有效信息的过滤算法。传统的数据过滤采用粒子滤波算法，该算法对粒子初始轨迹要求较高，日常采集或提取的数据噪声较大，通常无法达到要求。SVM算法改进了这一技术，可以有效清理大数据技术获得的信息，筛选和滤除异常数据，如噪声数据、无用数据、缺失数据、错误数据等，随后将数据整合，对于不同设备和不同来源的数据，根据其数据特性进行分类，将能采用相同处理方法的数据聚合到一起。对于较少的特殊数据，可以通过转化运算将其转化为相同区间、便于处理的数据。人们要制定一定的数据挖掘规则并设计滤波器参数，将非关联信息滤除，保留有效信息特征，提高信息挖掘效率。基于以上改进思想，人们可以引入SVM算法进行数据挖掘。

首先，定义SVM算法失真敏感参数，求出具有最小距离的SVM节点。对于所求出的有效数据，人们要设定数据聚集树关联性强度。然后，假定标准支持向量机解，采用SVM算法，得到有效信息的关联情况，通过筛选有效数据类型，不断简化数据，将物联网所在结点区域划分为若干个互不重叠的块，得到数据挖掘最短无偏时延，进而得到物联网大数据的数据聚集树上的父结点的数据无偏相位特征。

5 基于SVM的物联网大数据有效信息过滤挖掘的优势

5.1 高效提取主相关因素

与传统的物联网大数据信息过滤方法相比，基于SVM的物联网大数据挖掘提高了物联网大数据特征的提取效率，SVM算法能够对有效信息的关联因子进行排序，提取主相关因素作为过滤的主要内容，通过设计一定的模型架构，建成适当的滤波器将非关联因素进行整合过滤，实现对数据的整体约束和仿真。

5.2 分类规整处理

SVM算法可以对数据进行统一规整，统一处理相同类型的信息，有效挖掘信息特征。对于不同类型的信息，SVM算法可以采用不同的分析方法，最终进行有效信息的整合，实现有效信息的挖掘。

5.3 有效进行数据预测

SVM算法通过对现有数据进行线性分析、回归拟合等，得出数据的函数预测模型，对未来的数据进行有效预测。对物联网设备而言，SVM算法能够根据其运行状况、参数、用户使用习惯等数据，预测其未来一段时间的运行数据，及时进行适应性调整。

6 结论

通过分析物联网大数据的特征和SVM算法特性，笔者发现，基于SVM的物联网大数据有效信息过滤挖掘方法可以显著提高物联网信息挖掘速度。未来，该技术将广泛应用到互联网行业和更多使用大数据的行业中。

参考文献：

[1]李明皓，刘晓伟，于杨，等.大数据物联网信息交互与数据感知[J].机械设计与制造，2017（11）：263-265.

[2]郭涛，高米翔，韩鹏.工业物联网感知层协议分析与应用展望[J].物联网技术，2016（6）：52-55.

[3]吴勇毅.虚拟现实、量子信息引领中国科技未来发展[J].通信世界，2016（3）：37-38.

[4]彭晓珊.关于物联网技术发展及应用前景研究[J].汕头科技，2010（1）：25-30.