数据挖掘与分析在物联网中的应用探析

2019-02-13 10:09:42
数字通信世界 2019年8期
关键词:异构数据挖掘分布式

施 烁

(北京中电普华信息技术有限公司,北京 100089)

物联网利用激光扫描器、GPRS 定位系统、红外线感应器、射频识别等设备,通过互联网和实体连接起来交换信息和通讯,最终实现智能识别、定位、监管、跟踪和管理。物联网技术被广泛应用于人们的生产生活中,各行各业都离不开物联网,不同类型的数据可通过传感器节点进行交流和通讯。随着物联网技术的不断发展,产生的数据也越来越多,这些数据里蕴藏着巨大的、有用的价值,挖掘与分析这些有用的价值对人类社会的发展进步有重大意义。

1 物联网数据的特点

物联网存在的意义是使得人们的生产生活更加智能化,而数据背后的价值可被挖掘出来并得以有效分析是智能化应用的基础,也是衡量物联网是否智能化的标准之一。物联网数据的特点主要有以下几点:

(1)异构性和海量性。物联网中的各类传感器和数据均被存储于不同的数据库中,物联网的诞生方式也决定了它的异构性,而且这些数据不仅包含了二维结构化数据,也包含了图像、视频、文档等非结构化数据,该类数据不能通过二维方式表达出来。物联网中包含了海量数据节点和传感器,每天产生的数据量庞大。

(2)分布式存储特性。要进行数据挖掘,首先要存储数据,由于物联网的异构性,决定了数据的分布式存储。与以往的数据存储方式不同,分布式存储将数据分散的存储于不同的网络节点形成虚拟的存储器。分布式存储使得不同地域、网络间的数据交换和共享成为可能。

2 数据挖掘在数字图书馆中的应用

2.1 数字图书馆框架

数字图书馆的框架由感知层、数据层、数据挖掘层和应用层组成。

(1)感知层。感知层中大量的传感器节点用于数据采集,还有大量的虚拟化资源。

(2)传输层。传输层为了实现图书馆中人和人、人和物、物和物之间的全面联系、交流互通,而将移动网络、局域网络、物联网、无线网之间进行融合,构建安全、畅通、可靠的传输通道。

(3)数据层和数据挖掘层。数据层利用数据转换模块将非结构数据和异构数据转换并进行分布式存储,既解决了异构数据,又保证数据存储的完整性。物联网数据不仅具有一般数据的特性,在此基础上在有时间性、复杂性、空间性等性质,可将现实的空间时间反应出来。数据挖掘层是图书馆的核心框架之一,可提供数据挖掘的云计算服务和数据并行化技术等,可进行数据的转换和清洗等工作。数据挖据层还可实现数据的关系、分类、聚集同类数据、发现异常等。

(4)应用层。该功能实现人机交互,如用户注册、识别、展示服务结果等。

2.2 数据挖掘在数字图书馆中的应用

以物联网为基础的数字图书馆让文献与人、文献与文献之间相互联系。大量用户信息蕴藏在图书馆的系统之中,比如用户的借阅记录、个人信息等,通过对这些数据进行挖掘并分析,可得出该用户的个性信息。数据挖掘在数字图书馆中的应用体现在针对个人的个性化服务、优化馆藏信息和分类布局等。

(1)优化馆藏信息与分类。通过挖掘用户的借阅记录,将借阅图书的频率、目录、种类总结出来,可得出用户的借阅习惯和偏好。进而为图书馆的下一步采购和图书布局分类提供指导,使得馆藏资源的布局达到最优,更好的服务于人们。

(2)个性化服务。根据用户的浏览历史记录和兴趣可定制个性化服务与推介,通过向用户的手机APP 或者其他交流平台推送相关内容,这样可以保证用户以最快的速度获取最新的、最相关的第一手资料。实现个性化服务技术的关键:①以用户特征为基础建立模型。既然是个性化,就要以用户自身的需求为出发点,就如同去裁缝店量体裁衣一样,而和量体裁衣不一样的是裁缝店的布料是固定的,只能根据顾客的体型做相应的改动。此处的个性化服务首先分析了用户的兴趣爱好、知识背景、工作环境、社会关系、社交层面等,而且它们是动态的,随时可能变化的,以此为基础建立模型;②个性化推介。以往在图书馆输入同一个词语进行检索,得出的结果都一样,由于数据资源太多巨大,找到自己需要的资源非常困难。而挖掘技术的引进,个性化推介引擎的问世,可帮助用户从大量的数据资源中找到自己想要的内容,信息过载问题迎刃而解。

猜你喜欢
异构数据挖掘分布式
试论同课异构之“同”与“异”
探讨人工智能与数据挖掘发展趋势
分布式光伏热钱汹涌
能源(2017年10期)2017-12-20 05:54:07
分布式光伏:爆发还是徘徊
能源(2017年5期)2017-07-06 09:25:54
基于并行计算的大数据挖掘在电网中的应用
电力与能源(2017年6期)2017-05-14 06:19:37
overlay SDN实现异构兼容的关键技术
电信科学(2016年11期)2016-11-23 05:07:56
LTE异构网技术与组网研究
一种基于Hadoop的大数据挖掘云服务及应用
基于DDS的分布式三维协同仿真研究
雷达与对抗(2015年3期)2015-12-09 02:38:50
在新兴异构SoCs上集成多种系统