物联网海量异构数据存储与共享策略的分析

2017-03-10 01:58吴桂军
环球市场 2017年35期
关键词:海量异构预处理

1.吴桂军 2.曹 爽

1.重庆工程职业技术学院 2.重庆市民族职业中学

前言:

物联网技术的发展有效满足了现代社会的要求,但是在实际上,我国的物联网发展水平依然处在一个相对较低的水平,其智能化、信息化程度较低,尤其是海量异构数据的管理,其数据存储与数据共享都难以满足现代社会要求。因此对相关人员而言,必须要重点研究物联网条件下海量异构数据存储与共享的相关问题,为进一步提高物联网的实施效果奠定基础。

1.物联网海量异构数据的存储策略

在物联网海量异构数据存储过程中,考虑到异构数据的特殊性,很多技术人员倾向于采用集中式的存储管理方法,在这种管理方式下,文件系统的存储方式会因为效率因素的影响而难以满足异构数据存储的要求,所以针对这种情况,本文提出了数据库式的异构数据存储方式。

数据库技术主要被分为关系型数据库与非关系型数据库两种,其中关系型数据库的技术条件十分成熟,并且能够精准描述数据中的相关数据,在数据存储中能够最大程度上保证数据存储的完整性与一致性。但是在使用该技术时应该注意的是,关系型数据库技术强调了数据的实时到达,在实际上是以一个完整的时间序列形式运行的。相比之下,非关系型数据库技术属于一个新兴技术,通过PC搭建平台,依靠PC平台来完成数据的深层次处理。所以,非关系型数据库技术也具有适用性,能够为海量异构数据处理提供必要的技术支撑。

在存储技术应用中,都需要针对物联网海量异构数据的实际情况,对数据进行预处理,并采用统一的方式对数据进行编辑,这样才能保证异构数据被顺利的储存。结合非关系型数据库的特征,在这个过程中,所要采取的技术措施主要包括:

(1)预处理。先对物联网海量异构数据做预处理,这是因为物联网中的采样数据中存在大量的噪声数据,再加之物联网节点本身的数据处理能力是有限的,所以为了能更高效的编辑处理相关数据,就需要通过数据清洗、数据融合等多种手段,让异构数据中的关键值能被提取。

在预处理阶段,考虑到不同传感器的类型存在差异,因此在数据预处理过程中,必须要针对数据的具体属性做出针对性的编辑。例如,对于那些非数值的数据,应该根据视频、音频数据的应用要求,按照相应的算法来获取其中的关键值参数;而对于数据型的模型,还应该关注数据之间本身所产生的变化,当数据经过预处理后,将其定义成一个阈值,当数据的状态变化超过这个阈值之后,再进一步提取数据。

(2)数据表达。针对相关学者的研究经验[1],在数据表达阶段,采用非NoSQL数据库存储策略。在这个策略中,数据表达必须要经过三个层次的变化,分别是数据元素、数据记录与数据集合。其中,数据元素是物联网海量异构数据中的基础数据,可以被认为是异构数据最基本的表现形式;数据记录则是不同数据之间的变化,反应了数据在接受“被存储”过程中所接受的数据预处理流程;数据集合,就是要对那些被预处理的数据进行整合。在数据表达结算,数据往往会以两种状态存在,分别是静态信息与动态信息。其中,动态信息主要指与时空有效的信息,包括温度信息、时间信息等;静态信息值只采集以此的信息,例如物理网异构数据阶段中的ID信息等。在这些信息的表达中,其表达方式均指向了原子信息的开始位置,分别由字符类型与数值类型两方面组成,两者相互结合共同完成了数据的表达,并与非关系型数据库相匹配。

2.物联网海量异构数据的共享策略

在物联网的数据共享中,数据交换标准定义了物联网数据交换协议与共享方式,从当前技术发展情况来看,REST等已经成为物联网中最常见的应用层技术交换标准,能够在一些特定行业的充分利用。

在这种情况下,大量的数据共享策略得到应用,并且相关学者也对物联网下异构数据的共享策略[2],并分别从DNS、REST等诸多方面,介绍了相关共享策略的实施效果。总体而言,现阶段物联网海量异构数据的共享策略主要面临着一个问题:面向物联网海量数据往往会因为缺乏共享机制,而导致物联网应用闭环现象广泛的存在。所以为了解决这个问题,本文提出了共享策略,这个共享机制以REST的信息服务解决数据共享问题,在数据共享阶段,所要解决的问题问题主要包括以下几方面:

(1)资源定义。根据REST的设计原则,一切可以被命名的实体都可以被认为是资源,这些资源不仅包含了传统网络系统中的各种链接、信息,也包括物联网中的感知网络、交互信息等多种资源。在信异构数据共享中,必须要针对单个物体对象所对应的资源,通过单条数据记录、数据记录集合等方式,完成相应的数据索引,这样相关人员才能快速的依靠关键词等检索条件快速获取信息,完成数据共享。

(2)确定标识。在对需要被共享的资源进行定义之后,考虑到资源描述已经成为信息服务系统并实现资源管理的基础。所以当资源定义后,应该结合异构数据的特点,确定标识,掌握资源所在网络的性能、应用领域等诸多信息后,对相关资源做进一步的确定与划分,明确资源的具体信息,为共享做好准备。

(3)数据共享。当异构数据的标识被确定之后,证明此时的异构数据已经完成了定义,依靠相应的数据库技术,相关人员就能在关键词检索、约束条件控制等多种方式下获取具体的异构数据信息,最终完成了对数据的共享。

结论:

物联网海量异构数据的存储与共享对相关数据的应用产生深远影响,因此对相关人员而言,必须要进一步了解物联网海量异构数据的深层次管理要求,在充分了解异构数据处理要求的基础上,对相关数据进行编辑,确保其存储与共享策略能够满足应用要求,最终更好的满足社会生产。

[1]任海鹏.互联网下大数据研究方法与探究[J].赤峰学院学报(自然科学版 ),2015,31(22):14-15.

[2]李昱庆.物联网信息服务系统研究综述[J].现代计算机(专业版),2014(07):23-29.

猜你喜欢
海量异构预处理
一种傅里叶域海量数据高速谱聚类方法
求解奇异线性系统的右预处理MINRES 方法
试论同课异构之“同”与“异”
高COD二噻烷生产废水预处理研究
海量快递垃圾正在“围城”——“绿色快递”势在必行
吴健:多元异构的数字敦煌
基于预处理MUSIC算法的分布式阵列DOA估计
异构醇醚在超浓缩洗衣液中的应用探索
一个图形所蕴含的“海量”巧题
LTE异构网技术与组网研究