数据淘金:从数据中挖掘有效信息

2018-08-28 08:52
中国信息化周报 2018年19期
关键词:遥测开源网关

如今是信息时代,得数据者得天下。然而,只是“有”数据还不够,数据的“准确性”和数据的“分析”也是至关重要的。

“数据”和“信息”不是一码事。“数据”说的是一堆未经处理的原始测量结果,我们要分析它,取其精华去其糟粕,以用于获得有用的信息。所以常说的“信息过载”其实不对,“数据”可能会过载,但“信息”越多越好。

过去十年间,我们的数据量实现了爆炸式增长。据报道,2005年全球数据总量达到1300亿GB。现在的公司经常要处理数以PB计的数据。随着数据源的飞速增长,数据的获取速度也越来越快。科技进步如此迅速,转眼已是沧海桑田。

随着对人们活动和传感器的测量,数据类型也在不断增加。而我们要记住:数据,只有经过了分析,变成了信息才有用。

物联网的优势在于它能实时获取、组织数据。如果架构正确,物联网可以把数据变成有用的信息,用来决定下一步怎么办。

物联网之前,分析传感器各式各样的海量数据非常困难。通过物联网技术,可以把机器得到的数据放入数据池自动分析,以决定下一步需要对数据和程序做些什么。物联网不仅收集、分析数据,它还会自我提升。

在讨论数据传输时常用两个术语:“北向(northbound)”和“南向(southbound)”。“北向数据”是指从设备发出,通过网关,送至云端的数据,一般是遥测数据,也可能是命令和控制请求。“南向数据”则是从云发至网关,或者从云通过网关发至设备,一般是命令和控制信息(如软件的更新、请求、更改配置参数等)。

以下是利用南、北行信道,从探测数据中找到有用信息的方法:

第一步 :传感器发出北向遥测数据。根据架构的不同,这些数据会被预处理,然后发送到位于传感器附近的数据存储器(比如一个网关)。

第二步 :在网关这个临时节点上对数据进行一定量的分析,可以在这里处理数据(例如汇总数据,或者转换数据,为数据中心或云深入分析做好准备)。然后,把在网关上处理的信息和之前的精确结果比对,就是在历史信息中进行相关性匹配。发现的模式可以作为我们行动的依据。

第三步 :利用新的信息,就可以建立一个规则。

第四步 :把制定好的规则付诸实践。

开源软件项目提供了标准化的工具包(例如Camel、Drools),可以用它处理、操作数据。

Apache Camel是一种基于Java规则的路由和中介引擎,具有可以处理数据的企业集成模式。它通过“开箱即用”(out-of-the-box)的信息中介、路由、数据转换,可以联网解决方案的开发。

把数据转化为有用的信息是所有物联网工作的核心,而通過开源软件可以实现这一目标,这有助于加速将物联网付诸实践。

猜你喜欢
遥测开源网关
五毛钱能买多少头牛
自适应模糊PID控制的遥测方舱温度调节方法
某小型无人机遥测软件设计
大家说:开源、人工智能及创新
开源中国开源世界高峰论坛圆桌会议纵论开源与互联网+创新2.0
浅谈如何提高遥测状态估计合格率
开源计算机辅助翻译工具研究
LTE Small Cell网关及虚拟网关技术研究
应对气候变化需要打通“网关”
一种实时高效的伺服控制网关设计