大数据及其智能处理技术在物联网产业中的应用

窦 蕾

(绵阳城市学院，四川 绵阳 621000)

0 引言

在物联网产业中，应用大数据及智能处理技术能对数据进行规范化的管理，做好逻辑分类，进行数据的采集、数据的储存和数据的分析等，不仅能保障物联网系统的顺畅和安全运行，还能为物联网各产业发展提供技术助力。

1 大数据、智能处理技术内涵的分析

1.1 大数据内涵分析

众所周知，大数据技术就是将互联网产生的数据进行汇总、整理和分析，通过分析可以了解到，大数据具有以下明显特征。

(1)数据量庞大。物联网目前已经深入各个行业、各个领域之中，每一个的产业在运行和发展过程中都会产生大量的数据和信息，并呈现持续增长的趋势[1]。(2)具有较高的价值。这些数据在被系统进行分析、处理后，相关产业数据处理技术人员能很好地从这些筛选出来的数据中找出数据的价值，即关于消费者行为习惯的数据信息、关于设备整体运行情况的数据信息等，这些数据信息都来源于民生领域或者经济领域。(3)内容呈现多样化发展。互联网中的数据不仅有文字相关的数据、视频数据，还有人们的网页浏览内容、网页浏览习惯等，因此，大数据技术应用其中，将进一步帮助物联网产业得到正常、高效的运行，进而做出更有针对性的营销方案和合理的决策。

1.2 智能处理技术的内涵分析

智能处理技术被称作为互联网的一种计算方式[2]，是在互联网信息交互过程中、互联网服务过程中以及互联网应用过程中产生大量数据后，催生出来的互联网中枢神经系统，其虽然作为互联网的核心软件和互联网硬件的共同体，但也只是以一种虚拟形式存在。

2 大数据及智能处理技术在物联网产业中的应用

2.1 基于大数据储存和分析技术在智能家居中的应用

目前，我国已有80%的家电厂商研发了智能家居，以此在市场上获取竞争优势。智能家居的发展得益于大数据技术和智能处理技术的应用。

2.1.1 大数据在物联网感知层中的应用

物联网中感知层主要是指基础设施层，主要包括进行联网的各种设备。智能家居系统中的物联网感知层设备包括消防安全设备、烟雾检测仪、温度传感器等，借助这些实体传感器对室内的相关数据进行有效的采集和信息储存。例如，以前的物联网，在窗外光线强度较高时，人们只能自行地将窗帘关闭。但是，使用大数据后，通过分析采集的信息中关于住户行为习惯的数据，帮助制定更加科学、可靠的计划，结合住户的行为习惯数据，自主或自行地将窗帘进行关闭或开启，实现智能家居的自动化控制。这也能充分说明物联网的实体层面融合大数据技术实现数据的储存，对人们的行为习惯等相关的数据进行收集和储存，促使物体具备了一定的智能化感知能力，能模仿人的大脑思想和感知等，做出智能化的判断。

2.1.2 大数据在物联网网络层中的应用

物联网网络层主要包括3个模块，即信息的采集、信息的传输和信息的接收设备[3]。技术人员利用设备中的相关数据，开展信息的采集，再将这些数据信息通过网络技术上传到系统中，并做好智能化数据处理。例如，借助室内传感设备以获取更多关于室内温度数据和信息，设备内置的传输装置将这些数据传输到智能技术平台，平台能计算出室内温度与人体温度之间产生的不同；用户在使用这些空调时，会产生一些数据，这时借助智能处理技术系统就能向空调传输相应的数据信息，这些信息主要有温度信息、湿度信息等，系统再将这些信息进行收集和储存，在进行数据整理过程中，保障这些数据收集整理更加的高效便捷。同时，数据的信息化和技术手段等应用其中，使得数据储存精准度变得更高；使室内温度满足人们的需求，系统通过自动调整温度，为人们提供便捷的同时给予人们更多的舒适感。

2.2 基于大数据储存技术在智能电网领域中的应用

智能电网建设与物联网技术的应用，非结构化的数据呈现了快速增长的趋势[4-5]。但是由于传统数据库的存储与计算形式不能满足当前电力电表PB量级的数据储存要求、实时查询需求和计算的需求。在分析这一技术时，主要应用的是大数据领域最主流的存储计算方案——分布式系统基础架构，这一方案能为其领域提供更加精准的数据。

配用电大数据可视化主要是借助一些图形化的手段，例如数据分析终端和商业智能化工具等，清楚地将这些数据信息进行传达和沟通，让更多用户对于数据有一定的了解和理解，方便传递这些信息和使用这些信息。目前，从配用电大数据知识模型的提取方法上看，电力大数据环境中包含着很多数据流程，例如电表到智能电网的多层结构数据流程。数据能从不同的类型或者不同的模式的数据源上收集或者载入到数据储存平台上，在将数据清理和分布后，数据会进入到阶段性的逻辑数据仓库中，进而完成数据的收集、清理和载入。如表1所示，使用了3种电力大数据分析方法，开展对电力公司数据的深入挖掘。

表1 3种电力大数据分析方法

以上3层分析方法标准中，用户用电行为是整个研究的基础，但是由于用电行为与环境、经济等多维度有较强的联系，单一要素的分析无法满足大数据知识模型提取的要求，只有对这些要素进行数据知识模型的提取，才能帮助系统储存更多有用的、有价值的、较多模块的数据信息。

2.3 基于云储存技术的交通行业中的应用

传统储存技术面临海量的数据过程中存在很多的困境：容量扩展和信息孤岛带来的管理池化需求；纵向架构带来的性能拓展问题；扩容和维护工程的复杂性带来的管理问题。为了解决这一技术弊端，应用了云储存技术。大数据时代下的云储存技术应用到交通领域，为其提供了解决之道。(1)新建线路的每一个车站设置了云储存，主要对本站内所有前端储存需求进行负责；车站的云储存支持和灾备云储存进行容灾备份，能够使其更加可靠和安全。(2)控制中心建设一套云储存，主要对整条线路内所有的前端设备到控制中心统一接入储存。(3)以某一城市地铁为例进行分析，其多个车站规划成一套云储存系统，整条线路划分为多个云储存，每一个云储存满足自身车站内的需求。(4)应用多站分域云储存，如图1所示。

图1 多站分域云储存

从图1可见，(1)12个车站主要分为两朵云，每6个车站借助视频云储存的方式，保证将每朵云储存设备都分散到6个车站内，从而保障设备的物理分散部署。(2)控制中心部署一套视频云，保证车站云能和中心云之间形成容灾。(3)全网云应用多域部署的架构，实现了多域容灾，这一方案使得整个系统更加可靠和安全，减少了一些历史数据因受到设备故障的影响而出现信息丢失等情况，保证实时业务不一会发生中断，使数据具备继续储存的功能。

并且，多硬盘的加入等能保证故障数据不会出现丢失，数据能实时地储存和回放。当某套云储存出现不可控的灾难级故障时，如故障同时在多个站点，可以应用云系统灾备的功能，对控制中心云储存进行临时接管，从而使得储存延续。另外，采用特殊的设计，数据切片能使每站设备内同时存在1片数据，1个车站的设备在同时出现故障时，能保证这些数据的正常存储和回放。

2.4 基于分布式存储与NoSQL技术在农田领域中的应用

伴随着物联网技术的高速发展，物联网在农田数据采集、智能灌溉、苗青诊断等过程中的应用发挥了重要的作用。由于农田物联网中的光、温度、土壤等传感器设备或者相关视频设备产生了海量的数据，如何高效存储和管理这些海量数据成为物联网产业发展亟须重视的问题。

农田物联网中产生的大量文件，如图像、传感器文本等非数据化信息的实时处理，也是目前传统关系数据库难以解决的问题。本文主要利用分布式云储存和NoSQL(Not Only SQL)技术，构建具有海量存储、安全性高、容易扩展的农田物联网数据云储存系统。以下主要介绍相应的系统构架。

结合农田物联网数据特征，根据Hadoop平台，自上而下将系统分为储存层、服务层和应用层。

储存层位于农田物联网数据储存模型中的最底层，用来持久化储存数据。该层主要包括分布式文件系统HDFS、面向列的HBase数据库以及Redis缓存模块。其中分布式文件系统HDFS主要用来储存农田物联网系统之中的图片或视频等非结构化数据；HBase 数据库主要用来储存农田物联网系统中的商情、气象等数据；Redis 缓存模块主要用来作为底层储存的缓存服务器。

服务层应用于储存层和应用层中间，为下层数据储存访问等工作提供相应的服务。伴随着业务发展新增一些传感器，借助数据转化模块等将传感器中的元数据信息等转化为储存模型能接受的模式，使得系统具备扩展的性能。在设计数据储存模型时，对农田物联网采集到的各种图片等进行合并，并形成检索方案，便于用户进行图片的查询。从模型储存层中可以看出，农田物联网数据一般都储存在HDFS，HBase及Redis缓存服务器。这种储存技术相对于传统数据储存更有优势，基于SequenceFile 文件合并技术、图片文件名的设计及索引优化策略的 HDFS 读写平均速度，相比未优化的原生HDFS性能提升30%以上，更适用于农田物联网中海量图片存储的场景。

3 结语

互联网和大数据技术的发展和应用，改变了人们日常的生活和生产活动，大数据技术逐步被人们所熟知和认可。而互联网技术在应用之后出现了海量的数据，物联网行业要利用这些数据促进自身的发展，应借助大数据技术及智能处理技术，对这些信息进行有效的收集、储存和分析，在找出这些数据的规律性和价值性后，灵活地应用这些数据，从而为物联网产业提供更加优质的、针对性的服务。