基于面向物联网的海量数据处理研究

黄艳

西安交通工程学院，陕西，西安，710300

0 引言

物联网技术主要采用全球定位系统、射频识别以及红外感应器等信息传感设备，按照约定协议来处理数据内容，也即将各类物品与互联网衔接，以完成数据信息的交换以及通信工作，确保定位、识别、监控以及处理等工作的顺利开展。当前，人们已经搭建出完整的网络体系，促使物联网技术能够应用于各个区域实现对不同工作的管理，展现出其标准化、工程化、服务化、开放化的特征，以达到实时处理海量数据的目的。

1 基于物联网海量数据处理中的数据分级处理方式

1.1 数据分级处理流程

站在数据信息处理的角度进行分析，物联网可以被规划为三个层次，分别为底层、中层以及高层。底层所涉及的区域为协同感知层，可将不同类别的传感器以及同类传感器进行协同处理，为其确立相同的感知目标，增加立体感知数据的应用，保证局部区域的相关数据信息能够被合理处置，使数据信息之间可以融会贯通，增加数据处理环节的精度要求，方便感知数据信息被利用。而中层，则可被规划为数据信息的传输层，其中不仅包括无线传输网络，更可完成对数据信息的感知工作，运用信息的融合以及聚合方式，增加传输链内的自适应性要求，优化传输协议应用层的编码，保证各项数据信息的安全传递，以实现数据处理工作，促使海量信息能够被高效利用。高层，则是作为数据信息的支撑层存在。人们可以增加对物联网中数据服务决策、共性支撑以及协调控制等环节工作的关注，加强感知信息的应用，拉近空间与时间之间的关联，保证在不同的空间区域内，多粒度的分级处理工作能够正常开展，从而完成数据信息的检索以及存储工作，使各方面数据资源能够在网络系统内大规模地应用，保证资源的使用频率得以提高，确保信息获取的准确性。因此多级数据处理的方式可以满足中间系统的嵌入要求，保证数据信息的频率提高，强化应用系统的整体操作效率[1]。

1.2 数据处理系统结构

在数据处理系统结构内，其主要包括两个子系统，分别为数据处理系统以及数据采集系统。二者通常处于上下层的运行状态，可辅助数据分级处理工作的开展。首先系统会通过RFID标签读写器，采用交互的方式，将上级所需传达命令利用读写器进行输送。此时读写器需按照用户所下达的命令，完成对应的操作。若此时读写器未接收到任何命令，则无需执行操作，通常应使读写器维持正常运行状态，保证用户输入内容后，读写器能够在第一时间内将相关数据进行传达，通过使用者所下达的命令，来记录读写器做执行的操作。例如，读取标签的运行方式、时间并完成上述数据处理工作，使读写器所执行的命令与标签信息内容一致，实现数据的自动监控以及处理[2]。

1.3 数据处理系统的开发环境及其应用

（1）数据处理系统的开发环境。基于ARM嵌入式硬件环境进行思考，数据采集系统在运行过程中，需通过X86硬件环境运行，保证数据在应用过程中不会出现遗漏，并根据系统内部的实际状况进行分析，了解各项数据所处层级。如本地用户可通过数据处理系统，掌握配置界面的相关内容，保证数据处理工作的完整性，可一键发送命令进入数据采集系统，并遵循管理交互模式要求，利用读写器完成数据标签的读取工作（图1）[3]。

图1 数据系统分层处理流程图

（2）嵌入式数据采集系统。嵌入式数据采集系统会通过数据采集的方式，使各类数据被规划在Lmux操作系统内，使数据采集系统能够正常运行，利用SQLte嵌入式数据库处理多线程数据，从而增加C语言等技术应用，使GTK+图形工具能够在所开发区域应用，以保证数据处理系统能够正常运行，方便数据库存储工作的实施，保证嵌入式数据采集系统的实际功能可以展现出来，如完成采集标签信息的处理，可将系统串口和上层的数据处理系统相互关联，利用读写器完成通信工作，辅助标签信息的传输，使各项信息能够存储于数据库内，完成大量标签信息的解读工作，探测数据库内的具体内容，以实现多条件的复合查询。此时即可根据用户的具体诉求完成标签信息的收集、存储、删改以及升级工作，增加数据库内的有用标签，使各项数据信息能够发挥出其实质性作用，严格遵循流程步骤开展后续操作[4]。

（3）多线程数据处理系统。运用多线程数据处理系统整合数据时，需将数据采集系统与串口相互关联，通过数据读写器，保证通信工作的合理运行，完成数据信息的配置以及管理工作，使本地用户能够运用数据处理系统，将各方面数据信息整合到数据库内，执行其管理职责，完成数据信息以及程序的配置工作。这样一来，即可运用读写器执行管理工作，监控Web服务器的运行状况，掌握系统内部有无诉求，实现对全范围的监控，以保证上述操作能够为用户提供相应的网络支持，增加网络接口的应用，在其接收到报文请求后，方可通过数据网络系统完成数据报文的传输以及应答工作。

（4）数据处理系统的测试。在物联网海量数据处理环节，由于受到资源以及时间的限制，测试数据量在有限范围内，可通过读写器来完成标签的读写工作，因此可增设10个读写器，使数据资源在特定查询条件内，保证标签数据的准确，并运用数据处理系统测试的方式，完成数据的分级处理工作，展现出数据的综合特征，这样方可满足查询条件要求，保证标签数据的准确性，促使读写器在数据不发生改变的前提下执行各项操作，使标签数目预期一致，运用分级的处理方式，保证系统内各项表征更加明显（图2）。

图2 系统性能对比图

其中标签个数增加，则源系统以及分级处理系统中的数据量也会随之提升，使物联网技术在数据测试环节应用可以展现出时间、异构、冗余以及高维等特点，以辅助海量数据的存储。通过关键词的检索，方可调阅所需内容，凸显出物联网开放构架的基本要求，为用户提供更高的信息服务，增加海量数据处理期间的安全性要求，增加内部的可信任条件。

2 面向物联网的数据降维处理流程及数据保障机制

2.1 物联网的数据降维处理流程

在经济时代的发展背景下，信息技术已经得到普及，使物联网技术被广泛应用于各个区域，以避免人们在处理海量数据时受到空间、时间以及其他影响因素的限制，使人们可以在同一时间内获得所需数据信息，满足数据量的增长要求，避免其以指数形式持续升高。这样即可展现出数据降维环节的非结构化、维数高的特征，方便人们在海量数据内探索新的知识，统一人们数据收集及处理的目标，以增加物联网技术的应用。与传统数据分析手段相比，数据降维处理方式可以满足数据的集合要求，隐藏数据库内的信息，避免出现信息孤岛问题。

例如：通过数据表达式f（x）的形式，方便人们在网络系统内检索所需内容，最终输出页面的值应为y=f(x)。其中f（x）为变量值，也可作为平台内的原始值，通过字母数据的形式，保证数据设定环节的完整性，并运用前台设备中的数据将所需查找内容进行整合，促使数据列表中的组合形式更加完整。另外，应增加对物联网数据降维处理环节常用符号的重视，平台支持常用运算符见表1。

表1 平台支持常用运算符

举例说明，在物联网处理海量数据时，可设置属于固定值补偿，例如，采集温度值为26℃，而实际温度差值为1℃，此时我们可以整理公式，运用数据补偿的方式，运用计算公式“x+1”的形式，方可填入模拟量测量块内，保证对应值、测量值的准确性，并将各类参数引入公式计算环节，实现对平台温度数据的检索。

与此同时，需将数据维数整合到合理大小，保留数据库内的初始信息，并运用降维处理的方式，完成数据信息的推送工作，将全部信息输送到系统内部，运用降维算法完成机械学习工作，使其被规划为数据挖掘方式之一。在此基础上，数据降维处理还具有一定的业务功能，可以实现对海量数据的处理，如非线性降维算法、线性降维算法，根据数据降维处理的实质要求进行分析，增加其在数据转换工作中的运用，将数据从高维度整合到低维度空间内，在二者不断变化的前提下，增加最小量嵌入算法的应用，以保证数据信息的等量、等距转换，增加海量数据在应用环节的约束条件，揭示数据信息的内在结构以及流形结构。

最后，可依托网络环境下的感应信息，将最小量嵌入算法应用于物联网试验平台，根据系统化的感应网络，增加核心技术的应用，确保移动通信终端以及移动通信网络的正常运行，规范使用人员的操作行为，保证各项数据的整合工作能够顺利开展，由此挖掘海量数据的移动性，实现对使用人员行为模式的监控，进而感知移动网络下数据的运行方式，掌握单个个体所执行的操作，运用数据组成的形式来稳定城市内部的网络环境，勾勒出完整的移动数据实时地图，达到感知、利用以及反馈终端设备的目的，并将此方面数据设置为物联网技术应用的核心，以便将此数据应用于各个领域，完成城市化信息建设工作，满足城市应急通信需求，保证电子政务信息的准确性。由此方可打造信息化城市，保证无线城市的合理设置，增加数字化技术在城市建设环节的应用，从而打造出数字城市平台，实现对网络系统的感知。

除此之外，物联网技术在数据处理环节可以发挥积极作用。例如：运营商、政府部门、软硬件供应商、内容提供者、终端用户等相关人员，可以通过感应设备实现对移动信息的挖掘，完成数据信息的同步处理；可运用实时检测的方式，掌握个体行为模式，深度解读群体的行为模式，以实现对消费者、医疗、交通、城市管理以及其他紧急状况的关联；可运用网络系统将各方面数据信息进行串联，这样则可带动各个行业共同发展，保证每个行业都能在物联网技术的应用下，提升自身的反应能力，保证各个项目的实施效率。

2.2 物联网的数据保障机制

在网络环境内，数据信息的安全保障机制是必不可少的。在物联网信息服务系统运行环节，可根据物联网架构的开放性特点进行分析，根据各项感知设备的交互性、频繁性要求，增加安全服务的纳入，设置隐私保护机制，给予海量数据处理环节相应的保障，控制好物联网技术的应用规模，将此作为后续海量数据处理的前提，确保用户能够接受物联网提供的相应信息服务[5]。

在此基础上，应增加数据信息服务环节的安全性能，如设置防火墙，增加密钥机制，融入身份识别、数字签名以及病毒查杀功能，保证用户在执行海量数据处理工作时，不会受到不法分子的影响，完成入侵程序检测工作，使此部分内容成为物联网数据处理服务环节的内容之一。这样即可保证物联网信息系统的顺利运行，增加海量数据处理环节的安全保障性因素，使物联网网络层、感知层趋于稳定，从而避免出现黑客入侵、无线电干扰、非法授权以及传感器异常等现象，实现物联网的自我安全管理。

3 结论

综上所述，物联网技术的应用可以在第一时间将海量数据进行处理，避免系统内部存在较大的负荷，运用数据降维处理的方式，将数据进行分类，保证数据分级工作的正常开展。若未落实到位，不仅会制约物联网技术的应用，还会增加数据在运行过程中的安全隐患。因此，可运用数据分级处理方式，完成海量数据的处理任务，凸显物联网技术的智能化表征，运用数据分层设计的方式，简化智能算法步骤，进而解决物联网应用环节的各项问题。