物联网数据管理平台设计与研究

胡建 黄海峰 曹扬 胥月 唐春生 姜鑫

摘  要： 为了规范物联网数据的管理，实现物联网数据的聚、通、用，通过重点讨论物联网数据管理的数据流向、核心架构设计，提出了一种基于数据仓库、感知数据库、时序数据库且具备流批一体数据处理框架的物联网数据管理方法，并通过平台化来实现物联网数据的管理。该平台先后在雄安、上海示范应用，不仅统一了数据采集、传输、存储的标准，而且明显减少了数据遗漏的情况，提高了物联网数据管理的效率。

关键词： 物联网； 数据管理； 平台化； 流批一体

中图分类号：TP319          文献标识码：A      文章编号：1006-8228（2023）05-127-04

Design and research of IoT data management platform

Hu Jian1， Huang Haifeng1， Cao Yang1， Xu Yue1， Tang Chunsheng1， Jiang Xin2

（1. CETC Big Data Research Institute Co.， Ltd， Guiyang， Guizhou 550081， China; 2. CETC Digital Intelligence Technology Co.， Ltd）

Abstract： In order to standardize the management of IoT data and realize the aggregation， communication and use of IoT data， by focusing on the data flow and core architecture design of IoT data management， an IoT data management method based on data warehouse， perceptual database， temporal database and with a stream batch integrated data processing framework is proposed. The IoT data management is realized through platform， which has been demonstrated and applied in Xiong'an and Shanghai successively. It not only unifies the standard of data collection， transmission and storage， but also significantly reduces the data omission and improves the efficiency of IoT data management.

Key words： Internet of things （IoT）; data management; platform; stream batch integration

0 引言

近年來，随着相关产业政策和法律法规的发布，我国物联网技术不断的发展并趋于成熟[1]，如国务院发布的《关于推进物联网有序健康发展的指导意见》、工信部发布的《工业和信息化部办公厅关于推动工业互联网加快发展的通知》等，特别是2021年，我国的八个部委联合印发的《物联网新型基础设施建设三年行动计划（2021-2023年）》[2]提到，物联网是以感知技术和网络通信技术为主要手段[3]，实现人、机、物的泛在连接，提供信息感知、信息传输、信息处理等服务的基础设施[4]。

随着经济社会数字化转型和智能升级步伐加快，物联网已经成为新型基础设施的重要组成部分，物联网数据的管理成为了突出问题[5]。数据显示，2018年我国数据治理市场规模为30.52亿元，行业整体在未来近几年中将保持高速发展趋势，预计到2023年我国数据治理市场规模将增长至186.50亿元，期间年复合增长率为43.62%如图1所示。

因此，我们有必要开展物联网数据管理平台及方法论的研究，孵化物联网领域数据管理的新模式。

1 平台设计

1.1 平台数据流向设计

物联网数据管理平台的输入为外部数据库、外部系统，经过平台处理后，数据以API的方式对外提供服务。整个平台有三种类型的数据库，分别是数据仓库、时序数据库、感知数据库。数据仓库采用PostgreSQL、Hive，主要用于存储离线数据，例如积累的历史数据；时序数据库采用InfluxDB、OpentsDB，主要用于存储热数据，例如设备采集的及时数据；感知数据库采用MongoDB、Hbase，主要用于存储冷数据，例如设备采集的历史数据以及设备的元数据。

物联网数据管理平台整体的数据流向如图2所示。

⑴ 外部数据库通过数据源接入的方式接入到平台的数据源中，平台对数据源进行数据采集，将数据采集到数据仓库和时序数据库中；

⑵ 外部系统通过消息推送的方式将数据推送到平台的Kafka中，平台将kafka的数据导入到数据仓库和时序数据库中；

⑶ 时序数据库的数据可以通过数据集成的方式导入到感知数据库中；

⑷ 数据仓库、时序数据库、感知数据库可以通过注册数据资源的方式将数据注册成数据资源，数据资源可以注册成API对外提供数据服务；

⑸ 数据仓库注册的数据资源平台提供数据质量管理的功能，对数据的质量进行监控。

1.2 平台架构设计

物联网数据管理平台的架构主要包括四层、三体系，如图3所示。

四层分别是数据接入层、数据采集层、数据资源层、数据服务层。①数据接入层主要目的是将外部数据作为数据源接入到平台中，作为平台的输入数据。现阶段支持MySQL、PostgreSQL、MongoDB、Kafka、文件数据源、API类型的数据接入。②数据采集层的目的是将数据接入层的接入数据采集到数据资源层中的数据资源池。数据采集层支持数据迁移配置、立即执行、任务调度、运行监控等功能。③数据资源层包括数据资源池、数据处理、元数据管理、运营调度四个部分。数据资源池模块主要用于存储数据，由时序数据库、感知数据库、数据仓库构成。④数据服务层将经过数据资源层处理的数据以API的方式对外提供服务，数据服务层包括API创建、API权限校验、API维护等功能。

对于数据资源池模块，划分为专题区、主题区、标准区、原始区。数据处理模块将数据资源池中原始区、标准区的数据进行数据处理，并存储到主题区、专题区。数据处理包括批量数据处理和实时数据处理，批量数据处理采用PostgreSQL、Hive作为处理引擎，实时数据处理采用KSQL、Flink作为处理引擎。数据质量模块对数据资源池原始区数据进行数据质量提升并存储到标准区，数据质量包含敏感词检查、日期校验、数值检验、字符串校验、空值校验、重复统计等功能。元数据管理模块对数据资源池中的数据库进行管理，包括元数据定义、元数据创建、元数据维护、元数据检索等功能。运营调度对整个数据资源层的整体管控，包含任务调度、数据质量监控、作业监控、审计通知等功能。

三体系分别是安全体系、运行保障体系、标准体系。

安全体系包括应用安全、数据安全、租户安全等；运行保障体系包括组织保障、制度保障等；标准体系包括数据标准、技术标准、安全标准等。

1.3 平台功能设计

物联网数据管理系统以“整合资源，共享数据，提供服务”为指导思想，构建满足于数据资源信息化建设的需要。系统分为五个部分：数据源管理、数据处理、数据治理、数据资源池、数据服务。其功能概述如下。

⑴ 数据源管理

将需进行数据采集的外部数据源进行统一接入和管理，通过树状目录将外部数据源进行分门别类，方便进行查询和检索。数据源类型支持关系型数据库（MySQL、PostgreSQL）、非关系型数据库MongoDB、消息中間件Kafka、文件数据、API等数据源的接入。所有外部数据源的密码需进行加密存储，保证数据安全。数据源管理功能如表1所示。

⑵ 数据资源池

数据资源池是指外部数据源采集汇聚后存储到本系统而形成的由多种数据存储介质组成的数据湖（时序数据库、感知数据库、数据仓库）。数据资源池管理是对汇聚后的数据实例、不同数据存储介质间的数据调度进行管理和监控，功能包括数据资源管理，数据存储管理，元数据管理，批数据调度管理，实时数据调度管理，热数据区管理，如表2所示。

⑶ 数据处理

数据处理是数据管理系统的核心功能。物联感知数据具有规模大、时效性强、结构复杂、实时产生等特点，为满足物联感知数据的处理要求，数据管理系统需要具备实时计算和批计算两种功能，具体功能如表3所示。

⑷ 数据治理

数据质量管理是感知数据资源开发工作的基础，建立综合的、全面的、基于全局视角的数据质量管理体系，可以确保数据的共享开放、研究分析和应用服务数据的高品质，实现数据资产价值最大化。常见的数据质量问题包括：数据无法匹配、数据不可识别、数据不一致、数据沉余重复、实效性不强、精度不够等，针对这些问题，需要从完整性、规范性、一致性、准确性、唯一性、关联性等方面对数据质量展开评估。数据质量管理功能如表4所示。

⑸ 数据服务

数据管理和治理的目的是数据被其他应用更好的使用，但是业务应用直接使用数据资源池中的数据存在很大的安全隐患，也不利于系统间的快速集成。因此需要将数据进行服务化，以服务的形式为业务应用提供数据，数据服务功能如表5所示。

2 平台应用

平台部分截图如图4所示。

平台现已应用于雄安新区物联网统一开放平台、上海市域物联网运营开放平台中。

⑴ 雄安新区物联网统一开放平台

雄安新区物联网统一开放平台（XAIoT平台），定位全国首个城市级IoT平台，是雄安新区数字孪生城市的基础，是城市超脑运行的底座，通过实现多维感知数据的融合汇聚，形成全域、全时、互联互通的感知体系，有效支撑城市生命线、城市部件、公共安全、生态环境、民生服务等重点领域，实现数字孪生智能新区的基础支撑平台。

该物联网数据管理平台为IoT平台上的感知数据、设备信息等数据的统一管理提供基础设施，提供轻量级的数据治理能力。同时也提供轻量级的数据分析工具，多种数据采集及数据转发接口，能便捷的支撑物联网应用。

⑵ 上海市域物联网运营开放平台

中国电科联合东方明珠建设的上海市域物联网运营开放平台，该物联网数据管理平台推动物联数据与公共数据、社会数据的融合，丰富城市运行管理的神经元体系，更好地支撑“一网统管”、赋能城市运行管理。

3 结束语

本文针对物联网数据具有海量、多源异构、时序性高等特性，设计了一种物联网数据管理的方法，并通过平台化实现物联网数据的管理。该平台先后在雄安、上海示范应用，应用表明平台不仅统一了数据采集、传输、存储的标准，而且明显减少了数据遗漏的情况，提高了物联网数据管理的效率。下一步工作将突破批数据和流数据的统一表达和查询关键技术，研制流批一体数据处理核心模块，性能与成熟度达到国内先进水平。

参考文献（References）：

[1] 李杺恬.物联网政策形势和安全保障实践[J].网络安全和信息化，2021（2）：24-28

[2] 物联网新型基础设施建设三年行动计划（2021-2023年）[J].市政技术，2021，39（11）：1-3

[3] 马文瑶.物联网信息感知与交互技术[J].信息记录材料，2021，22（11）：150-151

[4] 郑春梅.城市管网空间信息共享与服务平台关键技术研究[D].博士，中国地质大学（北京），2014

[5] 向岚，师会钦，廖慧婷.基于大数据的物联网技术应用探讨[J].计算机产品与流通，2020（8）：66