刘红义 朱玉明 王璐璐 王雪梅
摘 要: 针对目前道路桥梁、供水、排水、供热、燃气、园林、地下管线、环卫、工地、公厕等城市治理行业不同类型终端之间接入通讯协议和数据协议不统一的问题,本文提出了一种面向城市治理领域的物联应用支撑平台,构建全面感知、全域操控的城市运行智能感知体系,通过城市规划、建设和运营的全面感知以及城市运行状态的动态控制,打造面向城市治理的应用体系。本文阐述了物联网技术下对流量计、水质分析仪、压力变送器、水位计、流速仪等感知传感设备数据采集,提供统一适配、安全接入和身份认证服务,保证采集数据的安全、稳定、可靠的传输,实现各类采集数据的智能、高效、协同统一管理。
关键词: 物联应用支撑平台;城市治理;感知体系;通讯协议;身份认证
中图分类号: TP391.8 文献标识码: A DOI:10.3969/j.issn.1003-6970.2019.10.015
本文著录格式:刘红义,朱玉明,王璐璐,等. 面向城市治理的物联应用支撑平台研究[J]. 软件,2019,40(10):6267
IOT Application Supporting Platform Oriented on Urban Governance
LIU Hong-yi1,2, ZHU Yu-ming1,2, WANG Lu-lu1,2, WANG Xue-mei1,2
(1. Beijing Institute of Computing and Communication,beijing 100074, China;
2. Aerospace Haiying Electromechanical Technology Research Institute Co., Ltd. 100074, China)
【Abstract】: In the urban governance industry such as road and Bridge, Water Supply, Drainage, Heating, Gas, Garden, Underground Pipeline, Sanitation, Construction Site, Public Toilet, different types of terminals access communication protocols and data protocols are not unified, this paper proposes an IOT application supported platform for urban governance, and sets up an urban operational intelligent perception system with comprehensive perception and global control. through urban. comprehensive perception of planning, construction and operation, and dynamic control of urban operational status, to create an application system for urban governance.It introduces data acquisition of sensing equipment such as flow meters, water quality analyzers, pressure transmitters, water level meters, and flow meters in the IOT technology, provides a unified adaptation, secure access and identity authentication service, to ensure the safe and stable collection of data. reliable transmission, achieved intelligent, efficient, collaborative and unified management of all types of data collection.
【Key words】: IOT application supported platform; Urban governance; Perception system; Unified adaptation; The identity authentication
0 引言
在AI智能、5G、IOT通信等新一代物聯网技术的带动下,引领智慧管网、智慧管廊、智慧水务、智慧城管、智慧园林等城市治理行业快速发展,同时也给新型城市建设提出了更高的要求,面向城市治理领域的物联应用支撑平台作为物联网领域的重要组成部分,有助于推动智慧城市的建设和发展。
在数字化、网络化、智能化发展的大趋势下,物联应用支撑平台的建设需求不断的释放,未来的市场潜力巨大,由于各个厂家的感知设备没有统一的标准和协议,各终端厂商生产的终端都在使用不同的通讯协议及通讯接入方式,因此亟需对物联应用支撑平台展开进一步的探讨,进行对不同类型终端的可配置接入和统一管理,以便对上层应用进行传感器和通信协议等的适配,形成一个高效的物联应用支撑平台。
本文将围绕“物联应用支撑平台”的技术体系和主要功能进行阐述,设计和实现了一种面向城市治理领域行业多设备协议可配置的物联应用支撑平台。
1 物联应用支撑平台系统
1.1 系统结构
物联应用支撑平台是根据平台即服务PaaS的思想[1],结合城市治理机制的设计理念,由物联接入平台(数据处理)及天空地水网感知体系(传感器数据)两部分组成,主要架构如下图所示。
该平台能够提供多种通信方式、多种功能类型、不同厂家的传感设备的通信适配、统一接入、协议解析和数据服务等功能。对下接入多种行业终端,能够对异构通信方式的传感设备进行通信适配,汇总统一接入,集群分布式的后台处理[2],对信息进
行协议解析和数据解析,为各个应用系统提供数据服务,对上支持城管、水务、管网、渣土等城市治理领域多种行业应用,把各种垂直的物联网应用整合成一个扁平的应用体系,具有承上启下的作用,为物联网系统提供基础集成技术的专业化技术支撑平台。
1.2 技术架构
以MQTT协议为核心搭建物联应用支撑平台[3],利用MQTT代理作为物联应用支撑平台内部通信的枢纽,统一应用系统与物理设备的通信方式,从而降低第三方应用接入物联应用支撑平台的成本。
1.3 业务架构
物联网业务总体分为:终端接入,通信网络,物联接入,应用四个部分,其中的物联接入是本次技术研究涉及的主体部分。
2 物联应用支撑平台设计与实现
2.1 物联接入平台
物联接入平台是物联网终端数据采集及运行状况的信息汇聚点,满足适应多语言、多操作系统的不同终端设备的接入和数据通讯需求,并保证通信安全性、实时性和稳定性,并具备包括C、Java、.Net、iOS、Android等在内的SDK开发工具,可以接受任何安装有协议驱动程序的设备发送的数据。通过数据采集、协议适配、数据处理全面呈现城市系统运行状况,利用可视化技术和增强现實技术在信息空间中重现城市治理的全貌,为城市健康、安全、平
稳运行提供服务。
2.1.1 协议解析
针对不同类型、不同厂家的设备,建立多种终端设备协议库,将多种通信层协议和应用层协议,开发协议解析引擎模块,实现通信层的协议适配,以及应用层的协议适配[4],并根据协议规则将采集数据进行解析,分析报文内容;并对下传的指令按照终端自有协议进行封装,以实现对不同厂家、不同功能、不同通信接口的设备的统一接入服务。
设备管理模块:网关管理,监控设备管理,位置管理,元数据管理。
协议解析模块:网络层协议集,传输层协议集,传输层协议集,私有协议插件。
数据服务模块:数据调用接口,控制执行接口,数据消息订制,批量数据服务。
应用管理模块:应用实例管理。
为消除不同接入方式服务请求所采用的协议差异,对网关设备和测控设备的通信报文进行协议解析[5],将各种接入协议转换成统一的接入模式,包括TCP/IP协议族中的协议,如网络层协议和传输层协议,某些情况下也包括在TCP/IP协议之上封装的透传协议,如Zigbee、RS232/485等协议,还包括在上述协议之上承载的应用层协议。
2.1.2 数据通讯
所有的终端设备发到平台的数据都由数据通讯模块接收并预处理,数据通讯模块完成实时数据采集、数据处理、终端控制等业务目标,实现数据接入适配、统一数据结构、数据处理等功能。
(1)数据接入
为了适应物联大数据的需求,在数据接入时,传感器或者采集终端通过无线或者有线的方式发送到平台端[6]。数据接入协议分两个层次,在通讯层次上,支持TCP、UDP、HTTP和WEBSOCKET等通讯协议;在数据协议层次上,支持MQTT、JSON、SOAP和自定义二进制协议。通过这两个层次的互相搭配,可以轻松实现任何物联网终端、任何协议的数据接入。
数据包发送到消息中间件中,考虑有效地应对“井喷流量”和下游服务短暂不可用的问题[7]。在消息中间件的选择上,考虑Kafka、RabbitMQ和ActiveMQ,本研究选择Kafka,因为在分布式环境下Kafka的吞吐性能非常优秀,并且其持久化和订阅/发布的功能与物联网的场景非常匹配。
(2)数据存储
综合考虑使用了多种存储引擎,包括HDFS、Hbase、RDBMS和Redis。其中HDFS非常适合于非结构化数据的存储,支持数据的备份、恢复和迁移,在系统中主要用于存储原始数据和需要进行离线分析的数据[8]。
(3)数据处理
数据处理包括实时计算和离线计算两种。
实时计算比较Storm和Spark-streaming,本研究拟选择了Storm,主要考虑两点:一方面是因为Storm具有很好的实时性,另一方面是因为在物联网的场景中支持对终端数据的全局分组,而Spark-streaming只能在每个RDD中做分组。本研究选择Storm作为实时处理引擎,基于实时处理引擎提供实时计算服务,可以支持应用层的调度和管理,基于实时计算服务可以实现对物联网数据的清洗、解析、报警等实时的处理。
离线计算目前支持MapReduce和Hive,对Spark的支持也正在进行中,主要用于对物联网数据做日/周/月/年等多个时间维度做报表分析和数据挖掘,并将结果输出到关系数据库中。
(4)数据交换接口
数据交换接口主要是为了简化应用层与平台层之间的数据访问而抽象了一层访问接口,有了这层接口,应用层就不需要直接调用Hadoop、HBase等原生API,可以快速地进行应用开发。数据交换接口支持:SQL、Restful、Thrift和Java API,用户可以根据实际情况灵活选择数据交换的方式。数据交换的内容包括:物联网终端的当前状态、物联网终端的历史状态/轨迹、指令下发、数据订阅与发布等等。
2.1.3 设备管理
本研究应用中使用的设备种类多,厂家和标准难以统一,若采用传统设备接入方式,从实时性、接入后的管理和维护、后续设备升级以及多协议支持等方面存在问题。通过综合考虑设备的异构性和标准协议支持,采用面向智能化设备的多协议统一适配技术,实现各类传感器、控制执行器等智能设备的可配置接入和智能化管理。
对测控设备的基本信息进行录入,查询和管理。添加新测控设备时,需将设备主要信息、设备ID/设序列号、设备的通信类型、设备关联的网关和端口进行录入,录入后根据需要进行修改,并实现对设备信息的增删改查等功能。
2.1.4 运行监控
对设备的运行状况、报警信息、监控数据进行管理。设备的运行状况主要观察所有设备的工作压力、工作电压、运行状态、启停次数、润滑油压、电机功率等信息;报警信息主要是设备运行过程中产生的报警记录;监控数据包括实时数据、历史数据和GPS的查看[9]。
2.1.5 权限管理
该功能主要是对进行设备管理的过程中一些后台的配置,主要包含设备分区、设备分类、设备授权的管理,可以进行添加、查询、删除。添加设备分区,对设备分区进行配置,可以在设备管理模块创建新的设备信息时,选择此处添加的设备分区。设备分区可以对所有设备进行区域划分,方便管理。点击删除分区按钮,可以删除对应的分区,方便进行分区设计。创建设备分类,如流量、温度、压力等,对所有设备进行功能分类,根据功能进行设备划分,可以方便对設备进行管理。
2.1.6 用户管理
用户管理实现对平台用户、用户权限和所属角色管理功能。用户注册:通过邮箱、手机号进行用户注册,企业用户需要输入公司名称、所在地。用户权限分配:通过角色管理可以把系统的功能菜单分配给指定的角色,如管理员、工程师、操作工、访客等不同的角色,能管理的菜单也不一样,然后可以通过用户管理把对应的角色分配给对应的用户。
2.2 天空地水网感知体系
借助卫星遥感、无人机、雷达遥测、仿生鱼、物联网、互联网等先进通信技术,建设成布局合理、结构完备、功能齐全、高度共享的天-空-地-水-网一体化城市基础信息采集与传输系统,实现水厂、污水厂、管网、水环境等各种城市运行状态信息的自动采集,并将汇集的数据进行统一处理、整合、存储与交换[10],为物联接入平台在城市监测及治理中的应用提供数据支撑。
3 结论
本文是针对物联网应用类项目而设计的基础管理平台,面向道路桥梁、供水、排水、供热、燃气、园林、地下管线、环卫、工地、公厕等城市治理领域,以HTTP协议、Websocket、MQTT、MODBUS协议为核心,基于天空地水网一体化的智能感知体系及物联接入平台,打造统一采集、按需分发的数据体系,利用统一应用系统与物理设备的通信方式,解决了不同类型终端设备接入通信和数据协议不统一的问题,降低数据采集成本,提高数据采集效率,为数据分析和智能决策提供支撑,推动城市精细化、科学化治理具有指导意义。
参考文献
[1]王禹华. PaaS云管理系统设计与实现[D]. 北京邮电大学, 2017.
[2]陈珏. 基于集群分布式架构的大屏幕控制系统的技术研究[D]. 华东理工大学, 2015.
[3]任亨. 基于MQTT协议的消息推送集群系统的设计与实现[D]. 中国科学院研究生院(生养计算技术研究所), 2014.
[4]刘红义, 董丹丹, 王海燕, 等. 基于可配置协议的智慧管网物联接入系统[J]. 软件, 2018, 39(1): 121-125.
[5]梁彦杰. 数据交换管理系统协议解析器的设计与实现[D].中国科学院研究生院(生养计算技术研究所), 2012.
[6]张文博, 崔媛媛, 洪俊杰. 基于物联网技术的建筑设备管理系统研究[J]. 中国信息化, 2017(11): 55-57.
[7]吴秋莉, 郭丽娟, 吕泽承, 等.到基于大数据的井喷式状态监测数据实时处理研究[J].电力信息与通信技术, 2017, 15(3): 49-54.
[8]王晓晖, 乔通. 云环境下面向感知数据汇集的通信服务系统设计与实现[J]. 软件, 2016, 37(2): 155-159.
[9]李红辉, 关婷婷, 杨芳南. 云计算平台状态监控技术研究与应用[J]. 软件, 2018, 39(1): 9-13.
[10]刘继红, 余杰, 朱玉明. 基于制造物联的航天产品研制过程的技术状态控制技术[J]. 计算机集成制造系统, 2015, 21(7): 1781-1789.