公路智能交通云平台设计与实现

王波,李时辉,朱萍

公路智能交通云平台设计与实现

王波,李时辉,朱萍

义乌工商职业技术学院, 浙江 义乌 322000

鉴于公路交通数据及应用的分散、独立与割裂，本文提出设施连通、数据互通、信息畅通以及人、车、路协同的基本思想，给出基于线性规划NP求最优解的大规模资源调度算法、Hadoop与Spark相整合的大数据融合架构和OpenStack、Magnum、Docker相集成的应用部署框架。经验证，该设计能成功实现公路交通基础设施资源融合、数据融合和应用融合，有效破解公路交通所面临的现实困境。

公路; 智能交通; 云计算

随着经济社会的高速发展，我国机动车保有量、驾驶人数量和道路交通流量持续增长，人们对道路交通快速、舒适、安全的出行需求与日俱增，这与当前道路交通拥堵、事故频发、应急预警迟缓等现状存在突出矛盾。究其根源，我国的道路交通存在区域跨度大和管理层级多等现象，客观上造成了交通数据及应用的分散、独立与割裂，从而缺乏对交通数据进行及时有效的处理，对交通信息进行全面深度的融合与应用，以及对交通事件进行科学智能的分析、预警与响应[1-3]。因此，如何借助云计算和大数据等新兴技术优势，推动公路交通的基础设施资源融合、数据融合和应用融合[4,5]，实现更经济的资金投入、更实时的线路诱导、更精准的事故预警、更科学的指挥决策、更敏捷的应急响应，构建现代、综合、高效的公路智能交通云平台，是当前道路交管部门亟待解决的重要课题[1,6]。

1 平台设计

1.1 功能设计

为提高公路交通运行效率和安全保障，减少道路拥堵、交通违纪及事故的发生，降低交通能源消耗和环境污染，根本上是要实现公路交通基础设施的连通、数据的互通以及信息的畅通，并在此基础上实现人、车、路之间实时的信息共享和高效的协同合作。根据上述功能要求，平台的总体功能架构可设计为四个层次，由里外往外依次为基础设施层、数据层、信息层、应用层（见图1）。其中，基础设施层主要依托物联网和现代网络通信技术，实现道路、收费站、服务区、卡口、车辆、监控/监测设备等公路交通基础设施的感知与互联；数据层主要运用云计算和大数据技术，实现基于路况、车况、天气气象、地理位置、交通事故等多主体、多维度异构海量数据的汇集与流通；信息层主要利用数据挖掘、人工智能、图像识别和位置定位等技术，实现分类预警、通行态势、违纪违章、行车诱导等信息的集成与共享；应用层主要依靠技术整合和机制创新，实现公路交通的决策、预警、响应、指挥及调度的敏捷化、智能化和一体化协同。

图 1 公路智能交通云平台总体功能架构

1.2 系统设计

平台设计的核心思想是融合，表现为公路交通的基础设施资源融合、数据融合以及应用平台融合[4]。具体来看，基础设施资源融合引入云操作系统技术，通过分布式资源聚合、虚拟化隔离和异构资源适配等方式，将公路交通现有孤立、分散、异构的IT基础设施硬件进行统一虚拟化与池化，建成面向公路智能交通统一的逻辑基础设施资源池，面向用户提供标准化与自动化弹性、按需、敏捷的基础设施服务。数据融合引入大数据引擎构件，通过ETL数据抽取和汇总机制，将公路交通海量结构化、半结构化、非结构化数据进行统一汇聚与存储；基于并行计算、分布式数据库、大数据挖掘与分析、深度学习等技术，实时对公路交通运行状况进行多维度评估与决策，为预防交通事故发生提前预警，为交通应急与指挥调度提供可靠支撑。应用平台融合引入云原生应用的开发理念，基于OpenStack、Hadoop、Docker及Spring等开源工具、技术和框架，支持面向DevOps的敏捷开发和分布式水平扩展，有助于促进平台敏捷迭代和持续集成。

2 关键技术分析

2.1 大规模资源调度

在公路交通分布式数据中心情况下，为满足用户弹性、按需、敏捷的资源服务需求，平台需具备大规模资源调度能力，即是要实现将虚拟机实例或虚拟机集群映射到计算资源池内最合适的物理机或者物理机集群，并在存储资源池中为虚拟机实例或虚拟机集群快速匹配适切的物理存储。据此推演，公路交通的大规模资源调度问题，可规划为一个线性规划NP求最优解的问题，其约束条件及目标函数均可按需进行策略配置。公路交通大规模资源调度的近似最优解算法可表示为式（1），整个系统的求解可视为值取最小值的过程，通常可依据式（2）所示条件来获得系统的最优解[4]。

2.2 大数据融合处理

大数据融合处理的实现基于Hadoop与Spark整合框架，主要由大数据采集、大数据存储、大数据仓库和大数据引擎等部件组成（见图2）。其中，大数据采集基于Sqoop数据交换和Flume日志收集等核心组件实现，为公路交通实时、海量的结构化与非结构化数据采集提供支持。大数据存储基于Hadoop大数据框架HDFS和HBase的集群实现，为公路交通超大规模的数据存储和高容错、高吞吐量的数据访问提供支持。大数据仓库基于Hadoop的HIVE数据仓库分析系统实现，对公路交通大数据批处理查询和分析提供支持，由Driver负责HQL的编译、优化与执行，Metastore负责Hive元数据信息的存储[7]；大数据引擎基于Spark框架和YARN集群实现，对公路交通状况的科学评估、公路交通管理的智能决策、公路交通事故的应急预警以及突发事件的指挥调度等提供支持；YARN为Spark应用提供统一的资源管理和调度，而Spark则为公路交通实时海量的关联数据操作（Spark SQL）、大数据挖掘与分析（Spark MLlib）、流式计算（Spark Streaming）、并行图计算（GraphX）以及分布式协同处理（Zookeeper）提供计算框架与处理引擎。

图 2 公路智能交通云平台大数据融合处理架构

2.3 敏捷化集成部署

面对应用轻量化、高性能、跨平台及细粒度发展需求，公路智能交通平台基于OpenStack云计算基础框架，引入Docker容器技术，运用Swarm架构为Docker提供集群服务，并使用Magnum来部署管理Swarm容器集群，进而更好地促进OpenStack和Docker集成，实现敏捷化的应用部署，为用户提供弹性、按需的PaaS服务（图3）。该架构具体实现流程如下：（1）用户通过magnum client端发出请求，magnum-api接收用户请求，调用api.py、app.py完成消息解析，将该消息通过RPC消息队列转发到magnum-conductor；（2）magnum-conductor调用ca_conductor.py、cluster_conductor.py、conductor_listener.py或indirection_api.py进行相关处理；（3）swarm-manger调用scheduler模块选择出最优节点swarm-node，并通过discovery service模块发现节点docker daemon；（4）docker server接受、调度并分发docker client发送的请求，由Docker运行引擎engine通过执行job的方式来处理每项任务，调用libcontainer来操纵容器的namespace、cgroups、apparmor等，按照用户的需求和指令订制docker container。

图 3 基于“OpenStack+Magnum+Docker”集成应用部署架构

3 应用实例

根据上述设计与关键技术分析，该平台以某市公路交通智能化建设为例，配置云计算服务器4台和云主控服务器1台等，基于Ubuntu 20.04 LTS云应用开发系统环境，以及OpenStack 0.46.0+Magnum 10.0.0+Docker 18.09云应用集成部署框架和Hadoop 3.2.1+Spark 3.0.0大数据融合平台（详见下表），成功研发了公路智能交通云平台。从该实例的测试来看，平台对行车速度、通行流量、交通违法、交通事故及交通气象等海量交通数据实现了实时采集与存储，对违法取证、事故识别、事件预警、应急响应和指挥调度等交通控制管理提供了大数据分析与科学决策支撑，对行车诱导、交通预警、运行态势、违法通告等交通服务信息进行了综合集成与个性推送；确保了公路交通的设施连通、数据互通与信息畅通，实现了人、车、路之间信息共享和高效协同，进而为化解当前公路交通困境、提升运行效率提供了有力保证。

表 1 软硬件配置信息

4 结论与展望

基于设施连通、数据互通、信息畅通以及人、车、路高效协同的基本思想，该平台系统提出了一种基于线性规划NP求最优解的大规模资源调度算法，Hadoop与Spark相整合的大数据融合处理架构，以及OpenStack、Magnum与Docker相集成的应用部署框架。经实例检验，基于上述设计构建的云平台，能成功地实现公路交通基础设施资源融合、数据融合和应用平台融合，可有效缓解公路交通拥堵、事件事故频发、应急指挥迟缓等突出矛盾，并为加速构建快速、舒适、安全的现代公路交通服务体系提供了切实保障。

[1] 姚宏宇.基于云计算架构的交通智能化信息平台[J].信息技术与标准化,2014(10):20-23

[2] Yang XH, Wang B, Chen SY,. Epidemic dynamics behavior in some bus transport networks [J]. Physica A, 2012,391(3):917-924

[3] Wang Bo, Yang XH. A transfer method of public transport network based on adjacency matrix multiplication searching algorithm [J]. WSEAS Transactions on Circuits and Systems, 2011,10(3):104-113

[4] 顾炯炯.云计算架构技术与实践[M].第2版.北京:清华大学出版社,2019:67-68

[5] 王波,柯红红,蒋天发.基于复杂网络理论的杭州公交网络建模与特性分析[J].武汉大学学报(工学版),2011,44(3):404-408

[6] 倪琴,许丽.云计算技术在智能交通系统中的应用研究[J].交通与运输(学术版),2012(1):106-109

[7] Grover M, Malaska T, Seidman J,.郭文超,译.Hadoop应用架构[M].北京:人民邮电出版社,2017

Design and Implementation of Highway Intelligent Transportation Cloud Platform

WANG Bo, LI Shi-hui, ZHU Ping

322000,

In view of the dispersion, independence and separation of highway traffic data and applications, the basic ideas of facility connection, data interchange, information unimpeded, and human vehicle road cooperation are proposed. The large-scale resource scheduling algorithm based on linear programming NP to find the optimal solution, the big data fusion architecture integrated by Hadoop and Spark, and the application deployment framework integrated by Openstack, Magnum and Docker are given. It is proved that the design can successfully achieve the integration of road traffic infrastructure resources, data and applications, and effectively solve the practical difficulties faced by road traffic.

Highway; intelligent transportation; cloud platform

U491.1+3

A

1000-2324(2020)03-0503-04

10.3969/j.issn.1000-2324.2020.03.022

2019-08-28

2019-10-17

浙江省哲学社会科学规划课题(20NDJC230YB)

王波(1982-),男,博士,副教授,主要研究方向为自动化、计算机技术. E-mail:wangbo@ywicc.edu.cn