谢生龙 丁苍峰 田琴琴
摘 要:本文首先分析了区域实时交通流数据源、数据汇聚的渠道和方式;其次,对多智能体区域实时交通流可视化数据处理平台的数据集市逻辑结构进行研究,形成了负载均衡的多层数据仓库设计结构;最后,结合实际,探讨交通流可视化数据处理过程,并给出了实时多智能体交通流可视化数据处理平台的设计方案。
关键词:交通流;可视化;多智能体;处理平台
中图分类号:TP39 文献标识码:A 文章编号:1003-5168(2019)07-0019-03
Abstract: Firstly, this paper analysed the real-time traffic flow data sources and the channels and ways of data aggregation. Secondly, the logical structure of data mart of multi-agent regional real-time traffic flow visualization data processing platform was studied, and the design structure of load balancing multi-layer data warehouse was formed. Finally, the process of traffic flow visualization data processing was discussed, and the design scheme of real-time multi-agent traffic flow visualization data processing platform was given.
Keywords: traffic flow;visualization;multi-agent;processing platform
傳统交通管理平台中单一、粗糙的交通信息发布及固定模型的交通流数据预测已无法满足智能交通与智慧城市发展战略的需要,一种智能的、可靠的、直观的数据可视化发布与交流平台越来越受到智能交通领域的追求。智能体(Agent)是一个集推理、进化、能动、反应等特征于一体的智能单元,在区域实时交通流形成的过程中,存在许多集成、整合、协同分布式设备的智能体单元,这些智能体可综合多源数据,寻求目标高度一致,为交通平台协调与控制区域交通流,处理与显示区域实时交通流的数据提供了可能。夏冰[1]等通过多智能体系统建立了可供参考的城市交通诱导系统体系结构,并借助微观可视化交通模拟软件PARAMICS完成了对其的仿真,成效可观;汪磊[2]等人根据Agent技术所具有的自治性特点,通过模拟实体的特征,研究了交通系统Agent模型结构和车辆Agent的自由、跟驰、超车等驾驶控制策略,并在Windows 2000/xp环境下采用Borland Delphi开发出基于Agent的智能交通可视化仿真原型系统AITSPS。张闻芳等[3]针对城市智能交通系统的应用和发展的需求,将GIS技术、可视化技术综合应用在一起,论述了系统的组成结构及各模块的功能特点,探讨了基于不同数据源的地形和地物的建模方法,建立了城市道路路线平面优化和最短路径多目标优化模型以及城市交通可视化数据模型,并研究和分析城市道路交通可视化关键技术。近年来,欧盟在其CAPI TALS Plus项目中选择了巴黎、罗马、马德里等城市作为示范城市,将交通可视化系统的开发作为重要内容。德国Bavarian州政府发起的Bayern Online项目开发了Bayern Info网站,其主要功能之一就是采用1个名为/ASDA2FOTOO的交通模型为出行者提供长、中、短期的交通流可视化信息服务。
总的来讲,随着国内城市交通的发展,交通流可视化已被纳入智能交通研究,逐渐进入了体系框架、技术标准和硬件研究阶段。近年来,区域实时交通流数据的可视化以及区域实时交通流数据的分析与挖掘作为智能交通、智慧城市发展研究重点的趋势愈加明显。
1 区域实时交通流数据分析
区域实时交通流数据是区域实时交通流可视化数据处理平台数据集市的基础数据,由交通运管单位数据中心及相关外部数据源收集,是综合查询与分析、决策支撑(DSS)的重要依据。
1.1 数据源分析
数据源是数据集市的基础。在区域实时交通流可视化数据处理平台中,按照数据源的不同,可以把数据分为核心交通流数据和其他相关数据两种。其中,核心交通流数据主要来源于区域交通智能体单元中的车辆、交叉口、交通信号灯、关键断面等,这些智能体负责完成对交通信息的采集,如车流量、速度及占有率等;其他相关数据主要来源于历史周期或手动调节方面。核心交通流数据和其他相关数据共同组成区域实时交通流可视化数据处理平台的数据源[4]。
1.2 数据汇聚渠道
一般来讲,数据源的数据主要通过两种途径进入区域实时交通流可视化数据处理平台中心的数据仓库。其一,通过智能体预先设置的数据采集接口。该接口可以自动抽取、清理转换和验证数据,并自动加载到区域实时交通流可视化数据处理平台的综合查询数据集市中。由于需要处理的原始数据结构基本相同,且范围和内容变化不大,所以这种数据采集方法能充分利用区域实时交通流可视化数据处理平台数据中心的优势[5,6]。具体实现时,只需要事先设定好相应数据逻辑表的结构,再确定数据抽取、清理转换和验证的规则,然后由采集前置服务器根据设置的相应调度指令自动执行数据采集过程,最后将清洗、转换和验证无误的数据加载到区域实时交通流可视化数据处理平台的数据集市中来。其二,也可以通过管理人员手动调节、清理转换和验证数据,最终完成异常数据和噪声信号的处理。
1.3 数据集市逻辑结构
区域实时交通流可视化数据处理平台的数据集市可采用星型结构或雪花型结构。数据集市逻辑结构的设计要根据区域实时交通流可视化数据处理平台的业务需求、主题域及数据源等方面进行合理选择,从而确保不同业务需求、不同用户、不同环境下的多维度、多层次数据查询与分析的顺利完成[7]。通常,区域实时交通流可视化数据处理平台的数据集市逻辑结构设计主要考虑面向主题、集成、稳定、适应随时间不断变化的需求,同时数据集市还可用于建立不同颗粒度的汇总表,满足对不同颗粒查询与分析的要求,提高查询与分析效率。
通过上述分析,笔者建立了如图1所示的多智能体区域实时交通流可视化数据处理平台数据中心。第一层,主要完成差异对比、异源数据同构等业务逻辑处理;第二层,负责协议协商与标准共享,按可视化需求设计主题,完成数据整合[8];第三层,主要完成数据加工、明细汇总及应用数据提炼;第四层,提供与平台精细管理和科学决策有关的数据支持。用这种多层数据仓库思想来构建多智能体区域实时交通流可视化数据处理平台的数据集市,在以区域交通数据中心为数据源的前提下,更容易创建分主题的数据集市,而且分层数据集市的使用可以分散区域实时交通流可视化数据处理平台整体性能的工作开销,同时减轻在单一数据仓库上操作的负担。
中心层次图
2 交通流可视化数据处理
一般的交叉路口或断面都会布有数据采集设备,如感应线圈、脉冲传感器、高清图像采集仪等。我们根据智能体单元前期对这些交通信息采集设备的数据频域或时域分析、数字图像处理,然后形成可量化的交通流信息,最终通过对智能体数据采集终端接口的访问,抓取、查询各Agent采集的交通特征数据,传送至数据中心保存。
数据预处理是多智能体区域实时交通流可视化的关键环节,如归一化基础数据、异常数据过滤等[11],可根据处理的具体交通流数据选用合适的处理方法。数据预处理之后,根据可视化请求的内容,从数据中心对请求数据进行抽取。当然,在此过程中,有可能需要对清洗后的数据进行进一步的加工处理,为深度挖掘分析做准备,最终将挖掘分析的结果整合后清洗、呈现。对于可视化平台采集实时的数据,一般选择在线处理;而对实时性要求低的请求,可以通过离线处理达到减小服务器压力的目的[12],如利用Storm、Spark或Hadoop等数据处理框架计算形成不同维度的数据或相关组合[13],这一过程中形成的多维度交通流数据也正是交通数据挖掘分析与可视化呈现的基础[9,10]。一般情况下,平台的数据可视化处理过程应包含数据源的数据加载、原始数据的清洗、异源数据的转换、合法性验证和请求时的目标数据抽取,具体过程如图2所示。
3 多智能体的区域实时交通流可视化数据处理平台设计
在区域交通运作的过程中,时间序列交通数据实时生成。在设计平台时,可将区域交通参与的车辆、交叉口、交通信号灯、关键断面等看成是不同的智能体单元,各个智能实体根据自身单元特点采集不同的数据结构,经数据转发单元转发后汇聚至数据中心[14]。因此,设计多智能体区域实时交通流可视化数据处理平台的整体思路如下:首先将区域交通数据中心采集的数据传入统一的数据集市基础数据空间中;验证数据完整性和一致性后再进入数据集市应用数据空间。数据集市将数据在逻辑上分为各应用系统特有数据和应用系统公用数据[15];这些应用数据在物理存储时放在专用的数据空间中,在综合查询与分析时,可视化平台将从统一数据集市与检索目标一致的专用数据空间查找数据[16]。数据集市获取数据时,以增量方式为主,對无法判断增量的数据以全量方式获取。具体设计图如图3所示。
4 结语
在本文提出的多智能体区域实时交通流可视化数据处理平台设计方案中,数据集市的建立采取数据仓库—数据集市的结构。这种以数据仓库为数据管理的策略,可供不同主题使用。在这种结构下,多智能体区域实时交通流可视化数据处理平台的数据中心不仅满足了数据的规范性、标准化、一致性、整合性需求,而且满足了不同主题域、不同角色、不同业务环节等对交通流可视化数据综合查询与分析的需要。
参考文献:
[1]夏冰,胡坚明,张佐,等.基于多智能体的城市交通诱导系统可视化模拟[J].系统工程,2002(5):72-78.
[2]汪磊,周力,邱萌萌,等.基于Agent的智能交通可视化仿真系统设计[J].洛阳理工学院学报(自然科学版),2015(2):51-55.
[3]张闻芳,徐炽.城市道路交通可视化技术研究与分析[J].科技资讯,2014(24):48.
[4]曹仲,李付琛,杨皓斐.基于手机信令数据的城市区域间交通流分析及可视化[J].计算机与现代化,2018(3):117-121,126.
[5]张金秋.交通时空数据处理与交互式可视化平台设计及实现[D].兰州:兰州交通大学,2017.
[6]Wei S, Huang C, Jiang B. Visual methods for time-varying intersection traffic flow data[C]// International Conference on Systems & Informatics. 2018.
[7]刘文杰.城市交通大数据可视化框架及实现[J].科技创新导报,2017(36):121-122.
[8]戴技才,黎夏.基于多智能体的微观交通流模拟模型[J].科学通报,2009(21):3380-3389.
[9]Manley E, Cheng T. Exploring the role of spatial cognition in predicting urban traffic flow through agent-based modelling[J]. Transportation Research Part A Policy & Practice,2018(109):14-23.
[10]Chu T, Wang J, Codecà L, et al. Multi-Agent Deep Reinforcement Learning for Large-scale Traffic Signal Control[J]. IEEE Transactions on Intelligent Transportation Systems, 2019(3):99.
[11]魏丽丽,杜长海,徐立松.智慧交通中多维交通流数据实时可视化技术概述[J].警察技术,2018(2):86-88.
[12]佚名.基于Hadoop的交通大数据的可视化WebGIS平台的设计与实现[J].北京建筑大学学报,2018(3):33-41.
[13]干彬,张明遥,吴科旭,等.大数据背景下智慧物流可视化管理系统的研究[J].科技风,2018(4):70-71.
[14]Feng C, Hao P. Study of multi-agent area coordination control for urban traffic[C]// World Congress on Intelligent Control & Automation. 2008.
[15]蔡长青.基于多智能体的交通控制与交通诱导协同理论和方法研究[D].长春:吉林大学,2008.
[16]Ma S F,He G G, Wang S T. A traffic flow forecast supported system based multi-agent[C]//Intelligent Transportation Systems. 2001.