熊 刚,董西松,3,朱凤华,季统凯
1. 中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190;2. 中国科学院云计算中心 东莞 523808;3. 青岛智能产业技术研究院 青岛 266109
城市交通大数据技术及智能应用系统
熊 刚1,2,董西松1,2,3,朱凤华1,2,季统凯2
1. 中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京 100190;2. 中国科学院云计算中心 东莞 523808;3. 青岛智能产业技术研究院 青岛 266109
城市交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和生命周期较短等特征,如何有效地采集和利用交通大数据,满足高时效性的交通行政监管、交通企业经营管理、交通市民服务等应用需求,是城市交通和智慧城市面临的前所未有的机遇和挑战。重点分析总结了城市交通大数据的若干研究内容及核心技术,提出了城市交通大数据智能应用系统解决方案,列举了几种典型应用,在城市交通和智慧城市领域的大数据研发和应用领域进行了初步探讨。
城市交通;大数据;云计算;物联网
2015年两会上,“大数据(big data)”一词首次写入政府工作报告。在交通领域,大数据一直被视作缓解交通压力的技术利器。应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因,实现交通和生活的和谐,提高城市的宜居性,为政府精准管理提供基于数据证据的综合决策[1]。同时,大数据的挖掘和使用还有利于催生信息消费新模式,促进信息消费产业发展。
随着手机网络、全球定位系统(global positioning system,GPS)/北斗车载导航、车联网、交通物联网的发展,交通要素的人、车、路等的信息都能够实时采集,城市交通大数据来源日益丰富[2]。在日益成熟的物联网和云计算平台技术支持下,通过城市交通大数据的采集、传输、存储、挖掘和分析等,有望实现城市交通一体化,即在一个平台上实现交通行政监管、交通企业运营、交通市民服务的集成和优化[3]。
城市交通大数据的集成与分析技术研究,对我国智慧城市的发展具有战略性意义。交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和有限生命周期等特征,如何有效地集成交通大数据,满足高时效性和知识牵引等城市交通智慧化需求,是各个大中城市所面临的前所未有的发展机遇和挑战[4~8]。
本文首先简单介绍了大数据的发展状况及趋势,然后重点分析总结了城市交通大数据的若干核心技术,并提出城市交通大数据的智能应用系统解决方案,最后重点列举了几种典型应用。
近年来,数据的快速增长成了许多行业共同面对的严峻挑战和宝贵机遇,信息社会正在进入大数据时代。大数据指的是涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到感知、撷取、管理、处理和服务的数据集合。从2009年左右开始,“大数据”开始成为互联网信息技术行业的流行词汇。
根据互联网数据中心(IDC)估测,数据一直以每年50%的速度增长(大数据摩尔定律),这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量,预计到2020年,全球将总共拥有35亿GB(35 ZB)的数据。大数据处理的数据规模从TB级上升到PB、EB甚至ZB级,人们面临着如何降低数据存储成本、充分利用计算资源、提高系统并发吞吐率、支持分布式非线性迭代算法优化等众多难题。
为了应对大数据的发展趋势,更好地为行业用户和个人提供数据分析的服务,亟需构建各类不同的大数据平台,支持用户对数据的多种需求。构建大数据平台就是要将不同渠道、不同来源、不同结构的数据进行有机的整合。与传统数据平台不同的是,大数据海量的规模、多样的类型、快速的流动和动态的体系以及巨大的价值是大数据平台构建需要重点考虑的几个因素。除此之外,数据的分类存储、数据平台的开放性、数据的智能处理以及数据平台与用户的交互都为大数据平台的建设带来前所未有的挑战。
大数据平台处理的数据类型是多种多样的。目前这些平台的搭建已经有了一些有代表性的成果,如Google公司的Freebase、微软公司的Probase、国内著名的中文信息结构库——中国知网。在商用数据平台方面,IBM公司的Infosphere大数据分析平台、天睿公司的Teradata统一数据环境以及由国内天猫、阿里云、万网联合推出的国内首个电商云工作平台聚石塔是3个典型的数据平台。
“大数据”本身是一个现象而不仅仅是一种技术,这是信息科技历史发展的必然结果。大数据的采集、传输、处理和应用所需的相关大数据处理技术,是通过系列地使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的一系列大数据处理技术。大数据技术的战略意义也不仅在于掌握庞大的数据信息,而更在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现等功能的有力武器。大数据发展呈现以下趋势。
(1)基于云计算的数据分析平台
云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源,使得中小企业也可以像亚马逊公司一样通过云计算来完成大数据分析。云计算IT资源庞大、分布较为广泛,是异构系统较多的企业及时准确处理数据的有力方式,甚至是唯一的方式。
大数据要走向云计算,还有赖于数据通信带宽的提高和云资源池的建设,需要确保原始数据能迁移到云计算环境以及资源池可以随需弹性扩展。
(2)数据分析集逐步扩大,企业级数据仓库将成为主流
当人们从大数据分析中尝到甜头以后,数据分析集就会逐步扩大。目前大部分的企业分析的数据量一般以TB为单位。按照目前数据的发展速度,数据量很快将会进入PB时代。特别是目前在100~500 TB和500+TB范围的分析数据集的数量会成倍增长。
随着数据分析集的扩大,以前部门层级的数据集将不能满足大数据分析的需求,它们将成为企业级数据库(EDW)的一个子集。因此,企业内的数据分析将从部门级过渡到企业级,从面向部门需求转向面向企业需求,从而也必将获得比部门视角更大的益处。随着政府和行业数据的开放,更多的外部数据将进入企业级数据仓库,使得数据仓库规模更大,数据的价值也更大。
(3)Hadoop对MapReduce的依赖程度越来越小
Hadoop是一个能够对大量数据进行分布式处理的软件框架,能够处理PB级数据,具有高可靠性、高扩展性、高效性和高容错性等特点。其新版本不只为MapReduce服务,而是和Cloudera的Impala一样用一个SQL查询引擎或者其他的方法来替代MapReduce。HBase NoSQL数据库就是Hadoop离开MapReduce约束后的一个很好的例子。未来Hadoop平台将在大数据处理中发挥越来越重要的作用。
3.1 城市交通大数据的主要研究内容
城市交通大数据的研究内容主要包括以下方面。
(1)时效约束的大数据多尺度汇聚计算和动态图谱
交通大数据存在多源、异质、局部性、时空关联、异步性、信息稀疏性和并发性等特点,而城市交通系统存在着对大数据汇聚处理的高时效性以及对“大而信息稀疏”的交通大数据的领域知识牵引要求。现有的数据融合、计算理论与方法难以满足高时效性的大数据处理和基于数据的知识构建与转换等需求,亟需提出时效约束的大数据多尺度汇聚计算和动态图谱的交通大数据处理新理论与新方法。
(2)高维空间的隐性知识序贯挖掘与演化模型
交通主体、行为、态势、路网拓扑和环境形成了高维生态系统闭空间,相互之间存在着高度非线性、随机性和动态的耦合关系。交通态势及其演化是交通系统的宏观体现,具有约束条件下的动态性、序贯性、自组织、随机性等特点,交通态势机理解释对解决城市交通的难题非常重要。传统的交通理论难以发现隐含在如此高维空间的知识,对交通出行规律及其时空演化、大面积交通拥堵演变规律、环境与交通行为等进行综合知识和数据支撑的解释与评价,高维空间的隐性知识序贯挖掘与演化将为此提供坚实的理论与技术支撑。
(3)交通态势的预测机理与调控策略
交通态势是城市交通系统运行状态的反映,受到交通需求、网络拓扑、多交通子系统、环境、管理和调控策略等众多因素的相互影响与作用。由于城市交通态势具有时变性、不确定性、非马氏性以及影响因素之间的相关性等特点,是一个超维的复杂巨系统,其调控与预测是世界性的难题,目前尚缺乏相关的理论与方法。交通态势的预测机理与调控策略的研究,将创建复杂交通巨系统的预测及其控制的新理论与途径。
3.2 城市交通大数据相关处理技术
在城市交通蓬勃发展的过程中,其数据采集量必然成倍增长,形成海量、动态、实时的交通大数据。因此,以大数据处理技术为支撑的城市交通信息服务将成为未来智能交通发展的增长点。城市交通所涉及的大数据技术,总结起来大致包括如下内容。
(1)基于Hadoop框架的MapReduce模式技术
Hadoop是一个能够对大量数据进行分布式处理的软件框架,而map/reduce是Hadoop的核心计算模型,它将复杂地运行于大规模集群上的并行计算过程高度地抽象到了两个函数。Hadoop实现了一个分布式文件系统(Hadoop distributed file system,HDFS)。HDFS有着高容错性的特点,用来部署在低廉的硬件上。而且它能提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。
(2)数据仓库技术
数据仓库是决策支持系统(DSS)和联机分析应用数据源的结构化数据环境,研究和解决从数据库中获取信息等问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。其主要功能是将组织通过资讯系统的联机交易处理(OLTP)经年累月所累积的大量资料、数据仓库理论所特有的资料存储架构进行系统的分析整理,以利于各种分析方法如线上分析处理(OLAP)、数据挖掘(data mining)的进行,进而支持决策支持系统、主管资讯系统(EIS)等系统的创建,帮助决策者快速、有效地从大量数据资料中分析出有价值的信息,以利于决策拟定及快速回应外在环境变动,帮助构建商业智能。
(3)中央数据登记簿技术
中央数据登记簿系统是平台数据统一管理、综合交通信息服务的基础,包括与交通信息有关的数据表示和交互以及交通信息服务、适合于综合交通环境的数据字典和消息模板、交通数据项定义规则、注册和管理机制等。
(4)平台GIS-T应用技术
平台GIS-T应用技术是交通地理信息系统的支撑技术,可为交通信息服务提供高效的信息查询功能、海量的存储功能,包括出租车、公交车、综合交通视频信息等数据;提供优秀用户体验的WebGIS引擎,让用户享受基于浏览器的交通信息服务。
(5)基于非序列性数据操作技术
基于非序列性数据操作技术包括虚拟化环境以及流数据处理技术,通过网络将大量服务器的内存空间统合在一起,使之形成一个超大型的虚拟内存,然后在其上进行数据配置,可实现对现有设备资源的最大使用效率,同时实现对即时性数据的反馈能力。
(6)视频大数据处理技术
视频大数据处理技术将目前各个专用性的视频监控系统有机地整合在一起,实现视频资源统一接入、统一转码、统一分发、统一管理和统一运营的“五统一”目标。它可整合包括交通视频、站台视频、客运站视频、高速公路视频、社会治安视频、车载视频等在内的多种视频资源,提高整体视频监控的效率,且基于视频监控基础设施之上创造更多增值性的应用,从而实现视频监控系统的最大化效用。
(7)大数据处理技术
大数据预处理技术是将接入平台的数据根据具体的业务规则进行进一步的处理,包括对接入的数据进行有效性的检验、大数据清洗等。大数据标准化处理技术从数据库中取出经过清洗后的数据,根据业务规则将外部系统的数据格式转化为平台定义的标准格式。
(8)大数据融合处理技术
大数据融合处理技术是指采用多源交通信息融合方法,结合特征融合技术(识别/分类、神经网络、贝叶斯网络等)、目标机动信息处理技术(自适应噪声模型等)及多目标跟踪的信息融合技术,提高信息系统的顽健性及可靠性。多源交通大数据信息融合分为3级:基础级是数据级融合,它只完成数据的预处理和简单关联;第二级是特征级融合,就是根据现有数据的特征预测交通参数;第三级是状态级融合,根据当前交通流信息判断交通状态。交通流信息融合的基本过程包括多源信息提取、信息预处理、融合处理以及目标参数获取和状态估计。
(9)实时数据分发订阅技术
海量交通大数据具有数据量大、更新频繁、时效性高等特点,往往需要来自于其他系统的实时数据来支持其业务逻辑。比如浮动车辆的GPS数据、目前城市道路的路况分析和收费站排队监控分析、省级运政卫星定位联网监控系统的上报、营运车辆安全监管系统等监控分析系统需要向外单位共享的数据。
(10)大数据挖掘技术
多源交通大数据挖掘是一个多步骤的过程,可以分为问题定义、数据准备、数据分析、模式评估等基本阶段。其处理模型如图1所示。
4.1 交通大数据采集内容
城市交通大数据可分为静态大数据与动态大数据。
图1 交通大数据挖掘模型
静态交通大数据主要包括城市交通的基础空间数据(地表模型、高清正射影像等)、城市及周边基础地理信息(城市路网、交叉口布局、城市基础交通实施信息)、道路交通网络基础信息(道路等级、长度、收费信息)、道路交通客运信息(客运班线、客动票务、市区公交信息、车站线路辐射图、客运企业信息、交通换乘点等)、航班信息、列车信息、水运信息(船次、起终码点、开船时间等)、停车场信息(停车场位置、名称、总泊位数、开闭状态、空闲泊位数等)、交通管理信息(警区界限、安全界限、警力分布、交通岗位、执法站、车管所、检测场、考试场、过境检查站)以及交通抽样调查数据等。
动态交通大数据来源广泛、形式多样,主要包括通过卫星遥感、航空摄影测量,低空无人机应急平台、地面测量车、地面视频等遥感手段获取的数据以及地面智能交通系统中,通过视频、手机、公交卡、地感线圈等传感设备和移动终端采集的人、车、路等交通要素的数据。从人可以采集到的数据有驾驶行为数据、付费行为数据和出行行为数据,从车采集到的数据有车辆信息数据、车辆实时位置数据、公交车运营数据、出租车运营数据、众包路况数据,关于路的数据有卫星影像数据、航空摄影数据和道路基础设施数据。
4.2 交通大数据云计算支撑平台
城市交通大数据和相关业务的服务采用云计算技术来实现,其总体逻辑架构如图2所示。采用云计算技术来支撑一体化交通大数据,按需提供自助管理虚拟基础架构汇集成高效池,以服务的形式提供资源。云计算支撑平台包括数据中心物理资源管理、数据中心逻辑资源、数据中心运营平台和维护。
图2 城市交通大数据云计算支撑平台
城市交通云计算支撑平台包含多个子系统,各系统提供稳定的信息、管理、监控服务。为了支持智能交通7×24 h的稳定、高效服务,可引入云计算虚拟化平台。利用虚拟化技术将应用系统与物理机进行分离,减少因物理环境导致的系统中断服务,在不影响用户的情况下对物理资源进行删除、升级或改变。
4.3 交通大数据的智能应用系统
交通大数据的智能应用系统是基于交通大数据中心、交通云计算支撑平台来搭建的智能应用系统,采用“中心数据存储和处理”和“本地服务应用”的模式,从海量的交通数据中抓取实时数据,分析挖掘历史数据,基于历史数据对未来情况做出预测,为智能交通提供决策性建议。
交通大数据智能应用系统可分别为政府、企业、公众提供智能交通信息服务。系统可为政府部门提供交通行政监管支持,主要提供精细地理信息服务、交通管理服务、应急响应服务、路边车位监管服务、公共交通监管服务等;为公众搭建基于手机应用的交通信息服务,通过交通信息服务也可采集公众日常出行行为的数据,主要有精细地理信息服务、精准实时路况服务、精准交通信息服务、实时车辆信息服务、交通诱导信息服务、停车诱导信息服务等;为企业提供交通信息增值服务,主要有精细地理信息服务、公交车公司车辆调度及辅助决策、商业数据分析等。不同用户可共享行业数据、计算资源、个性化情报分析结果,在数据采集共享、大规模数据实时处理和分析、企业突发事件处置应对方面具有十分突出的优势,从而大大节约了系统资源和成本,提升了工作效率。
系统所采用的技术主要包括基于决策树—支持向量机(DTM-SVM)的多源异构交通信息融合技术、基于SOA的交通信息基础数据服务设计、ZigBee无线传感器网络技术、基于移动互联网的交通信息应用服务设计、基于机器学习的行程时间预测、基于位置服务(LBS)的行人交通信息服务技术等。
笔者和广州市交通委员会及下属公司等单位的专家们,多年来保持密切的产学研合作,一起提出了城市交通大数据智能系统相关的典型应用解决方案[9~12],大致介绍如下。
5.1 城市交通大数据的公交行政监管与科学决策
城市交通大数据的公交行政监管与科学决策支持系统(如图3所示)实现可分为3个步骤:首先,集成城市公共交通采集的站台、线路、道路、活动场所的交通数据,研发MapReduce框架下的海量交通流融合与预测算法,针对复杂交通系统行为的不可预测性,充分考虑简单对象的主动性和随机性,从行为生成的角度出发实现对城市公共交通系统的“等价”描述;然后,针对城市公共交通的运营与管理需求,通过计算实验和涌现观察,生成实时、未来和各种可能情况下的交通场景,包含正常条件下的交通环境,还包括交通事故、恶劣天气、突发事件等异常条件下的交通环境;最后,通过实际交通系统与人工交通系统之间交互运行和过程演化,实现城市公共交通运行数据分析与调度方案演练,并为交通管理者和出行者提供基于位置的交通服务信息。
图3 城市交通大数据的公交行政监管与科学决策支持系统
大数据可以辅助公共交通规划制定决策。传统的方式需要投入大量人力进行OD调查和数据收集。目前的一卡通可让数据更为全面地展现在决策人员面前,流量数据全部可以精确掌握,同时再利用车辆拥堵时间、拥堵路段的大数据分析,公交车的线路调整、增加与减少换乘站的决策就会更加有依据。
(1)城市公共交通云计算服务平台体系
城市公共交通云计算服务平台采用4层结构,分别为应用层、平台层、统一资源层和物理层。云计算服务平台使得公共交通管理成为了一个开放式的可扩展系统。新的交通管理方案可以很快得到实施,而无需对现场的硬件设备进行更新换代。控制中心通过交通管理云提供的服务,不断对交通控制代理的运行进行优化,使系统性能得到提升,实现多个城市的交通控制系统连接交通管理云,实现数据集中、数据共享和服务共享。
(2)基于海量交通检测数据的融合与预测
城市交通大数据和相关的业务服务采用云计算技术来实现,其总体逻辑架构如图4所示。采用云计算技术来支撑一体化交通大数据,按需提供自助管理虚拟基础架构汇集成高效池,以服务的形式提供资源。云计算支撑平台包括数据中心物理资源管理、数据中心逻辑资源、数据中心运营平台和维护。
图4 平行交通系统的云计算架构
在进行交通流预测时,需要根据交通流检测数据建立合理的交通流模型。采用混合高斯模型,并用期望最大化(EM)算法对模型的参数进行学习求解。在MapReduce架构下将EM算法进行并行处理,通过云计算平台来实现算法的分布式运行,满足海量交通数据的处理要求,提升模型参数学习的速度。实施流程如图5所示,首先基于MapReduce模型来实现交通流预测,研究分布式模型学习方法,建立相应的数据处理算法,加速模型参数的学习过程,进而进行模型合并,得到各个路口的交通流预测模型,产生最终的预测结果。
(3)基于平行交通的公共交通计算实验平台
在实际交通系统和人工交通系统平行执行的基础上,利用计算实验方法在平行交通系统上进行各种试验,对城市公共交通系统的行为进行预测和分析。实际交通系统中的算法分析工具以模块和组件的形式应用于平行交通系统实验平台中,其中包括各类学习策略与优化算法、定性与定量计算实验评估算法以及对各交通场景(包括常规交通需求场景、增强交通需求场景和突发事件交通场景)提供特定支持的专用算法模块,这些工具将动态地分析、评估和优化公共交通计算实验过程及其结果,并结合评价指标体系更新评价结果。
(4)针对城市公共交通管理应用需求,构建实际交通系统与人工交通系统之间交互运行和过程演化的“平行系统”
图5 交通流检测数据融合与预测实施流程
评估分析城市公共交通当前运行状态并预测未来的情况,为公共交通管理方案提供演练环境。在平行交通系统的基础上,开展城市交通管理的评价实验,评价并优化常规需求情况下、增强需求情况下、突发事件情况下的管理方案。将管理方案置于实际的和各种人工的交通场景之中,涌现“观察”方案的实施效果,建立包含交通疏散任务完成效果、背景交通影响程度等要素的综合评价指标体系,综合评价疏散方案在不同需求情况下的实施效果。
(5)综合利用传统媒体和移动互联网媒体,为用户提供基于位置的公共交通服务信息
通过手机客户端、公交电视、电子站牌、Web网站、调度客户端、监控客户端等形式为公交乘客、公交企业管理者、政府行业管理人员提供出行服务、运营调度、企业管理、行业监管等不同层次的服务,影响或改变城市公交状态。
5.2 城市交通大数据的公交精细化调度与管理
将GPS定位技术、3G通信技术、地理信息系统(GIS)技术等结合对车辆进行监控,基于此实施的公交车智能调度策略,提高了公交车的利用率,同时也在不断减轻城市道路的拥堵负担。
城市交通大数据的公交精细化调度与管理系统将公交要素标识标签、公交车载信息中心(车载RSU)等物联网设备大规模部署于公交车、公交站台等场所,采集公交车辆状态信息、站点信息、行驶信息、客流信息,并通过建设公交大数据处理分析平台,基于大数据技术对上述采集数据进行分析,通过数据的集成、计算,形成各类数据应用,为公交企业、公众出行者、政府管理部门提供公交调度服务、公交个性化信息服务以及公交行业监管服务,彻底解决公交站点智能维护、公交“飞站”、车距监管、精准报站、发班与客流匹配等公交运营和监管难题,最终提升城市公交服务水平。
基于城市交通大数据的公交精细化调度与管理系统如图6所示,包括3个层面。
图6 基于城市交通大数据的公交精细化调度与管理系统
· 城市公交状态感知层:采用基于物联网技术的交通要素标识标签、公交车载信息中心、司机信息显示屏以及智能手机等设备,通过对公交各要素的电子化标识、数据采集和数据共享,实现对城市公交状态智能感知。同时,接收来自城市公交信息服务层提供的各类信息。
· 城市公交大数据处理层:接收来自城市公交状态感知层采集的城市公交数据,基于大数据技术进行大数据分析,通过数据的集成、计算,形成各类数据应用,为城市公交信息服务层提供数据服务。
· 城市公交信息服务层:可通过手机客户端、公交电视、电子站牌、Web网站、调度客户端、监控客户端等形式为公交乘客、公交企业管理者、政府行业管理人员提供出行服务、运营调度、企业管理、行业监管等不同层次的服务,影响或改变城市公交状态。
5.3 城市交通大数据的个性化服务平台
以交通行业大数据处理为核心,整合城市交通各行业数据资源,通过大数据处理技术,实现数据存储、清洗、融合和挖掘,最终为城市交通行政部门决策和公众出行提供个性化的支持和服务。个性化服务平台包括基础信息综合平台实现交通行业数据采集整合、海量数据处理平台实现数据分析处理、交通决策服务平台为政府和公众提供决策支持和信息服务,如图7所示。
(1)基础信息综合平台
图7 基于城市交通大数据的个性化服务平台
基础信息综合平台为个性化服务平台的基础,是实时交通信息发布的数据来源,主要功能是交通信息数据的收集和处理。将各个子系统中的交通数据按照一定的编码规则和既定格式采集起来,将其转换为可用的综合交通信息,基础信息综合平台是整个智能交通信息组织过程中的信息枢纽,是实时交通信息发布的数据来源,进行交通信息数据的收集和处理,并为外部数据接入和对外数据分发提供数据规范和标准接口。
基础信息综合平台将来自不同系统的数据进行处理后,汇入数据管理层,数据管理层关注与其他层次的交互,担当事务监控器、消息系统及其他角色,存储着持久数据。选用业界高性能的数据库来提供数据存储、数据存取访问、数据访问控制、数据共享等服务。处理以上各层之间的数据通信问题,包括对各层之间的数据进行相互传输。主要包含浮动车信息采集系统、智能交通监控调度系统、出租车综合管理系统、停车场行业管理系统、客运联网售票系统、资源整合系统、仿真基础数据采集系统等。不同的检测技术适合于不同的采集环境,因此仿真基础数据采集处理包括视频交通流检测系统、微波检测系统、移动式地磁检测系统三大模块。
(2)大数据智能处理平台
大数据处理是结合交通系统的实际情况,研究综合交通模型体系,制定综合交通信息的数据规范和接口规范,并在此基础上研究和验证综合交通大数据的接入和融合技术、大数据处理和多维度挖掘技术以及大数据的安全和有效管理技术,从而最终建设完成市区综合交通信息中心,并为交通信息服务、交通行业管理部门的智能决策等提供支持。
(3)交通信息服务平台
交通信息服务平台是利用基础平台和数据智能处理平台提供的经整合处理后的交通信息,为公众出行提供个性化交通信息服务的发布平台。结合笔者和合作单位多年的交通信息服务实践,交通信息服务平台将通过移动互联网(手机应用)、传统网站、电话热线、电子站牌、交通情报板(诱导屏)、广播电视、公共信息亭、导航仪等多种媒介为公众提供免费或增值服务,该平台还将为不同发布渠道提供软件配套支持。
· 基于移动互联网的信息服务:利用3G网络等移动互联宽带技术,一方面可以通过其采集用户位置信息提供丰富位置服务;另一方面使手机终端能快捷访问交通信息服务,包括交通视频、图像等多媒体信息,提供的软件功能包括:路况信息、停车服务、实时公交、出行规划、地铁信息、铁路航班、客运信息、的士查询、驾培信息、交通资讯等。
· 基于传统互联网的信息服务:对交通信息进行采集、分析、挖掘、发布,打造全方位、一站式的交通信息服务发布平台,为用户提供包括实时路况、交通视频、实时公交、出租车空车分布、网上汽车票查询预订、停车场动态信息、航班动态信息、列车动态信息、地铁信息以及交通咨询在内的出行前与出行途中的全程交通信息服务,使用户足不出户即可了解城市交通动态,科学规划出行方案。
· 电子站牌:公交站台电子站牌为乘坐公交出行的用户提供交通相关信息,如公交车辆到站信息。
· 交通情报板:利用停车诱导屏等情报板为出行者提供停车诱导服务。
· 广播电视:通过广播电视节目为用户播报综合交通服务信息,如实时路况、航班动态等信息。
· 公共信息亭:综合交通信息亭终端采用触摸屏方式接受用户的交互式操作,提供与Web网站类似的综合交通信息服务。主要用户是旅游出行人员和通过公共交通系统(如公路、铁路和航空)出行的人员。
· 真三维动态导航与智能预警服务:在智能交通导航中,将以真三维导航(高分辨率真实影像替代虚拟场景)替代传统二维虚拟导航。三维导航地图不是在二维导航地图上的3D显示,而是在获取三维空间数据后,利用信息通信技术处理三维空间数据,包容其他地理信息,可以突破常规二维表示对形式的束缚,更好地洞察和理解现实世界。真三维智能交通中,根据实地采集的实景资料,对色彩、材质、灯光等细节进行处理,逼真地在导航仪上动态地再现三维道路实景。针对交通事故多发区域,比如十字路口或者拐弯区域,通过高清影像与几何模型结合运算,计算出大车拐弯的死角范围,并搜集车身长度和性能进行评价,将评价结果及时反馈给司机,将导航过程中经常发生危险的区域在真三维实景导航中显示并警示,有利于驾驶员安全驾驶,减少交通事故发生。
5.4 其他应用实例
(1)交通基础设施数据提取及实时更新
利用快速更新的遥感影像来提取城市道路变化,并及时自动更新交通大数据中心的数据库,可实现路网数据的实时更新,为用户提供更准确的道路信息。过程如下:
· 通过高分辨率影像提取道路的路面、绿化带、环岛、大车拐弯死角带等要素,通过航空影像和斜视影像,可以提取道路的路灯、井盖、路牌等信息;
· 利用道路两旁行道树、植被指数、形状指数和数学形态学知识来自动、半自动地提取道路线,并通过GIS进行道路面积的快速计算;
· 采用面向对象的遥感影像的分类方法,对遥感影像进行分割,降低噪声干扰,并得到同质对象;
· 通过尺度选择及转换,构建影像对象层次,充分认识不同道路特征,建立道路知识库,进行道路信息提取。
(2)基于行车大数据的驾驶行为分析与预警
将收到的数据分组分类处理,可实现对移动车辆的全天候的实时监控、报警、指挥与调度功能。通过电子地图匹配GPS/中国北斗卫星导航系统采集的车辆经纬度、时间等信息,实时监测车辆的运行位置和状态,并在GIS上显示车辆轨迹,进行车辆的跟踪;通过自动记录、统计、分析车辆的历史运行数据,辅助管理人员制定管理决策。对海量行车数据及驾驶行为数据导入一些统计分析手段,可以有效对驾驶行为进行数据建模,通过驾驶员的出行习惯,从路线到行为,为该驾驶员提供一套评估,而此人的评估会被送往交通管理部门以及运输企业等地方,从而应用到各类行业中,如新车车主驾驶行为纠正系统、车主行车行为自诊断系统等。
(3)预测群体出行行为
结合交通大数据,可以预测出群体出行的态势,对其可能出行的时间、出行路线、出行方式等进行预测,从而为城市车辆调度提供决策帮助。反过来看,这些预测的群体出行行为数据也将为个人出行提供更加精确的服务,帮助个人决策,让个人出行尽量以最短的时间、最短的路线抵达目的地。
遥感空间数据、交通视频数据、各类感知数据、舆情数据等信息在城市交通系统是分散获取、单独使用的,总的来说,数据量巨大,但由于各方面数据应用单一、不够深化,不能够充分挖掘数据的价值。在这些数据的基础上,构建城市智能交通大数据平台,可从尺度、精度、时相等方面保障数据及时更新,能够实现更精细、及时的动态监测服务数据体系。
城市智能交通大数据平台基于云计算平台和高速网络传输,支撑移动互联网时代的智能交通服务,实现用户移动终端数据采集、大数据分析挖掘、智能推送等信息实时高速传输;基于实时数据为用户提供更精准的导航、停车服务,实现新型的实时互联交通服务模式。
展望未来,通过物联网、云计算、大数据等技术手段,有望减少甚至消除城市交通原有的行政壁垒,实现城市交通各种大数据的全面采集和有机整合,在一个平台上同时为政府各部门提供交通行政监管服务、为企业和大众提供交通信息服务,从而可进一步提高城市交通的运营管理和综合服务水平。
[1] 何承, 朱扬勇. 城市交通大数据. 上海: 上海科学技术出版社, 2015 He C, Zhu Y Y. Urban Traffic Big Data. Shanghai: Shanghai Science and Technology Press, 2015
[2] 杨东授, 段征宇. 大数据环境下城市交通分析技术. 上海: 同济大学出版社, 2015 Yang D S, Duan Z Y. Urban Traffic Analysis Technology in Big Data Environment. Shanghai: Tongji University Press, 2015
[3] 彭武雄, 代义军, 白帆. 城市交通大数据中心建设与展望. 交通与运输, 2015, 31(A01): 67~70 Peng W X, Dai Y J, Bai F. Urban transportation data center outwork. Traffic & Transportation, 2015, 31(A01): 67~70
[4] Shi Q, Abdel-Aty M. Big data applications in real-time traffic operation and safety monitoring and improvement on urban expressways. Transportation Research Part C: Emerging Technologies, 2015, 58(Part B): 380~394
[5] Dong H H, Wu M C, Ding X Q,et al. Traffic zone division based on big data from mobile phone base stations. Transportation Research Part C: Emerging Technologies, 2015, 58(Part B): 278~291
[6] Lv Y S, Duan Y J, Kang W W,et al. Traffic flow prediction with big data: a deep learning approach. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 865~873
[7] Li L, Su X N, Wang Y W,et al. Robust causal dependence mining in big data network and its application to traffic flow predictions. Transportation Research Part C: Emerging Technologies, 2015, 58(Part B): 292~307
[8] Walkowiak K,Woniak M, Klinkowski M,et al. Optical networks for cost-efficient and scalable provisioning of big data traffic. International Journal of Parallel Emergent and Distributed Systems, 2015, 30(1): 15~28
[9] 刘兵. 基于大数据分析的城市智能交通综合信息服务平台. 国家发展和改革委员会高技术服务业研发及产业化专项资金申请报告, 2012 Liu B. Urban Intelligent Transportation Comprehensive Information Service Platform Based Bid-Data Analyisis. Application Report for Special Funds About High-Tech Service Industry Development and Industrialization, National Development and Reform Commission, 2012
[10] 刘兵. 基于物联网的城市公交车路协同与大数据分析技术研究及应用. 项目说明书, 2014 Liu B. Research and Application of Vehical-Road Collaboration and Big-Data Analysis Technology Based on the Internet of Things. Project Report, 2014
[11] 朱凤华. 基于云计算的城市公共交通运行大数据分析平台. 广东省科技计划项目申报书, 2014 Zhu F H. Urban Public Transportation Operation Big-Data Analysis Platform Based on Cloud Computing. ProjectApplication Report for Guang Dong S&T Fund, 2014
[12] Xiong G, Zhu F H, Liu X W,et al. Cyberphysical-social system in intelligent transportation. IEEE/CAA Journal of Automatica Sinica, 2015, 2(3): 320~333
熊刚,男,博士,现任中国科学院自动化研究所研究员,中国科学院云计算中心自动化所东莞研究院首席科学家等职务,主要从事智能交通、智能制造、云计算和大数据管理相关领域的理论研究和应用实践工作。先后主持芬兰科学院、芬兰技术创新局和国家自然科学基金、科学技术部“973”计划、“863”计划、工业和信息化部、广东省科学技术厅和中国石油化工集团公司等资助的科研项目40余项,总经费1亿多元。主编专著1本,参与专著章节4章。发表论文250余篇,其中SCI和EI检索论文135篇。申请或授权专利40多项,其中PCT国际专利4项。登记软件著作权50多项。历任中国863/CIMS会员、浙江大学副研究员、芬兰科学院研究员、坦佩雷理工大学高级研究员、芬兰NOKIA公司全职专家、美国Accenture和Chevron公司的资深ERP顾问等职务。2002年成为IEEE通信、计算机专业委员会高级会员。先后获得国家教育部等部委的科技奖励3项,担任国家自然科学基金委、科学技术部、工业和信息化部、广东省科学技术厅等的科技项目评审专家。
董西松,男,博士,现任中国科学院自动化研究所助理研究员,青岛智能产业技术研究院及中国科学院云计算中心自动化所东莞研究院助理研究员,主要研究方向包括复杂系统的建模与控制、智能交通等。主持广东省科学技术厅专项、交通运输部项目及横向课题共4项,参与国家自然科学基金、“973”计划、“863”计划、教育部、中国科学院、广东省科学技术厅项目共30余项;撰写专著章节5章,发表论文60余篇,其中SCI 检索9篇,EI检索28篇;申请专利7项;获第五届ABB杯全国自动化系统工程师论文大赛一等奖。
朱凤华,男,博士,现任中国科学院自动化研究所副研究员,中国科学院云计算中心自动化所东莞研究院副院长。在基于ACP方法的平行交通控制与管理方面有长期的工作积累,参与国家发展与改革委员会和交通运输部联合实施的“基于物联网的城市交通应用示范”项目;起草完成了城市交通信号控制领域的核心国家标准GB/T 20999《交通信号控制器与上位机间通信协议》。主持1项国家自然科学基金项目,获北京市科技进步奖二等奖、公安部科技进步奖三等奖、中国自动化学会技术发明奖一等奖,2010年获得北京市优秀青年工程师称号;发表6篇国际期刊论文和18篇国际会议论文,申请PCT国际专利1项,国内专利10余项。
季统凯,男,博士,中国科学院云计算中心主任、研究员,国云科技股份有限公司董事长,中国云计算专家委员会委员、中国大数据专家委员会产学研应用组组长、国家发展与改革委员会ICC专家库专家、工业和信息化部云计算研究中心专家、广东省云计算联盟副主席。自2008年3月起,主导电子信息领域新兴技术——云计算在东莞的落地实施,先后主持和参与了10多项国家、省市级科研项目;带领团队申请发明专利45项,申请PCT国际发明专利3项,取得计算机软件著作权25项,获得授权实用新型20项,在国内外重要会议及期刊上发表论文30余篇。曾获得2010年度中国产学研合作创新奖、中国科学院院地合作奖先进个人一等奖、中国人民解放军总参谋部全军科学技术进步奖二等奖等。
Xiong G, Dong X S, Zhu F H,et al. Big data technologies and intelligent application system for urban transportation. Big Data Research, 2015042
Big Data Technologies and Intelligent Application System for Urban Transportation
Xiong Gang1,2, Dong Xisong1,2,3, Zhu Fenghua1,2, Ji Tongkai2
1. The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China;
2. Cloud Computing Center, Chinese Academy of Sciences, Dongguan 523808, China;
3. Qingdao Center for Intelligent Systems and Technology, Qingdao 266109, China
Urban traffic big data has such characteristics as various types, heterogeneity, large temporal and spatial scales, highly dynamic and random, localization and short life cycle. How to effectively collect and utilize the traffic big data to serve the real-time traffic administrative supervision, efficient operations of transportation enterprise, traffic services and other application needs, are unprecedented opportunities and challenges of urban transportation and smart cities. Several big data core technologies for urban transportation were summarized, and an intelligent application system solution was proposed, and some typical application was listed. In short, big data research and its application cases in the field of urban transportation and smart city were initially discussed.
urban transportation, big data, cloud computing, internet of things
10.11959/j.issn.2096-0271.2015042
2015-10-11
国家自然科学基金资助项目(No.71232006, No.61233001, No.61174172);广东省科学技术厅基金资助项目(No.2014B090902001, No.2014B010118001, No.2014A010103004);东莞市引进创新领军人才项目(熊刚);广西省科学技术厅基金资助项目(No.14125008-1-12)
Foundation Items:National Natural Science Foundation of China (No.71232006, No.61233001, No.61174172), Guangdong Province S&T Department Project (No.2014A010103004, No.2014B090902001, No.2014B010118001), The Innovation and Entrepreneurship Leading Talent of Dongguan (Xiong Gang), Guangxi Province S&T Department Project(No.14125008-1-12)
熊 刚, 董西松, 朱凤华等. 城市交通大数据技术及智能应用系统. 大数据, 2015042