智能体技术在城市交通信号控制系统中应用综述＊

杨文臣 张 轮 施弈骋 张 孟

（同济大学道路与交通工程教育部重点实验室 上海 201804）

0 引 言

智能体计算技术（agent－based computing）允许将系统分解成多个相互关联的智能体，协作实现期望的全局目标，是分布式复杂巨杂系统的内涵式解决方法之一，是自面向对象设计以来最为重要的软件开发方法［1］．智能体计算技术对满足以下3个条件的问题具有强大的设计和分析能力［2］：（1）该问题在逻辑上或物理上是分散的；（2）子系统处于一个动态及不确定性环境；（3）各子系统之间需要信息交互．目前，智能体技术已在生产制造、电子商务、网络管理、交通运输、信息管理、科学计算及医疗卫生等领域取得了大量应用．

近年来，智能体技术已被广泛应用于交通运输系统，包括智能交通控制与管理、系统建模和仿真、动态路径和拥堵管理以及决策支持等［3］．城市交通信号控制系统具有典型的分布式特征，且在时变的复杂交通网络环境下，仅凭局部路口的优化不能表征整体网络的性能，在交换关联路口信息的基础上，仍需要设计路口间精细的协调机制，采用联合的配时策略提升整体交通网络的控制效益．智能体技术的自治性、协作性和交互性符合分布式交通信号自适应控制的内在需求［4］．这体现在：智能体（路口信号控制器）可以感知周围环境并及时响应环境变化，且在没有人或其他因素的直接干预下，智能体能够自发的根据目标和环境的要求主动做出规划，实现交通控制的自动化；同时，通过各分布式路口智能体的相互协作，构建多智能体控制系统（multiagent system，MAS），以实现全局路网的控制目标．

本文从3方面综述智能体技术在城市交通信号控制系统及其关联领域中的应用，包括：基于智能体的交通控制系统架构、基于智能体的交通信号控制方法和基于智能体的交通控制建模与仿真，并从多智能体系统通用架构设计及其学习推理算法等方面，探讨智能体技术在城市大规模路网交通信号控制中应用的关键问题．

1 基于智能体的交通控制系统构架及平台

传统的城市交通控制模型多采用集中式架构－SCATS系统、TUC系统及SCOOT系统（子区内部分集中），当路口规模扩大时，集中式的控制系统不能满足大量交通数据的通信传输和控制策略的实时优化，且系统维护难度大［5］．PRODYN系统、OPAC系统和RHODES系统采用分散式架构，有效均衡了集中式交通控制模型的通信需求和计算荷载，但这类系统采用交通模型预测路口环境演化，且不具备自学习能力，在高饱和度等复杂交通条件下控制效果差．多智能体系统（又称分布式软件平台）支持和管理智能体的运行．智能体可分为静态智能体和移动智能体，相应地，多智能体系统分为静态智能体系统和移动智能体系统．各个智能体模块作用于智能体网络系统的每个节点，为使智能体和智能体系统可在异构的管理平台上相互操作，智能体的设计应当符合智能体的通用标准．近年来，应用智能体技术实现全息交通数据环境下交通运输系统的优化成为研究和应用的热点之一，但是，只是少数学者研究基于智能体的交通控制与管理系统架构，代表性的系统级架构及平台见表1．

表1 基于智能体的交通控制与管理系统架构

采用智能体技术开发的控制系统构架可分为分层式、网络式和混合式3种．分层式结构将整个系统分解成若干个子系统，各子系统彼此之间的交互较弱．网络式结构是一种完全分散的智能体系统，各智能体之间相互通信且独立进行决策；因而，各分布式的智能体仅考虑局部效益，不能从全局的角度预测整个网络状态．混合式结构正是结合了分层式和网络式的特征进行设计．Hernandez［6］比较了城市智能交通管理系统的两种结构－集中分层式和分散网络式，分别提出了InTRYS和TRYSA2两个系统，并应用于相同城市交通网络的管理．InTRYS通过分层式结构对智能体进行协调管理，而TRYSA2则采用网络分散式协调．分析结果表明，网络式结构具有高同步、可重用及可拓展性好等特性，但对具有高复杂度的协调任务，分层式结构则优于网络式，这是因为分层式结构搜索关联智能体进行计算的速度更快．

多数基于智能体技术开发的应用系统只关注由静态智能体组成的分布式多智能体系统．为了验证移动智能体技术在智能交通系统中应用的潜力，Chen［7］在提出的多智能体系统中集成了移动智能体，用以提高既有系统大范围交通控制与管理的灵活性及自适应性，并开发了一个符合IEEE的FIPA标准的移动智能体系统Mobile－C，将其应用于交通的管理和检检［8］．与静态智能体相比，移动智能体具有从网络中一个系统转移到另一个系统的能力，具有减小网络负载，支持断开控制、支持异构环境、动态生成组件等功能．因而，系统可在运行过程中实时地动态更新任务的代码及算法，并采用移动智能体技术将其发送到目标子系统中执行．研究表明智能体的快速移动特性为解决大范围交通控制与管理的挑战带来了新的机遇，为实时远程交互、卸载数据荷载、跨平台操作以及定制化服务等带来了新的解决方案．

文献［3］提出的一个基于智能体的网络级交通管理系统aDAPTS．该系统将一个复杂的网络控制算法分解成多个以任务为导向的控制智能体，实现网络级的自适应交通信号控制．aDAPTS采用了3级的分层式结构，最高层负责规划和推理控制智能体的任务序列，中间层负责协调和分派控制智能体，最底层则实现各控制智能体的运行．系统采用移动智能体技术实现各个控制智能体，实现控制智能体在远程交通控制中心至现场交通控制器以及现场控制器之间的灵活转移，以响应不同交通交件下交通需求变化，有效提升了智能交能控制系统的灵活性．

Katwijk［9］开发了一个面向道路交通管理的多智能体系统测试平台TBMCS，其支持在不同策略及条件下对多智能体系统系统性能进行测试和检验，从而加快基于多智能体应用系统的原型设计与开发．TBMCS由智能体模型、环境模型以及通信模型组成，且通信模块符合FIPA标准，分别模拟智能体的智能决策、环境状态表达和协同交互．

2 基于智能体的交通信号控制方法

城市化和机动化进程的加快，交通拥堵、交通安全和污染恶化等问题已成为世界各大城市共同面对的挑战．传统集中式交通控制系统依懒于预测模型的精度，且无法处理时变交通流的不确定性．国内外许多学者开始应用智能体技术探寻大范围交通控制的智能解决方案，包括城市交通控制（urban traffic control，UTC）模型［10］、交叉口信号控制［11］、路径诱导与UTC的集成系统以及分布式交通数据管理［12］等．表2列出了智能体技术在道路交通信号控制中的代表性应用．

表2 智能体技术在道路交通信号控制系统中应用

2．1 交叉口信号控制

交叉口是城市交通系统高效运行的瓶颈，传统的自适应交通控制方法遵循前馈的控制理论，不具备在线自学习能力，且对交通模型精度依懒严重．众多学者开始采用分布式及自治的智能体研究交通信号自适应协调控制方法．文献［10］提出了一种基于智能体的城市交叉口控制系统IDTMIS，并根据路口主动控制和实时控制的需求开发了精细的控制模型和算法．该系统由交通信号智能体（ITSAs）、路段智能体（RSA）以及管理智能体组成，根据RSA提供的路段交通数据，ITSAs采用实时的规则推理制定控制方案，以响应路口交通环境的变化，而管理智能体通过协调辖区内的ITSAs，以提升系统全网运行效益．文献［11］自行设计并开发了一个基于知识和推理的多级分布式交通网络控制系统KIDTC．KIDTC系统采用两级分布式控制结构，由中心控制子系统、通讯模块和多个子区控制子系统组成．文献［12］研究了基于多智能体的区域交通信号控制系统框架，设计了二级控制模式，采用Q学习算法在线学习控制规则．

文献［14］提出了一个三层分布式的多智能体交通信号控制架构，包括交叉口控制器智能体（ICA）、子区控制智能体（ZCA）和区域控制智能体（RCA）．ICA根据交叉口状态决定路口控制方案的修正（周期、绿信比、相位差），ZCA控制所辖子区内的ICAs，制定各子区内的控制策略及协调机制，RCA控制所辖区域内的全部ZCAs，宏观制定区域的划分、调整及边界过渡方法，智能体的学习推理均采用基于神经网络的模糊逻辑并以控制效果的实时回馈为准则，采用强化学习在线学习控制规则，以响应动态变化的交通环境．为降低系统复杂度，文献［18］提出一个单层分布式的多智能体交通信号控制系统，每一智能体负责网络中每一路口的交通信号，且分属于各自的协调子区，协调子区可根据路网交通条件进行动态更新和划分，协调子区内的智能体采用集体协同决策的方式优化关联路口的控制方案．文献［19］提出了一种分散的交通信号协调控制结构，各个交叉口均以自身最优控制为目标，同时考虑相邻交叉口影响的二次优化协调，在保障路网控制状态稳定有序的同时，避免陷入单点局部最优．

Samah等［23－24］提出了一个基于多智能体强化学习的网络交通信号集成控制方法，该方法采用单层分布式的多智能体控制结构，每个智能体负责单路口交通灯的信号控制．为实现全局协调所有智能体的控制动作，每个智能体与其物理邻近的路口智能体进行协调，并采用Markov对策建立路口多智能体的精细协调模型，旨在系统环境状态下选择最优的联合动作．为避免系统状态空间的维度灾难及保障计算效率，遵循一般矩阵博弈和最佳响应策略的思想，提出一种基于minmax的多智能体强化学习算法，在智能体与环境的不断交互过程中，根据实时回馈的奖惩值在线自主学习系统环境状态－联合动作对的最佳映射，生成系统最优控制规则．以59个路口的大规模路口进行仿真实验，结果表明该方法能降低整体网络延误达39%以上．目前，该方法正在加拿大伯灵顿的两个路口进行实证的应用研究．

基于智能体技术的城市交通信号控制的应用研究还有：文献［21］提出了一个用于分散自适应交通信号控制的协作式智能体模型．Gregoire等［25］设计了一种采用学习智能体的交通信号灯控制器．文献［22］提出了一种基于在线仿真的多智能体交通信号控制系统，但其需要实时检测的交通数据模拟路网交通状态．高海军等［26］考虑非机动车辆对路口信号控制的影响，提出了一种面向交通路口混合交通流的分布式模糊控制方法．Goldman等［27］提出采用增量相互学习方法来协调交叉路口的两个控制器；Ferreira等［28］提出了一种城市交通信号的分散控制方法，每一个智能体根据本地交通状态、传感器数据以及邻近智能体的“意见”优化交通信号方案．Deng等［29］采用集中式的服务器／客户端智能体结构设计了一种基于视觉的自适应交通信号控制系统．Yang［30］和France［31］等提出了分层的多智能体UTC模型，其根据即时回馈的控制效果，采用强化学习算法在线优化本地控制，并采用遗传算法学习强化学习参数；于德新等［32］研究了智能体技术在交通控制系统应用的可行性，采用遗传算法和博弈论进行交通信号协调优化控制，提出了一种基于多智能体博弈的城市道路交通控制系统．Bakker［33］等对比了3类扩展的多智能体交通信号协调控制，包括相邻路口拥堵信息，局部可测交通状态和精细协调机制．

2．2 交通集成控制与管理

文献［19］首次将移动智能体技术引入交通信号控制，采用移动智能体更新路口控制智能体的控制算法，以虚拟 “程序需求”响应真实“交通需求模式”变化．通过重组系统运行环境要素，Wang开发了基于智能体的分布式控制系统（aDCS）的架构和运行机制，将其成功应用于网络化的智能家居系统和机器人控制系统［34］，进而开发了面向交通运输系统的分布式自适应管理平台（aDAPTS），这是最早应用于城市交通信号控制的多智能体系统之一．

文献［20］研究了高速公路走廊交通拥堵的集成管理，提出的CARTESIUS系统采用两个相互协同并提供决策支持的智能体组成－高速公路智能体和邻街干线智能体，两个智能体实时采集连续的交通数据、事件检测数据以及控制设备状态参数，通过子区交通控制中心（TOC）的融合分析及逻辑推理，决策生成适合各智能体的优化控制方案，以降低子区内交通拥堵的影响．同时依托该系统的分布式用户终端，其支持不同子区的TOC控制人员采用对话窗口机制进行协调，以生成响应全局路网的控制策略．

Burmeister［35］详细综述多智能体在智能交通系统领域的应用，并提出了汽车多agent联运系统．Dresner等［36］采用多智能体技术具体研究了交叉口自组织管理的方法，并采用开发的仿真平台进行验证，结果表明：采用智能体实现交通流的自组织管理能显著改善既有交叉口控制技术（交通灯和停车让行标志）．在保障其他社会车辆效益的同时，该方法可被拓展应用于人工／无人驾驶车辆以及紧急优先车辆的管理［37］．

智能体技术在信号控制中的延伸应用主要包括分布交通数据处理和诱控一体化．在分布式决策支持系统（distributed decision support system，DDS）中［38］，每一个分布式的实体均采用一个智能体负责决策支持，其负责收集决策支持的关联数据，并进行推理分析．Ossowski等提出了一种基于多智能体的DDS抽象框架，为这类系统的设计提供指导［39］，并应用于面向信号控制的分布式决策支持系统．仿真结果表明采用分散协调的DDS控制模型在保证控制效益的同时可大幅提升系统的可拓展性．在路径诱导方面，Li等［40］采用多智能体技术研究了交通管理和路径诱导一体化的集成管理控制方法．Weyns等［41］提出了一种基于智能体的行驶路径预测方法，出行车辆可分派下级的智能体搜索路径并将出行意愿告知路侧设施（信号灯），通过多智能体间协调以避免交通拥堵．管青［42］将区域交通信号控制与交通诱导协同理论相结合，从两者协同运作的角度出发，提出一种交通诱控集成一体化的管理系统架构，旨在根据实时路网交通状态，主动去调控及引导交通．Rothkrantz［43］提出了一个基于多智能体的智能出行辅助系统，该系统采用了JADE（Java agent development framework，JADE）开发，每个智能体（出行者）与驾驶员及系统进行交互，采用分布式路径选择模型提供最优的出行建议，并更新系统的出行交通信息，为交通信号系统的优化提供数据支持．

3 基于多智能体的交通控制建模与仿真

交通运输系统包含大量的自治智能实体－车辆、信号灯、路段、交叉口、管理中心等，这些实体分布在大范围的区域，且为了实现特定的系统目标而相互交互．多智能体系统可采用直观的方法从个体层面描述各个自治实体，是交通系统建模与仿真的理想方法．在多智能体交通仿真系统中，每一个智能的交通实体均被建模成一个智能体对象，且智能体之间相互地协同工作．多智能体技术已被广泛应用于城市交通信号控制相关问题的建模及仿真，包括交通集成管理［44］、信号控制［45］、移动性仿真［46］、交叉口安全［47］和行人流量预测［48］等，代表性的应用研究如表3所示．

表3 智能体技术在交通控制建模及仿真中应用

3．1 多智能体的交通建模

Zhang等［55］提出了一个多智能体交通仿真的框架，其主要交通实体采用智能体技术建模，包括人－车智能体、路段智能体、信号灯智能体以及车辆生成智能体，而人－车智能体采用三层结构：战略层、战术层和控制层．文献［44］设计了一种基于三层智能体模型的交通协同调度及控制系统（COTSCS）：最高层的“城市交通全局智能体”负责监督和控制所有城市区域内的交通智能体；中间层“控制智能体”负责底层智能体的通信和协同；“底层智能体”用于模拟个体交通实体的运行．Liu等［56］提出了一种用于公交系统需求评估的多智能体仿真框架，该构架将计算模型分解成设计模型和领域模型．设计模型由计算机专家创建，其定义了系统结构、通信协议及平台相关信息；领域模型则由业内专家、利益相关者和用户创建，其从专业领域的视角解析研究问题．这种特殊的设计模式使领域专家和系统用户均能参与系统设计．因而，开发的系统可更好反映交通现实．Doniec等［57］提出一种用于交叉口交通流仿真的多智能体行为模型，每一仿真车辆（智能体）根据路口已存在的或正驶向路口的智能车辆状态，协调自己的行为．该模型通过感知路网交通状态，设计智能体精细的协调机制，并提供预测功能，使车辆智能体能够自身推理以避免交通网络死锁［58］．Vasirani等［59］提出一种市场启发式的城市道路管理方法，每一车辆智能体允许预留其在交叉口的空间和时间，并在接近交叉口时，主动向交叉口管理智能体发送预留请求，“市场”正是用于模拟交叉口采用系列的规则来优化预留方案的建立、执行和取消的过程，而所有规则采用智能体购买交互协议进行实现．

通过在基于智能体的交通运输系统中集成多种交通运输模型，Wang提出了人工交通运输系统（ATSs）的概念，以支持综合交通运输系统的分析和决策支持，并定义了发展ATSs的基本理论和关键研究内容，从交通运输、物流和生态交通系统3方面，阐述了ATSs的主要组成部分．文献［51］提出了一个用于评估智能交通解决方案的ATSs框架，其包括基于JADE开发的现实交通运输系统、基于智能体微观交通仿真的虚拟子系统，以及控制策略生成器，控制策略生成器用于协调2个子系统的行为并优化调节系统要素，以提高系统整体性能．文献［49］等提出了一个面向交通管理和路径诱导一体化的集成管理系统，其通过增加一个中间层（包括智能体和智能体协商协议），拓展了美国国家ITS框架下的ATIS6．该系统包括3类智能体，分别表征出行者（Agent－IRANS）、信息服务提供商（Agent－ISP），以及系统 运 营 商 （Agent－TMC）．Agent－IRANS 和Agent－ISP采用规则协商机制，全局优化出行者路径选择和网络通行能力分布，以期同时满足出行者的目标和管理者的效益．

3．2 多智能体的仿真工具

文献［52］开发了一种多智通体仿真工具AGENDA，分析了多智能体应用系统开发的关键技术－任务分解、任务分配、以及协同规划等，并将其应用于交通运输系统．Meignan等［60］提出了一种用于评估公交网络的多智能体仿真工具，实现了公交网络的可视化静态评估和公交运行控制仿真，该仿真工具主要包括三个组成部分：公共汽车、出行乘客和常规道路交通，其在给定的环境约束下，实现公共汽车和出行乘客的智能体模型的移动与交互．文献［46］开发了一个基于微观仿真模型的多智能体交通仿真工具．该仿真系统可实现离线仿真和在线仿真，并可用于评估一些交通仿真场景，如驾驶行为、交通信号协同控制以及交通拥堵预测等．

随着多智能体技术在理论和应用研究方面的深入，涌现了许多开源的多智能体交通仿真软件，代表性的有德国宇航中心于2000年开发的城市移动性仿真器（simulation of urban mobility，SUMO）和苏黎世联邦理工大学与德国柏林工业大学于2006年联合开发的多智能体交通仿真工具 （multiAgent transport simulation toolkit，MATSIM）．SUMO是一种便携微观道路交通仿真器，可实现大规模路网的交通仿真．SUMO采用智能体技术建立交通系统的要素模型，能考虑出行个体的微观特性，具有高移植性和高拓展性等优点，但移动性仿真仍采用时间驱动机制，且仿真路网精度较高，网络规模可拓展的规模有限．MATSIM是一款面向大规模路网的多智能体交通仿真工具［61］，其以出行个体24h的活动链为基本行为单元，采用智能体技术建立基于活动出行个体模型，采用事件驱动机制实现个体机动交通和公共交通的移动性仿真，并提供可视化的结果分析，与SUMO相比，其最大特点是采用活动链的出行个体建模及简化的仿真路网，可更好地模拟个体出行的系列选择过程和实现更大规模的交通路网仿真．MATSIM已被应用于多个城市交通需求及交通政策评价，如瑞士、苏黎世、柏林、多伦多、京都、新加坡和上海［62］．

4 讨 论

1）系统互用性 互用性是指不同的计算机系统、网络和应用程序等同时工作并相互操作的能力．在给定系统组织、管辖边界及应用场景下，系统的互用性是智能体融合多源系统信息制定决策或执行任务的关键．国际IEEE－FIPA（foundation for intelligent physical agents，FIPA）致力于异构软件标准、智能体互动以及异构智能体系统的开发［63］，FIPA标准通过协调智能体系统的不同模块－系统架构、通信、管理以及信息传输－来保证智能体间的互用性，并定义了智能体信息交换的通信语言规范、语法以及通信平台架构．目前，FIPA已是国际上两个主要的智能体标准之一（IEEE的FIFA标准和OMG的移动智能体系统互操作规范（mobile agent system interoperability facility）．FIPA标准已被智能体技术研究领域广泛接受，并作为关键指标用以评估智能体的系统互用性．目前已开发的多数智能体交通控制与管理系统只从特定的研究问题出发，没用面向信号控制的通用系统架构或平台．结合未来智能交通控制系统集成应用的趋势，为提高系统互操作性及通用性，基于多智能体的交通信号控制系统的设计与开发应符合FIPA标准．

2）系统不确定性的响应能力 既有的多智能体的应用系统多数采用功能固定的静态智能体，而智能体之间通过协议进行相互协同．智能体系统结构可划分为3类：邻近简单交互结构、集中分层式结构和分散网络式结构．静态智能体只有在系统运行时才会执行系统功能，且静态编码的控制算法及服务不能在执行过程中更新．与传统的控制系统相比，多智能体系统具有高度的自适应能力和协作能力，但在动态变化的复杂环境中，这类系统对不确定性问题的处理能力有限．有学者提出可采用移动智能体来增加系统对可靠性及不确定性问题的快速响应处理能力，其根据系统全局实时交通条件，制定新的控制算法或更新服务，并采用移动智能体运动至目的终端执行［64］．为降低系统复杂度，有学者提出在智能体间精细协调机制的保障下，具有自学习和推理能力的智能体可有效响应系统的不确定性［65］．在复杂的随机系统环境中，多智能体强化学习算法为多智能体系统进行多阶段博弈及系统优化提供了一种很好的框架［66］，通过与环境交互和试错，利用评价性反馈信号，在序列决策过程中实现系统决策的优化，并在决策过程采用对策论建立智能体间相互协同的机制，从而增加智能体的全局协作能力，可满足动态及随机交通系统要素建模的内在要求．

3）系统可拓展性 在智能体技术的未来发展中，应更多的关注系统设计的开放性和可拓展性，以支持大规模分布式动态系统的应用．典型的多智能体系统采用系统状态－动作空间来表达行为策略，因而，将不可避免地出现系统学习参数随准状态变量维数呈指数级增长的现象，即维度灾难问题，且这些方法假设智能体可观测系统的全局状态，即智能体具备完美的交通信息，这严重限制了多智体系统的拓展及实时性．目前，解决维数灾难和完美信息的主要思路是系统状态空间离散化，且智能体只考虑其物理邻近智能体进行协同交互［67］．

5 结束语

智能体技术及其在交通运输系统中的应用研究已开展了10多年，并且取得了大量应用成果．本文主要总结了智能体技术在交通信号控制系统及其关联领域的应用．研究成果清晰地表明人工智能、机器学习及信息技术的交叉综合直接促进了多智体交通信号控制系统的产生和发展，众多研究已将多智能体框架应用于解决区域交通控制问题，建立基于MAS的交通控制系统架构，并在分布式架构、在线推理决策、建模与仿真、均衡计算负荷等方面取得了应用，主要结论如下．

1）智能体具有自身的属性集和决策推理功能，采用多智能体技术建立交通运输系统的实体模型，可有效链接交通实体的微观特性和交通系统的宏观特性，从而实现对交通控制系统结构、功能和行为的模拟，是大范围交通网络交通信号协调控制的有效建模工具．

2）大多数智能体技术的应用研究都致力于控制算法和建模及仿真，用于实际交通控制系统应用和部署的研究很少．总体来看，在交通控制乃至交通运输领域，多智能体系统的方法设计、开发和应用仍不够成熟．

3）未来智能交通系统的发展，管理者更期望智能交通控制系统等关键子系统的集成应用，这就要求多智体交通控制系统在系统互用性、系统不确定性和系统可拓展性等方面具备更好的性能．多智能体强化学习是实现具有自适应及自学习能力的自治智能体的重要途径，可为解决复杂、不确定环境下交通网络的集成优化控制提供一个可行之法．

［1］ZAMBONELLI F，PARUNAK H V D．Signs of a revolution in computer science and software engineering［M］∥Engineering Societies in the Agents World III．Berlin Heidelberg：Springer，2003．

［2］LUCK M．Challenges for agent－based computing［J］．Autonomous Agents and Multi－Agent Systems，2004，9（3）：199－201．

［3］WANG F Y．Toward a revolution in transportation operations：AI for complex systems［J］．IEEE Intelligent Systems，2008，23（6）：8－13．

［4］CHEN B，CHENG H H．A review of the applications of agent technology in traffic and transportation systems［J］．EEE Transactions on Intelligent Transportation Systems，2010，11（2）：485－497．

［5］BAZZAN A L C．A distributed approach for coordination of traffic signal agents［J］．Autonomous A－gents and Multi－Agent Systems，2005，10（1）：131－164．

［6］Hernández J Z，OSSOWSKI S，GARCIA－SERRANO A．Multiagent architectures for intelligent traffic management systems［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：473－506．

［7］CHEN B，CHENG H H，PALEN J．Integrating mobile agent technology with multi－agent systems for distributed traffic detection and management systems［J］．Transportation Research Part C：Emerging Technologies，2009，17（1）：1－10．

［8］Mobile－C［EB／OL］．www．mobilec．org，2014－01－20．

［9］van KATWIJK R T，van KONINGSBRUGGEN P，SCHUTTER B，et al．A test bed for multi－agent control systems in road traffic management［M］．Applications of Agent Technology in Traffic and Transportation，Birkhäuser Basel，2005．

［10］ROOZEMOND D A．Using intelligent agents for pro－active，real－time urban intersection control［J］．European Journal of Operational Research，2001，131（2）：293－301．

［11］张松懋．基于知识和推理的分布式交通控制系统［J］．计算机研究与发展，1992，29（9）：35－41．

［12］马跃峰．基于multi－agent的区域交通信号控制系统的研究［D］．济南：山东师范大学，2006．

［13］GUO D，LI Z，SONG J，et al．A study on the framework of urban traffic control system［C］∥Intelligent Transportation Systems，2003，Proceedings 2003IEEE，IEEE，2003，1：842－846．

［14］CHOY M C，SRINIVASAN D，CHEU R L．Cooperative，hybrid agent architecture for real－time traffic signal control［J］．Systems，Man and Cybernetics，Part A：Systems and Humans，IEEE Transactions on，2003，33（5）：597－607．

［15］ZHANG H S，ZHANG Y，LI Z H，et al．Spatialtemporal traffic data analysis based on global data management using MAS［J］．Intelligent Transportation Systems，IEEE Transactions on，2004，5（4）：267－275．

［16］OSSOWSKI S，CUENA J，GARCíA－SERRANO A．A case of multiagent decision support：Using autonomous agents for urban traffic control，Progress in Artificial Intelligence ［M］．Berlin Heidelberg，Springer，1998．

［17］张静静，严 凌，高强飞，等．多智能体技术在交通控制中的机理研究［J］．交通与运输，2009（S1）：60－62．

［18］SRINIVASAN D，CHOY M C．Cooperative multi－agent system for coordinated traffic signal control［C］∥IEE Proceedings－Intelligent Transport Systems，IET Digital Library，2006，153（1）：41－50．

［19］WANG F Y．aDCS：agent－based distributed control systems［R］．PARCS Technical Report，University of Arizona，Tucson，1999．

［20］LOGI F，RITCHIE S G．A multi－agent architecture for cooperative inter－jurisdictional traffic congestion management［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：507－527．

［21］CHEN R S，CHEN D K，LIN S Y．ACTAM：Cooperative multi－agent system architecture for urban traffic signal control［J］．IEICE transactions on Information and Systems，2005，88（1）：119－126．

［22］KOSONEN I．Multi－agent fuzzy signal control based on real－time simulation［J］．Transportation Research Part C：Emerging Technologies，2003，11（5）：389－403．

［23］EL－TANTAWY S，ABDULHAI B，ABDELGAWAD H．Multiagent reinforcement learning for integrated network of adaptive traffic signal controllers（MARLIN－ATSC）：Methodology and large－scale application on downtown toronto［J］．Intelligent Transportation Systems，2013，14（3）：1140－1150．

［24］XU L H，XIA X H，LUO Q．The study of reinforcement learning for traffic self－adaptive control under multiagent markov game environment［J］．Mathematical Problems in Engineering，2013，13：1－10．

［25］GREGOIRE P L，DESJARDINS C，LAUMÔNIER J，et al．Urban traffic control based on learning agents［C］∥Intelligent Transportation Systems Conference，2007．ITSC 2007IEEE，IEEE，2007：916－921．

［26］高海军，陈 龙，石松泉．交通路口混合交通流的分布式模糊控制［J］．中国公路学报，2003，16（4）：67－71．

［27］GOLDMAN C V，ROSENSCHEIN J S．Mutually supervised learning in multiagent systems［M］∥A－daption and Learning in Multi－Agent Systems，Berlin Heidelberg，Springer，1996．

［28］FERREIRA E D，SUBRAHMANIAN E，MANSTETTEN D．Intelligent agents in decentralized traffic control［C］∥Intelligent Transportation Systems，2001Proceedings，2001IEEE．IEEE，2001：705－709．

［29］DENG L Y，LIANG H C，WANG C T，et al．The development of the adaptive traffic signal control system［C］∥Parallel and Distributed Systems，2005 Proceedings，11th International Conference on，IEEE，2005，2：634－638．

［30］YANG Z，CHEN X，TANG Y，et al．Intelligent cooperation control of urban traffic networks［C］∥Machine Learning and Cybernetics，2005Proceedings of 2005International Conference on，IEEE，2005，3：1482－1486．

［31］FRANCE J，GHORBANI A A．A multiagent system for optimizing urban traffic［C］∥Intelligent Agent Technology，2003．IAT 2003IEEE／WIC International Conference on IEEE，2003：411－414．

［32］于德新，杨兆升，王媛，等．基于多智能体的城市道路交通控制系统及其协调优化［J］．吉林大学学报：工学版，2006，36（1）：113－8．

［33］BAKKER B，WHITESON S，KESTER L，et al．Traffic light control by multiagent reinforcement learning systems［C］∥Interactive Collaborative Information Systems，Berlin Heidelberg，Springer，2010．

［34］WANG F Y，WANG C H．Agent－based control systems for operation and management of intelligent network－enabled devices［C］∥Systems，Man and Cybernetics，2003IEEE International Conference on IEEE，2003，5：5028－5033．

［35］BURMEISTER B，HADDADI A，MATYLIS G．Application of multi－agent systems in traffic and transportation［C］∥Software Engineering，IEE Proceedings，IET，1997，144（1）：51－60．

［36］DRESNER K M，STONE P．A multiagent approach to autonomous intersection management［J］．J．Artif．Intell．Res．（JAIR），2008，31：591－656．

［37］DARPA，The DARPA urban challenge［EB／OL］．［2014－01－20］，http：∥www．darpa．mil／grandchallenge．

［38］CHEN H，BELL M．Instrumented city database analysts using multi－agents［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：419－432．

［39］OSSOWSKI S，Hernández J Z，BELMONTE M V，et al．Decision support for traffic management based on organisational and communicative multiagent abstractions［J］．Transportation Research part C：emerging technologies，2005，13（4）：272－298．

［40］LI R，SHI Q．Study on integration of urban traffic control and route guidance based on multi－agent technology［C］∥Intelligent Transportation Systems，2003Proceedings IEEE，2003，2：1740－1744．

［41］WEYNS D，HOLVOET T，HELLEBOOGH A．Anticipatory vehicle routing using delegate multi－agent systems［C］∥Intelligent Transportation Systems Conference，2007ITSC IEEE，2007：87－93．

［42］管 青．区域交通信号控制与交通诱导协同理论与关键技术研究［D］．长春：吉林大学，2009．

［43］ROTHKRANTZ L J M．Dynamic routing using the network of car drivers［C］∥Proceedings of the 2009Euro American Conference on Telematics and Information Systems：New Opportunities to increase Digital Citizenship，ACM，2009：11－20．

［44］LI M，HALLAM J，PRYOR L，et al．A cooperative intelligent system for urban traffic problems［C］∥Intelligent Control，1996Proceedings of the 1996 IEEE International Symposium on IEEE，1996：162－167．

［45］WANG F Y，TANG S．A framework for artificial transportation systems：From computer simulations to computational experiments［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：1130－1134．

［46］Da SILVA B C，BAZZAN A L C，ANDRIOTTI G K，et al．ITSUMO：an intelligent transportation system for urban mobility，Innovative internet community systems ［M］．Berlin Heidelberg，Springer，2006．

［47］SALIM F D，KRISHNASWAMY S，LOKE S W，et al．Context－aware ubiquitous data mining based agent model for intersection safety［C］∥Embedded and Ubiquitous Computing－EUC 2005Workshops，Springer Berlin Heidelberg，2005：61－70．

［48］KUKLA R，KERRIDGE J，WILLIS A，et al．PEDFLOW：Development of an autonomous agent model of pedestrian flow［J］．Transportation Research Record：Journal of the Transportation Research Board，2001，1774（1）：11－17．

［49］ADLER J L，SATAPATHY G，MANIKONDA V，et al．A multi－agent approach to cooperative traffic management and route guidance［J］．Transportation Research Part B：Methodological，2005，39（4）：297－318．

［50］ HALLE S，Chaib－Draa B．A collaborative driving system based on multiagent modelling and simulations［J］．Transportation Research Part C：Emerging Technologies，2005，13（4）：320－345．

［51］ROSSETTI R J F，FERREIRA P A F，BRAGA R A M，et al．Towards an artificial traffic control system［C］∥Intelligent Transportation Systems，2008 ITSC 2008，11th International IEEE Conference on IEEE，2008：14－19．

［52］FISCHER K，CHAIB－DRAA B，MULLER J P，et al．A simulation approach based on negotiation and cooperation between agents：a case study［J］．Systems，Man，and Cybernetics，Part C：Applications and Reviews，IEEE Transactions on，1999，29（4）：531－545．

［53］SUMO［EB／OL］．http：∥sumo．sourceforge．net／，2014－01－20．

［54］MATSim［EB／OL］．http：∥matsim．org／，2014－01－20．

［55］ZHANG F，LI J，ZHAO Q．Single－lane traffic simulation with multi－agent system ［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：56－60．

［56］LIU Z I SHIDA T，SHENG H．Multiagent－based demand bus simulation for Shanghai，Massively Multi－Agent Systems I ［M］．Berlin Heidelberg：Springer，2005．

［57］DONIEC A，MANDIAU R，PIECHOWIAK S，et al．A behavioral multi－agent model for road traffic simulation［J］．Engineering Applications of Artificial Intelligence，2008，21（8）：1443－1454．

［58］MANDIAU R，CHAMPION A，AUBERLET J M，et al．Behaviour based on decision matrices for a coordination between agents in a urban traffic simula－tion［J］．Applied Intelligence，2008，28（2）：121－138．

［59］VASIRANI M，OSSOWSKI S．A market－inspired approach to reservation－based urban road traffic management［C］∥Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems1，2009，1：617－624．

［60］MEIGNAN D，SIMONIN O，KOUKAM A．Simulation and evaluation of urban bus－networks using a multiagent approach ［J］．Simulation Modelling Practice and Theory，2007，15（6）：659－671．

［61］BALMER M，MEISTER K，RIESER M，et al．A－gent－based simulation of travel demand：Structure and computational performance of MATSim－T［C］∥the 2nd TRB Conference on Innovation in Travel Modeling，Portland，ME，USA，2008．

［62］ZHANG L，YANG W C，WANG J M，et al．A large scale agent－based transport simulation in Shanghai［C］∥The Transportation Research Board 92nd Annual Meeting，Washington，D．C．，2013．

［63］FIPA．The foundation of intelligent physical agents．［EB／OL］．http：∥www．fipa．org／，2014－01－16．

［64］GRAY R S．Mobile Agents：Motivations and Stateof－the－Art Systems［R］．Dart－mouth College：Department of Computer Science，2000．

［65］BUSONIU L，BABUSKA R，SCHUTTER B．A comprehensive survey of multiagent reinforcement learning［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2008，38（2）：156－172．

［66］BAZZAN A L C．Opportunities for multiagent systems and multiagent reinforcement learning in traffic control［J］Autonomous Agents and Multi－Agent Systems，2009，18（3）：342－375．

［67］ MEDINA J C，BENEKOHAL R F．Agent－based Traffic Management and Reinforcement Learning in Congested Intersection Network［R］．USDOT Nextrans Project Report，No．072IY03，2012．