面向智慧交通的图像处理与边缘计算

曹行健，张志涛，孙彦赞，王平，徐树公，刘富强, 3*，王超，彭飞，穆世义，刘文予，杨铀

1. 同济大学电子与信息工程学院，上海 201804； 2. 上海大学通信与信息工程学院，上海 200444；3. 同济大学设计创意学院，上海 200092； 4. 华中科技大学电子信息与通信学院，武汉 430074

0 引 言

随着社会经济和科技的快速发展，以及全球城市化的迅速普及，道路事故和交通拥堵及其导致的环境污染等问题已经成为世界各国面临的共同难题。全球每年因交通事故大约会造成数千亿美金的经济损失，中国是全球人口密度最大和最为拥堵的国家之一，据高德地图联合国家信息中心大数据发展部等机构发布的“2020年度中国主要城市交通分析报告”指出，2020年国内大约有59%的城市在通勤高峰时段处于拥堵或缓行状态(https://report.amap.com/share.do?id=a187527876d07ac-50177142eba987ce0)。面对愈发复杂的交通环境，传统通过增加人力管理与调度的方式已难以满足当今交通系统对安全、效率和环保的需求(Young等，2011)。以创新方式实现实时、准确和高效的综合交通运输和管理系统已刻不容缓。智慧交通系统(intelligent transportation system, ITS)是于20世纪90年代提出的，并在2010年欧盟2010/40/EU指令(DIRECTIVE 2010/40/EU，2010)中定义为“将先进的信息、通信和控制技术应用于道路交通领域，通过加强基础设施、车辆和用户三者之间的联系，同时结合交通管理和移动管理，形成保障安全、提高效率、改善环境、节约能源的综合运输系统”。发展至今，智慧交通系统融入了物联网、人工智能、云计算、边缘计算和自动控制等技术，以提供实时交通数据下的交通信息服务。通过充分运用信息技术、大数据技术和交通工程技术等，将各技术有效地集成并应用于整个交通运输管理体系中，使人、车和路密切配合，发挥协同效应，能够极大地提高交通运输效率，保障交通安全，改善交通运输环境，提高能源利用效率，实现交通的系统性、实时性、信息交流的交互性以及服务的广泛性(Wen等，2011)。

近年来，世界各国均非常重视智慧交通的发展。美国自2010年确立了全面推进多模式车联网综合运输一体化发展的战略主题后，美国智慧交通系统联合计划办公室于2020年发布了《智慧交通系统战略规划2020—2025》，强调了由自动驾驶和智能网联单点突破到新兴科技全面创新的布局。中国则在2019年，由中共中央、国务院印发了《交通强国建设纲要》，其中强调大力发展智慧交通，明确了大数据、互联网、人工智能、区块链和超级计算等新技术与交通行业深度融合的战略部署(http://www.gov.cn/gongbao/content/2019/content_5437132.htm)。

经过各国多年来在智慧交通领域的大力部署与发展，智慧交通系统已拥有了广泛的应用与服务。根据应用主体与发展重点的不同，主要可分为3大类别：智慧交通管理、辅助驾驶与自动驾驶以及车路协同。其中，面向智慧交通管理的应用主要由大量部署在道路上的智慧交通设施支撑，以实现交通管理的智能化，其应用主要包括：交通信息采集、车牌识别和车辆违章检测等。面向辅助驾驶与自动驾驶的应用则主要以单车智能为主体，依靠视觉感知、雷达感知、定位系统、车载计算以及人工智能的协同合作，让车辆智能地辅助人类，或自动安全地行驶。面向车路协同的应用则是依托于智能车辆、智能路侧设备和云控平台的协同工作，以车联网为技术支撑，全方位实施车车、车路和车云动态实时信息交互，进而实现车辆主动安全控制和道路协同管理，保证交通安全，提高通行效率(Tian等，2014)。智慧交通的实现，需要融合通信、计算与控制等领域的大量先进技术。其中，图像处理技术作为智慧交通中感知、监控、调度和分析的基础，一直以来都是智慧交通系统的核心技术与前沿发展领域。尤其近年来，随着计算机视觉技术的不断发展，图像分析已成为推动智慧交通发展的关键技术之一，是智慧交通的重要组成部分(Gudigar等，2016)。图像处理是指借助计算机算法对图像进行增强与复原、检测与识别以及分割等处理，以期达到所需目的。其具有精度高、再现性好、处理多样性和易于控制等优势，在多领域获得了广泛的应用。将图像分析应用于交通领域，可以加速交通的智能化进程，极大方便人们出行，降低交通事故发生(Deng等，2017)。智慧交通领域涉及的图像分析任务很多，如基于智能导航的道路识别、避障和道路节点规划(Kuang等，2017)以及基于交通监控的车辆识别与跟踪、交通标志牌识别(Zhao等，2017)等。通过这些方法，可以将人、车和路全方位结合，针对交通要素建立一套完整、实时、高效和准确的数字化交通底座，为智慧交通管理、自动驾驶和辅助驾驶以及车路协同提供重要的技术保障。

作为在各领域广泛应用的数据处理技术，集中式中心云服务面对如此海量的数据，很难满足大部分智慧交通应用的实时性需求，其所产生的滞后处理将会导致传输过程的不确定性，从而对通信网络带来巨大的传输压力和不稳定延迟。因此，提出了边缘计算以解决上述各方面的困境。移动边缘计算(mobile edge computing)概念最初于2013年出现于IBM与Nokia Siemens共同推出的一款计算平台，其可在无线基站内部运行应用程序，向移动用户提供业务。此后，欧洲电信标准协会(European Telecommunications Standards Institute, ETSI)于2014年成立移动边缘计算规范工作组，推动了移动边缘计算的标准化。2016年，ETSI将移动边缘计算的概念扩展为多接入边缘计算(multi-access edge computing, MEC)，将其从电信蜂窝网络进一步延伸至其他各多源无线接入网络(https://www.etsi.org/technologies/multi-access-edge-computing)。边缘计算技术的核心是把云计算能力与相应的服务环境下沉至网络边缘(包括蜂窝网以及各无线网接口)，以满足低时延与高带宽的需求(Giust等，2017)。边缘计算技术为智慧交通系统提供了边缘计算节点，通过对计算与通信资源的合理分配，提供低时延服务的同时，能够大幅降低智慧交通系统所需的负载压力。同时，边缘计算技术通过边缘缓存，将所需数据存储在边缘节点，能够满足特定应用与服务对高响应速度的需求(Ahmed和Ahmed，2016)。近年来，随着大数据与人工智能的高速发展，将其与边缘计算相结合，诞生了边缘智能(edge intelligence, EI)等前沿研究领域(Zhou等，2019b)，旨在使边缘侧能够提供更加智能的高级数据分析、场景感知、实时决策、自组织与协同等服务。边缘智能的研究一方面可以利用人工智能对边缘计算中的某些瓶颈问题提供解决方案，另一方面则是通过技术的发展，使人工智能得以在边缘服务器上完全实现(Deng等，2020)。

本文将面向国内外在智慧交通领域的前沿研究成果与应用进展，首先梳理智慧交通系统中的应用与服务现状，随后围绕面向智慧交通的图像处理技术与边缘计算技术进行深入分析，阐述与对比国内外在该领域中的最新研究热点及前沿进展，并展望未来的发展趋势。

1 智慧交通的应用与服务

随着近年来智慧交通理念的迅猛发展，以及如图像处理、云计算与边缘计算、大数据和人工智能等支撑技术的不断突破，智慧交通系统已在世界各国的发展蓝图中拥有了广泛的部署与规划。图1展示了智慧交通系统的部分应用示例，其基于先进的“端(车载、路侧端设备)—边(边缘计算设备)—云(中心云服务器)”一体化架构，充分融合了图像处理、边缘计算的最新应用成果，打造了智慧交通系统3大方向的应用与服务：基于各基础交通设施的智慧交通管理、基于单车智能的辅助驾驶与自动驾驶以及基于车辆与路侧设备协同智能的车路协同。本文将分别对以上3大面向智慧交通的应用与服务现状进行阐述与分析，并对国内外在各方向上的最新发展情况进行对比。

图1 智慧交通应用与服务示例Fig.1 Examples of applications and services in ITS

1.1 智慧交通管理

交通管理是评估智慧城市建设的重要指标之一，传统通过人力调度的交通管理已难以满足日渐增多的车辆与愈发复杂的交通环境，建立智慧交通管理系统已成为必然之举。近年来，随着人工智能技术和图像处理技术的迅速发展，智慧交通管理系统已被越来越多的国家重视。智慧交通管理系统秉持以人为本的理念，结合“人、车、路、环境”等关键要素，使用云计算、边缘计算和图像处理等技术，全面提升交通管理和服务水平。

智慧交通管理系统起源于美国，2010年，美国运输部和智能交通协会在《智能交通系统战略研究计划：2010—2014》中提出智慧交通系统管理系统，目标是通过网络对全国地面交通设施统一管理，为智慧城市发展提供重要基础。日本是智慧交通管理系统覆盖率较高的国家。目前，日本的主干道已基本覆盖了如车路协同、导航和不停车收费等功能，有效缓解了交通拥堵。日本政府正在与汽车制造企业合作建立覆盖全国的自动驾驶系统，并将物流车辆管理和公共设施出入管理等加入智慧交通管理系统中。欧洲针对跨国基础设施建设问题，提出以主动交通管控为基本路径，按照区域特点协同管理和服务的智慧交通管理系统。目前，已基本实现欧洲地区交通基础设施全覆盖和统一交通管理系统建设，大幅减少了拥堵和交通事故的发生(Lin等，2017a)。

相较于西方发达国家，中国的智慧交通管理系统起步较晚但发展迅速。2015年，上海市交通委通过了《上海市交通委员会关于加强智慧交通体系建设的指导意见》，整合交通行业数据，全方位提高公交、出租车和轨道交通的智慧管理效能和决策水平，力图打造全行业覆盖的智慧交通管理体系。2019年，中国移动广西北海分公司与北海市公安局交通警察支队合作，采用5G+智慧交管和边缘化AI计算解决道路拥堵和车辆违章等问题。百度Apollo系统依托国产人工智能和海量互联网数据以及车路云从安全管控、缓堵保畅和出行服务3个领域助力智慧交通管理。

当前，智慧交通管理系统的应用主要包括交通信息采集、车牌识别系统和交通违章检测等。交通信息采集决定着智慧交通系统能否高效运行，其关键在于获取全面、精确和实时的动态交通信息(包括车流量、车速、车型分类和交通密度等)。与传统的交通信息采集方法相比，图像处理技术具有直接、准确和高效采集交通信息的优点，能更好地反映交通运行情况。此外，图像处理技术还可通过运用计算机视觉技术提取较清晰的图像，进而准确获得相应范围内的车辆信息，同时有助于减少人力物力，提高信息采集效率。

交通违章检测系统是一种自动化的交通管理技术，用于替代传统的交通警察人工监督管理。根据实时性原则检测和识别运动的全部物体，随后将车辆从背景中分离，进而准确捕获运动目标，并对其进行违章判别。目前在交通违章检测方面，在一些地区仍然采用人工方式或者传统的传感器检测方式，如采用电磁线圈设备对路过车辆行为进行检测，这种方法只能进行有限的违法行为检测，如闯红灯和超速，在鲁棒性和泛化性上难以满足智慧交通管理的需求。而基于图像分析的方法可以解决更复杂的检测任务。为了加速自动驾驶的应用与落地，世界各国都在全力打造智慧交通管理系统。2020年，美国密歇根州增加专为自动驾驶设计的“网联自动驾驶(connected & automated vehicle，CAV)走廊”，由谷歌和Cavnue共同负责技术支持。CAV走廊分别从物理基础设施、数字基础设施和数字孪生系统协调等方向打造智慧交通管理系统辅助自动驾驶，减少交通违章事故的发生。国内的智慧交通管理已经走在了世界前列，例如，百度城视(CityScope)算法感知引擎为城市大脑的交通管理系统提供技术支撑，智能识别交通违章，如机动车违停和逆行、占道经营等违章行为，在第一时间反馈并处理信息(张砚和肯特·蓝森，2018)。诸如腾讯城市超级大脑、科大讯飞的城市超脑等“城市大脑”不断涌现，为智慧交通管理提供强劲助力。

1.2 辅助驾驶与自动驾驶

面对日益复杂的交通环境，传统完全由人类操控的车辆由于缺乏智能控制与车辆间的相互联系，很难满足智慧交通系统中的协调与调度，且在危险环境中极大程度地受到驾驶员技术与状态的影响，难以对危险采取高效、稳定的应对措施。而自动驾驶技术则可以有效地提升驾驶安全，提高整个交通系统的效率，为用户节省时间，大幅降低经济、资源的损失。

自动驾驶技术依靠人工智能、视觉计算、雷达和全球定位系统协同合作，让电脑可以在没有任何人类主动操作下，自动安全地操作车辆。其概念自1969年提出，历经数十年的发展，美国汽车工程师学会(Society of Automotive Engineers, SAE)J3016文件提出的5级自动驾驶分级方案是当前普遍采用接受的标准。SAE J3016描述了在公路行驶的各种驾驶自动化水平车辆，包括高级驾驶自动化及相关术语及其功能定义，为推动自动化规范和技术要求提供框架(Olaverri-Monreal等，2020)。具体分级标准如表1所示。其中，L0-L2级别的自动驾驶需要不同程度的人为操作与干涉，因此也称为辅助驾驶。而L3级及以上的自动驾驶则可在不同环境下进行无人操作的全自动驾驶，被认为是真正进入了自动驾驶阶段。

表1 自动驾驶分级方案Table 1 SAE J3016TM levels of driving automation

在当今自动驾驶领域，美国走在前列，自动驾驶在美国已经有多年的历史，其初始主要集中在大学的实验室和各大汽车厂商的研究院中。美国国防高级研究计划局(Defense Advanced Research Projects Agency, DARPA)于2004、2005、2007年举办了3届DARPA挑战赛，旨在促进第1辆完全自动驾驶汽车所需技术的发展(Hooper，2004)。

2011年10月，谷歌在内华达州和加州的莫哈韦沙漠试验场对汽车进行测试，成为全球第1个进行无人驾驶汽车公路测试的公司。目前，特斯拉的Autopilot和通用汽车的Super Cruise两款系统达到了L2级自动驾驶的水平，允许车辆管控车速及转向操作，但均要求驾驶员对路况保持关注，以便在遇到紧急情况时能够紧急接手操控(Ingle和Phute，2016)。而福特和Waymo等公司则直接跳过了L3级自动驾驶，专攻L4级自动驾驶，但仅限于在设定的专用范围内实现完全无人驾驶(Rosenband，2017)。

日本自2013年起就开始布局自动驾驶产业，其自动驾驶项目——SIP-adus(strategic innovation promotion-automated driving for universal services)占据了核心地位，政府还成立了SIP自动驾驶推进委员会(Sugimoto和Kuzumaki，2019)。在2018年1月的国际消费类电子产品展览会(International consumer electronics show, CES)上，丰田展出了e-PaletteConcept共享电动自动驾驶概念车，并提出“移动盒子”的概念。日产在2016年推出L2级的ProPILOT系统，2019年5月发布ProPILOT 2.0。本田等其他部分车企则将注意力放在L3级自动驾驶系统上，使得车辆能够完全自动驾驶，但该类功能只有在极其特定的条件下(例如车速极低)才能实现。

虽然美、日等国研发自动驾驶起步较早，但中国赶超的速度很快，特别是以百度Apollo为代表的中国自动驾驶企业，正在逐步成为国际领导者。2014年4月，百度公司开始自动驾驶研究项目，并在北京和上海路况复杂的高速公路上进行测试。2015年6月，百度与宝马汽车公司启动合作开发自动驾驶汽车。2018年12月，百度Apollo自动驾驶全场景车队首次在长沙高速上开启试行。2020年4月，百度发布了《Apollo智能交通白皮书》(Zhu等，2018)，完整阐述了国内外首个车路行人融合的全栈式智能交通解决方案 “ACE交通引擎”(Fan等，2018)。

综合国内外自动驾驶的整体发展情况来看，美国依然处于引领地位，日本发展迅速，而中国呈追赶态势。在2018年毕马威会计事务所(KPMG)发布的研究报告排名中，选出了国际上20个主要国家从政策法规、技术创新、基础设施和消费者接受程度4个方面对自动驾驶汽车的发展做出了综合评估。其中，技术创新美国排名第1，而中国排名第15，处于相对落后的地位。相对于国外将更多投入放在单车智能层面，中国近年来快速发展基于C-V2X(cellular-vehicle to everything)的车联网路线，正在积极借助中国领先的5G技术以及北斗高精度导航等技术的加持，构建多维5G车联网生态圈。根据全球知名调研机构Navigant Research的数据，百度已跻身全球自动驾驶技术公司前5名，仅落后于Waymo、福特和Cruise。自动驾驶系统由感知、理解、规划与控制4大功能模块构成。其中，感知模块是车辆和环境交互的纽带，是自动驾驶系统的“眼睛”，贯穿着其升级的核心部分。感知模块主要通过多种传感器的数据与高精度地图的信息作为输入，经过一系列的计算及图像处理，对自动驾驶车的周围环境进行精确感知。随着自动驾驶中人为干预度的不断减小，感知系统获取环境信息的全面性、准确性和高效性要求越来越高。其中，视觉感知系统由于出色的图像分类与识别能力，已成为感知系统的核心组成部分。同时，通过多传感器融合进行复杂环境的感知也成为未来研发与应用的趋势。多传感器融合可以集合各传感器优势，规避单一传感器的局限性，显著提高系统的冗余度和容错性，从而保证决策的速度和正确性。Wang等人(2019)讨论了近年来自动驾驶中多传感器融合的不同策略。Hu等人(2020)总结了各类环境下智能地面车辆车载多传感器配置的主要考虑因素。此外，在自动驾驶系统的感知图像处理中，需要大量数据处理，一辆完全自动驾驶的车辆每年将产生超过300 TB的数据，并由于车辆与相关网络拓扑结构的时变性，随时间、地理位置不断变化的过程中，车辆与云计算中心的距离也在不断变化，再加上复杂的网络接口标准与技术，对自动驾驶环境的高带宽、低时延数据传输和处理提出了更高要求 (https://www. tuxera.com/)。因此，基于多接入边缘计算技术的自动驾驶系统也已逐渐成为研究热门课题。

1.3 车路协同

近年来，单车智能的发展主要围绕两个方向：一是以激光雷达为感知的基础与核心，其最大的优势是灵敏度高，感知范围大，环境适应能力强，但其成本较高，对高精地图依赖性也较大，此方向的代表有谷歌Waymo，百度Apollo等；二是以视觉感知设备(如摄像头)作为感知系统的核心，并结合运用大量人工智能和大数据技术，对车辆周围环境进行综合感知与分析，此方向的代表以特斯拉为主。但无论是哪一类，单车智能在自动驾驶的实现上都存在着难以克服的问题。2020世界智能网联汽车大会上，中国汽车工程学会理事长、中国工程院院士李骏教授指出了单车智能的5大挑战：1)高度依赖人工智能，导致难以克服“黑盒效应”；2)最终实现需要百亿英里的道路测试，短期内难以实现；3)完全自动驾驶至少需要几百万的极端工况数据训练；4)传感设备过多导致成本过高；5)实际行驶安全难以得到绝对保证(http://www.worldicv.com/)。因此，针对单车智能的弱点，车路协同系统(cooperative vehicle-infrastructure system, CVIS)作为一个新型的智慧交通理念被提出，其将单车智能和车外智能相结合，以数字化的形式在车内外传递与共享信息，从而更加全面、准确与高效地完成车辆的感知、决策与控制。

车路协同系统采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，从而形成更安全、高效和环保的道路交通系统。相比仅依赖于单车智能的交通系统，基于车路协同的智慧交通系统通过更低的成本，可以实现更宏观、稳定、精准与高效的统筹与控制，因此自提出后便备受国内外科研人员关注，是智慧交通系统最新的研究、发展与应用方向。

世界范围内，美国最先在车路协同方向进行部署。2005年，美国交通部(Department of Transportation, DOT)提出了车路协同计划VII(vehicle infrastructure integration)，此计划融合了交通工程、电气工程、汽车工程和计算机科学等技术领域，通过先进的通信技术将道路设施与汽车进行有效集成，并在此基础上推出了可以实施的车路协同部署方案，旨在同时提升交通安全与效率(Misener和Shladover，2006)。在此方案中，美国各州采用了统一的部署模式，通过车路协同所获取到的实时交通信息，进而实现交通信息共享、车路一体化平台构建与动态路径规划等。VII主要包括智能车辆部署计划、高精数字地图计划和车路通信安全计划等，并且通过专用短程通信协议(dedicated short range communication, DSRC)，为驾驶员提供辅助控制(Ma等，2009)。2016年，美国交通部将VII更名为Intelli-Drive，此计划更加强调了交通安全方向的研究与部署，通过设计与整合各类车载和路侧设备以及结合相应的车路通信技术，使驾驶者在驾驶中能够更高效和安全地做出决策(Yao等，2020)。2020年8月14日，美国密歇根州宣布将在底特律和安娜堡之间开发一条40英里长的道路，配备最新的车路协同技术，专门用于智能网联自动驾驶的车辆测试，建成后将成为继加利福尼亚州后美国自动驾驶测试的又一个中心(Roberts，2020)。

除美国外，以日本为代表的部分发达国家也为车路协同的发展投入了大量精力。日本早期的车路协同计划名为Smart-way，其通过基于5.8 GHz的DSRC通信协议，紧密连结智能车辆、智能路侧设施与智能管理系统，进而改良车路基础设施、提高交通安全、改善运输效率。Smart-way的发展成功整合了日本之前ITS系统中应用较为单一的各设施功能，并通过搭建车载设备与交通设施的统一平台，减少交通事故，并缓解交通拥堵(Kiyasu和Okutani，2005)。近年来，日本先于2019年6月发布了《创造世界最先进的数字国家宣言》，并成立了IT(information technology)综合战略本部，旨在推进落实日本数字化、智慧化的进程。同时，其进行了长达6个月的自动驾驶汽车服务试点试验，利用自动驾驶汽车结合已铺设的智慧交通设施，提供出行接驳服务。随后，日本国土交通省(Ministry of Land, Infrastructure, Transport and Tourism, MLIT)于2020年发布了《国土交通白皮书》，并在全国推广了智能卡全国互通、“出行即服务”(mobility as a service, MaaS)、ETC2.0、先进型安全车辆(advanced safety vehicle, ASV)、小汽车出行诱导与自动驾驶等智慧交通技术的应用。

与部分发达国家早早制定发展路线相比，虽然中国的车路协同实施起步较晚，但随着国家政策的精准制定与对发展方向的严密规划，针对国内环境与需求，大力发展基于C-V2X车联网的车路协同研究，并不断增进对工程实验项目与测试基地的开展与落地，在车路协同的全面部署方面已处于世界领先地位。中国的车路协同发展以泛在物联为主要发展方向，通过单一功能向多功能融合发展转变，加速形成车路协同生态圈(吴忠泽，2010)。在政策、标准与技术指导层面，2020年发改委等11个部委联合发布了《智能汽车创新发展战略》，同时，工信部也发布了关于推动基于NR-V2X(new radio-vehicle to everything)的车路协同加速发展的通知。2021年，清华大学智能产业研究院与相关企业联合发布《面向自动驾驶的车路协同关键技术与展望》白皮书，阐明了道路交通系统中人—车—路—环境4要素的耦合与协同的重要性，指出车路协同技术在中国具有安全、高效、低成本和落地快的优势。同样，中国信通院联合中国电信、大唐、同济大学等企业与高校，发布了《MEC与C-V2X融合路侧系统白皮书》，指明了路侧系统的架构与部署方案，并分析了产业现状与评测体系，为车路协同系统的发展提出了指导性意见。在车路协同示范区的部署层面，目前中国已经拥有超过 30 个测试示范区，其中包括16 个国家级示范区。2015年6月，上海着手建设中国首个国家级的“智能网联汽车试点示范区”。2016年6月，位于上海嘉定的第1个封闭测试区正式投入运营，该示范区的建设主要包括封闭测试区、开放道路测试区、城市综合示范区和城际共享交通区4个阶段。目前，嘉定区已设有315 km的自动驾驶测试道路。其中，同济大学经过多年的研究积累，在多条开放道路建立了全息感知路口，能够对运动目标进行实时检测和有效跟踪，极大支持了V2X相关应用场景的测试与验证。

2 面向智慧交通的图像处理技术

视觉是人类获取信息的主要来源，直接关乎人类对环境的感知能力。随着计算机技术的发展，视觉图像处理技术也在日益完善，并逐步应用于交通驾驶、生物医学、遥感技术和工业生产等诸多领域。智慧交通图像处理是指通过交通视觉传感器采集交通图像信息，利用计算机视觉算法进行处理，提取图像中的有用信息，提高智慧交通系统的环境感知能力。由于交通环境复杂多变，依靠单一模态图像很难表征完备信息，因此也有研究采集多种模态图像如可见光彩色图像、包含距离信息的深度图像和红外热成像等(Du等，2018)进行处理，增加数据来源，丰富智慧交通系统的信息输入。目前，智慧交通图像处理主流方向有如下3种：1)针对智慧交通中因光照、天气和拍摄位置等因素导致的图像低质问题，图像增强与复原技术优化输入图像，可以有效提升图像处理的精度；2)针对智慧交通中图像感知问题，图像检测和目标识别技术为智慧交通系统提供环境理解能力；3)针对自动驾驶的交通场景准确感知问题，语义分割和实例分割技术为车道线检测、交通标志识别等提供准确可靠的位置引导。

本节从图像增强与复原、图像识别与目标检测以及语义分割与实例分割3个方面对面向智慧交通的图像处理技术进行描述，并对国内外在该领域的最新研究进展进行分析。

2.1 交通图像增强与复原

图像增强与复原技术是指采用计算机技术改善图像视觉效果，使图像更适合于人或机器分析处理。智慧交通系统环境复杂多变，图像数据易受光照、天气和拍摄位置等因素干扰，造成图像质量降低，进而导致检测识别等算法性能下降。因此，作为交通图像处理的首要任务，图像增强与复原至关重要。本节根据是否需要手工设计特征类型，将智慧交通图像增强与复原方法分为基于手工特征和基于深度学习方法，如图2所示。

图2 交通图像增强与复原Fig.2 Image enhancement and restoration in ITS

2.1.1 基于手工特征的图像增强与复原

根据增强空间和色域感知不同，基于手工特征的图像增强方法可以分为空间域法、变换域法和颜色恒常性法。空间域图像增强又称为基于空间域的图像增强方法通过线性或非线性变换，直接对构成图像的空间域像素做增强处理。常用方法有基于对比度拉伸的灰度变换法(Ooi和Isa，2010)，通过灰度变换函数，将源图像中的像素灰度值映射到目标图像；基于灰度分布范围的直方图均衡化方法(Hummel，1977)，通过增大原始图像灰度值差别的动态范围，达到增强图像对比度的目的；基于图像平滑和锐化的局部运算法，根据图像的局部特征差异性，对不同区域进行不同的增强。近年来，涌现出大量针对智慧交通系统改进的空间域图像增强算法，例如，Gu等人(2015)利用灰度变换法，将RGB三色通道像素对比度拉伸，然后转换到HSV(hue, saturation, value)空间中处理，有效去除城市交通图像雾霾，并保持了图像的颜色明暗度；Møgelmose等人(2015)采用对比度受限自适应直方图均衡化方法对交通标志颜色进行归一化操作，提高了复杂交通道路的停车标志识别精度。

与空间域的像素增强不同，基于变换域的图像增强方法通过傅里叶变换、小波变换、主成分变换和颜色空间变换等手段，将空域图像转换到频率域中进行增强，最后转换回空域显示。变换域增强方法利用特定域分量对图像进行增强，相较于空间域局部增强，变换域图像增强具有全局性优势。交通图像主要受雨、雾、黑夜和光晕等因素影响，检测目标边缘容易模糊，利用不同频率差异处理边缘区域，可以有效地提升交通图像质量。例如，德国宝马公司提出了一种基于边缘自适应Gabor函数的交通标志检测算法，有效提高了交通标志边缘提取能力(Park和Kim，2013)。

空间域法和变换域法均基于物理特性，而人类对环境光线的感知并非严格按照物理特性，存在视觉保持特性。因此，基于颜色恒常性法的图像增强应运而生。颜色恒常是指人类视觉对因光照而色变的物体仍然保持不变的知觉特性，常用方法有最大RGB (Buchsbaum，1980)、Retinex理论(Li等，2018)、色域映射(Land，1986)等。Retinex是基于颜色恒常性的人类视觉感知解释性模型，在动态范围压缩、边缘增强和颜色恒常3个方面达到平衡。Yu和Zhu(2019)根据Retinex理论，通过高斯函数估计光分量，采用加权导频滤波器约束光晕和块效应参数，增加了夜间交通图像的边缘丰富度，保持颜色一致性。Wang等人(2018)提出了一种基于物理模型和多尺度Retinex色彩复原的图像增强算法，保留了足够的图像细节, 解决了交通雾天图像退化问题。色域映射法根据RGB通道的局部和全局色彩映射关系，对图像色域通道进行变换，最后将图像映射回目标色域。Nguyen等人(2014)根据最大化原则设计自动白平衡算法，有效地增强了交通图像的光源感知，拓展了图像色域，去除了图像失真。

基于手工特征与机器学习的交通图像增强方法通常基于先验知识，对图像的亮度、对比度和色域等进行处理，以期达到图像增强的目的。然而，交通环境复杂多变，噪声较多，基于手工特征的方法容易受到干扰。随着深度学习的发展，通过深度网络学习样本的深层特征，提取的抽象特征鲁棒性更强，泛化能力更好。因此，基于深度学习的交通图像增强方法逐步兴起，受到越来越多研究人员的关注。

2.1.2 基于深度学习的图像增强与复原

在智慧交通领域，一些基于深度学习的改进图像增强算法得到了广泛的应用。Li等人(2021a)提出了一种基于卷积神经网络(convolutional neural network, CNN)的弱光增强网络(light enhancement net，LENet)，通过生成弱光下成对的图像，增强了自动驾驶夜间的道路感知；Engin等人(2018)和Jiang等人(2021)利用生成对抗网络(generative adversarial network，GAN)在无监督交通图像场景下分别提高图像的纹理感知和弱光自适应能力，减少了交通图像失真，模型具有较强的泛化能力。此外，由于基于手工特征方法和机器学习方法在图像增强领域具有不同的优势，因此通过结合不同类型增强方法的优势并按照元素、特征和决策进行融合，增加模型输入多样性，使图像增强表现更为全面，例如Kuang等人(2017)融合卷积神经网络(深度学习法)、梯度直方图(空间域法)和局部二值模式(变换域法)提取的特征，采用支持向量机训练权重，根据权重将每个特征加权融合，有效地提升了夜间车辆检测清晰度。

国内的交通图像增强起步相对较晚，国外已在基于手工特征的图像增强领域深入研究多年。随着深度学习的兴起，国内针对交通图像的增强研究逐渐深入，并取得了一定的研究成果。由于基于深度学习的方法计算复杂度高，图像增强的实时性问题一直困扰着自动驾驶的突破。因此面向智慧交通的图像增强算法快速、轻量化是目前也是未来的主要研究方向。

通过图像增强与复原，有目的地强调或修复图像的整体或局部特性，扩大图像中不同物体特征之间的差别，可为之后图像分类与目标检测的效果奠定基础。

2.2 交通图像分类与目标检测

目标检测旨在从图像中已知的预定义类别中识别出目标实例的位置。在智慧交通领域中，目标检测是为了从图像或视频中定位和识别出交通目标。因此，检测器性能的好坏将直接影响后续的目标跟踪、动作识别以及行为理解等中高层任务的性能。

如图3所示，经过数十年的发展，交通图像的目标检测算法可以分为两大类别：基于手工特征的目标检测，以及基于深度学习的目标检测。

图3 交通图像的目标检测Fig.3 Image object detection in ITS

2.2.1 基于手工特征的目标检测

早期的目标检测算法大多是基于手工特征构建，计算简单灵活，但该方法缺乏有效的图像特征表达。因此设计更加多元化的检测算法，弥补手工特征表达能力的缺陷，同时减少算法计算复杂度，使目标检测更加准确、快速。

2001年，Viola和Jones(2001)跨时代地提出了VJ(Viola-Jones) 检测器。VJ检测器在极为有限的计算资源下第一次实现了人脸的实时检测，速度是同期检测算法的几十甚至上百倍。VJ采用了最传统的滑动窗口检测，遍历图像中的每一个尺度和像素进行目标检测。随后Dalal和Triggs(2005)与Zhu等人(2006)分别提出了基于线性分类器与级联决策分类器的方向梯度直方图(histogram of oriented gradient, HOG)检测器。HOG是在梯度方向直方图特征基础上的又一次重要改进，是所有基于梯度特征的目标检测器的基础。2008年，Felzenszwalb等人(2008)提出了可变形部件模型(deformable part-based model，DPM)，首先将目标整体的检测问题拆分并转化为对模型各个部件的检测问题，之后将各个部件的检测结果聚合，从而得到最终的检测结果，完成“由整到分，由分到整”的过程。

2.2.2 基于深度学习的目标检测

基于手工特征的目标检测算法的难点在于：目标形态各异、大小不一，图像的任意位置都可能含有目标。此外，对于弱小目标和模糊目标的检测也是一个难点。目标检测使用矩形框来定位目标，由于目标物体的形态和大小的差异，导致矩形框也具有不同的宽高比。此时，若采用早期的滑动窗口与图像缩放相结合的方法，检测效率不足的同时检测成本还会很高。尤其在智慧交通领域，已难以满足检测对性能和速度的要求。

基于深度学习的目标检测方法摒弃了传统检测算法适应性较差、对背景模型要求苛刻、特征提取不稳定和检测实时性较差等缺点，使检测模型在精度和速度方面都有了很大的提升。目前，基于深度学习的目标检测方法主要分为两大类：一是基于候选区域建议的双阶段目标检测算法，二是基于回归问题与一体化卷积的单阶段目标检测算法。第1类首先由特定算法生成一系列候选框，然后通过卷积神经网络对样本进行特征提取与分类，最后进行边界框的定位，代表作有R-CNN(region-convolutional neural networks)等检测算法;第2类则不产生候选框，直接基于一体化卷积，将目标检测转化为回归问题处理，经典的算法有SSD(single shot multi-box detector)和YOLO(you only look once)系列等。

1)基于候选区域建议的2阶段目标检测算法。2013年，Girshick等人(2014)提出了R-CNN检测算法，在基于深度学习的目标检测领域取得了重大突破，为后来的深度学习目标检测方法奠定了基础。此后，He等人(2015)在2014年提出了SPP-Net(spatial pyramid pooling-net)，用来解决卷积神经网络只针对固定尺寸图片才能进行特征提取的问题。通过添加金字塔池化层，实现任意大小、任意长宽比区域的特征提取，检测速度也达到了R-CNN的38倍。2015年，Girshick(2015)在R-CNN和SPP-Net的基础上又提出了Fast R-CNN算法。其主要解决了R-CNN 中2 000个候选框都要提取特征，从而导致计算量过大的问题。Fast R-CNN训练速度达到了R-CNN的9倍，检测速度为R-CNN的200倍。同时，2015年，Ren等人(2017)更进一步地提出了Faster R-CNN算法。这是第1个真正意义上的端到端深度学习检测算法，也是第1个准实时的深度学习目标检测算法，其速率达到了17帧/s。Faster R-CNN主要解决了候选框需要使用选择性搜索方法离线计算、以及耗时长、无法实现端到端的问题，通过利用候选区域生成网络，将外部基于候选区建议的检测算法融合到了同一个网络中实现，并在VOC07(visual object classes)上将mAP(mean average precision)由70.0%提升至78.8%。2017年，Lin等人(2017b)在Faster R-CNN的基础上提出了特征金字塔网络(feature pyramid networks，FPN)检测算法，通过前馈并融合前层的特征图像，大幅提升了对小目标以及尺度分布较大目标的检测精度。

近年来，在智慧交通系统中，基于深度学习的目标检测算法也在不断地进行针对性改进。卷积神经网络是目标检测算法的核心骨架，针对神经网络本身的阈值选取问题，Cai等人(2018)首先提出了Cascade R-CNN算法，针对IoU(intersection-over-union)阈值进行改进。此后，在其研究基础上，Chen等人(2021a)针对Cascade R-CNN在交通领域的应用做了扩展，提出一种基于输入伪图像的学习方法——级联金字塔R-CNN，提高了2维激光雷达在车辆目标检测领域的精度信息，为弥补与3维激光雷达的差距提供了可能。此外，车辆检测与3D场景建模一直是智慧交通领域目标检测的热门研究方向。其中，Shao等人(2021)在Faster R-CNN的基础上，提出了针对交通系统中的视觉同步定位和映射(visual simultaneous localization and mapping, vSLAM)的提升方案，引入对应的对极几何来确定相机和3D场景的轨迹，帮助 vSLAM 从不同角度在地图上准确而稳健地定位。同年，Li等人(2021b)提出了一种基于R-CNN的改进 3D 对象检测方法，并在 KITTI 3D(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)数据集上实现了 96% 的 mAP，比当时最先进的检测器准确度提高了3%。

车辆检测一直是智慧交通系统中目标检测的核心与重要研究方向，是车辆结构化分析的首要任务(赵耀 等，2021)。车辆检测不仅包含运动模型的检测，在图像处理领域，还包含车辆颜色、标志等特征的识别。在针对车辆运动模型的视角问题上，Huo等人(2016)提出了将车辆的多视图分类视为以视图(后部、前部和侧面)为属性的属性预测问题，在现场捕获的车辆数据集上进行的实验，获得的车辆类型分类的准确率约为83%，属性预测的准确率超过90%。在车辆颜色识别问题上，Tariq等人(2021)利用深度学习算法检测车辆和颜色的分类，该方法基于Faster R-CNN调整特征，取得了良好的结果。同时，这项工作还收集了大量相关车辆的数据集，在测试数据上实现了95.31%的准确率。此外，在车辆标志识别问题上，Murugan等人(2019)针对不同的车辆标志进行分类，提出了基于深度学习的循环卷积神经网络(recurrent-CNN)，对精度及敏感度均有所提升。

2)基于一体化卷积的单阶段目标检测算法。针对双阶段检测器实时性较差的问题，虽然可以通过减少区域建议的数量或降低输入图像的分辨率等方式达到提速，但是迄今为止依然没有得到质的提升。因此，学者们提出了单阶段检测算法，将目标检测转化为回归问题，在对检测精度进行一定的妥协下，通过一体化卷积真正实现端到端的实时检测。

2015年，Redmon等人(2016)首先提出了YOLO算法，解决基于深度学习的目标检测算法速度慢的问题。该算法在GPU上速度为45帧/s，而快速版本更是达到了155帧/s。YOLO放弃了候选区域建议，直接将整幅图像作为卷积神经网络的输入，并仅通过一次前向传播直接得到目标包围框的位置和目标的类别。但其精度与Faster R-CNN相比有所下降，尤其是对小目标检测效果较差。针对这些问题，Liu等人(2016)提出了SSD算法。SSD算法吸收了YOLO速度快和RPN(region proposal network)定位精准的优点，同时采用了RPN中的多参考窗口技术，在VOC07上取得了接近Faster R-CNN的72%的mAP，同时达到了58帧/s的检测速度。针对单阶段检测器的精度问题，Lin等人(2017c)在2017年提出了Retina-Net检测模型。通过引入聚焦损失函数，降低网络训练过程中简单背景样本的学习权重，调整图像的目标—背景数据分布，使得该算法可以做到对难样本的高精度检测和对网络学习能力的合理性分配。

近年来，国内外智慧交通发展迅速，YOLO算法也在不断地进行具有针对性的改进。Tian等人(2020)将注意力机制引入YOLOv3中，使YOLO算法在目标检测的精度和适应性上取得大幅提升，在KITTI和BDD100K(Berkeley Deep Drive)数据集上分别提升了2.58% mAP及2.63% mAP，同时保证了模型的实时性(大于40帧/s)。经过几年的发展，YOLO经历V2，9000，V3等各代版本，Bochkovskiy等人(2020)提出了最新的V4版本，在MS COCO(Microsoft common objects in context)数据集上达到了43.5%的 mAP，在 Tesla V100 上的实时速度约为 65帧/s。Dewi等人(2021)在YOLO V4的基础上，针对世界上大多数国家的交通标志数据集较少的问题，引入生成对抗网络(GAN),生成更为真实且多样的训练图片以补充图像的实际排列，在混合车牌数据集上识别率达到了89.33%。随着深度学习的发展，基于YOLO的算法层出不穷，如YOLOv5(Benjumea等，2021)，YOLOX(Ge等，2021)，YOLOF(Chen等，2021b)等不断地提高交通目标的检测精度。此外，面对车载计算量负载瓶颈的问题，Chen等人(2021c)提出了基于深度学习的边缘节点流量检测方案。并将车辆检测网络和多目标跟踪网络迁移部署在边缘设备上Jetson TX2平台，验证了其正确性和效率性。

除YOLO之外，Kanimozhi等人(2019)提出了一种基于SSD算法的物体快速检测方法。此后，Shuai和Wu(2020)在此基础上，提出了针对智慧交通系统的基于Batch Norm的SSD算法，在检测精度上获得大幅提升。2021年，Guo等人(2021)设计了针对复杂交通场景改进的SSD检测器，利用单数据放大方法对原始数据进行色域变换和仿射变化，生成新的数据类型，并利用学习率自适应调整算法提高检测器训练效率，达到处理速度55.6 ms/帧，准确率为98.53%，能够准确识别实际道路场景中的多个物体、小距离物体和重叠物体。

目标检测偏向于单帧物体定位与识别，然而实际交通场景复杂，遮挡、多帧目标识别以及跨镜等目标关联性的问题无法直接通过目标检测方法解决。以目标检测为基础对目标进行跟踪是智慧交通系统中的重要应用。目标跟踪一般由4个基本部分构成：特征提取、运动模型、外观模型和在线更新机制。而其算法则主要分为两类：生成式模型与判别式模型。

生成式模型是通过在线学习方式建立目标模型，并使用模型搜索重建误差最小的图像区域，完成目标定位。这一类方法没有考虑目标的背景信息，图像信息没有得到较好的应用。比较著名的有卡尔曼迭代搜索程序来关联不同角度的检测和轨迹。该过程迭代地分配状态并估计和检测轨迹的非确定状态。Steyer等人(2020)提出了一种新的基于网格的对象跟踪方法，避免了因传感器融合、数据关联和时间过滤引起的信息丢失，这使得交通环境中移动对象的通用多传感器检测成为可能。

随着深度学习技术在目标检测领域的研究深入，出现越来越多的新理论、新方法。基于候选区域建议的二阶段方法和基于一体化卷积的单阶段方法两者相互借鉴，不断融合，取得了很好的效果。国外在交通目标检测领域起步较早，提出了诸多经典的目标检测算法，并拥有许多著名的数据集进行训练与验证。但近几年来，随着国内目标检测领域的大力发展，不但对已有目标检测算法提出了诸多改进，且已存在不少针对国内智慧交通系统的优秀数据集与优化检测算法。

2.3 交通图像语义分割与实例分割

智慧交通系统需要高精度的环境感知，通过目标检测与识别无法检测如车道线、路牌标志等道路标记和交通标志信息，因此需要语义分析方法支持目标轮廓的分割与识别。语义分割根据场景语义信息实现像素级别的图像分类，不同的语义类别分配不同的颜色。实例分割则是在语义分割的基础上进一步细化，对相同类别的实例提供不同的标签，同时解决了目标检测和语义分割问题。

语义分割相较于实例分割起源较早，由于计算机计算能力有限，早期语义分割算法即图像分割，目的是将图像分解为包含不同语义特性的子区域。随着全卷积网络的出现(Long等，2015)，深度学习增强了语义分割和实例分割的边界推理能力，并且在交通领域应用广泛。根据图像提取语义特征类型不同，本节将语义/实例分割分为基于手工特征的方法和深度学习方法，如图4所示。

图4 交通图像语义分割Fig.4 Image semantic segmentation in ITS

2.3.1 基于手工特征的语义分割

早期语义分割的目的是将目标与背景分离，通过提取图像的低级特征进行分割，如外观特性、纹理、颜色和形状(Yen等，1995)等，适用于分割目标和背景灰度差距较大的图像，虽然简单快速，但是鲁棒性较差，对复杂图像分割效果较差。基于特征描述子如Canny算子(Li等，2009)、Sobel算子(Gao等，2010)、HOG(Carreira等，2012)等相较于低级特征提取方法，在轮廓灰度敏感性方面有了明显的提高，但是噪声的影响大幅降低了该类方法的稳定性。基于图论的Graph Cut(Boykov和Jolly，2001)、GrabCut(Rother等，2004)、CRF(conditional random field)(Vezhnevets等，2012)等算法较为复杂，对算力要求较高，并且需要交互分割。这些方法都是手工设计的无监督学习方法，分割出来的结果并没有语义信息的标注。随着计算力的提升，基于浅层机器学习的低级语义分割方法逐步得到了关注，如支持向量机(Carreira等，2012)和随机森林(Ravì等，2016)等模型可以获取图像低级语义信息，逐步替代了基于手工特征的图像分割算法。

基于特征的语义分割方法通常提取图像的像素信息，然后将特征输入到分类器中进行预测和分类。Scharwächter和Franke(2015)提出了一种像素级语义标签方法，通过颜色、纹理和深度特征创建语义标签，并用随机森林分类交通场景，深度特征提高了交通场景的语义分割能力。基于像素的语义分割方法根据先验特征处理图像，忽略了像素关联性。而基于概率图模型方法提供了更加有效的空间一致性，通过最优化求解，取得最好的分割效果。CRF是一种常用的判别式概率模型，具有状态转换概率自我比较和长间隔序列上下文关联等优点，适用于视觉场景理解。Pont-Tuset等人(2017)综合轮廓检测以及CRF的优点，提出了一种多尺度组合算法，使图片处理时间缩短到5 s以内，并且对道路重合对象的多尺度分层分割效果显著。

基于手工特征语义分割方法利用图像表层信息仅仅能满足简单交通场景，无法对现实中的复杂场景做出解释。与手工特征语义分割方法相比，基于深度学习的语义分割方法能够获取更深层次图像语义信息。

2.3.2 基于深度学习语义分割

随着深度学习的发展，交通语义分割和实例分割取得了突破性进展。Long等人(2015)于2014年首次提出了基于深度学习的语义分割方法—全卷积神经网络(fully convolutional network, FCN)。此后，提出了一系列交通图像深度语义分割方法，实现了更为精准高效的语义分割。本节根据语义分割原理将其分为4类：FCN类语义分割法、编解码架构方法、特征表征分辨率提升法和多尺度/多层级特征融合法。

FCN是最早出现的深度语义分割算法，首先通过下采样获取图像的高层特征信息，然后通过上采样恢复分割图像得到最终的语义分割结果。虽然FCN实现了CNN分类模型到语义分割模型的转变，但是图像经过池化后，丢失了部分像素空间位置信息，并且未能考虑图像的上下文关联，局部和全局特征未能得到有效的统一。因此，根据FCN的改进网络不断出现，包括DeepLab (Chen等，2014)、CRFasRNN (Chen等，2018)等。这些方法通常对FCN的全局感知能力进行调整，改变模型感受野，增强模型的推理能力。

除了对卷积感知优化外，另一种方法是基于编解码架构的语义分割模型。通常情况下由对称的编码器和解码器组成，编码器通过减少特征映射空间分辨率以获取图像的深层语义特征，解码器在恢复空间信息的同时推理每个像素的语义类别。基于编解码架构的语义分割模型主要有U-Net (Ronneberger等，2015)、SegNet (Badrinarayanan等，2017)、DeconvNet (Noh等，2015)和ENet (Paszke等，2016)等。

无论是基于FCN的方法还是编解码方法，都是通过增强降采样的层数扩大感受野，然而降采样同样会丢失图像中的细节信息。基于特征表征的分辨率提升模型可以在不改变卷积参数的情况下，增大感受野，尽可能地保留细节信息。常用模型有dilated CNN (Yu和Koltun，2016)、DCN (deformable convolution net) (Dai等，2017)。深度网络可以通过学习不同尺度的特征表示来进行数据增强，因此，利用多尺度表征可以提高相同场景中不同尺度目标的识别能力。基于多尺度多层级特征融合模型有LRR (Laplacian reconstruction and refinement) (Ghiasi和Fowlkes，2016)、RefineNet (Lin等，2017d)和PSPNet (pyramid scene parsing network) (Zhao等，2017)。

基于深度学习的语义分割算法在交通领域已有广泛应用，尤其是给自动驾驶带来了极大的环境感知能力。Ronneberger等人(2015)提出了U-Net，利用少量的数据进行训练，在512×512像素的图像上的分割时间小于1 s，有效增强了道路交通的高分辨率语义分割。Zhao等人(2017)提出一种基于金字塔池化模块的PSPNet模型，该模块通过一个全局池化层和3个不同的局部不重叠池化层捕捉全局和局部的特征，对交通小目标和相似标签有更好的分割效果。Yang等人(2019)提出了一种轻量级网络NDNet (narrow while deep network)，使用双层深度可分离卷积提取特征，参数量减少为原来的1/2，并且在城市交通数据集上获得了65.3%的mIoU，使交通图像的边缘分割更加细节化。

随着深度学习在语义分割领域的兴起，大量高性能分割成果涌现，国内及时抓住了这次发展机遇，诞生了许多优秀的成果。随着自动驾驶技术的发展，受算力影响，现有方法实时性无法得到保障。在边缘计算技术的支持下，算力由中心云向网络边缘下沉，轻量、实时的交通图像语义/实例分割算法是未来研究的重要方向之一。

3 面向智慧交通的边缘计算技术

随着智慧交通系统的兴起与发展，对数据处理能力提出了越来越高的要求。由于交通环境的诸多独有特性，智慧交通系统的数据处理存在以下几大特点：1)数据信息量庞大。智慧交通系统为实现智慧交通管理、自动驾驶和车路协同等重要应用，需要大量数据的支撑与协助，尤其在交通高峰时期，采集、处理及分析大量的实时数据将产生庞大的数据传输量。2)交通负载波动大。交通流具有随时间变化大、通信拓扑结构变化迅速等特点。3)数据共享能力需求高。交通信息的整合与共享是智慧交通统一协调和规划的基础。4)信息实时处理能力要求高。无论是自动驾驶和车路协同，还是智慧交通管理类的应用，都需要数据处理的高度实时性，以满足出行的安全性与高效性。5)数据处理稳定性要求高。交通系统关系着人身安全、经济发展与生活效率，智慧交通只有稳定地为出行者提供安全、畅通和高品质的行程服务，才能够保障交通运输的高安全性、高时效性和高准确性(Zhang等，2011)。

针对智慧交通系统在数据处理上的诸多需求，云计算逐渐成为最高效与可靠的解决方式。云计算是一种基于互联网的超级计算模型，将计算和服务资源集中起来，从而动态地提供和重新配置共享资源。然而，随着近年来人工智能的崛起，智慧交通系统的各项技术也逐渐与人工智能相结合，尤其在深度神经网络高度参与的交通图像处理领域，将产生高度复杂与烦琐的计算任务。此时，若将此类海量的计算任务转至云计算服务器完成，虽然可以解决移动终端资源有限问题，但当过多设备都依赖云计算时，会不可避免地造成计算负载过大，效率降低，等待、排队和处理时延均增大等诸多问题，无法有效满足智慧交通系统的需求。

因此，为应对各领域日益严峻的数据处理的挑战，边缘计算作为一种新兴的计算模式陆续提出。边缘计算可以看做是一个运行在移动网络边缘的、运行特定任务的云服务器，是5G的关键技术之一，其核心是通过将边缘服务器与用户面功能(user plane function, UPF)网元一同“下沉”至更接近用户的无线接入网侧，为移动网络边缘提供IT服务环境和云计算、存储能力，以合理高效地分配计算任务；并通过在移动网络边缘执行部分缓存、数据传输和计算来抵消与回程相关的延迟，最终可以实现毫秒级的各类应用。Emara等人(2018)通过实验证明了交通系统中边缘计算相对于中心云计算的时延优势，在不同场景的多指标测试中，边缘计算相对于中心云计算，其通信时延均有80%左右的大幅缩减。

随着近几年的蓬勃发展，在智慧交通领域，边缘计算技术主要围绕计算任务卸载与数据缓存两大应用方向，并结合大数据、人工智能等技术，针对交通系统不同的业务需求提供不同的应用与服务。本节重点围绕以上3点进行分析与讨论。

3.1 智慧交通系统计算任务卸载

在智慧交通系统中，边缘计算通过将计算任务卸载至边缘节点，从而缓解单车与中心云服务器的计算压力，以满足高算力、低时延任务的需求。此外，智慧交通系统终端的一些移动设备功耗较低，将计算任务卸载至边缘也可以同时降低终端的能耗、提高续航时间。

然而，边缘计算节点的计算资源和通信资源是有限的，计算任务是在本地执行还是卸载到边缘节点或云端，移动设备应进行仔细的规划，以达到任务完成时延最短的目标，这样的权衡与规划就是边缘计算中的任务卸载问题。因此，在实际部署中，需要规划每一个任务是在本地、中心云端还是边缘节点进行计算，从而利用最小的计算与通信代价，获得满足任务需求的最高效收益。此外，作为交通系统的独有特性，车辆节点的移动性和流量负载的时变性也对获取最优任务卸载决策提出了更多的挑战。对于计算任务卸载问题的研究，针对其优化主体的不同，主要可分为针对算法策略的优化与针对边缘服务器部署的优化。

3.1.1 算法策略优化

计算任务卸载问题一般以降低计算任务的总时延和能耗作为目标，因此相关研究一般通过综合考虑时延、成本、收发距离和通信开销等条件，设计最有效的计算任务分配策略，并对相应策略进行针对性优化，从而得到最优的卸载结果。在智慧交通领域，近年来国内外均有大量针对边缘计算任务卸载问题的研究，针对不同的场景和目标，通过设计不同的策略以降低计算任务的处理时延并优化系统的总体能耗。例如，Xu等人(2019)把计算卸载问题建模为多目标优化问题，提出了一种基于V2X通信的获取卸载路径的算法，使计算任务得以在原车和最终节点之间完成卸载，并采用非支配排序遗传算法III (non-dominateal sorting genetic algorithm III, NSGA-III)实现了延迟的降低和资源利用率的提高；Wan等人(2020)在5G网络下考虑计算卸载框架，将任务卸载问题建模为多目标优化问题，最小化车辆任务的卸载时延和卸载开销；Sun等人(2019)提出一种多目标车辆边缘计算任务调度算法，联合优化了通信和计算资源，有效缩短任务执行时间且具有高可靠性；Li等人(2019)提出一种负载感知卸载策略，利用该策略，车辆可以根据实时更新的MEC服务器负载分布预测开销并选择合适的服务器，仿真结果显示该算法最多实现65%的开销下降和几乎100%的任务成功率。

此外，策略与算法的优化同样重要，由于智慧交通系统的特定需求，算法复杂度和实时性是卸载策略优化的核心。其中，Zhou等人(2019a)提出一种低复杂度的分布式解决方案，通过优化分配计算任务的卸载比例,提高了低功耗终端能效；Huang等人(2020)提出了针对灵活子任务的动态任务卸载决策和计算资源分配策略用于降低能耗和丢包率，并根据不同的计算强度和传输队列分配MEC的计算资源，实现分配策略的实时性；Qi等人(2019)提出一种基于知识驱动的服务卸载决策框架，基于资源需求、网络状态、用户移动性和数据相关性，建立卸载策略，可以快速收敛并适用于不同的环境条件。

3.1.2 服务器部署优化

在智慧交通系统中，通常通过边缘计算，将任务卸载业务部署至通信基站附近或路侧边缘节点。然而，由于各交通主体具有较高的移动性，导致网络拓扑结构存在时变性，为固定节点的任务卸载业务带来巨大的挑战。因此，对于边缘计算服务器的部署也存在着诸多优化需求。其中，通过针对性的服务器部署，将计算任务卸载至空闲的车辆，能够利用周围车辆的计算能力更高效地完成计算任务。由此，Liu等人(2019)提出了一种车辆辅助卸载策略，通过把优化问题建模成半马尔可夫过程，利用深度强化学习方法设计了计算卸载和资源分配的最优策略；Huang等人(2019)针对停放车辆的空余计算资源，充分利用潜在计算能力，进一步扩大了网络资源容量，以确保任务可以具备实时性、规模的可伸缩性和执行的高效性；同样，Zhang等人(2020)基于斯塔克尔伯格博弈，也利用停放车辆的协助计算，从服务器部署角度优化了任务卸载问题。此外，Raza等人(2020)结合了各种边缘服务器的部署策略，设计算法将计算任务同时在本地、附近的车辆与路侧边缘计算节点上进行计算，并通过设置最大的可容忍时延和车辆的滞留时间，降低了计算任务的总时延。

3.2 智慧交通系统数据缓存

除计算任务卸载外，边缘计算的另一大主要应用是其数据缓存能力。在智慧交通系统中，同一区域中的车辆、行人等用户可能会同时向服务器请求如高精地图、交通指示信息等数据。由于交通数据的庞大性，如果此类数据均通过核心网下发，需要占用巨大的带宽，同时不可避免地产生较大时延，在许多场景下无法满足智慧交通系统的需求。因此，边缘节点通过其数据缓存能力，作为临时的数据存放点，将短时间内热门的数据进行存放，使交通系统中的各用户得以通过周围的边缘存储节点获取相应数据，从而大幅提高数据利用效率，降低通信开销与传输时延。

在智慧交通系统中，边缘计算在数据缓存方向的研究主要分为对缓存内容分发的优化以及对缓存内容隐私的保护。其中，缓存内容的分发主要通过优化数据缓存策略与算法，或优化边缘节点的部署方式，增加内容分发的精准性与高效性，降低分发时延与资源消耗。Qiao等人(2020)通过设计一种协作式边缘缓存策略，基于基站、路侧单元和车辆间灵活协作，在车辆边缘计算网络中联合优化内容存储和分发，相比于传统非协作边缘缓存策略，降低了系统开销和内容分发时延，提高了分发成功率；Pan等人(2019)提出一种不同域间分享信息的缓存策略，利用车辆移动性，将其中一部分车辆作为边缘节点，负责向周围有数据需求的车辆分发信息，降低了跨域服务时信息分发时延和路侧通信设备(road side unit, RSU)负载；同样，针对边缘缓存节点选取，Kanwal等人(2020)提出了一种大尺度数据迁移框架，通过神经网络选择可靠车辆作为数据节点，潜在地降低了后端网络传输负载。此外，对缓存内容的隐私保护，主要通过优化缓存策略，增加内容分发时的分级性与隐私性，同时设计针对性算法以应对边缘网络中各类窃听、攻击与欺骗手段。Cui等人(2020) 提出了一种保护隐私的数据下载策略，通过RSU对周围车辆下载请求进行分析，并将热门数据缓存在边缘节点车辆上，所需数据的其他车辆可直接从边缘节点车辆处获得内容分发，利用节点分散的方式对隐私进行保护。

3.3 智慧交通系统边缘计算的应用

智慧交通系统的广泛应用与迅速发展，对交通环境中涉及到的各项技术指标提出了日益严格的要求。边缘计算作为新兴的计算概念与技术，除计算任务卸载与数据缓存领域外，在智慧交通系统中的车辆碰撞预警、车辆定位、通信链路增强和交通图像处理等诸多方向均有针对性与引领性的应用。

车辆碰撞是最大的交通安全隐患之一，边缘计算技术可以通过边缘节点为各个交通参与者提供信息以预知未来风险，及时对可能发生的碰撞进行预警，进一步提升交通参与者的生命财产安全。Malinverno等人(2020)提出了基于边缘计算的碰撞避免算法(collision avoidance algorithm, CAA)和碰撞避免策略(collision avoidance strategy， CAS)，其中CAA用于预测行车轨迹和碰撞风险，CAS用于决策车辆是否需要采取措施避免碰撞，该算法在规避车辆碰撞方面获得了很好的性能提升。Vzquez-Gallego等人(2019)提出了MECAV(MEC-based cooperative collision avoidance)策略，并开发了一套基于移动边缘计算的碰撞避免系统，通过接收状态信息和预测道路风险，提前把预警信息发送给相关车辆，以避免车辆碰撞。此外，Yang等人(2019)提出一种短期交通预测模型，整合了交通信号灯模型和车辆速度模型，并利用低复杂度的半参数预测模型，达到了较高的预测成功率。

车辆的精准定位是交通管理、规划和安全预警等应用方向的前提，随着智慧交通系统中车辆数量的日益增加，各种业务对车辆的定位能力也提出了更高的要求。由于边缘服务器具有距离交通环境更近的优势，因此各定位设备与策略通过结合边缘计算，可以对车辆位置进行低时延的定位与实时性动态校准，从而全面提升车辆定位性能，获得更精准的实时定位信息。Liu等人(2020)通过结合雷达和基于边缘计算和云平台，提出一种快速定位架构，进行2维定位角度估计，并加强定位精度。

车辆高速移动所导致的节点时变性是交通系统的显著特点之一，因此保证通信链路的稳定性和控制网络中的信令开销是交通系统所面临的巨大挑战。边缘计算的兴起提出了一种新的链路增强方式，即将边缘节点作为中继节点进行数据转发，不但可以提高通信链路的可靠性，同时也能降低端到端时延。Zhang等人(2021)提出了AODV-MEC(Ad Hoc on demand distance vector-MEC)策略，该策略结合强化学习，将车辆移动速度、车辆节点能耗和预估的链路保持时间作为回报函数，利用MEC的中继转发能力，降低了控制开销和端到端时延，提高了通信链路的可靠性。Pang等人(2021)提出基于MEC的EH-V2VV2I(efficient hybrid-vehicle-to-vehicle and vehicle-to-infrastructure)和RV-SRM(relay vehicle selection and reputation management)两个通信策略，在稳定链路的同时，降低了通信时延，并提高了边缘服务器的吞吐量。

交通图像处理是智慧交通系统的核心技术之一，在深度神经网络得到深入应用的时代，边缘计算的介入，可以使交通系统更高效地完成图像处理的任务，以实现数据的实时性与准确性。Nikodem等人(2020)基于边缘计算，针对停车场或十字路口应用场景，提出一种目标检测和跟踪算法，可以直接运行在相机的嵌入式系统中，大幅减少通信带宽的占用。Su等人(2020)设计一种基于YOLO v3的驾驶员辅助系统，用于检测行人和骑手。利用边缘计算，提出的新架构在略微损失检测性能的前提下，可使计算量大幅下降。此后，Su等人(2021)又在此基础上提出基于多网络融合的嵌入式车辆边缘计算行人检测系统。

4 结 语

智慧交通系统充分融合了物联网、空间感知、云计算和移动互联网等新一代信息技术，充分结合人工智能与大数据，推动了交通领域更安全、高效、便捷、经济、环保与舒适的发展，带动了交通运输相关产业转型和升级。近年来，世界各国均在不遗余力地建设与发展智慧交通系统。预计到2025年，全球智慧交通市场规模将超过2 500亿美元。美国智能交通系统联合计划办公室每隔5年均会发布《智能交通系统战略规划》，以统筹其智慧交通领域发展的每一个五年计划。近五年，美国交通部将自动驾驶上升为国家重要战略，连续发布了4部自动驾驶指导政策，主要将关注点从汽车自动化延伸至公交、货运等。日本早在2006年便发布了《智能交通系统手册2006》。发展至今，目前日本的所有主干道已基本覆盖了智能交通的自动收费、车路协同和导航等功能，为进一步减少事故、解决拥堵、提高效率以及拓展新一代智能交通设备的服务打下坚实的基础。欧盟的智慧交通发展强调面向服务、高效节能。欧盟十分重视用户的服务需求，建立了“欧洲物流信息交换架构”，并在此框架下建立一致性的道路基础设施和相关的信息服务，如即时交通路况、即时路径规划和即时地图更新等。

中国自2008年建立中国智能交通协会以来，也一直在大力发展智慧交通建设。交通部于2019年颁布了《数字交通发展规划纲要》，随后中共中央和国务院颁布《交通强国建设纲要》，2020年3月，中共中央提出了发展“新基建”，大力推动以智慧交通设施与智能车辆相结合的智慧交通战略部署。未来我国智能交通系统发展将在基础设施建设、交通数据共享、智慧交通服务和智慧交通生态圈等多方面进行全面与快速地推进。

随着智慧交通的不断深化部署，作为智慧交通系统的重要研究领域，面向智慧交通的图像处理与边缘计算技术也将迎来更加严峻的挑战与更为广阔的发展前景。在面向智慧交通的图像处理领域中，尽管基于深度学习的图像增强与复原起步较晚，但是发展迅速，是未来交通图像增强的主题。尤其是轻量级增强网络，将为自动驾驶的实时处理提供可能。而基于深度学习的目标检测已经取得了很多重要成果，但同时也面临着诸多挑战，例如目标背景的多样性、动态场景的不断变化，对检测系统时效性和稳定性的要求也在逐渐提高。无论是在检测算法方面，还是硬件加速方面，目标检测都存在着许多难点和挑战。可以预见，在未来的发展中，基于深度学习的目标检测算法将主要围绕复杂多变环境下更精确、稳定和快速的目标检测策略寻求技术突破。在语义分割领域，现阶段语义分割已逐步成熟，但考虑到智慧交通以及自动驾驶实时性问题，轻量化和小型化将成为交通语义分割算法未来的发展方向。

在面向智慧交通的边缘计算领域中，虽然边缘计算已经展现出了优秀的性能，在特定场景下可以很好地完成各类任务。但是由于边缘计算节点的计算能力、存储容量和通信带宽仍然有限，所以在实际部署中，在面对大量不同的业务需求时，一个合理、有效、鲁棒的部署策略仍然是必须的。通过该部署策略，边缘计算节点可以智能地分配计算资源、存储容量和通信带宽，使整体的收益最大化。因此可以预见，未来的边缘计算将会进一步向分布式、智能化发展。边缘计算的结构将会由现在的模式变得更加灵活，计算节点将不只是指定的节点，任何有计算、存储和通信能力的节点都将可以成为边缘计算节点。本地计算与边缘计算在实际运行中将变得更加模糊，一个计算节点上可能同时存在本地的计算任务和协作的计算任务。不同的计算节点之间可以根据各自状态与性能的不同，自主地进行协作，共同完成各种任务。此外，数据处理、资源分配等算法也将进一步融入更高效的人工智能算法，这些算法将可以更加实时、准确地反馈处理结果。所有的计算节点将成为一个巨大大脑的一个个神经元，通过协作计算与传输来完成大量复杂的任务。在此基础上，边缘计算还将会寻求更加绿色低碳的运行方式，为未来的智慧交通系统带来更安全、舒适和高效的出行体验。

致 谢本文由中国图象图形学学会图像视频通信专委会组织撰写，该专委会更多详情请见链接：http://www.csig.org.cn/detail/2383。