乔波
南京莱斯信息技术股份有限公司 江苏 南京 210000
面对日益严峻的城市交通管理形势以及不断提高的城市交通管理要求。交通管理部门对面日益增多的交通数据,如何运用大数据技术对海量交通数据进行分析,深度挖掘数据价值,为交通管理业务决策提供支撑,成为交通管理发展的重点。本文重点探讨大数据技术在交通管理行业中的应用。
大数据技术核心意义在于对海量数据进行专业化处理,发掘数据价值,获得数据盈利。大数据技术主要包括数据采集、数据存储、数据处理、数据建模、数据分析、数据展示等能力。
(1)数据采集:数据采集是大数据的生命周期中的第一个环节,通过MapReduce等软件工具,搭建相关采集平台,采集各类多元异构的数据。
数据采集涵盖常见的数据库数据表、视图和数据接口等结构化数据的存储,以及照片、视频、音频等非结构数据的存储,通过数据源管理、任务调度、任务监控等功能实现数据全方位数据采集和数据清洗。
(2)数据存储:大数据存储根据不同的数据采用不同的技术路线,具体分为三种:结构化、半结构化和非结构化数据。
应根据实际业务需要,建立符合业务需要的标准数据资源目录及数据专题目录。数据完成采集后将保存至符合其业务逻辑的数据资源目录下,便于数据资源的保存、管理以及为后期的数据资源开放提供坚实的基础。
(3)数据处理:在数据存储的基础上,对多个异构的数据集进行清洗、转换,生成新的数据集,为后续数据分析、数据挖掘提供支撑。
(4)数据建模:在数据处理的基础上,根据业务应用,建立对应的数据分析模型,为数据分析提供支撑。
(5)数据分析:对数据建模基础上,进行假设检验、差异分析、相关分析、因子分析、聚类分析、快速聚类法与聚类法、判别分析等,分析海量数据的规律以及数据间的关联关系。
(6)数据展示:运用图表、图形、3D模型、时空演变等方式,动态展示数据分析后的结果。
交通管理行业历经数十年的发展,目前大部分城市的交通感知体系已基本建设完成,每天产生海量的城市交通数据,数据来源对象广泛、数据种类繁多。
首先,交通整体数据体量巨大,其中一二线城市数据体量已达PB级别,省级数据体量甚至达到EB、ZB级别。其次,交通管理数据种类繁多,主要分为结构化、半结构化和非结构化数据。再次,除了采集交通管理内部数据外,近年来也开始接入其他部门和交通相关的数据,如交通运输、公安部门数据。
面对海量的多元异构数据,传统数据采集、处理、分析等技术已经无法应对,制约了交通规划、信号优化、违法抓拍等交管业务的进一步发展。运用大数据技术,采集海量交通数据,在此基础上结合交通管理业务,进行处理、建模、分析、展示,为交通管理单位业务决策提供支撑,让管理单位对未来趋势有掌握,促进交通管理水平的全面提升[1]。
随着城市卡口数量的增多,每分钟车辆采集数据也随之增多,大中型城市高峰时期,每分钟过车可达10万次以上。
运用大数据技术,对海量过车数据实时采集、存储的同时,和城市车辆布控库、黑名单库、盗抢库等进行实时对比,实现每分钟亿次级别的分析,为交通管理部门发现嫌疑车辆、布控车辆。
在与实时数据进行对比的同时,大数据技术还能和历史数据进行对比分析,深度挖掘嫌疑车辆,为车辆实时布控报警、套牌分析、黑车分析、落脚点分析等业务需求提供技术支持。
随着路口交通设备增多(视频、卡口、各类检测器),互联网数据的接入,城市路口交通信息种类越来越丰富,数据量越来越大。如何融合、分析路口各类数据,优化路口配时方案,为区域级交通信号管控服务,成为交管业务的重点。
面对路口多源异构的海量数据,运用大数据技术,提取海量路口实时信息,对数据进行清洗、融合,结合历史数据进行分析,提供完善的路口配时方案,为路口、路线甚至区域级交通信号管控业务提供技术支持。
目前省级交通违法、事故数据将近十亿,且用传统Oracle数据库进行存放,查询统计耗时及长,传统数据分析方式难以对其进行分析挖掘。
利用大数据技术,融合省级海量违法、事故、驾驶人、机动车数据,对数据进行清洗、融合、挖掘分析,分析数据规律以及数据之间的关联,形成源头监管、风险隐患、违法高发、事故高发等业务专题,为省级交通管理违法、事故业务开展提供数据支持。
传统违法检测技术,只能检测机动车闯红灯、违停、路口变道等少量违法行为,难以满足现在交通管理需要。
运用大数据技术在传统检测的基础上,还可以分析车辆套牌、抛洒、非机动车、行人违法,同时还能实现车辆细节检测、目标跟踪等功能。解决了交通事件识别困难、识别率低等业务难点,为交通管理者提供了丰富准确的交通事件信息,为指挥调度、辅助决策等业务提供数据支撑。
将大数据技术与交警内控管理相结合,围绕“主动防控”,针对勤务与接处警,通过数据异常主动识别警员不合规行为,进一步加强执法规范化建设和队伍正规化建设,切实强化执法过程监督,充分发挥“数据”的作用,通过数据自动比对、全面考核、实时监管、智能预警,进一步提高交通管理的效率和安全性,提升城市品位和交通管理水平,在全社会营造文明执法、科技执法、规范执法的良好氛围,把路面执法管理工作做得更实、更细、更好。
大数据技术拥有传统技术无法比拟的数据采集、处理、分析等能力,通过和交管业务的紧密结合,在交通海量数据价值分析挖掘方向应用广泛、效果良好。未来需要不断提升大数据技术的各项能力,同时结合人工智能等技术,更好的挖掘交通数据价值,为交通管理决策提供更好的支撑,推动交通管理行业的进一步发展。