城市交通大数据资源中心平台的设计与实现

李旭芳

(厦门卫星定位应用股份有限公司，福建 厦门 361000)

1 引 言

城市交通系统是一个复杂的巨系统，涉及了人车路环等因素，它具备了一般大数据4V(规模大、种类多、价值密度低、速度快)的特点和痛点，如何有效搭建数据资源中心平台来管理并释放交通数据价值，全生命周期的追踪和监控交通数据，保障数据安全，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务，支撑城市交通应用，是难点，也是必然趋势。

本文设计的交通数据资源中心平台，构建了交通数据从“接数据→存数据→管数据→用数据”整个数据生命周期的统一可扩展的数据资源中心平台。它是以交通数据标准化为基础，整合城市交通管理部门、交通运输部门及交通企业的交通类数据，引入区块链技术，实现多源交通数据的统一接入、融合处理、存储管理、交换共享、可视化展现等服务，将数据应用于交通业务场景，提升数据服务管理效率，强化监管能力，促进业务协同，提升服务水平，为城市的交通管理工作提供数据支撑。

2 平台架构

平台在标准规范体系、网络安全体系与平台运行管理保障体系的基础之上，建设城市交通数据资源中心平台，提供统一的数据接入、融合处理、存储管理、数据管理、数据共享、数据可视化应用、标准数据接口等服务，满足内部业务应用数据支撑需求，同时为外部数据交换提供支撑，达到“用数据管理、用数据说话、用数据决策、用数据创新”。如图1的体系结构图，展示整个交通数据资源中心对数据全生命周期数据管理的过程示意图。

图1 平台体系结构图

3 平台各子系统的设计

整个平台设计了十一大子系统，分别是标准规范管理系统、汇聚接入系统、融合处理系统、数据存储中心、数据监测管理系统、数据质量管理系统、任务调度管理系统、数据监测管理系统、数据综合查询系统、数据可视化系统、数据共享交换系统。接下来，将按照平台对数据从汇聚接入到应用共享整个生命周期进行阐述。

图2 平台的系统组成图

3.1 交通数据汇聚接入

城市的交通数据资源大多分布在交通运输部门、交通管理部门、运输企业和个人手中，平台基于交通数据标准规范体系基础上，制订统一的数据接口标准，提供对不同部门、不同系统、不同接口方式的数据汇聚接入与传输，通过主流的采集工具kettle、Logstash、Telegraf以及实时数据传输框架MINA，将不同类型的数据存入多源数据库集中，做到高可靠、高性能、高扩展的数据汇聚接入，将散落的业务数据汇聚于数据资源中心平台，实现数据沉淀。

3.2 交通数据融合处理

通过融合处理发挥数据价值，实现多元异构数据源的关联和整合，通过数据融合处理，完成数据加载、转换、清洗、分层、质量分析、加密或脱敏、集成、归约等工作。

3.3 数据存储中心

在整个大数据存储中采用HADOOP大数据库+SPARK+关系型混合存储管理方案来发挥不同数据库的优势和特点，大数据通常用来描述数据集足够大、足够复杂的数据集，而区块链能承载的信息数据是有限的，主要应用在对数据安全要求比较高的结构化数据中。通过建立各类交通资源库，存储交通领域的大量交通信息，按照业务逻辑分类和数据模型组织存储海量数据，便捷调配存储空间，并提供完备的数据保护功能。按照数据的用途和功能定位将数据中心划分成不同库体：基础库、业务库、专题库、元数据库、轨迹库、视频库、地理库、共享库、目录库，支持业务的应用需要。

3.4 数据管理

针对交通数据管理，平台设计了数据资源目录管理系统、任务调度管理系统、数据质量管理系统、数据监控管理系统。其中数据资源目录管理系统：采用区块链数据库对数据资源进行管理，保证数据的安全和易用，从数据源头规范数据，明确数据来源、所有权、使有权和流通路径。任务调度管理系统：统一管理各种数据处理任务，对不同的处理任务(算法)采用不同的处理容器，按时(主动、定时、实时)、按需(灵活调度计算资源和存储资源)进行执行。数据质量管理系统：集标准制定、校验、修正、评估于一体，建立数据全流程的质理管理体系，针对采集、存储、共享、维护、应用、消亡整个生命周期里可能引发的各类数据质量问题，提供数据识别、校验、处理、监控、预警、报告、改善等一系列管理活动。数据监控管理系统：基于zabbix的二次开发，通过各类监控项对各系统运行情况、数据情况、支撑环境情况进行监控和预警，从而保障数据资源中心的正常运作。

3.5 数据应用

在交通数据应用方面，围绕数据查询、数据检索、数据服务展开对交通数据的专题应用。其中数据综合查询系统：提供灵活的交通数据集制作、方案制作和方案查询功能。可支持多种数据源；具有图形化编辑界面，无需编写代码也可快速生成多维数据统计，提供全部文本内容进行检索。通过制作交通数据集，构建面向公众提供交通信息服务的模块，如交通行业统计、出行规划、动态路径诱导、停车诱导服务、枢纽导航、实时公交信息、物流查询、维修驾培、违章查询、气象信息查询等便捷公众出行服务。

3.6 交通数据一张图

融合交通感知设备、车流人流物流情况、轨迹、视频、预警、行业监测数据于一体，运用GIS、大数据、北斗等先进科学技术，通过数据可视化系统丰富的交通行业模板及交通组件，灵活构建城市交通数据一张图。“一张图”既可宏观展示综合交通运行整体状态，又可分层展示交通专题要素，并结合地图应用进行细节查阅、预警提醒、指挥调度。

3.7 数据共享

数据共享交换系统在实现数据统一口径和集中管控后，将融合处理后的数据向各业务部门开放共享，开展数据和应用交换，满足不同系统间的信息共享与业务协同需求，实现数据间、部门间的关联互动，加强共享服务，促进业务协同。

4 应用实例

本平台已应用于厦门，是厦门市城市交通大数据体系建设中数据资源中心平台，支撑城市交通大数据分析应用，平台支持交通运输部门、交通管理部门、交通企业等多部门、多来源、多格式、多元的数据汇聚和标准化，目前已接入各类车(船)累计超过10万辆，每天汇聚车辆定位数据、RFID、视频监控、停车场、易通卡等交通数据约2亿条，具有智能高效海量数据的处理、查询、分析、监测能力，提供跨部门、跨网络、跨平台数据共享以及数据安全监管。

5 结束语

城市交通大数据资源中心平台基于高性能大数据分布式架构，汇集海量多源的交通数据，提供数据汇聚、集中存储、高效处理、数据管理、分析应用、数据共享、数据可视化的数据全生命周期管控和服务。平台未来可在交通大数据的基础上，将区块链技术应用于更多的场景，提供数据区块链服务，更加智能化的应用交通数据，挖掘更深层次的数据价值，促成平台型的合作，推广平台的应用。