交通数据中心数据整合与综合数据库的设计研究

杜 勇 李 军

（北京市交通信息中心 北京 100073）

随着交通信息化建设的不断深入，数据中心建设的核心是通过交通数据的整合，消灭“数字鸿沟”［1］和“信息孤岛”，促进各部门信息资源的共享共用，为综合应用提供数据支撑［2］，进而提高政府部门的管理和服务水平。因此，数据整合和数据的综合应用是数据中心建设的重点内容。本文以北京市交通行业数据中心建设为例，着重探讨交通数据中心的数据整合与综合数据库的建设原则、流程、策略、框架及结构等技术环节。

1 数据中心总体设计

1.1 总体框架

完整的数据中心一般由8个部分构成：基础环境、业务系统数据库（源数据库）、共享交换平台、中心数据库（信息资源库）、数据应用、标准规范、安全体系和管理运行机制［3］。其总体框架见图1。

图1 数据中心总体框架图

1.2 总体思路

数据中心建设通过构建统一的数据资源平台，定义全行业交通数据的交换存储策略、基础数据标准；调度、监控全市各业务系统的信息流转，根据需要为各单位之间提供数据交换，建成全行业交通基础性、战略性的数据资源库，实现重点交通信息资源的集中管理，从而为综合应用系统提供数据支持。

（1）根据需求分析整理汇总现有数据及需补充采集的数据，明确数据采集的目的、来源、管理机构、采集方式等，为制定科学合理的数据交换与整合策略奠定基础。

（2）根据数据来源、分布情况以及数据交换需求，确定适当的数据交换方案，搭建全市交通部门统一的数据交换平台。

（3）根据部分需要整合的数据，针对数据的不同结构、类型及内容，制定合理的整合方案。

（4）根据数据交换和整合方案以及应用系统的数据需求，进行基础数据库和主题数据库的内容设计，进而形成全市统一的交通数据资源平台。

2 数据整合研究

2.1 数据整合原则

数据整合是交通行业数据中心建设的主要工作内容之一，也是建立综合数据库的基础［4－5］。综合数据库不能无原则地抽取、处理和存储各业务系统的所有信息，而应当根据实际需要和具体情况，有重点、有选择地整合有价值的信息。需重点整合的数据如下：

（1）管理决策所需数据。着重整合行业管理决策及业务工作所需要的、关键的综合性数据。例如，省际客运售票情况统计信息，出租车空驶比率信息。

（2）公众服务所需数据。社会公众关注的交通状况信息，例如，公交换乘信息、占道施工信息等。

（3）共用数据。着重整合跨部门、跨业务的应用（2个或2个以上应用）所需要的共用数据。

（4）最终结果信息。有针对性地整合各业务系统最终的统计、分析和处理结果，不整合各业务系统的过程信息。例如，针对运输局审批系统，数据中心不抽取审批流程及各个环节的审核意见，而是采集最终通过审批的人、车、户的基本信息。

2.2 数据整合策略

北京市交通行业数据中心数据整合涉及三级交通管理部门，涉及的部门广、业务种类多，而各级部门对数据的内容、数据的颗粒度以及数据组织方式等要求各不相同，造成数据整合难度相当大。采取何种策略，使得数据整合既能适应两局一队行业管理的需要，又能满足交通决策和统一的公众服务需要，是需要重点解决的问题之一。

综合考虑管理体制、信息安全、集约投资等多种因素，数据中心整合策略为：按照统一的标准，进行2级整合，数据存储采取“分布集中式”。

第一级，根据路政管理、运输管理和执法管理的行业管理需要，按照一定的业务逻辑对相应系统数据进行采集、处理和存储，分别建成路政基础库、运输基础库和交通执法基础库。

第二级，按照决策、公众服务以及市级和部级数据共享的需要，从路政基础库、运输基础库、交通执法基础库和交委内各系统中再次采集、整合数据，建成综合数据库。3个基础数据库和综合数据库共同构成“分布集中式”的中心数据库。

2.3 数据整合方法

数据整合是一个相对复杂的过程，一般需经过4个阶段：数据梳理、数据采集和校验、数据分析和转换、数据集成和存储。数据整合流程方法见图2。

图2 数据整合流程方法

（1）数据梳理。理清各业务系统所涉及的业务流程及数据流，确定唯一的数据源。

（2）数据采集和校验。利用共享交换平台，对第一数据源的数据进行采集，进行完整性检验，并去除重复数据。

（3）数据分析和转换。按照业务逻辑和统一的数据标准进行格式转换。

（4）数据集成和存储。按照数据集成逻辑，对多源数据进行集成处理后存储到中心数据库。

2.4 数据整合内容

综合数据库信息主要来源于各个业务部门和相关单位。数据整合需要按照统一的信息资源目录标准及编码标准，从其业务数据库中抽取相关数据，经过两级整合后，建立统一的信息资源数据库。

3 综合数据库设计研究

综合考虑交通行业领导决策、业务人员业务管理、社会公众出行及信息资源共享交换的需要，在整合接入业务系统数据的基础上，进行业务梳理和目录编制，按照统一的目录和数据标准，结合需求对原始数据进行进一步的梳理和加工整合，构建交通信息资源数据库（综合数据库），并通过数据动态分析系统、各类业务应用系统、交通委网站和公众出行网站为各级领导、管理人员和社会公众提供丰富、详实的交通信息。

3.1 逻辑框架设计

交通信息资源整合平台建设从逻辑框架层面主要分为现有业务数据资源梳理、数据交换和整合、综合交通信息构建和数据交换服务4个部分。

（1）业务数据资源梳理。现有数据资源是来自北京市交通委相关处室、运输局、路政局以及执法总队的相关业务系统。对于这些数据，需要了解数据库结构、数据元素、数据结构、数据流、数据存储等内容，为业务系统与资源整合平台间的数据交换奠定基础。

（2）数据交换与整合平台。数据交换与整合技术研究数据资源整合平台，它是数据同步、交换、传输、整合、共享的服务平台，不仅可以实现各类异构数据源之间的数据交换，还支持数据的汇总、整合和转换，具备完善的ETL功能，并最终形成行业资源数据库实现行业数据资源的整合，为行业数据资源的综合应用创造基础条件。

（3）交通信息资源整合库。经过数据交换与整合平台加工后的数据，依据数据标准规范体系，形成交通信息资源整合库，交通信息资源整合库划分为基础数据库群、业务数据库群和综合数据库群。按照数据资源整合的线索，形成基础数据库群；按照现有交通业务的划分形成业务数据库群；在基础数据库群和业务数据库群的基础上，构建主题数据库群。资源整合库是实现上层综合应用系统的基本条件。

（4）数据交换服务通用接口。资源整合库需要为其他系统提供数据的支持，所以资源整合平台应该具有数据交换服务的通用接口，与资源整合综合应用的服务系统及今后部级整合平台、其他行业协同业务系统进行数据交换。

3.2 技术流程设计

在数据中心建设中，交通信息资源整合及建库是最关键的环节。主要技术流程环节包括数据采集设计、数据整合设计和数据库设计。

（1）数据采集设计。根据需求分析整理汇总现有数据及需补充采集的数据，明确数据采集的目的、来源、管理机构、采集方式等，为制定科学合理的数据交换与整合策略奠定基础。

（2）数据整合设计。根据对各类数据的分析，待整合的数据可分为2类：①数据需从已有数据库系统进行抽取、转换、集中存储，形成供交通运输管理各部门共享的基础数据库，如公路空间数据、车辆基础数据等；②用于综合应用，来源相对复杂，包括基础数据库、业务系统、各种纸质或电子文档等，需要统一数据标准，通过格式转换或建立关联等方式进行整合，如城市道路类数据、公路类数据、规费征收业务数据等。

（3）数据库设计。根据数据需求，进行基础数据库、业务数据库和主题数据库的内容设计，进而初步形成全行业统一的数据中心。

3.3 数据库结构设计

数据库结构设计包括决定数据库的数据内容、选择适当的数据模型并进行相关的数据组织管理建设工作。传统的数据库模型主要有3种：网状、层状和关系型模型。近年来，随着面向对象技术的发展，面向对象的数据库模型也运应而生。数据中心建设结合Arc GIS软件系统和数据库管理工具进行面向对象的分布式数据库的建模。数据库中属性标语与属性关系的设计，空间数据与属性数据的属性表与属性关系的设计通常包括以下5个步骤：①设计相互关联的表格；②对数据表进行规范化；③定义主关键项和外部关键项（主键或主码和外键或外码）；④使用实体关系模型来定义关系；⑤关系表的再规范化。

考虑到项目建设主要是一个对现有数据资源库进行迁移、转换、整合、处理的过程，它不直接面向系统的具体功能应用，所以在进行数据库结构设计上具有一定的特殊性，具体以下。

（1）完成数据资源的标准化和规范化是建设的一项基础工作，所以数据库结构中，依据现有的标准规范完成分类、分层及命名代码表的建设是一项重要内容。

（2）现有的数据库资源中，具体的数据库表包括3个部分：①数据库代码表；②成果数据表；③支撑原系统应用的支撑数据表。对于数据库的迁移，完成数据代码表和成果数据表的转换是关键，而不需涉及支撑原系统应用的数据表。

4 结语

数据中心是一项复杂的系统工程，它涉及到网络、系统集成、信息安全、数据库、数据挖掘、标准规范等信息工程领域的各个方面。由于篇幅所限，本文重点探讨数据中心的总体框架，并选取数据整合与综合数据库2个部分，分别提出设计思路和实现方法。数据整合依照统一标准，2级整合，分布集中存储的策略，经过数据梳理、采集和校验、分析和转换、集成和存储4个阶段进行整合，在数据整合基础上，结合Arc GIS软件系统和数据库管理工具进行面向对象的分布式数据库的建模。在综合数据库建立的基础上，如何与业务工作充分结合以考虑未来的应用需求是数据中心的发展方向。

［1］ 杜荣良，藤茂宏，王崇海.地市供电公司综合数据平台的应用研究［J］.上海电力学院学报，2009，25（6）：603-606.

［2］ 宋晓宇.数据集成与应用集成［M］.北京：水利水电出版社，2008.

［3］ 汪祖云.交通数据中心总体架构与数据共享交换平台的设计研究［J］.交通运输系统工程与信息，2008（8）：23-28.

［4］ 胡永举，高婷婷.综合智能交通管理控制系统设计研究［J］.交通科技，2005（1）：74-76.

［5］ 龚晓晖，朱显红，陈健壮，等.公路建设项目信息资源整合技术研究［J］.中外公路，2012，32（1）：301-305.