商业智能技术在道路交通执法中的应用研究

2013-12-05 08:13高湛郑雄锋
科技致富向导 2013年22期
关键词:商业智能数据仓库

高湛 郑雄锋

【摘 要】针对交通管理部门在执法过程中积累了庞大的各类交通违法数据,研究利用商业智能及其相关技术,以各类交通违法数据为基础,提出了基于交通违法的执法决策系统体系结构,并详细说明了数据仓库的创建过程。

【关键词】商业智能;交通执法;执法决策系统;数据仓库

0.引言

随着社会的不断发展,机动车保有量与驾驶人数量的急剧增加,随之而来的各类道路交通违法现象层出不穷,相关部门在执法过程中积累了庞大的各类交通违法数据,通过利用商业智能技术把这些海量数据转换为可靠地、有用的信息来辅助执法决策,从而使执法更具针对性、效率性与准确性。

商业智能(Business Intelligence,简称BI)又称商务智能,是利用数据仓库、联机分析处理和数据挖掘等技术对海量的、分散的、多样化的数据进行一系列整合、加工、提炼来发现潜在的、有用的知识来辅助决策制定的过程[1]。商业智能的核心技术包括数据仓库、联机分析处理(OLAP)、数据挖掘。数据仓库是一个面向主题的、集成的、随时将变化的、非易失的、用于进行战略型决策的数据集合。数据仓库能够有效地存储和管理各类数据信息,以提供一个集成的、可靠的和一致的统一视图。联机分析处理(OLAP)是一种分析技术,具有汇总、合并和聚集功能,以及从不同的角度观察信息的能力[2]。数据挖掘是从大量的、无规律的、有噪声的数据集中提取或“挖掘”出有效的、可理解的、潜在有用的知识[3]。

1.基于交通违法的执法决策系统体系结构

基于交通违法的执法智能系统就是利用商业智能的一系列方法、工具与技术来整合、加工、提炼各类交通违法数据以便于辅助交通执法决策的系统。基于交通违法的执法决策系统体系结构如图1,包含数据源层、数据存储层、数据分析层。数据源层中的数据主要来自通过电子监控技术、现场执法等方式查处的各类交通违法数据。数据存储层是系统的核心部分,包括数据的ETL(抽取、转换、装载)、数据质量控制、数据粒度控制、元数据管理等。主要实现将大量交通违法数据源通过一定规律的抽取、转换、集成、装载等操作形成统一的信息存储在数据仓库中。数据仓库中可以使用表分区(如时间分区、列表分区、散列分区等)、位图索引、物化视图等技术来存储这些信息,以提高其访问查询效率[4]。可以根据执法中实际的需要,进一步细化各个主题,形成多个主题表,据此从数据仓库中选出多个数据子集,形成数据集市。数据分析层是面向决策应用的,是在数据仓库基础上进行的实时查询、各类违法报表的生成、OLAP、数据挖掘等一系列操作,以便为执法决策提供依据。

本系统在数据存储层中进行ETL以及数据仓库建模使用数据仓库构建器Oracle Warehouse Builder 11g (OWB),数据仓库使用Oracle Database 11g,在分析层中使用Analytic Workspace Manager 11g(AWM),执法决策层面使用Oracle Business Intelligence Enterprise (OBIEE)[5]。

2.基于交通违法的数据仓库的设计

数据仓库已成为数据分析和联机数据分析处理日趋重要的平台,并将为数据挖掘提供有效地平台。因此,创建高效合理的数据仓库显得至关重要。基于交通违法的数据仓库的创建可采用Oracle11g数据库与Oracle Warehouse Builder (OWB)等软件。

⑴构建星型模型。一个星型结构包含两个基本部分:一个事实表和各种支持维表。事实表是描述数据集市中最密集的数据,事实表是预先被连接到一起的多种类型数据的组合体,它包括:一个反映事实表建立目的的实体的主键(primary key),连接事实表与维表的外键(foreign key),外键携带的非键值外部数据。事实表通常都很大;维度表用于存放描述性数据,它是围绕事实表建立的较小的表,包含非密集型数据。以交通违法事实表分析为主题的星形模型如下图所示,涉及的维包括执法机关维、违法行为维、违法时间维、违法地点维、违法车辆以及违法人员维。

交通违法事实表

(2)粒度选择。粒度是数据仓库中数据单元的细节程度或综合程度的级别。粒度问题是设计数据仓库的最重要的方面,对数据仓库环境所处的整个体系结构都有影响。而基与数据仓库的多维分析一个显著优点是可以对维度进行任意细化和汇总操作,实现在不同数据粒度级别上进行数据查询,满足不同的分析需求。交通违法中的数据仓库包括两种类型的数据:详细违法细节数据和轻度综合数据。当前细节数据是来自交通违法数据库的细节数据,每一条违法记录包含违法时间、违法地点、违法行为、违法人员、执勤民警、执法机关等详细信息,其数据可以实现定期更新,数据量相对轻度综合数据大的多。

(3)数据分割策略。为提高数据仓库的访问查询效率,可以使用表分区技术(如范围分区、列表分区、散列分区等)对数据进行分割存储,并可结合使用合适的索引技术(如B树索引、位图索引等),同时将表基础数据与索引数据分别存放到不同的表空间上,以提高其查询访问的并行性。

(4)ETL处理。数据仓库系统运行的基础是分散的、复杂的源数据系统,因此,交通违法的原始数据不能直接应用于数据仓库。ETL(Extract、Transform、Load)主要负责对交通违法中的大量分布的数据进行抽取,对数据按照统一制定的转换规则进行转换、集成,并按照一定的规则进行数据清洗,最后把经过转换、清洗的高质量数据按计划增量或全量装载到数据仓库。

3.结束语

基于交通违法的执法决策系统必须具备强大的数据管理、处理、分析能力,并为道路交通执法部门提供可靠的参考,辅助日常的执法决策。该系统必须以交通违法数据位基础,并根据实际的应用和实践经验不断进行调整,以最大限度满足需求,并极大地影响着执法的办事效能。

【参考文献】

[1]郑洪源,周良.商业智能解决方案的研究与应用[J].计算机应用研究,2005(9):92-93.

[2]William H.Inmon著,王志海等译.数据仓库(原书第四版)[M].北京:机械工业出版社,2007.

[3]Jiawei Han,Micheline Kamber著,范明,孟小峰译.数据挖掘概念与技术(原书第二版)[M].北京:机械工业出版社,2007.

[4]侯济恭.政府智能系统体系结构[J].计算机工程与设计,2007(18):4494-4497.

[5]Robert Stackowiak,Joseph Rayman,Rick Greenwald.Oracle Data Warehousing and Business Intelligence Solutions[M].Indianapolis:Wiley Publishing,Inc,2007.

猜你喜欢
商业智能数据仓库
基于数据仓库的数据倾斜解决方案研究
七大云计算数据仓库
什么是商业智能?它的定义和解决方案
关于实时商业智能的文献综述
数据仓库系统设计与实现
商业智能在当下出版社中的运用
制造企业中商业智能系统的实现与应用
数据复用在存储数据仓库中的运用
虚拟数据仓库在电力行业的应用
浅谈中小企业的商业智能之路