李金
(榆林学院 图书馆,陕西 榆林 719000)
随着计算机技术在高校工作中的广泛应用,高校各项日常工作中都普遍使用以数据库(DataBase,DB)技术为基础的联机事务处理(Online Transaction Processing,OLTP)系统来提高工作效率,减轻工作强度,如教务管理系统、人事管理系统、科研信息系统和学籍管理系统等。此外,近些年,为了给学校高层提供决策支持,很多高校又纷纷建立了以数据仓库(Data Warehouse,DW)技术为基础的联机分析处理(Online Analytical Processing,OLAP)系统,如决策支持系统(Decision Support System,DSS)就是以OLAP系统为基础的。但是,在很多情况下,DB-DW两层体系结构并不能满足高校在处理日常工作时所有的需求,因为很多需要解决的问题是中层管理者所面对的,也就是说,这些问题既不属于联机事务处理,又算不上是高层决策分析。于是,引入一种新的数据环境—操作数据存储 (Operational Data Store,ODS), 也就是在 DB和DW中间加入这样一个层次,形成DB-ODS-DW的三层体系结构,为中层管理者处理日常事务提供支持。
有很多情况,DB-DW的两层体系结构并不能涵盖高校日常管理工作中所有的数据处理要求,可以借助于DB-DW的中间层ODS(操作数据存储)来解决。它像DW一样是一种面向主题、集成的数据环境,又像操作型DB一样包含着全局一致的、细节的当前数据[1]。
数据仓库之父William.H.Inmon在1993年所写的论著Building the Data Warehouse中将数据仓库定义为:“一个面向主题的、集成的随时间变化的非易失性数据的集合,用于支持管理层的决策过程”[2]。在他的这本著作中,所定义的ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。ODS(Operational Data Store)是数据仓库的一个扩展,它也是一个企业级的数据存储模式,它的构造也是面向主题的[3]。
从ODS的定义来看,它兼有DB和DW两者的特点。一方面,ODS包含全局一致的、细节的、当前或接近当前的数据,可以进行全局联机操作型处理,这与DB的特点相似;另一方面,它是一种面向主题的、集成的数据环境,且数据量小,适用于辅助完成日常决策的数据分析处理,这又与DW的特点相似。因此,当中层管理者遇到既不属于联机事务处理,又算不上是高层决策分析的问题时,就可以利用基于ODS技术的管理系统进行妥善处理。
全局联机操作型处理是指在处理数据的时候,利用ODS技术可以在一个事务中调用其它多个事务的数据,例如教务系统可以调用人事系统、科研系统的数据,这与以往基于DB的OLTP系统不同,以往的OLTP系统中一个应用只是面对一个部门,部门之间的数据相互独立,往往形成了“信息孤岛”[4],在进行企业级的事务处理往往代价很大,因为需要对各个部门的原始数据进行集成。而ODS中的数据已经是面向全局集成,所以建立在ODS上的OLTP可以快速实现对各个部门数据的全局集中管理,即通过利用ODS技术,可以克服以往面向应用的数据库过于分散的缺点。
前面提到,很多高校为了提供给高层决策支持,建立了基于DW的OLAP系统。在数据仓库上实现OLAP主要是为了进行长期趋势分析,数据仓库中的数据量很大,所以OLAP应用的运行时间都比较长[5]。然而,在学校的日常事务中,中层领导常常需要对一些非决策性的事务进行处理,也就是说,在很多情况下,这些中层领导在处理事务时不需要参考太多的历史数据,而主要参考当前数据或是近期数据,而且要求有较快的响应速度,我们把这种对数据的处理方式称为“即时OLAP”,这也是建立ODS数据模型的主要目的。因为ODS的数据是基于全局的,那么,在ODS上进行的OLAP,就可以对数据库中的数据进行全局更新。
在高校中,有很多基于DB技术的部门,如人事处、学生处、教务处、国资处、档案处等等,由于每个部门所产生的数据都是相互独立的,所以同一个信息都有可能有不一致的地方。教务处经常做的工作是对全校教学任务的安排,这个工作的综合性很强,需要综合很多部门的信息,比如教师信息、教室信息、实验设备信息以及学生信息等等,倘若教务处给某个教师安排了需要某种实验设备的课程,在教务处的系统里面,这些实验设备是存在的,而在国资处的系统里面这些设备已经报废,这样就会导致教学安排的失败,而要不停返工,使得教务处的工作效率很低,并且增加了工作强度。通过这个例子我们可以看到,分散的部门需要协同工作时候往往遇到困难。
ODS中的数据在进入ODS之前经过清洗和整理,达到集成和一致的目的,在全局上保持一致,这使得ODS不同于传统分散的操作型系统,类似于数据仓库[6]。当我们建立了ODS系统后,如图1所示,它通过存放在ODS的记录系统定义和一系列参考表在DB和ODS之间进行双向联系,保证了实验设备信息的全局完整性和一致性,就不会出现教务处与国资处同一实验设备不同信息的现象了。
图1 DB和ODS之间进行双向联系Fig.1 Two-way link between DB and ODS
基于ODS的高校管理系统主要包括操作数据库、数据整合与数据刷新、ODS数据库等,系统体系结构如图2所示。
图2 基于ODS的高校管理的系统框架Fig.2 The framework of college management system based on ODS
其中,ODS系统具体的设计包括以下4个步骤。
1)在数据源的基础上建立全局模式
建立全局模式之前,一定要首先了解原有DB中的数据模式,然后参考DW系统中的主题域,对数据源进行集成、净化和转换,建立面向主题的全局模式。
2)参照已建立的DW环境建立ODS模式
在DB-ODS-DW三层体系机构中,ODS的作用是承上启下,给DW提供接口,所以建立ODS模式时还要参照已建立的DW。当两者之间发生冲突时,以DW为准,改动ODS模式。
3)定义记录系统
在DB-ODS-DW三层体系结构中,数据传送是靠定义记录关系系统来实现的。如图3所示。
图3 DB-ODS-DW三层体系结构的数据传送Fig.3 Data transfer of DB-ODS-DW three-tier architecture
类似于DW中记录系统的定义,ODS记录系统是提供给ODS的数据,来自DB环境,是DB系统中各应用所使用的数据。ODS记录系统的定义要指明与ODS数据相应的数据所在的DB表,经过系统的过滤和转换,与DW的记录系统双向对应起来。
4)向ODS装入数据
完成了记录系统定义之后,就可以进行ODS数据的装入了,这个过程包括初装数据和数据追加。初装数据应该分批进行,然后随着需求的不断增加和明确,逐步完善ODS中的数据。初装完成后,确定数据追加的途径,以完成对ODS数据追加。
经过上述的这些步骤,基于ODS的高校管理系统模型就建立起来了。
ODS技术综合了数据库的即时操作性和数据仓库的决策性,是两者的重要过渡和补充。基于ODS的高校管理系统的应用,使得高校中原本庞杂和孤立的数据库与数据仓库资源得到整合,相互之间可以简单的进行访问和调用,使得高校各部门的管理工作和部门之间的协调工作得到很大的改进。同时,ODS技术的引进,可以满足高校管理的高校管理多层次要求,即面向各级管理人员,能够更有效地利用信息资源,为高层决策分析提供服务。
文中介绍了一种基于ODS技术的高校管理系统设计方案,以此来弥补DB-DW两层体系结构的不足,并给出了系统的框架,重点对ODS系统设计及实现方法做了详细介绍,希望此文能对高校管理系统的建设起到参考作用。
[1]赵太胜,张威,钱旭.基于ODS构建商业系统的即时OLAP应用[J].现代计算机,2001(5):37-39,57.
ZHAO Tai-sheng,ZHANG Wei,QIAN Xu.Building a OLAP in time of business system based on ODS[J].Modern Computer,2001(5):37-39,57.
[2]张青.基于数据仓库理论的教学管理数据模型的设计[J].大众科技,2007(12):154-155.
ZHANG Qing.The design of teaching management data model based on the theory of data warehouse[J].Popular Science&Technology,2007(12):154-155.
[3]姚楠.ODS在实现电力企业数据中心中的作用[J].电力信息化,2007(7):93-96.
YAO Nan.The role of ODS in implementation in electricity enterprise data centers[J].Electric Power Information Technology,2007(7):93-96.
[4]吕海燕,吕红,任颖,等.数据仓库在教学管理系统中的应用研究[J].现代计算机:专业版,2009(10):163-165.
LV Hai-yan,LV Hong,REN Ying,et al.Research on the application of data warehouse in teaching management system[J].Modern Computer, 2009(10):163-165.
[5]王月敏.基于ODS技术的决策支持系统研究[J].云南民族大学学报:自然科学版,2007(1):63-65.
WANG Yue-min.The research of the DSS based on ODS[J].Journal of Yunnan Nationalities University:Natural Sciences Edition,2007(1):63-65.
[6]张宇,薛永生,张延松,等.应用ODS技术解决电子政务系统数据一致性问题[J].厦门大学学报:自然科学版,2004(S1):289.
ZHANG Yu,XUE Yong-sheng,ZHANG Yan-song,et al.ODS solution of the coherence matter in e-government[J].Journal of Xiamen University:Natural Science,2004(S1):288-292.