数据仓库技术在档案管理领域的应用

冉朝霞

摘要：本文阐述了数据仓库的三种构建策略，提出了一种联合数据仓库的体系结构。

关键词：数据仓库构建策略体系结构

数据仓库是一种面向主题的、集成的、随时间的变化且具非易失性的数据集合。它是对传统数据库技术在站场式数据管理需求下的提升，借助这项技术，不仅可以开展数据信息的知识化管理，将库内各类数据、信息关联起来，建立信息知识库，并按照信息知识的含义，分门别类，达到实现知识应用的目的，同时还可以将档案管理工作中的非数字化信息纳入管理工作的范畴，提高档案的利用率。

1数据仓库的构建策略

数据仓库最早是W.H.Inmon于1992年提出的，他指出，数据仓库是面向主题的、集成的、时间变异的、非违约的一系列用于管理和决策制定的数据集。

数据仓库按照范围层次的不同，分为企业级全局数据仓库和部门级数据仓库。全局数据仓库在全组织范围内为各个部门提供管理、决策支持，又名中央数据仓库：部门级数据仓库一般只为某个局部范围内的管理人员服务，也称为数据集市。下面介绍数据仓库常见的三种构建策略。

1．1“自底向上”建立数据仓库。“自底向上”建立数据仓库的过程如下：业务系统源数据库——独立数据集市——企业级数据仓库，整个过程分为两个步骤：

第一步是从关键的部分开始，先建立部门级数据集市，并不断进行扩充和完善，每个数据集市包含某一特定业务领域的数据。在这一步中，通过ETL流程把业务系统中的数据经过抽取、转换后加载到数据集市，然后通过OLAP工具或数据挖掘工具直接访，问数据集市便可进行信息分析，从而把用于数据分析与决策支持的数据集市与业务处理系统物理上分离，每个数据集市可独立实施来执行数据仓库的职能，因此也称为独立数据集市，但需要指出的是。信息技术人员必须针对每个数据集市设计独立的ETL处理程序，把各业务系统的操作数据按照需要分别转换到相应的独立数据集市中。

独立数据集市的优点表现在：一是初期投资较少，并能迅速获取回报；二是就单个数据集市来说。因其数据结构相对较简单，管理比较容易。缺点表现在：一是各数据集市中存在数据不一致的问题，难以直接进行跨数据集市的信息访问，导致出现一个个信息孤岛：二是随着数据集市的增加，系统结构将变得复杂而难以维护，并且系统整体投资迅速增加。因此，如果要以整个企业的视图来分析数据，独立数据集市不是合适的选择。现在，人们在规划数据仓库时已经逐渐转为实施企业级的数据仓库。

第二步是当更多的主题加入数据集市时，将这些独立数据集市进行再集成，最终建立的就是企业级数据仓库。通过本步骤的实施虽然能最终解决数据的一致性问题，但缺点为：一是对数据集市的集成难度较大；二是企业级数据仓库本身投资巨大，这会进一步加大系统的整体投资，同时将会导致第一步中对独立数据集市的投资出现浪费现象。

1．2“自顶向下”建立数据仓库。W.H.Inmon曾提出“自顶向下”建立数据仓库的方法，也就是说，先建立一个全局的数据仓库，然后在其基础上建立部门级和个人级的数据集市。

ETL流程首先将所有业务处理系统中的数据按照统一的存储模型加载到中央数据仓库，然后再按照各部门特定的需求把相关数据复制到部门数据集市。因为中央数据仓库汇集了来自各业务处理系统的数据，同时也负责向各数据集市提供信息。业务人员在进行数据分析与信息访问时将根据需要连接到不同的数据集市。

这种结构的优点是解决了统一数据存储模型和数据一致性的问题，有利于各级数据仓库的一致性的控制。缺点主要体现在三个方面：一是业务人员对信息的访问非常不方便，很难进行跨数据集市之间的信息分析：二是全局数据仓库本身建设规模大，投资巨大，并且实施周期长，见效较慢；三是当数据集市增加时，会使系统整体投资迅速增加，同时管理的复杂性也随之增加。

1．3建立统一的企业级数据仓库。数据集市分为物理与逻辑两种，物理数据集市设立在中央数据仓库之外，具有专门的软硬件设备，一般都使用OLAP服务器，按照特定需求组建多维立方体来提供多维信息分析；逻辑数据集市设立在中央数据仓库之内，由在基础数据之上形成的小结表或者逻辑视图组成，数据集市主要针对粒度较粗、预先定义的分析需求，对于动态的业务查询，粒度较细的或者针对基础数据的分析则不能完成。中央数据仓库采用符合数据库范式理论(一般为第三范式、的存储模型来保存基础数据，从而为整个企业提供一致的信息视图。在中央数据仓库中还设立了一个数据转换与缓冲区，作为ETL处理的一部分。这是因为在很多数据仓库的ETL处理流程中，增加了一个ODS层来进行数据的整理，但这将大大增加整体投资和管理复杂性，理想的方法是，在中央数据仓库中设置一部分存储空间作为数据转换与缓冲区，借助数据仓库引擎强大的复杂查询处理能力，通过SQL实现数据的转换与清洗。

这种数据仓库结构解决了其他数据仓库结构中存在的诸多问题，是一种比较理想的企业级数据仓库系统架构。但由于把详细数据分析、部分的数据转换与清洗等复杂处理均集中在中央数据仓库，从而对作为数据仓库引擎的RDBMS和相应的服务器带来了极大的挑战。选择这种数据仓库基础平台的基本要求是：数据仓库引擎和相应的数据库服务器具有优良的线性扩展能力，系统具有非常好的并行处理能力，能有效而简单地进行系统管理。

2档案管理中的联合数据仓库体系结构

数据仓库的应用按用户的需求可分为信息的使用和知识的挖掘两类，数据挖掘即为知识发现中的一个步骤，知识发现过程一般由以下几个步骤组成：①数据清理；②数据集成；③数据选择；④数据变换；⑤数据挖掘；⑥模式评估；⑦知识表示。数据挖掘的概念就是从存放在数据库、数据仓库或其它信息库中的大量数据中识别出有效的、新颖的、潜在有用的，以及最终可理解的知识的过程。利用数据仓库技术建立知识管理工具库，对相关的显性和隐性知识资源进行明晰化、系统化地管理。定位拥有专门技能的人，建立专家网络，让所有人都能快速而方便地学习或了解所需要的信息和知识，无论数据库、文档、图片还是音像信息。要达到这一目标，我们就需对知识进行合理地分类规划，将它们分门别类地放进各个仓库里，因此，分类整理、存储及管理知识仓库是数据挖掘的重要步骤。

将数据仓库技术应用于档案的知识化管理，较为常见的就是通过对档案数据开展研究，形成专业的数据处理系统。数据处理系统主要形式有两种：基于知识库的模糊推理和基于库存档案资料的模糊推理。数据仓库技术对各类工作过程中发生的所有数据进行了集成、综合、对比，其数据真实可信，对比性和推理性强。因此，基于数据仓库技术的知识化管理