中职校企联合办学异构数据的集成

周清流

摘要：随着中职学校的校企联合办学的不断发展，中职学校与企业之间的联合办学需要大量的数据交换。虽然计算机网络、互联网和移动互联技术得到高速的发展，但是很多中职学校在信息化建设过程中，各部门的管理信息系统相对封闭，存在“信息孤岛”。另外，在校企联合办学过程中，中职学校与企业之间的存在管理的信息标准不统一，校企间亦形成了“信息孤岛”，对数据的共享和交换造成困难。因此，要确保中职学校的校企联合办学的正常进行，就要解决由于数据异构造成的中职学校各部门以及校企间的“信息孤岛”的问题。该文主要阐述使用Oracle数据集成工具ODI（Oracle Data Integrator）对异构数据集成，以解决数据异构造成的中职学校各部门以及校企间的“信息孤岛”的问题。

关键词：中职学校；校企联合办学；异构数据库；ODI

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）09-0020-03

Abstract： With the development of secondary vocational school college and enterprise joint development， joint between secondary vocational schools and enterprises need a large amount of data exchange. Although the computer network， the Internet and mobile Internet technology has obtained a rapid development， but a lot of secondary vocational school in the process of information construction， management information system of each department is relatively closed， the existence of "information island". In addition， in the process of enterprise joint， between the secondary vocational school and the existence of the enterprise management information standard is not unified， university enterprise also formed "information isolated island"， caused difficulties for data sharing and exchange. Therefore， to ensure that the secondary vocational school to unite the normal， it is necessary to solve the heterogeneous data caused due to secondary vocational school departments as well as between schools and enterprises " information island " problem. This paper mainly discusses the use of Oracle data integration tool ODI （Oracle Data Integrator） the integration of heterogeneous data， in order to solve the heterogeneous data resulting in secondary vocational school departments as well as between schools and enterprises "information island" problem.

Key words： secondary vocational school； university-enterprise cooperation； Heterogeneous database； ODI

目前，中职学校由于建设的时间和部门的差异，各部门管理信息系统存在多个异构的、各自在不同的软硬件平台独立运行情况，使校内各部门间信息难以流通，形成“信息孤岛”。例如，学校办公室、教务部门、学生管理部门、财务室、图书馆、总务部门、学生宿舍等学校的各部门在早期会建立各自独立的、不同的管理信息系统以满足本部门业务，这样就造成了部门之间数据难以交换和共享。

随着中职学校的校企联合办学工作的开展，校企双方需要实现大量的数据交换和共享，例如：学校方面，学生个人的基本信息、学生在校学习的理论课程和进度，在企业的实习课程需求、实习表现、实习安全管理、实习指导教师的评价等；企业方面，企业提供的实习课程计划、企业实训指导人员的安排、实训指导人员的评价、企业内部管理等。由于在校企联合办学工作开展前校企双方的管理信息系统是相互独立的，校企间也存在数据异构，也形成了“信息孤岛”。

因此，要使中职学校的校企联合办学工作的能较高效的开展，学校内部及校企之间都需要对管理信息系统的数据异构进行数据集成，本文提出一种性能高、灵活、扩展性强的集成工具——Oracle数据集成工具ODI（Oracle Data Integrator）来解决异构数据的问题。

1 数据集成

数据集成是通过物理和逻辑的方法将不同系统架构建立的、用于不同管理信息系统的、不同格式的数据有机地集中起来，实现高效的数据共享。

联邦式、基于中间件模型和数据仓库等方法，常用来构造数据集成系统，通过其应用以实现数据共享和提供决策支持。

数据集成虽然能解决数据的分布性和异构性的问题，但是需要集成的数据在实现数据交换之前，必须公开如表结构、表间关系、编码的含义等数据结构，否则是无法实现数据集成的应用的。

2 ODI（Oracle Data Integrator ）架构

2.1 ODI的数据仓库

用Java 编写的图形化开发管理工具或计划代理程序可对ODI统合的模块化数据仓库进行访问。ODI的数据仓库的主仓库（Master Repository），可实现用户信息的保存，不同数据库或数据源、不同版本项目的连接。主仓库一般包含一个或多个工作仓库（WorkRepository），利用这些工作仓库能够保存具体的数据，为用户与整合数据间建立关联。因此，ODI的数据仓库可以实现Oracle 数据库或其它数据库的连接，能通过应用程序进行访问，以实现异构数据集成。

2.2 ODI的几种管理工具

2.2.1 Designer

Designer是ODI最常用的数据转换逻辑的开发工具，能够实现定义data store、创建数据映射关系（interface）、创建package（如workflow）等任务。

2.2.2 Operator

Operator实现数据转换任务的管理和监控，在设计过程中进行调试。

2.2.3 Topology Manager

实现物理和逻辑基础架构的定义，如创建和管理 work repository等。

2.2.4 Security Manager

实现用户权限和计划代理程序的管理。

2.2.5 Schedule Agent

实现执行数据转换任务的调度。由于ODI 采用E-LT架构，计划代理即使有一个数据转换引擎，却很少用，因此计划代理的调度只是将任务传递给目标库。

2.3 ODI的知识模型（Knowledge Modules）

由于有强大的知识模型，ODI能够适应不同管理信息系统的数据源，能高效的实现数据的抽取（Extract）、转换（Transform）、加载（Load）的过程。

与程序的插件类似，ODI的知识模型将数据整合的任务抽象出六个组成部分：

2.3.1 反向工程（Reverse-engineering knowledge modules）

实现在数据源中读取表或其他对象。

2.3.2日记（Journalizing knowledge modules）

在ODI项目中启用可以支持部分数据源的Change Data Capture（CDC）功能后，实现对新建和修改单个或一组表（或视图）后的数据的记录。

2.3.3加载（Loading knowledge modules）

实现在数据源中抽取数据。

2.3.4检查（Check knowledge modules）

实现对在数据源中抽取出的数据合法性的检测。

2.3.5集成（Integration knowledge modules）

先将Staging Area中的数据转换到目标表，再通过目标数据库产生对应的转换 SQL，实现数据的集成。

2.3.6服务（Service knowledge modules）

通过Web Services 的方式将数据展现来，以实现服务。

3 中职学校校企联合办学异构数据集成

3.1中职学校校企联合办学异构数据集成的需求

3.1.1信息孤岛

中职学校各部门的管理信息系统各自孤立，而各部门管理信息系统并没有实现异构数据的集成，因此部门之间数据难以交换和共享。部门之间数据的交换和共享，还停留在手工传递、电子邮箱等低效率传递阶段，无法满足各部门及时、高效获取和处理其他部门信息的需求。

参与联合办学的企业内部管理信息系统的数据交换和共享虽然高效及时，但是在没有与中职学校实现异构数据的集成前，校企之间的数据也是孤立的，无法满足在校企联合办学期间，学校与企业及时、高效获取和处理校与企间的信息的需求。

3.1.2无统一的数据标准

由于校企无统一数据标准，就无法在联合办学过程中积累有效数据，不能提供准确的辅助决策分析数据依据，从而不能对中职学校与企业联合办学的作出正确的分析评价。

3.2中职学校校企联合办学异构数据的特点

中职学校与联合办学的企业间，尤其是中职学校内部的异构数据有几个主要特点：数据的多样性、数据可靠性差、标准与规范不一致、出错率高、同步性弱。

4 中职学校校企联合办学异构数据集成平台的设计

4.1平台设计

要实现校企联合办学异构数据集成平台的设计，就一方面要从中职学校各部门的管理信息系统中抽取适合校企联合办学的、有效的数据；另一方面要从企业的管理信息系统中抽取适合校企联合办学的数据，选择一个功能强大、高效的数据集成工具对这些异构数据进行整合，将符合统一标准的数据实现数据交换和共享。

Oracle的数据集成工具ODI对于异构数据集成平台的功能是相当齐全的，几乎包含了数据、服务、事件等数据的集成功能。ODI大数据量转换和变化数据捕获（CDC）的能力，能使集成平台实时处理事件；ODI控制大量数据完整性的能力，确保数据的一致性和数据可靠性；ODI拥有独特的核心工具：异构E-LT、声明设计和知识模块等。ODI符合中职学校校企联合办学及时、高效的异构数据集成平台的需求，本文选择Oracle的数据集成工具ODI实现中职学校校企联合办学异构数据集成平台的设计。

4.2平台相关技术

4.2.1 E-LT

E-LT体系结构将手工编码和ETL方法的最佳特性结合在一起。

4.2.2轻量级日志

利用轻量级日志，可对少量的数据而非整张表的所有数据进行高效捕获，满足数据的实时性。

4.2.3差异比对

即对数据源和目标进行差异化的区分，再判断是否更新数据。通过差异比对，可以进行快速的数据集成处理，实现全量数据的集成。

4.2.4集成中心库设计

数据集成平台的主要核心的设计，是集成中心库的设计。

通常中职学校各部门的数据差异比较大，虽然企业内部的数据相对统一，但是校企间的数据就必然差异甚大，这样就会造成数据可靠性差。为了解决中职学校内部和校企间不一致的数据管理模式造成数据可靠性、效率差等的问题，就要对数据进行临时存储。

可从几个方面实现数据集成中心库的模式设计：

一是对中职学校参与校企联合办学的部门、校企间的数据模型和标准进行全面分析，将数据在集成中心库进行统一的格式化处理，确保元数据和数据标准的统一。

二是采用“松散”、“面向对象”的模型设计方法，保留数据模型的扩展性。采用“松散”的设计方法指在不调整原有内容的前提下，用新增的方法在对象之间新增对象来实现扩展。采用“面向对象”的设计方法主要是不按当前数据处理的规则进行设计，在管理模式或业务变化时，既不调整原有设计内容，又增强可扩展性。

三是在原有的数据模型扩展用于数据集成的字段，以满足数据集成时的特别需求。

4.3确立集成总体架构

对中职学校内部和企业内部的数据集成架构均采用集线型的架构，即引入集成中心数据库，各部门系统与集成中心数据库做数据交互。如图1所示，在中职学校内部和企业内部，各自不同的部门系统之间进行数据交互的过程是都一个部门系统将数据集成到集成中心数据库后，再通过集成中心库下行到另一个部门系统。中职学校与企业之间的数据交互则通过ODI的服务（Service knowledge modules），即Web Services 的方式来实现。

在集成架构中，如果企业的甲部门需要中职学校乙部门的数据，就先将中职学校乙部门的数据上行至中职学校校园网络集成中心库，通过ODI的Web Services服务传输到企业网络集成中心库，再由集成中心库下行到企业的甲部门，通过这样的方式实现中职学校乙部门到企业的甲部门的集成。

5 结束语

本文提出基于Oracle的数据集成工具ODI的中职学校校企联合办学异构数据集成的解决方案，并对异构数据集成平台进行了设计，提供了中职学校校企联合办学异构数据源数据集成的有效方法，有效解决中职学校校企联合办学过程中学校与企业间数据共享和交换的问题，实现校企联合办学数据的互联。

参考文献：

[1] 林建宇，张国俊.一种异构数据库集成的方法[J].南京理工大学学报，2002.

[2] 陈跃国，王京春.数据集成综述[J].计算机科学，2004.

[3] 李征.MDI在“数字校园”信息集成中的研究与实现[D].江苏大学，2005.

[4] 张晓华.高校异构数据集成与应用平台的研究与开发[D].华东电力大学，2006.