数字化校园建设中异构数据集成研究与应用

王亮

（青岛远洋船员职业学院 山东 青岛 266071）

数字化校园的建设，将实现 “三个一”的标准，即：一个数据库、一个标准和一个平台。具体而言，包括建立一个符合国际、国家、教育部和行业标准的能够用于规范化学校应用长期建设的标准规范体系；要建立一个涵盖一期应用业务和与之关联的其他业务数据信息于一体的基础共享数据库；要建立一个面向最终用户（师生员工）的能够集成公共信息、个性化信息、应用模块功能，具有信息推送能力的应用信息门户平台。在这个数据资源共享集成的基础上，针对特定的用户角色，建立一个面向教职工、学生需求的信息服务数据集，提供个人全面的信息服务。最后在共享数据平台中为学校发展决策积累数据，建立一个面向决策分析支持的主题数据集，在此基础上，可以再逐步建立相应的决策分析支持应用。在实际的数字化校园建设中，可以采用接入的方式完成各类平台和系统的整合，校园数据中心的建立将是我们在数字化校园建设中重要一环。

1 共享数据中心数据集成平台设计

共享数据中心[1]数据集成平台把数据地抽取自然的分成了两个步骤。第一步是从数据源到中心数据库的数据抽取；第二步是中心数据库到主题数据库或OLAP数据库的再次抽取。两个步骤的数据抽取对应两个层次的数据集成。

1）第一层次的数据集成对应第一步的数据抽取，它是对数据源层的集成，主要目的是抽取出共享的数据，这个过程主要是数据交换，不涉及全局的查询。

2）第二层次的数据集成对应第二步的数据抽取，它是对中心数据库的数据进行进一步的抽取和分类，主要面向数据查询的集成，不涉及数据交换。

第一层次是第二层次的基础和准备阶段。在两个集成过程中，中心数据库具有承上启下的关键性作用，是整个系统数据层建模[2]和数据运转的中心。在共享数据中心建设初期，第一层次的数据集成是主要关心的问题。借鉴现有数据集成方案，并主要针对第一层次的集成，设计了面向共享数据中心的数据集成平台（简称共享平台）。

图1 共享数据中心数据集成平台组成Fig.1 Component of shared data center data integ ration platform

上文中的共享平台[3]可以概括为一个中心数据库、一组工具和一组服务。工具和服务与中心数据库之间有着密切的关系，中心数据库是基础，工具和服务共享数据中心数据集成平台的设计是面向共享数据中心的数据集成平台的设计与实现上的应用。一个中心数据库、一组工具和一组服务：一个中心数据库包括公共字典库、共享数据库、信息标准库、业务管理库、交换协议库和历史库；一组工具包括信息标准管理、共享数据管理、业务系统管理、交换协议管理、数据来源收集和数据订阅收集；一组服务包括业务系统数据整合、共享订阅发布、数字档案和分析查询。

2 数据模型实例

学生缴费系统结构如图2所示：

图2 学生缴费系统Fig.2 Students capture expends system

1）全局应用系统体系

涉及系统有【用友软件】【海天学生收费管理系统】。

①学工处给出各学生缴费标准及各细项。图2学生缴费系统（Students capture expends system）

②财务批量输入信息。

③学生缴费，打印发票，【海天学生收费管理系统】中进行相应设置。

④可查询导出数据为excel格式，例如所有欠费学生。

⑤学生缴费可采取工行卡缴费，现金缴费，刷卡缴费。注：学费可分期缴费。

海天学生收费管理系统：这是数字化校园建设初期购买的学费管理系统，本文称为应用1，采用Access数据库。

财务用友软件系统：财务部门与应用1类似的商业系统，本文称作应用2，采用SQL Server数据库。主要区别是数据不能直接从区域数据库获得，而是必须使用销售商提供的扁平文件导入/导出来进入或提取。

2）设计集成数据模型

根据上述分析，建立数据集成模型[4]如图3所示：，

图3 数据集成模型Fig.3 Data integration model

本图是数据库的概括和在应用之间附加了编码框，代表数据集成需要创建的程序:

①传递商品和价格到中心数据库；

②设置学生收费及学费设置信息到应用1；

③设置财务信息到应用2；

④传递财务信息到中心数据库。

考虑到数据必须进行整理后才能报告的要求，需要确定一个新的中心数据库，其中还包含能够传递到应用1和应用2的学生信息和缴费信息，以数据映射和应用1的数据库为基础，确定中心数据库的E-R图。随着数字化校园中心数据库的就绪，我们完成了数据集成模型的分析与设计，模型建立的过程总结如下：

①为3个应用定位，开发一个基本的数据模型来显示数据存储的关系；

②为每个主要数据结构建立数据映射；

③使用映射关系决定新的集成数据库的要求完成新的集成数据库。

3 总体实现

整个数据集成平台位于异构数据源和应用程序之间，向下协调各种异构数据源，向上为访问集成数据的应用提供了统一的模式和访问的通用接口。

该文设计实现的数据集成系统是基于XML[5-6]构建的，使用Java Servlet来动态生成页面，使用XSL样式表来进行XML文档的转换与显示。从功能上来看，可以把整个系统分为系统登录部分；业务功能模块；数据库转换模块。数据库转换存储模块为本系统核心模块，它将数据转换过程主要表现为3个导入导出阶段:第一阶段是将SQL Server主库的数据导出到XML文件中；第二阶段是将XML文件中的数据记录导入到SQL Server从库中去；第三阶段是将XML文件中的数据记录导入到Access库中去。如图4数据集成系统所示。

图4 系统数据转换界面Fig.4 System data conversion interface

4 结束语

该文提出的解决方案还存在着若干需进一步进行的工作，首先是数据处理的规模是有一定限制的，一般的大量数据应该没问题，但是对于海量数据[6]的处理需要作进一步的探讨，这个还需要多方技术的支持；其次是速度问题，当遇到大数据量的查询时，运行速度不是很理想，远不如关系数据库。同时，在实现多数据源数据集成的过程中，我们还希望通过良好的查询优化的算法来减小查询的执行代价或缩短查询的相应时间，并且在优化过程中需要考虑数据源的查询能力以及中间件的处理能力。进一步的工作还包括对查询分解算法的改进，使之能适应更普遍的查询。再次，对数据传输的安全性没有深入讨论。该文最大限度地屏蔽了各种数据的异构性，特别是XML和关系数据库之间的异构性，是基于XML的多种数据源数据集成研究的一次有效尝试。

[1]赵欢，陈熙.在数字化校园中应用异构数据集成技术构建数据中心[J].中国教育信息化，2008（19）:26-28.

ZHAO Huan，CHEN Xi.In the application of digital campus heterogeneous data integration technology build data center[J].China Education Info，2008（19）:26-28.

[2]李为，蔡英蔚，徐辉.基于多线程的异构数据库集成平台的设计实现[J].现代电力，2008（5）：69-72.

LI Wei， CAI Ying-wei， XU Hui.Design and realization of heterogeneous database integrated platform based on multithreading[J].Modern Electric Power，2008（5）:69-72.

[3]张素智，刘中峰.数据集成系统中异构数据迁移的研究与设计[J].中原工学院学报，2009（6）:24-28.

ZHANG Su-zhi，LIU Zhong-feng.Research and design on migrate heterogeneous data in data integration[J].Journal of Zhongyuan University of Technology， 2009（6）:24-28.

[4]张嘉扬.异构数据集成技术在教育信息资源整合中的应用研究[D].长春：硕士东北师范大学，2010.

[5]王浩波.基于java和xml的信息集成研究[D].天津:河北工业大学，2004:50-54.

[6]刘雨潇，杨雅娟.基于JDOM的XML数据解析技术内涵研究[J].现代电子技术，2010，33（22）:40-41.

LIU Yu-xiao，YANG Ya-juan.XML data analysis technique based on JDOM[J].Modern Electronic Technique，2010，33（22）:40-41.

[7]黄毅，钟碧良.基于XML的异构数据库间数据迁移的研究[J].科技管理研究，2008（8）:173-174.

HUANG YI，ZHONG Bi-liang.Based on XML data transfer between heterogeneous databases[J].Science and Technology Management Research，2008（8）:173-174.