大数据时代多源数据整合工作影响因素及实施保障

杨阳　崔红

摘要：随着我国逐渐进入大数据信息时代，信息资源的发布已经逐渐从传统的实体承载走向了网络资源的传播。而随着教育体制对于高校综合实力和学科设置优化的要求，越来越多的高校面临合并，作为高校信息资源重点的大数据背景下的图书馆，也面临管理信息系统合并的问题。本文以不同管理信息系统合并中书目数据整合为例，通过对该过程中出现的问题进行成因分析，运用鱼骨图为工具汇总了管理信息系统合并的数目数据整合过程中影响因素并提出了实施保障。通过本文分析，对于高校图书馆合并中的多源数据整合工作的影响因素进行了汇总并针对这些影响因素制定了实施保障，可以供此类工作参考，以规避多源数据整合工作中各因素对于整合工作的干扰及提高整合后数据质量。

关键词：图书馆；数据整合；影响因素；实施保障

随着大数据时代的来临，信息资源共享与数据优化成为了信息资源发展的新课题。由于图书馆信息资源分布于不同的管理信息系统，类型异构、格式不同，导致了一站式集成管理平台实现中存在很多困难。无论是区域化图书馆集成管理平台的构建，还是高校合校后的原管理信息系统的数据合并，都需要对不同系统源数据整合，以达到能够在统一管理平台中应用的目标。本文将以不同管理信息系统合并中书目数据整合为例，对于多源数据整合过程进行分析。

1.大数据背景下高校图书馆多源数据整合的需求

1.1 大数据时代的资源共享需求

大数据时代背景下，信息资源的发布主要以管理信息系统为载体。管理信息系统的多样性导致了元数据的异构性。由于图书馆所应用管理信息系统的不同导致了信息资源互通困难，而各高校图书馆之间资源信息交叉重复导致了信息采集重复劳动、信息利用率不高的结果。这就要求无论是信息资源集成管理平台共享，还是进行管理信息系统的合并工作，都必须加强信息资源的管理。

1.2 图书馆信息资源服务质量优化的需求

大数据时代，图书馆的读者服务已经不再以纸本图书借阅为主要形式。而是逐渐迈入了信息资源发布与共享的时代。对任何一个高校图书馆来说，无论是引进各种数据库还是资源发现系统，其与本馆基础数据的兼容都存在一定的困难。不同管理信息系统中多源数据的整合，可以达到让不同格式的元数据有效融合，以更好的达到读者的信息资源检索与利用需求。

1.3 高校合校后图书馆管理信息系统合并的需求

当前中国教育机制背景下，一些高校的合并成为一中新的教育体制方式，在高校合并过程中，涉及到的高校图书馆也随之进行合并。而作为合并成员的图书馆往往具有不同的管理信息系统，在原系统格式不同的基础上，还不乏有与其他馆基础数据及信息资源重复的情况。

2.管理信息系统合并中书目数据整合工作步骤及存在问题

2.1.1 管理信息系统合并中书目数据整合步骤

管理信息系统中书目数据整合步骤如下：

①数据情况调研分析；②制定合并方案；③系统升级调试；④对于各管理信息系统中数据进行抽取；⑥数据标准格式转化；⑦数据判重与整理，包括数据的合并、删除；⑧规范导入目标系统；⑨测试及问题反馈。

2.1.2 信息系统合并中书目数据整合工作存在的问题

在进行管理信息系统合并的书目数据整合过程中，存在问题以鱼骨图的方式表达，如下图1.1：

3.多源数据整合工作的影响因素及保障计划

3.1 多源数据整合影响因素

综上所述，在多源数据整合过程中影响最终数据质量的因素共有以下几点：

（1）对整合前源数据的调研分析不足。由于多源数据整合涉及到不同管理系统中不同格式和著录方式的数据合并、判重与删除等处理。其情况复杂，操作繁琐，需要预先进行数据的全面调研分析。

（2）数据整合标准不确定。多源数据整合工作由于需要多人多部门配合进行，所以缺少统一完善的整合标准，将导致多余同一情况处理方式不同的情况，导致整合后数据不统一的问题。

（3）数据整合执行人员工作疏忽。多源数据整合工作漫长而复杂，在此过程中，执行人员的工作疏忽、不细致、不到位，将导致数据整合工作出现各种系统问题与数据质量问题。

（4）人员的业务水平不足。多源数据整合工作所要求的业务能力和技术水平比较高。工作人员的水平不足，将导致数据整合工作进行困难，或整合结果出现问题。

3.2 多源数据整合的实施保障

为保证数据整合工作的顺利进行，尽量避免数据质量问题，针对影响数据整合的因素，制定出一系列的保障措施：

（1）做好充分的数据前期调研分析工作。数据整合前，对于各管理信息系统中的源数据进行充分的调研分析，具体内容包括：各系统中数据格式；各系统中数据的著录方式是否相同，索书号取号原则；对于版本与卷次的著录方式及数据集中行使；对同一文献资源的表达方式是否一致等等。

（2）制定合理的数据整合方案。多源数据整合的最终要求是实现在统一数据库或统一门户检索与应用，要求数据标准性和唯一性并避免重复数据与垃圾数据的出现。而数据整合工作是由多人同时进行的。为了避免出现同一情况不同处理方式的情况，对数据整合的规则和方式，应当具有统一的标准。因此在进行数据整合工作前应根据具体工作目标和最终整合结果的适应需求制定全面合理的数据整合方案。

（3）建立工作人员的培训机制。在大数据时代背景下，图书馆中一切的服务与管理活数据整合过程中，业务人员及技术人員的水平是影响数据录动，都要求图书馆员具备一定的信息素养。针对此问题应当建立工作人员的培训机制。对整合工作实施人员进行培训并检查培训结果，通过测试后，方可参加数据整合的实施活动。

（4）制定管理措施，强化责任。多源数据整合工作的进行过程中，具体执行人员是工作的直接主导。因此，对具体执行人员的管理程度决定着数据整合工作的完成速度与质量。进行多源数据整合工作前，应当制定相应的管理措施和奖惩制度，并明确工作责任，实行责任到部门乃至于个人的方式。

结论：本文以管理信息系统合并过程中的书目数据整合工作为例，对工作中存在的数据问题进行归纳及成因分析，汇总出影响多源数据整合工作的几个主要因素，并针对这些因素，制定了多源数据整合工作的保障措施。通过这些措施，可以在进行类似工作时尽量避免此类因素对于多源数据整合工作的影响，以提高工作效率保证工作质量。

参考文献：

[1]马晓亭.基于大数据的图书馆异构数据整合机制研究[J].现代情报.2015.8：47-50

[2]陈倬.基于异构数据资源整合的方法和系统实现[J].信息科学.2017.12：142-144

[3]伍德鹏.数字校园网异构数据整合研究[J].福建电脑.2016.9：122-122，6

作者简介：

第一作者：杨阳（1981年2月），女，吉林省长春市，硕士，吉林大学图书馆采编部副主任，馆员，从事中文文献编目工作。

第二作者：崔红（1970年4月），女，吉林省长春市，硕士，副研究馆员，从事中文文献编目工作。