图书馆资源应急保障成效评估框架研究*

王梦圆 罗祺姗

（1. 中国科学院文献情报中心，北京 100190；2. 中国科学院大学图书情报与档案管理系，北京 100190）

2020年全球暴发新型冠状肺炎病毒疫情（以下简称“新冠疫情”），在此重大突发公共卫生事件下，为满足用户疫情期间对图书馆资源的需求，图书馆投入众多人力、物力开展了多项资源应急保障服务，借助远程访问技术、网络课堂、专题平台等多样化的线上服务手段为用户及时提供所需资源，并持续服务至今。但目前，尚未有图书馆对此类应急服务的保障效果开展系统评估，无法直观感知用户使用服务后获取的效益。因此如何评估资源应急保障服务对用户产生的效益，是图书馆当下需要考虑的重要问题。

1 研究思路

为解决如何评估图书馆资源应急保障服务对用户产生的效益问题，本研究将在适用的图书馆评估理论基础上，设计资源应急保障服务评估框架，为相关评估实践提供参考。开展研究的思路主要如下。

（1）调研图书馆资源应急保障服务案例并明确评估需求。调研突发公共卫生事件下国内外图书馆资源应急保障服务的典型案例，并选择代表性图书馆进行访谈调研，获取服务主体对此类服务的评估需求。

（2）提出评估概念并辨析其内涵。根据研究问题和评估需求选择适用于图书馆资源应急保障服务的评估理论，在此基础上提出相关评估概念，明确评估对象、评估视角以及核心评估内容。

（3）通过用户调查获取指标设计的实践依据。对用户进行问卷调查，获取用户对资源应急保障服务的重点关注要素，作为核心评估内容转化为具体评估要点及评估指标的实践依据。

（4）设计指标体系框架。围绕核心评估内容，结合指标设计的实践依据，构建以关键性评估指标为主的评估框架，使其具备灵活性和可操作性，以适用于不同评估目标的图书馆。

2 图书馆资源应急保障服务及其评估需求

2.1 图书馆资源应急保障服务案例调研

对图书馆在突发公共卫生事件（如SARS、H1N1流感、埃博拉病毒、新冠疫情等）下开展的资源应急保障服务案例进行调研，调研对象包括清华大学图书馆、上海交通大学图书馆、牛津大学图书馆等高校图书馆，国家科技图书文献中心、中国科学院文献情报中心、美国国立医学图书馆等专业文献信息服务机构，以及国家图书馆、湖北省图书馆等公共图书馆。

通过调研发现，图书馆资源应急保障服务主要围绕用户应急期间所需的教学、科研、专题三类资源进行保障，服务方式以在线服务为主，从而实现“快、准、全”的保障目标。

（1）教学类资源应急保障服务。新冠疫情期间，国内外多数高校图书馆借助电子教参系统保障在校师生的教学资源需求[1-2]，支持疫情期间的教学工作有序开展；以线上课堂、线上讲座等形式开展在线信息素养教育[3-4]，帮助用户提升信息素养水平以应对新冠疫情产生的“信息疫情”。

（2）科研类资源应急保障服务。为响应“科研和国际交流”的应急保障要求[5]，图书馆采用统一身份认证系统[6-7]、VPN[8]等多种技术手段拓展图书馆数字资源的远程访问途径，通过集成OA资源[9]、争取商业资源临时访问权限扩展[10]、与出版商合作推出限时免费资源[11]等多种方式扩充、汇总应急期间的可访问资源[12]，为用户快速获取尽可能全面的学术资源提供支持。

（3）专题类资源应急保障服务。图书馆还提供与突发公共卫生事件相关的信息情报、专题文献等专题类资源应急保障服务，以帮助用户了解、掌握权威信息和最新动态。专题栏目/网站是这一类服务的常见形式[13-14]，通过集中发布最新信息情报、科研进展、信息工具等，形成综合集成的专题信息源，供用户一站式获取所需专题资源。此外，图书馆将馆藏资源中与突发公共卫生事件有关的文献或数据挑选并进行整合，形成专题文献/数据库[15-16]，为用户提供服务。

2.2 资源应急保障服务评估需求调研

从访谈调研内容及数据的可获取性角度考虑，本研究以资源应急保障服务的代表性图书馆之一的中国科学院文献情报中心（以下简称“文献中心”）为例，访谈5个不同业务部门，调研新冠疫情期间各部门开展资源应急保障服务的内容、方式以及预期服务目标等情况，基于调研结果梳理、总结服务主体对此类服务的评估需求。访谈调研的主要结果如下。

（1）教学类资源应急保障服务。利用“中科院科研信息素养讲堂[17]”的服务平台，加大对线上科研信息专业课程的保障力度，致力于提升用户信息素养，使其在应急期间充分利用资源保障服务获取所需资源。

（2）科研类资源应急保障服务。提供WEBVPN[8]、慧科研漫游认证[18]两种身份认证方式，确保用户可以随时随地稳定访问文献中心订购的网络数字资源，以达到保障用户居家科研学习对文献资源需求的服务目标。

（3）专题类资源应急保障服务。通过专题栏目“全球COVID-19开放学术资源”[9]、专题平台“新型冠状病毒专题知识服务与科研攻关交流平台”[19]及“‘COVID-19’科研动态监测平台”[20]向院内用户提供多类型的新冠专题科研资源、专题信息情报，保障用户及时获取最新权威专题资源，实现专题科研攻关的推进和专题信息素养的提升。

由此可见，尽管各业务部门因业务职能不同，开展的资源应急保障服务在服务内容和方式上存在差异，但都认为相较于常规资源保障，应急保障的资源具有更强的专业性、专题性和权威性，具有更显著的时效性和稳定性。结合服务内容及目标，总结出文献中心在评估资源应急保障服务时有以下方面的需求。

（1）评估用户需求资源的保障情况。用户常规科研学习需要的文献和教学资源，以及对最新权威专题资源的需求是否得到有效保障。

（2）评估资源远程获取的保障手段。是否提供多种资源远程获取渠道/平台，获取渠道/平台是否稳定，远程登录操作是否简单易操作，是否能打破资源获取的时空限制、提升用户资源获取效率。

（3）评估用户使用服务获取的效益。文献中心服务对象为科研人员与研究生，服务是否能影响或改变用户科研能力、信息素养和信息行为。

3 资源应急保障成效评估概念界定

根据文献调研，图书馆评估领域发展至今形成绩效评估（performance assessment）、服务质量评估（service quality evaluation）、成效评估（outcome assessment）3种主流评估理论[21-22]，其中绩效评估是以图书馆为中心评估图书馆资源配置效率[23]，服务质量评估强调以用户感知来衡量图书馆服务质量[24]，而图书馆成效评估是基于图书馆的目标与使命，以用户为中心评估图书馆服务或资源对用户所产生的效益[25]，更关注用户使用图书馆服务或资源后在学业成就[26]、科研产出[27]、信息素养[28]和信息行为[29]等方面的成效。

通过对比这3种主流评估体系的特点和内容，本研究认为侧重关注用户效益的“成效评估”理论更符合资源应急保障服务效果的评估需求，更适合解决如何评估图书馆资源应急保障服务对用户产生的效益的问题；同时，“成效评估”在理论研究[30]、应用原则[31]、实践过程[32]、评估标准[33]等方面都已形成较为成熟的理论和实践成果，为本研究提供了坚实的理论依据。

在上述基础上，本文结合资源应急保障服务案例及评估需求调研，提出图书馆“资源应急保障成效评估”概念，即基于图书馆的目标与使命，以用户为中心评估图书馆资源应急保障服务对用户应急时期所需的核心常规资源与专题资源的保障情况，以及对用户在此期间的学业成就、科研产出、专题信息素养、信息行为等方面的效益。资源应急保障成效评估的对象是图书馆在突发公共卫生事件下开展的资源应急保障服务，评估角度以用户为中心，核心评估内容包含以下3个方面。

（1）核心常规资源应急保障。针对用户在应急期间正常开展科研学习工作的需求，评估资源应急保障服务对用户所需核心常规文献和教学资源的保障成效，能否保障用户应急期间科研学习工作的正常、有序进行。

（2）专题资源应急保障。针对用户应急期间对专题信息情报及时、准确获取的需求，对专题文献资源和研究动态的及时、全面保障的需求，评估资源应急保障服务对专题资源的应急保障成效。

（3）用户使用成效。用户在应急期间使用资源应急保障服务提供的各类资源后，评估其学业水平是否进步、科研产出成果是否增加、专题信息素养水平是否提升、信息行为是否受到影响与改变等方面的用户使用成效。

4 资源应急保障成效评估框架设计

资源应急保障成效评估的概念内涵明确了核心评估内容，为应急保障成效评估指明方向，而为设计一套具备可操作性的资源应急保障成效评估框架，还需将核心评估内容转化为具体的评估要点及指标。根据成效评估原则[17]，本研究通过用户问卷调查方式，获取用户对资源应急保障评估的重点关注要素，以此作为设计具体指标的实践依据。

4.1 资源应急保障服务用户问卷调查

出于数据可获得性的考虑，本研究仍以文献中心开展的资源应急保障服务为调查背景，分别在新冠疫情较为严重的2020年8月和进入疫情防控常态化的2021年7月，对服务对象——中国科学院科研人员与研究生进行了两次线上问卷调查。第一次问卷重点调查用户在疫情紧急形势下对文献中心提供资源远程访问服务的使用情况、服务质量的反馈意见，共回收102份有效问卷；第二次则以第一次问卷为基础、系统调查了用户对文献中心提供的各项资源应急保障服务的使用体验，增加主观填空题收集用户的关注要素，共回收107份有效问卷，其中有62份答卷填写了主观题。

第一次调查中，用户通过对服务质量的满意度打分表现了对服务稳定性、易用性的关注。第二次调查中，用户在资源类型、内容、质量、时效、获取效率以及资源对自身的影响/提升等方面提出了对资源应急保障服务的关注要素，其中有75.8%的问卷中提出需关注“资源类型/内容”要素，69.4%的问卷中提出需关注“资源质量”要素，64.5%的问卷中提出需关注“资源获取效率”要素，51.6%的问卷中提出需关注“资源时效”要素，35.5%的调查对象表达了资源对自身科研学习和信息素养水平提升的需求，另有少数问卷提到了宣传推广、用户使用门槛等要素。

通过用户问卷调查，发现用户在使用资源应急保障服务时主要关注以下五方面要素。

要素一：资源类型/内容。包括常规教学资源和科研资源的类型是否全面，其内容是否能满足各学科领域用户远程科研学习的资源需求；专题资源种类是否丰富，分类是否清楚，是否能满足用户需求。

要素二：资源质量。包括保障的资源是否权威、专业，能否提供可信赖的准确信息来源。

要素三：资源获取效率。包括服务渠道是否稳定，修复故障是否及时，资源获取流程是否便捷简洁，资源检索是否高效准确。

要素四：资源时效。包括资源的发布或更新是否及时，能否获取专题最新进展，能否可持续访问所需的某类资源。

要素五：自身能力提升。包括保障的资源能否提升自身在应急期间科研学习成效，能否提升自身的新冠专题信息素养。

4.2 资源应急保障成效评估框架

考虑到资源应急保障成效评估所涉及内容的复杂性，本研究借鉴层次分析法[34]的指标体系结构，以“内容层（A层）-要点层（B层）-关键指标层（C层）”的框架层次结构展现资源应急保障成效评估框架内容以及各级指标的逻辑关联。其中：内容层（A层）是资源应急保障成效评估概念中涉及的3个核心评估内容，即核心常规资源应急保障、专题资源应急保障、用户使用成效；其下级要点层（B层）是基于评估内容，由资源应急保障服务用户关注要素和成效评估理论转化而来的评估要点，是对内容层的解释；关键指标层（C层）则是指标体系最终的应用层次，将评估要点进一步转化为适用性较高的关键性评估指标，为不同评估主体进行评估实践时提供测度工具。以下为各层次内容的说明。

核心常规资源应急保障（A1）：反映资源应急保障服务中对用户应急期间所需核心常规科研、教学资源的保障情况。由于常规资源的内容提供方并非图书馆，结合用户关注要素，A1下属的评估要点仅设置核心常规资源的保障程度（B1）和获取情况（B2）两项，主要通过线上教学资源保障率、核心常规资源需求满足度和资源获取渠道特性等方面的7个细化指标体现。

专题资源应急保障（A2）：反映资源应急保障服务中对用户应急期间所需专题资源的保障情况。由于图书馆是专题资源内容的组织方和提供方，对建设服务拥有更多的自主权，因此基于用户关注要素设置了专题资源的覆盖程度（B3）、内容特征（B4）、时效情况（B5）和获取情况（B6）4项评估要点，并将其转化扩展为专题资源的种类、权威性、发布/更新及时程度、平台稳定性等9个关键性评估指标。

用户使用成效（A3）：基于成效评估研究的成效类型，结合用户调查中的关注要素五，用户在使用此类应急服务后产生的成效一部分转化为直接生产力，即应急期间的学业成就（B7）和科研产出（B8），具体可通过课程成绩、常规科研产出数量等6个指标体现；另一部分通过用户个人素质和能力的提升表现出来，即专题信息素养（B9）和用户信息行为（B10），可使用专题情报认知程度、应急服务使用优先度、应急服务依赖程度等5个指标评估。

综上所述，本研究设计的资源应急保障成效评估框架共包括3个方面评估内容（A层），10个评估要点（B层），27个关键性评估指标（C层），具体内容如表1所示。

表1 图书馆资源保障应急成效评估框架

4.3 框架特点与应用

（1）评估框架的灵活性。由于资源应急保障服务具有多种服务形式和内容，且图书馆成效取决于自身目标与使命[31]，无法设计满足所有评估需求的统一标准评估框架，因此，本研究在设计评估框架时，将用户对此类服务的重点关注要素转化设置为关键性评估要点及指标。不同的评估主体可以根据本馆服务实际情况对评估框架进行个性化设计，建立适用于本馆评估目的的应急保障成效评估指标体系。如文献中心在评估本馆资源应急保障服务时，由于其服务目标不包括用户的学业成就，应用评估框架时需舍去应急期间学业成就（B7）及下属指标，保留符合本馆服务实际情况的评估指标，并依据需求对其进行个性化调整。

（2）评估指标的权重。在对图书馆业务部门的访谈调研中发现，图书馆开展的各项资源应急保障服务从不同角度满足用户不同需求，因此，对不同应急服务的评估，无法通过统一赋权的方式标识各维度指标的重要程度。图书馆在开展评估工作时，可根据评估需求对各评估指标进行个性化赋权。

（3）评估框架的适用对象。由于成效评估应是一个连续性的过程[31]，而高校图书馆与专业图书馆因机构性质与目标不同，其资源应急保障服务持续状态相较更久，因此本框架对高校图书馆与专业图书馆的适用性更高。在对其他类型图书馆进行评估时，可利用评估框架灵活性的特点，根据本馆服务目的与实际情况对框架进行个性化调整。

（4）评估对象的选择。本评估框架既可对单项资源应急保障服务进行评估，也可以对多项服务组成的资源保障类应急服务进行综合评估，区别在于单项评估仅需选取贴合该服务特点的评估指标；而多项评估在选择评估维度时则需要综合考虑，选取的评估指标应符合各项资源应急保障服务的特点，保证此类服务集合中的各个要素都能得以评估。

（5）评估方法的选择。根据ACRL提出的图书馆成效评估原则[31]，图书馆进行成效评估时应结合定量与定性方法。应用本评估框架时，定量方法主要为相关客观数据统计或用户打分，定性方法多为问卷调查、访谈等，综合定量和定性评估结果对整体成效做出评价。

5 结语

突发公共卫生事件下，图书馆资源应急保障服务效果亟需得到评估，但目前尚未有图书馆开展相关评估的研究案例，因此本研究设计的评估框架旨在为图书馆评估此类服务提供参考，以便真实直观地感知用户使用服务后获取的效益，有针对性地改进服务不足之处以提升服务效果，为保障服务可持续、常态化发展奠定基础。由于篇幅所限，本文只能精简阐述资源应急保障成效评估概念及评估框架的核心内容，后续将对此框架进行实证研究，并根据实证结果对评估框架进行优化完善。