美国图书馆协会Project Outcome成效评估工具分析与启示

王洪斌 宫平

摘要：近年来，成效评估已成为图书馆评估的一种重要方式，Project Outcome是美国图书馆协会制作发行的一款图书馆成效评估工具。首先通过梳理Project Outcome工具的功能特点和发展历程，最后提出了加强评估体系建设、实现多元评估，重视图书馆评估标准化工作，以及进一步提高评估的信息化水平等建议。

关键词：图书馆评估;成效评估;成效评估工具;Project Outcome

中图分类号：G251文献标识码：A

DOI：10.13897/j.cnki.hbkjty.2021.0075

图书馆评估是图书馆学研究的重要课题，近年来图书馆评估大致可分为三种：“衡量图书馆服务的服务质量评估、评估图书馆价值和影响的成效评估 （outcome assessment） 、以投入和产出为主的绩效评估。”[1]随着学界研究的深入，图书馆评估的重点已经由图书馆转为用户，评估焦点从投入——产出转为对用户的影响，成效评估已经成为图书馆评估的发展趋势[2]。所谓成效评估，即是评估图书馆的项目或服务对用户产生的影响，以此衡量图书馆的价值[3]。

在图书馆评估的实践过程中，产生了Project Outcome、Lib Wizard等图书馆成效评估工具。在成效评估已经成为图书馆评估发展趋势的背景下，图书馆成效评估工具应当得到重视。笔者通过对美国图书馆协会（ALA）制作发行的免费图书馆成效评估工具Project Outcome的发展历程与使用流程进行梳理，分析Project Outcome的发展历程与功能特点，以期助力我国图书馆评估研究，从而推动我国图书馆事业发展。

1Project Outcome的开发背景与主要功能

Project Outcome是ALA制作发行的图书馆成效评估工具，其主要功能是为世界各地的公共图书馆与学术图书馆提供图书馆活动与服务成效的评估工具，帮助图书馆展示自身价值，通过标准化的评估数据促进图书馆之间交流。Project Outcome有公共图书馆和学术图书馆两个版本，分别于2015年和2019年推出。

1.1Project Outcome的开发背景

美国联邦博物馆与图书馆服务局（IMLS）是美国联邦政府向美国各地图书馆与博物馆提供支持的部门，根据《图书馆服务和技术法令》（LSTA）规定，IMLS会向美国各州的公共图书馆提供赠款以促进图书馆的发展，各州图书馆对赠款的使用往往以项目的形式进行。1996年起美国以立法形式要求对受赠图书馆的项目成果进行评估，IMLS随之要求受赠图书馆需要报告授予图书馆的每个项目的进展及其影响。2015年，IMLS在全国范围内推出了新的报告要求，要求受赠图书馆对项目的结果及影响做出标准化的报告。然而由于各种现实因素的影响，受赠图书馆所做的项目报告始终无法使IMLS满意。

ALA创建于 1876 年，是世界规模最大的图书馆协会之一，对美国乃至世界图书馆行业的服务与发展起到极其重要的作用。为了解决各地图书馆项目报告无法满足IMLS要求的问题，ALA下设的美国公共图书馆协会（PLA）决定为各地的图书馆提供标准化的项目评估方法与工具，使图书馆的报告能够满足IMLS的要求。2013年PLA主席卡洛琳·安东尼成立了由公共图书馆领导、科研人员、咨询人员和数据分析员等组成的公共图书馆业绩测试特别小组（PMTF），开始制定和推廣标准化的公共图书馆项目评估系统，也就是后来的Project Outcome。PMTF最初的目的仅是为了让美国各地图书馆的报告符合IMLS的标准，但随着图书馆评估理论的发展与项目组的调查，PMTF逐渐发现图书馆在这方面存在着更广泛的需求。

1.2Project Outcome的发展历程

2013年，PMTF成立后的第一步行动是对现有的资料进行整理分析。如PMTF对华盛顿大学描述资助者使用公共图书馆技术服务的影响调查、IMLS评估各州LSTA奖励的标准、美国图书馆协会的公共图书馆资金和技术访问研究等现有的相关材料进行分析，结合以往的经验重新考虑并设计图书馆的社区影响指标，PMTF希望这些新指标可以准确科学地反映图书馆项目的结果与影响，各地图书馆可以使用标准化的新指标对自身进行评估。为了衡量新指标的可靠程度，PMTF选择了美国27个图书馆开展试点测试，测试新指标是否可以准确地反映不同情况下的图书馆项目的结果与影响。在试点测试的过程中，PMTF发现一个普遍的现象，即图书馆工作人员可以直接观察到在某些领域活动的成效，但无法用具体的数据表示出来，这使得PMTF的工作目标不再局限于帮助IMLS获得标准化报告，而是将目光投向了图书馆的需求。

根据前期准备的结果，PMTF设计了Project Outcome工具，并于2015年在旧金山举行的美国图书馆协会年会上提出了Project Outcome项目，正式推出了Project Outcome工具。Project Outcome工具推出后受到了比尔及梅琳达·盖茨基金会的关注，基金会为Project Outcome的后续发展提供了一定的资金支持。同时Project Outcome也受到了美国公共图书馆与其他国家图书馆的欢迎，这些图书馆开始频繁使用Project Outcome来对自身举办的活动和服务进行评估，验证活动和服务的成效。随着图书馆对Project Outcome熟悉程度的加深，PMTF为Project Outcome加装了即时调查、后续调查、成果衡量指导等功能，使得Project Outcome适合于大多数公共图书馆的使用。

随着Project Outcome的更新与传播，尝试使用Project Outcome的公共图书馆逐渐增多，Project Outcome也引起了学术图书馆的注意。2017年美国学术图书馆协会（ACRL）与PLA进行接触，针对Project Outcome在学术图书馆的适用性展开了讨论[4]，并成立了学术Project Outcome工作组，工作组效仿PLMF的工作方式，在2018年6月至10月期间对7个学术图书馆服务区和54个机构进行实地测试，通过对不同学术图书馆的调查分析总结出学术图书馆的评估主题，最终学术图书馆Project Outcome成效评估工具于 2019年4月在克利夫兰举行的 ACRL 会议上发布。截至2021年2月6日，Project Outcome已经收集到了来自世界各地的1 924个公共图书馆的324 846份评估数据，577个学术图书馆的63 471份评估数据[5]。

1.3Project Outcome的主要功能与使用流程

Project Outcome以成效评估为主要功能，为图书馆进行某项活动或服务后提供相应的评估方式、评估内容与评估结果分析。由于成效评估重点关注的是项目对于用户的影响，Project Outcome的评估方式以问卷调查为主，通过调查主题的划分预设问卷内容。此外Project Outcome关于评估结果分析的模块中提供了矩阵分析、数据地图、同行对比等分析方式，可视化、多方面地展示成效评估的结果，大大减少了相关工作人员的工作量。图1具体展示了Project Outcome各项功能、服务与使用流程。

2Project Outcome的功能特点

Project Outcome对自身定位十分明确，作为图书馆成效评估工具，其没有关于图书馆绩效或实体、服务方面的评估内容，仅专注于图书馆项目与活动。为了得出客观准确的评估结果、有效促进图书馆间的交流进步、得到图书馆认可，Project Outcome立足于图书馆日常运营实践，提供了小而精的评估工具，具有以下主要功能特点。

2.1评估标准化

Project Outcome希望使用此工具的图书馆能够针对各自的评估结果进行对比分析交流，客观把握自身在行业中的定位，以此为依据调整图书馆活动与服务发展策略。图书馆成效评估结果可以进行的前提是参与图书馆必须处于同样的条件下，即

在标准化的评估环境下，只有这样交流对比的结果才能得到图书馆或社会各界的信服。为了实现Project Outcome交流平台的良好运作，Project Outcome首先为使用的图书馆提供的是一套标准化的评估流程。

Project Outcome的评估标准化包含评估方法标准化、调查数据标准化、评估结果标准化三个方面。评估方法标准化指Project Outcome为使用者提供的是一套统一的评估方法，具体表现为同一评估主题下，使用者根据Project Outcome进行评估的流程是一致的;调查数据标准化指同一评估主题下Project Outcome给予使用者的调查内容是一致的，使用者根据Project Outcome进行调查所得的数据具有一致性;评估结果标准化表现为使用者将调查数据输入Project Outcome后，Project Outcome会通过矩阵分析、数据地图等方式绘制评估结果，并将评估结果与同行对比。Project Outcome的评估标准化覆盖了图书馆成效评估前（设计评估方案）、中（收集调查数据）、后（集成调查结果）三个阶段，保证了成效评估中各图书馆条件的一致性，这也是Project Outcome能够受到认可的核心举措。

2.2使用易用性

实践是理论的基础，图书馆实际运行的要求对图书馆成效评估工具的制作具有决定性作用。图书馆使用成效评估工具的先决条件是能保持图书馆的正常运营，针对这种要求，Project Outcome呈现出了相当程度的易用性。

Project Outcome的易用性主要体现在三个方面：一是使用简单，二是方便灵活，三是评估耗时短。由于受所在地经济发展、文化水平等因素的影响，不同地区图书馆的发展存在较大差异，如馆员专业技能水平参差不齐，为了确保绝大多数图书馆可以高效利用，同时也为了减轻图书馆成效评估的负担，Project Outcome提供的是一套“傻瓜式”的评估流程。在大规模图书馆评估进行前，评估者、受评方以及相关组织、部门往往要进行一段时间的准备，Project Outcome没有设置任何进行评估的前期工作，最大限度确保评估效率。图书馆推出活动和服务的频率往往在两周一次到两三个月一次之间，相比起动辄以年为周期的大规模图书馆评估，图书馆进行成效评估的频率要高很多。评估的高频率要求图书馆成效评估工具必须将评估过程控制在一个相对短的时间范围内，否则会导致“这次评估还没完成，下次评估已经开始”这种情况的发生，从而加大图书馆人员的压力。Project Outcome首先省去了评估中的评估方法设计与调查数据分析两部分，并且给与的评估方法往往只需耗时数日便可完成，使得通过其进行的评估耗时极短。

2.3评估阶段性

效度即有效性，它是指通过测量工具或手段能够测出所需测量事物的准确程度。Project Outcome提升评估效度的方式是设置“即时调查”和“后续调查”两个阶段的评估方式，二者分别用于图书馆活动和服务结束后立刻进行评估和结束后二到四周再进行评估。设立即时与后续两个阶段的原因是Project Outcome考虑到随着时间流逝，参与用户对于图书馆活动和服务的想法以及自身能力、思维方式可能会发生改变，单一时间的评估可能无法反映图书馆活动和服务成效的全貌。考虑到会有人认为两阶段的评估方式提高了图书馆成效评估的成本，Project Outcome并不强制用户进行两阶段评估，用户可以选择活动结束后立即进行评估，获取第一手资料;也可以在二或四周后进行评估，给与用户充足的消化时间;也可以选择二者皆行，追求更高信度的成效评估结果。

3对我国图书馆评估工作的启示

Project Outcome图书馆评估工具的发展促使着我国图书馆评估工作方法的增多，根据以上对于Project Outcome的发展与功能特点的分析，可以得出对我国图书馆评估工作的如下启示。

3.1加强图书馆评估体系建设，实现多元評估

国家统计局发布的《中华人民共和国2020年国民经济和社会发展统计公报》显示，2020年末全国共有公共图书馆3 203所[6]，教育部宣布截至2020年6月全国高等学校共计3 005所[7]，这在一定程度上说明我国现有公共图书馆与高校图书馆数量较为接近。高校图书馆根本任务是为高校教学、科研提供服务，通过评估展示与提高自身服务能力是促进高校图书馆发展的重要方式，因此我国图书馆评估工作应加强对高校图书馆评估工作的重视。除高校图书馆外我国还存在数量众多的其他类型图书馆，若能通过建设多元协调的评估体系，统筹各类图书馆评估方式、指标、人员等，将有力地提升我国图书馆评估工作对图书馆事业发展的推动作用。

多元评估理论源于教育学领域，具体包括评估主体多元化、评估内容多维化、评估方式多样化。评估主体多元化方面，我国第六次县以上公共图书馆评估定级以文化部为主导，在具体评估工作中政府部门、高校学者、社会专家、图书馆行业协会共同参与评估工作，从政府、学校、社会、相关从业者等多个视域出发，有力加强了评估的科学性。同时此次评估定级中担任标准研制专家组组长的南开大学柯平教授提出：“未来评估还需加大社会参与的程度，比如说让读者参与到对图书馆的评价中，同时还要增加我们专家库的规模，增加社会力量（如大学教师）的比例。”[8]进一步证明了评估主体多元化对于图书馆评估的重要意义。评估内容多维化与评估方式多样化二者相辅相成，当今时代图书馆评估存在影响力评估、绩效评估、成效评估、服务质量评估等多方面评估理论，落实到实践中便是图书馆评估的内容多维化，如作为服务能力基础的馆舍建设评估、明晰投入产出状况的绩效评估、图书馆影响力评估等。因此我国图书馆评估方式也应向着多样化的方向发展，建设主体客体多元化、内容多维化、方式多样化的多元协调的图书馆评估体系将是我国图书馆评估工作的重要内容。

3.2重视图书馆评估标准化工作

图书馆评估的最终目的是通过评估促进发展，如果评估没有可以进行对比的对象，图书馆评估的效果便要大打折扣。图书馆对评估结果进行交流对比时，最大的阻碍往往是评估标准不一导致对比无法进行，两所图书馆使用不同的评估方法得出的评估结果進行对比是毫无意义的，只有形成一个参与评估交流的图书馆共同认可的、共同遵守的评估标准，才能实现图书馆之间关于评估的良好交流。目前图书馆界关于评估方面的相关标准较少，国际知名度较高的有国际标准ISO16439：2014《信息与文献——图书馆影响力评估的方法与流程》[9]、《澳大利亚公共图书馆评估指南、标准与产出评估》[10]、《英国NHS图书馆质量评估标准》[11]等，目前我国关于图书馆评估唯一的国家标准是2019年制定实施的《信息与文献 公共图书馆影响力评估的方法和流程》[12]，此项标准专注于公共图书馆影响力评估方面，主要介绍和规定公共图书馆进行影响力评估的各类方法。图书馆影响力方面的评估在图书馆运营中进行的相对较少，而在图书馆进行次数较多的绩效评估、成效评估方面却未形成科学合理的相关标准。同时除公共图书馆外，我国其他类型图书馆评估也缺乏相关标准的指导，因此我国应兼顾各类图书馆评估，确保图书馆事业整体发展。

2016年7月，国家文物局修订和颁布了《博物馆定级评估办法》《博物馆定级评估标准》[13]等相关文件，2017年12月，中国博物馆协会还发布了《国家一、二、三级博物馆运行评估规则》[14]，博物馆界逐渐形成较科学的评估规范体系和评估运行机制。图书馆界亦应在落实对现行影响力评估标准使用的基础上，加强新的评估标准建设，在加强图书馆评估体系建设的前提下及时设立相应的评估标准，使图书馆工作和建设的各个方面、各领域有“标”可依，以此提高我国图书馆评估工作的成效。

3.3进一步提高图书馆评估的信息化水平

提高评估的信息化水平是我国图书馆评估工作发展的要求，在公共图书馆第六次评估的过程中中国图书馆协会建立了信息化评估平台，各公共图书馆可以通过平台递交评估材料，评估专家通过网络进行评估工作和交流，这是我国第一次实现大规模的信息化图书馆评估。以Project Outcome为例的图书馆评估工具是图书馆信息化评估发展的成果，可以提高评估的信息化水平，有利于减轻图书馆评估压力与负担、实现评估常态化。

评估本意是“以评促建”，图书馆进行评估成本的大小影响着图书馆进行评估的积极性和有效性，评估耗时过长、运用人力资源过多亦会影响图书馆的正常运营。提高评估信息化水平，通过信息化技术从评估方案设计、评估材料和信息的传递、评估人员的交流等方面减轻图书馆评估负担，提高评估灵活性，减少评估成本，有利于提高图书馆评估工作的经济效益。同时信息化工具与平台制作建设完成后，图书馆的日常评估可以此为模板，形成图书馆日常评估体系，真正将评估环节纳入到图书馆运营活动中，实现评估常态化。

4结语

图书馆的评估工作由来已久。随着我国第六次全国公共图书馆评估工作的结束与《中华人民共和国公共图书馆法》的实施，我国的图书馆评估工作达到了一个新的高度。在图书馆“后评估”时代[15]，图书馆研究人员不应只满于已取得的成就，应开阔视野、广泛学习，探寻能够促使我国图书馆评估工作进步的方式，从而推动我国图书馆事业的发展。

参考文献

[1]万小刚，洪秋兰.美国高校图书馆成效评估研究及启示——基于ARL2010—2018年图书馆评估大会的分析[J].图书馆学研究，2020（19）：88-94.

[2]赵伟，张秀华.基于遗传神经网络的图书馆成效评估研究[J].情报理论与实践，2013（12）：94-98.

[3]Rhea Joyce Rubin. Demonstrating Results： Using Outcome Measurement in Your Library[R]. For the PLA （Public Library Association） Spring SymProject Outcomesium， Mar， 2007.

[4]American Public Libraries Association. 2017 ReProject Outcomert [EB/OL]. [2021-04-16]. https：//ww w.projectoutcome.org/ckeditor_assets/attachments/35 9/plaprojectoutcome2yearannualreportfinal.pdf.

[5]American Public Libraries Association. PLA|Project Outcome[EB/OL].[2021-04-10]. https：//www.projectoutcome.org.

[6]国家统计局.中华人民共和国2020年国民经济和社会发展统计公报[EB/OL].[2021-05-20]. http：//www.stats.gov.cn/tjsj/zxfb/202102/t20210227_1814154.html.

[7]中华人民共和国教育部.全国高等学校名单[EB/OL].[2021-04-20].http：//www.moe.gov.cn/jyb_xxgk/s5743/s5744/202007/t20200709_470937.html.

[8]周雅倩，魏梦婷.用指标撬动图书馆转型——柯平教授谈公共图书馆评估的现状与未来[J].四川图书馆学报，2021（1）：1-5.

[9]银晶，冯玲.国际标准ISO16439：2014《信息与文献——图书馆影响力评估的方法与流程》解读与分析[J].山东图书馆学刊，2017（2）：66-70.

[10]王秀香.《澳大利亚公共图书馆评估指南、标准与产出评估》标准解读[J].河北科技图苑，2020（2）：80-86.

[11]王培林.健康信息服务驱动公共图书馆未来发展——基于《英国NHS图书馆质量评估标准》的分析与启示[J].图书情报知识，2018（2）：32-39.

[12]中华人民共和国文化和旅游部.文化和旅游部关于发布《信息与文献 公共图书馆影响力评估的方法和流程》等7项行业标准的公告[EB/OL].[2021-04-20]. https：//www.mct.gov.cn/whzx/zxgz/wlbzhgz/201903/t20190327_837976.htm.

[13]国家文物局.国家文物局关于公布施行《博物馆定级评估办法》（2019年12月）等文件的决定[EB/OL].[2021-04-16]. http：//www.ncha.gov.cn/art/2020/1/20/art_2318_43606.html.

[14]北京市文物局.国家一、二、三级博物馆運行评估规则[EB/OL].[2021-04-16]. http：//wwj. beijing.gov.cn/bjww/362760/362767/556574/556580/bwgpg/556886/index.html.

[15]柯平.“后评估时代”公共图书馆的战略重点与发展方向[J].图书馆论坛，2019，39（7）：1-12.

作者简介：王洪斌（1988），男，辽宁大学历史学院2020级图书情报专业硕士研究生。研究方向：图书馆评估、公共文化服务。

宫平（1982），女，博士，辽宁大学历史学院讲师。研究方向：图书馆评估、公共文化服务、数字人文。

（收稿日期：20210528责任编辑：张长安）

Analysis and Enlightenment on the Effectiveness Evaluation Tool of

Project Outcome of the American Library Association

Wang HongbinGong Ping

Abstract：In recent years， outcome assessment has become an important method of library evaluation. Project Outcome is a library outcome assessment tool produced and issued by the American Library Association. This article sorts out the development process and functional characteristics of Project Outcome， and puts forward suggestions as strengthening the construction of evaluation system， realizing multiple evaluation， attaching importance to the standardization of library evaluation， and further improving the information level of evaluation.

Keywords：Library Assessment; Outcome Assessment; Outcome Assessment Tool; Project Outcome