数字资源绩效评估体系探析——以电子期刊为例

●蒋 燕

（武汉图书馆，武汉 430015）

1 引言

目前，对于数字资源及其服务效果的评估业界并无一个专门的统一标准。在2009年《全国县以上公共图书馆第四次评估标准细则（省级）》中，对数字资源的评定指标仅有两大项10小项。［1］评估体系侧重于资源的建立及组织，仅包含了资源采购过程中所完成的量化标准（213、2131、2132、272、2723项），内容编排及界面设计指标（2724、351项） 以及利用率指标（353项）等，而对于数字资源的检索系统、功能、用户服务、使用效果的评估却未制定出行之有效的评估指标。

另外，国内所进行的数字资源绩效评估研究与实践还有CALLS文理中心对数字资源在各个成员高校馆中的使用情况进行列表统计方法，中国科学院文献情报中心利用Elsevier数据库的使用统计数据分析科研人员对生物学文献的信息需求的方法，［2］“E线图情”所开发建立的电子资源评价指标体系。［3］从这些研究及实践成果来看，对于解决数字资源建设后的绩效评估，包括评估方法、准则、程序及评估结果如何运用于系统后续的改善等问题没有一个令人满意的答案。而数字资源建设的重点正逐渐从资源建设向资源服务转变，这就更需要图书馆对于资源及服务的测量评价方法进行重新定位。

2 数字资源绩效评估要素

在传统的馆藏资源评估体系中，评估的主要目的是支持图书馆建设馆藏资源。随着数字资源数量的不断增加，服务范围不断扩大，数字资源服务将灵活地扩展至所有可能出现的网络服务终端，馆藏资源的概念将被淡化。因此，数字资源绩效评估将建立一种开放性的评估新体系，以满足各种用户对各种资源的认知程度为目的，并最大化地满足用户的信息需求。

数字资源服务效果的评估项目应涉及到三个方面。

2.1 资源的可及性

资源的可及性是利用程度的决定因素，其涵盖阶段自用户登录系统到取得需要的资源为止。在进入系统阶段，方便及易于使用是公认的最重要的因素，如果用户在注册过程花太多时间或登记表格难以填写，便可能中途放弃。有意完成注册过程的用户在遇到缺乏必备工具、指示不足或网络断线时，也很容易放弃。有些电子期刊系统并不要求用户注册及填写个人资料，使用率反而高。

2.2 资源的可用性

资源的可用性和用户的利用效果有关，例如查寻所需时间、成功率、失败率、用户主观的满意度等。资源的可用性必须考虑到各个用户层面的需要。

2.3 资源的使用率

包括谁是主要用户？他们在做什么？他们的使用目的、使用频率、使用习惯如何？用户的使用情况，通过分析IP地址获得可能是最容易的方式。用户的使用行为可由点击方式得知，例如浏览、检索、下载、打印、e-mail全文等。［4］

3 国外数字资源绩效评估的研究与实践

建立起一个科学的数字资源绩效评估体系，将有利于合理、优化地发展图书馆的数字资源，乃至整体资源建设。因此，国内外相关机构和学者都在尝试建立一套科学合理的评估指标体系，其中最著名的例子应属美国学术图书馆协会（American Research Libraries）所完成的“ARLE-metrics Project”计划等。

3.1 美国学术图书馆协会（ARL） E-metrics项目［5］

美国学术图书馆协会（ARL）下属的统计和测度委员会 （Statisticsand Measurement Committee） 在 2000年开始启动E-Metrics数字资源评估项目，其指标体系分两部分：网络统计和绩效指标（见表1、表2）。

表1 ARL E-metrics Project网络统计指标

表2 ARLE-metrics Project绩效指标

ARLE-metrics项目的评价重点在于：第一，数字资源的使用、费用、配套设施等情况；第二，数字资源的使用占图书馆全部服务的比例；第三，数字资源的使用对用户的研究和学习的影响。ARLE-metrics项目的核心思想是关注以数字方式提供的服务与传统服务的比例关系，通过数据分析，用数字资源的使用所占全部服务的比例来反映数字资源及服务的绩效水平。

3.2 英国COUNTER项目［6］

The Project COUNTER全称为“网络电子资源在线使用统计项目”（Counting Online Usageof Networked Electronic Resources），发源于英国，于2002年3月正式启动。目的是为图书馆、出版商及数据库厂商制定统一的数字资源统计记录与交换格式。COUNTER分别于2003年、2005年制定出《数据库和电子期刊的使用统计规范》（the COUNTER Code of Practice for Journals and Databases）（2008年第二版）、《电子书与参考文献的使用统计规范》（2006年第二版）（the COUNTER Codeof Practicefor Booksand Reference Works）。

3.3 图书馆联盟国际联合体（ICOLC）《电子资源使用统计评估指导方针》［7］

图书馆联盟国际联合体（ICOLC） 于2003年对原已编订的《电子资源使用统计评估指导方针》（ICOLC Guidelines for Statistical Measures of Usage of Web-based Indexed，Abstracted，and Full-Text Resources） 进行 重新编定，增补及修订数据。2006年10月4日公布的最新版本更名为《Guidelines for Statistical Measures of Usageof Web-Based Resources》。其目的是提供一种广泛性的数字资源指导方针。其评价指标主要包括：（1）基本需求数据，如登录次数、检索次数、菜单使用次数、全文资料被检索或下载的次数等；（2） 统计资料的详细程度；（3）隐私权及使用者保密协定；（4）机构或联盟的保密协定；（5）统计资料获取方式；（6）统计资料的传递方式。

4 数字资源绩效评估指标体系实证分析

4.1 评估指标制定的原则及评估指标数据

综观上述评估项目的实际应用来看，数字资源评估体系的各项指标必须依据一定的原则来制定。

（1）评估指标必须是有意义的。计算机软件可以按照人们的设计完成各种统计，但制订评价指标只能选取其中有意义的内容，对管理决策没有意义的内容不适合作为评价指标。

（2）评估指标必须有明确的定义。指标的含义要有明确的定义，避免歧义；并且统计、计算指标数值的方法也要有详细的说明。

（3）评估指标必须具有可操作性。计算评价指标所需的统计数据必须是可获取的，无论是由计算机软件自动记录还是由图书馆员来统计，无法测量的指标是没有意义的。

（4）评估指标必须具有可比性。不同机构用同一套指标体系得出的数据必须具有可比性。例如，使用数字资源的人数就是一个没有可比性的指标，当两家图书馆使用数字资源的人数相同时，并不能说明它们的用户在数字资源使用的普及方面水平相同，因为它们服务的对象人数不同。而使用电子资源的人数占全部服务对象的比例才是一个可比的数值。

根据以上原则，笔者以目前需求较多的电子期刊资源为分析对象，试图建立一个完整的数字资源绩效评估指标模型，从资源、使用、成本及绩效4个方面来验证数字资源绩效评估指标体系的可行性。

表3 电子期刊资源评估数据统计指标

表4 电子期刊资源评估绩效指标

其中，数据统计指标R1-1、R3、R4、R5、U1、U3及C1、C2项为必备统计项目，反映了资源组织及使用的基本情况；在绩效指标中，P2、P5、P6则是衡量电子期刊服务及绩效成本的关键因素。

4.2 电子期刊绩效评估指标的应用优势

（1） 能够提供完整的数据统计资料（R1—R5） 及资源使用状况（U1—U9），并能够通过对绩效的量化分析（P1—P8）确保在数字资源的选择、采购与管理等方面符合图书馆的发展方向及符合所服务对象的需求。

（2）对于馆员而言，在统计及分析的过程中也能对本馆数字资源的使用状况（U1—U9）有更深入的了解，并根据用户需求及使用习惯制定更加有效的服务策略。

（3） 借由纸本资源与数字资源使用状况的比较（P1），能够协助图书馆管理者制订符合用户需求的馆藏发展规划。

（4） 通过追踪资源在实际使用中的数据信息（U3—U7），能够找出与数字资源厂商提供的统计数据间的差异，通过资源的使用状况与成本的对比情况（P4、P5、P8），制定出符合自身利益的定价及供货模式。

5 数字资源绩效评估体系构建的对策及建议

虽然上述数字资源绩效评估体系有着较强的应用优势，但在发展过程中也会遇到不少的困难和挑战，如缺乏标准的定义与计量方法、数据统计存在一定的局限性、数据分析存在一定的障碍等，因此还需从以下几个方面着手采取相应措施进一步完善：

（1）数字资源的服务统计数据来自图书馆自身的服务器、数据供货商、系统代理商以及统计软件等不同渠道，因此，应制定出统一的数据统计规范，提供统一的各项统计项目的标准定义，以提高数字资源统计信息的可用性与可靠性，进一步作为评估的客观量化材料。

（2）数字馆藏、在线公共目录、图书馆网站等都已成为目前图书馆主要的服务方式，各项数字化服务的使用都必须加以统计与分析。应统一规划，制定出统一标准，作为各图书馆数字资源服务统计的依据。同时，应将数字资源服务以及成本效益考核纳入图书馆评估范围，这样才能使图书馆的数字资源服务绩效得到合理的体现。

（3）建立数字资源统计填报系统，利用在线填报的方法，提高各项统计调查的效率。将填报机制标准化、制度化，使图书馆建立一套针对数字资源服务、使用、成本及用户情况等数据的收集—统计—分析的标准化程序。

（4）加强对馆员的培训，结合国内外各种评估方法及标准的发展，使馆员充分了解统计数据对馆藏发展、行政管理、读者服务的重要性，提高数据统计的可靠性和有效性。

［1］文化部.省级图书馆评估标准细则［S/OL］.［2010－03－04］.http://www.ndcnn.gov.ch/datulib/opensts/2009/2009_07/opensts.2009－07－28.4987186925/view.

［2］张盛强.国内外数字资源评估指标体系概述［J］.图书馆理论与实践，2007（3）：26－27.

［3］申彦涛.e线图情与图书馆管理创新［EB/OL］.［2010－03－04］.http://www.chinalibs.net/Artinfo.aspx?titleid=156735.

［4］ Judy Luther.White Paper on Electronic Journal Usage Statistics［EB/OL］.［2010－03－04］.http://www.clir.orq/pubs/reports/pub94/contentc.html.

［5］史继红.两个重要的电子资源使用绩效评价体系的比较 ［J］.数字图书馆论坛，2007（7）：53－54.

［6］ COUNTER.COUNTER Codes of Practice ［EB/OL］.［2010－03－04］.http://www.projectcounter.org/code_practice.html.

［7］ ICOLC.Guidelines for Statistical Measures of Usage of Web-Based Resources［EB/OL］.［2010－03－04］.http://www.library.yale.edu/consortia/webstats06.htm.