图书馆数字资源绩效评价研究综述*

李 栎 曹洪欣（第二军医大学图书馆，上海 200433）

图书馆数字资源绩效评价研究综述*

李 栎 曹洪欣
（第二军医大学图书馆，上海 200433）

在分析国外数字资源绩效评价研究实践的基础上，从国内数字资源绩效评价的基本原则、评价指标体系、相关技术、数学模型、最新方法等方面系统阐述国内图书馆在数字资源绩效评价方面的研究现状，总结研究中的不足，并提出有针对性的对策。

图书馆 高等院校 数字资源 绩效评价

从20世纪末开始，伴随着数字资源的出现与大量引进，图书馆的馆藏结构发生了根本性的变化。国外的传统图书馆日渐发展成复合型图书馆，数字资源在图书馆馆藏中的地位也日益重要。随着数字资源采购经费的逐年增长，数字资源的评价研究日益引起国外学者的重视。早在20世纪90年代，国外就对数字资源的质量进行评价研究，到了90年代末，业内对数字资源的使用统计和绩效评价开始予以重视。

国外比较有代表性的项目有欧洲委员会资助的EQUINOX项目[1]、国际图书馆集团联盟（ICOLC）资助的基于Web的信息资源使用统计指标指南[2]、研究图书馆协会（ARL）的EMetrics数字资源计量项目[3]，以及由图书馆、出版社、中间商联合制定的在线网络数字资源使用统计项目（COUNTER）[4]。对数字资源服务绩效的评估主要从以下几个角度来构建指标体系：①数字资源的使用和服务，数字资源及配套设施的费用，如EQUINOX项目；②数字资源的数量、使用占图书馆全部资源、服务的比例，如ARL的E-Metrics项目；③用户培训及专门从事数字资源服务的图书馆员，如IMLS的网络环境下公共图书馆统计和绩效测度项目。

1 国内数字资源绩效评价研究概况

1.1 相关学术论文统计

作者选取中国知识资源总库——CNKI系列数据库中的中国学术期刊网络出版总库作为数据来源，检索“（（篇名=数字图书馆）或者（篇名=数字馆藏）或者（篇名=电子资源）或者（篇名=数字资源））并且（（主题=评价）或者（主题=评估））”，检索时段设定为2000～2011年，通过精确匹配及人工剔除不相关文献，共获得358篇相关文献，其年度分布如表1所示。

从表1可以看到，发表的研究论文数量总体呈现增长趋势，尤其是2008年之前论文数量增长快速并达到顶峰，2009年论文数量稍有回落，但之后的研究论文一直维持着较高的数量。从最开始的零星研究到几年后的迅速增长，数字资源绩效评价研究显然已经引起了国内学者的关注，尤其是最近几年，相关研究论文数量的持续走高表明该领域一直是国内的研究热点。

表1 2000～2011年国内数字资源绩效评价研究论文年度分布

1.2 相关基金项目

国内对数字资源的绩效评价研究相对较晚，21世纪以后才出现比较正规的研究，这些研究主要是通过各个层次的基金项目资助。在中国学术期刊网络出版总库中检索“（（基金=数字图书馆）或者（基金=数字馆藏）或者（基金=电子资源））并且（基金=绩效）”，检索时段设定为2000～2011年，检索得到数字资源绩效评价研究为省部级以上的基金项目（见表2）。

表2仅罗列了省级以上的研究项目情况，省级以下及院校级的研究项目数量较多，并未一一列举。从检索结果分析来看，国内对数字资源绩效评价的研究项目以院校级居多，高级别的项目较少。结合相关的学术论文内容进行分析，笔者发现除了上述课题的成果之外，其他学术论文研究较为浅显和零散，以综述性文章和评估指标体系的构建较多，有关可操作性方法的研究较少。

2 国内数字资源服务绩效评价研究成果

通过对检索到的文献进行内容分析，笔者将国内数字资源绩效评价的研究归纳为分析数字资源绩效评价的原则、构建数字资源绩效评价的指标体系及方案的具体实施等方面。

表2 国内数字资源绩效评价项目

2.1 数字资源绩效评价的原则

ISO2789：2006中图书馆服务绩效评估有6项原则：知识性、可靠性、有效性、一致性、实践性和可比性。

在我国早期的数字资源绩效评价研究中，肖珑提出数字资源评估指标体系的建立要遵循文献计量学的基本原则：整体性、针对性、准确性、代表性和可比性[5]；盛小平提出数字图书馆馆藏评价的原则包括可靠性、合理性、可用性、全面性、权威性、时效性、经济性[6]。

近几年国内在数字资源绩效评价指标体系的构建研究中，比较典型的构建原则如下所述。索传军提出的数字馆藏服务绩效评估指标体系的构建原则包括科学性、系统优化、指标的通用可比性、可行性、目标导向性、开放性和可获取性等原则[7]。马越认为应依据全面性、重点性、准确性、可比性、可度量性、可获取性等6项原则来评价数字馆藏的总体绩效[8]。张秀云提出数字资源绩效评价模型的构建原则包括整体性、合理性、量化性、客观性[9]。而李丽华则认为数字图书馆评价指标体系的制订应遵循导向性、前瞻性、可操作性、灵活性和技术性的原则[10]。孙芳提出虚拟馆藏资源评价的原则为导向性、科学性、系统性、可操作性、可比性、通用性和灵活性[11]。

总之，国内学者在探讨数字资源绩效评价及指标体系构建时所应遵循的原则中最重要的有：整体性、可比性、可获取性、导向性、可度量性和可靠性。

2.2 数字资源绩效评价指标体系的构建

2009年3月，国家质量监督检验检疫总局和国家标准化管理委员会联合发布了GB/T 13191-2009（信息与文献-图书馆统计），并于2009年9月1日起实施。该标准代替GB/T13191-1991，增加了电子资源与服务的统计项目，与国际标准ISO2789：2006接轨，并规定了ISO11620中所需的统计数据。目前国内的研究尚未形成普遍适用且可操作性强的一整套规范，其研究主要集中于对数字资源绩效评价指标体系的探索。

2002年肖珑等在《电子资源评价指标体系的建立初探》中提出包括电子资源内容、检索系统及功能、使用情况、价值与成本核算、出版商/数据库商的服务、存档[5]等的指标体系。2003年盛小平提出实体馆藏的评价指标体系包括信息拥有指标、信息揭示指标、信息检索指标、信息组织指标、信息加工指标和信息利用指标等[6]。刘文梅在综述中总结了国外研究中已有的绩效指标：用户可获取的资源、电子资源的使用和服务、电子资源和相关基础设施的费用、用户培训、专门从事电子网络资源服务的图书馆员、用户满意度[12]。2006年索传军从技术设施、使用、成本、服务及用户满意度5个方面构建了适合中国数字馆藏服务绩效评估的指标体系[7]。2008年，肖珑提出了一套适用性很强的评估指标体系，文章中详细说明了各项指标的适用层面和适用对象[13]。陈晋提出电子资源的服务绩效应包括依托的技术及服务环境[14]。2009年吕旭霞在综述中提出国外电子资源绩效的评价指标有用户可获取的资源、用户可利用的设施、电子资源及其服务的使用、电子资源和相关设施的成本、用户培训、从业人员、用户满意度等[15]。张秀华认为复合图书馆馆藏质量评价指标体系还应包括文献复合度指标[16]。戴艳杰提出虚拟馆藏评价应包括存储系统的性能[17]。

2.3 相关技术方法研究

数字资源绩效评价研究不断吸纳新的数学方法和计算机技术，这些新的技术方法为图书馆开展绩效评价提供了非常重要的技术支持。

2.3.1 筛选评价指标的方法

国内构建数字资源绩效评价指标体系的研究中，最常用的是通过专家调查的方法从众多的指标中遴选重要指标。很多数学方法被引入评价指标的遴选中来，如利用主成分分析法构建数字资源的综合评价指标[18]，利用白化函数数据处理和灰色统计计算[19]。张秀华等提出通过使用者打分的评价方式对给出的评价指标进行打分，再利用粗糙集模型选择评价因子[16]。

2.3.2 确定评价指标权重的方法

近几年，国内学者将更多的数学方法与技术应用到数字资源绩效评价指标的权重计算中。徐革提出确定电子资源评价指标模糊权重的方法，是通过专家群体对评价指标的影响因子重要程度进行问卷调查和统计分析，并以三角模糊数的形式表达指标的重要性程度[20]。刘军等提出利用专家调查构建判断矩阵，通过计算各判断矩阵的最大特征根和特征权向量，所得的特征向量即为各矩阵中对应的指标权重[21]。高建山等提出运用三角模糊语义法确定评价指标权重，通过灰色聚类评价获得用户对电子资源的综合评价结果，最后运用优势粗糙集理论提取评价决策规则[22]。贾洁等提出基于BP神经网络对图书馆的电子资源质量进行评价，先通过调查获取用户对电子资源的满意度，构建BP网络参数，再通过对BP网络进行训练和仿真测试，达到评价电子资源绩效的目的[23]。

2.3.3 数字资源绩效评价的数学模型

张秀华等建立了基于粗糙集和BP神经网络的复合图书馆馆藏质量评价模型，首先运用粗糙集模型对评价指标体系中的指标进行约简，然后把约简后得到的评价指标输入到BP神经网络中进行智能训练，最后把待评价的检测样本输入到训练好的BP网络中，得到了馆藏质量实际输出值，实际输出与期望输出结果相吻合，从而证明了评价的可行性和有效性[16]。王居平建立了一系列数字资源绩效评价的数学模型。他首先在不确定加权算术平均算子和区间数运算法则的基础上提出多指标群评价模型[24]；后又结合区间直觉模糊数运算法则，引入了得分函数和精确函数，建立馆藏评价模型[25]；并在连续区间数据有序加权平均算子的概念基础上给出了数字图书馆馆藏的群评价方法[26]。

2.3.4 数字资源绩效评价的最新方法

数字资源绩效评价方法目前形成了一些可操作性较强的方法体系。刘洪根据电子资源绩效评价指标集合以及通过问卷调查获取的用户满意程度，继而分析用户期望和感知差距，建立了以内部图书馆专家群体确定和外部终端用户群体感知为核心的电子资源绩效评价模型[27]。和媛媛等用三角模糊数量化电子资源评价指标体系中每个指标的重要程度，并对高校的电子资源服务质量进行了实证研究，通过模糊多属性决策方法，综合评价了图书馆电子资源的利用情况[28]。

3 国内图书馆数字资源绩效评价对策

3.1 重视使用数据收集，规范数字资源的绩效评价

国内仅在2009年公布了GB/T 13191-2009（信息与文献-图书馆统计），图书馆绩效指标的相关标准尚未公布，而国外早已发布ISO 11620《信息与文献——图书馆绩效指标》，并定期进行更新，目前国外对于评价指标的获取、统计分析和验证研究已较为深入、具体。随着国外数字资源的大规模引进，国内的研究须与国际接轨，尽量采用国际先进研究成果，数字资源绩效评价的未来发展趋势也将更加规范。

3.2 加大实证研究力度，通过绩效评价指导馆藏建设

数字资源的绩效评价不是目的，评价的最终目的是结合读者需求来指导图书馆的馆藏建设，从而做好数字资源的保障工作。数字资源的绩效评价应本着以用为主的目标开展，在建立好评价模型后，应从资源质量、服务水平、资源的经济性等方面对馆藏数字资源进行全面评价，并结合读者需求调查来分析评价结果，进而对目前的馆藏数字资源做出继续购买或停订的决定，同时补充购买需求量大的数字资源。因此，未来的研究必定更加重视数字资源服务绩效评估的应用性，实证研究的比重将会增大。

3.3 权威组织积极参与，制定绩效评价的规范、标准

国际上数字资源绩效评价有影响力的研究基本都是有权威组织参与的，例如ICOLC、ARL等专业性组织，国外的模式可以汇集大量的观点与经验，同时也便于研究成果在参与单位之间进行推广。这种模式对国内的研究很有参考价值，国家相关部门或权威组织应组织高层次的研究，及时将研究成果规范化，大范围地推广、使用。因此，在未来的数字资源绩效评价研究中，有关权威组织应积极参与，必要时国家有关部门可出台或修订相关的国家标准来规范数字资源的使用统计及绩效评价，而不能硬搬国外标准。

3.4 组织之间广泛合作，推进数字资源的共建、共享

数字资源的共建共享已是大势所趋，基于云计算原理的云服务是近几年的新兴领域，也是图书馆服务未来的发展方向，云服务将分布于互联网中各个图书馆的资源和服务进行整合，形成一个新型的服务体系，通过对各种资源和服务的动态分配，满足各个数字图书馆的需求。在这样的环境下，数字资源的绩效评价应该广泛开展合作，不同单位之间要统一标准，互相借鉴研究成果，减少重复研究。

4 结语

国内数字资源的绩效评价经过10多年的研究，在数字资源绩效评价指标体系的构建、评价指标权重的计算、绩效评价模型的构建等方面取得了一些成绩，但规范性的研究成果较少，尤其是缺少可操作性强、行之有效的评价标准。随着数字资源的大量引进及其价格的逐年攀升，数字资源的购买与使用单位必将更加重视数字资源的绩效评价，尤其在目前数字资源存储方式、服务模式发生颠覆性变革的背景下，数字资源评价需要考虑更多的因素，未来这一领域的研究也将会呈现出更多特点。

[1]Performance Measurement and Quality Management for the Hybrid Library An update on the EQUINOX Project[EB/ OL].[2012-12-06].http：//www.exploit-lib.org/issue7/equinox/.

[2] Revised Guidelines for Statistical Measures of Usage of Web-based Information Resources[EB/OL].[2011-12-15]. http：//www.library.yale.edu/consortia/webstats06.htm.

[3] E-Metrics：Measures for electronic resources[EB/OL]. [2011-11-25].http：//www.arl.org/stats/initiatives/emetrics/ index.shtml.

[4]COUNTER[EB/OL].[2011-11-18].http：//www.projectcounter. org.

[5] 肖珑，张宇红.电子资源评价指标体系的建立初探[J].大学图书馆学报，2002（3）：35-42.

[6] 盛小平.数字图书馆馆藏评价[J].图书情报工作，2003（5）：40-43.

[7] 索传军.数字馆藏服务绩效评估指标体系及其构建原则[J].图书情报知识，2006（5）：5-9.

[8] 马越.论数字馆藏服务绩效监控系统的建设[J].图书情报知识，2006（5）：15-18.

[9] 张秀云.图书馆电子资源绩效评价模型构建分析[J].图书馆，2009（5）：97-98.

[10] 李丽华，宋和平，刘培芝.基于层次分析法的图书馆虚拟馆藏评价[J].情报科学，2010（2）：235-238.

[11]孙芳，赵良英.复合图书馆虚拟馆藏资源评价指标体系研究[J].图书馆工作与研究，2010（7）：13-16.

[12] 刘文梅.国外数字图书馆绩效评估研究述评[J].津图学刊，2003（6）：37-43.

[13]肖珑，李浩凌，徐成.CALIS数字资源评估指标体系及其应用指南[J].大学图书馆学报，2008（3）：2-8.

[14] 陈晋.论数字馆藏服务的绩效分析与管理[J].农业图书情报学刊，2008（11）：197-199.

[15] 吕旭霞.电子资源绩效评估指标体系研究综述[J].山东图书馆学刊，2009（6）：85-88.

[16] 张秀华，辛江美.基于粗糙集和BP神经网络的复合图书馆馆藏质量评价研究[J].情报理论与实践，2009（11）：107-111.

[17]戴艳杰.基于AHP、模糊综合评价法的数字馆藏质量评价[J].内蒙古科技与经济，2011（7）：63-65.

[18] 徐革.重构电子资源综合评价指标的主成分分析法[J].图书情报工作，2004（2）：32-34.

[19] 徐革.电子资源评价之重要影响因子的灰色统计研究[J].现代图书情报技术，2005（11）：82-85.

[20] 徐革.确定电子资源评价指标模糊权重的可行方法[J].情报理论与实践，2006（6）：690-693.

[21] 刘军，等.电子资源综合评价指标体系的构建探讨[J].情报杂志，2010（6）：135-137.

[22] 高建山，鲁士文，郑艳玲.基于优势粗糙集与灰聚类的电子资源质量评价研究[J].计算机应用与软件，2010（9）：149-153.

[23] 贾洁，彭奇志.基于BP神经网络的图书馆电子资源质量评价研究[J].图书情报工作，2010（21）：84-87.

[24] 王居平.不确定信息环境下的数字图书馆馆藏的群评价方法[J].情报理论与实践，2009（6）：71-73.

[25] 王居平.基于区间直觉模糊信息的数字图书馆馆藏的评价方法[J].情报理论与实践，2010（8）：100-103.

[26] 王居平.基于区间信息集成算子的数字图书馆馆藏的群评价方法[J].情报理论与实践，2011（4）：99-101.

[27] 刘洪.大学图书馆电子资源统计方式与绩效评价探析——以南京中医药大学为例[J].大学图书情报学刊，2011（3）：34-37.

[28]和媛媛，巩在武.基于模糊多属性决策的高校图书馆电子资源服务绩效评价研究[J].情报科学，2011（3）：412-415.

李 栎女，1982年生。硕士，馆员。研究方向：情报分析方法与技术研究、科学评价研究。

G250.76

2013-01-22；责编：杨新宽。）

*本文系上海市图书馆学会2010年度立项重点课题“大学图书馆馆藏资源绩效评估方法研究”（课题编号：10ASTX01）成果之一。