2002-2009年国外机构仓储评价研究述评

孙 坦（中国科学院国家科学图书馆 北京 100190）

陶 俊（中国科学院国家科学图书馆 中国科学院研究生院 北京 100190）

评价研究是采用系统化的研究方法和过程来评价社会项目效果的一种方法。所谓机构仓储评价，是指运用一定的方法、手段对机构仓储从系统建设、内容组织、服务管理等方面进行多角度的评价，找出机构仓储在实践或服务管理方面的不足，以推动机构仓储向良性轨道发展的过程。机构仓储评价研究与机构仓储应用实践基本是同步的。从最初的理论原则与方法、开源软件的应用与比较到后来的内容需求、存储行为、运营模式、自存档再到近年来的机构仓储联盟、电子出版、非研究型大学机构仓储建设，等等，评价研究的视角在不断拓宽，评价研究的层次在不断深化。下面笔者将从发展历程与研究方法、评价指标、评价内容等方面进行阐述。

1 机构仓储评价的发展历程与研究方法

1.1 发展历程

笔者调研了2002年以来国外机构仓储评价的相关研究成果，认为可将机构仓储的评价分为以理论与实践发展为特征的评价先导期和以系统评价为特征的评价实践期两个阶段。1.1.1 评价先导期（2002-2005年） 由于机构仓储项目实践尚处于发展阶段，尚未出现正式的评价成果，相关研究侧重于构建成功机构仓储的核心要素及项目实践的理论框架，从宏观上指导机构仓储项目建设。美国机构仓储专家Crow R于2002年发表的文献[1]成为这一时期的标志性成果。Crow R认为，有明确的机构归属、存储学术性内容、具备扩展性和持续性、支持互操作和开放存取是建设机构仓储的基本要素[1]。Lynch C A则提出实施机构仓储宜考虑保存格式、永久标识符、文档权益管理等技术问题[2]。英国Heery R等学者则对这一时期机构仓储理论成果与实践进行了总结[3]。总体来看，尽管未出现系统评价机构仓储的成果，但是，该阶段提出的理论要素却指明了机构仓储发展的总体方向，为后续针对机构仓储的系统评价奠定了基础。1.1.2 评价实践期（2006年至今） 经过近5年的发展，北美、欧洲等地区的一些大型科研机构、研究型大学等学术单位仓储平台纷纷建立并投入使用，研究主题逐渐由机构仓储建设向内容与服务过渡。研究机构仓储的内容需求、考查相关人员（Stakeholders）对于机构仓储的认知态度、评价机构仓储性能与使用效果、探索系统的机构仓储评价体系成为机构仓储研究发展的必然。美国、韩国、新西兰等国家的学者运用定性与定量方法围绕上述问题进行了综合研究，成为机构仓储评价成果的代表。

1.2 研究方法

机构仓储评价的研究方法主要分为以下3种类型：

1.2.1 问卷调查法 即通过向被调查者发放调查表，由被调查者填写调查表来实施调查。例如，Lercher A通过问卷调查法对路易斯安那州立大学8个系的676名教师对于机构仓储在拓展学术交流环境中的认知态度实施了调查[4]。

1.2.2 观察研究法 该法是对人们的自然行为进行科学研究以揭示这些行为的客观规律的研究方法。在机构仓储中，学者一般通过观察机构仓储网站存缴或下载使用的文档数据进行评价。这种方法主要用于对机构仓储资源的存缴与使用情况的调查。Xia Jingfeng在评价作者自存储的态度时通过登陆英国、瑞典、澳大利亚、意大利的9所大学机构仓储网站直接获取对应网站的自存储数据[5]。

1.2.3 层次分析法 该法是美国运筹学家Saaty T L教授于20世纪70年代初期针对复杂模糊问题提出的决策方法，其特点是研究者在分析复杂决策问题相关影响因素的基础上，通过构建递阶层次模型，使决策过程数学化，从而为多准则或无结构特性的复杂决策问题提供简便的评价方法。建立层次结构模型是层次分析法的关键，模型的构建一般取决于专家的经验，因此带有较大的主观性。韩国Kim Y H等学者在德尔菲调查的基础上，运用层次分析法提出了系统的机构仓储评价递阶层次模型[6]。

2 评价指标

国外学者在仓储评价方面提出了多项评价指标，这些指标多角度地考查了机构仓储。例如，加拿大Westell M认为评价机构仓储是否成功的衡量指标包括：项目规划（mandate）、与机构学术目标的契合度、资金分配与使用模式、与相关数字化项目的关系、平台互操作性、文档使用的测量（measurement）、机构仓储推广策略、资源保存策略[7]。Shearer K在《基于机构仓储的关键成功因素的识别》一文中提出资源的存缴和使用是决定机构仓储的两个关键成功因素[8]。英国PALS项目组提出衡量机构仓储须从软件技术、自存档、版权、组织体系、资金与运营模式、存取政策、元数据、长期保存及获取等方面来评价[9]。Heery R等学者认为机构仓储的特征要素表现在内容类型、覆盖范围、主要功能及目标用户群4个方面[3]。Xia Jingfeng等学者提出了评价机构仓储自存档的8项视角：存缴者信息、存缴数量、全文率、作者态度、存缴成本、使用评价、互操作性、其它因素[10]；同时，Xia Jingfeng还提出了面向存缴者的联络机制（liaison system）和规划政策(mandate policy)两个影响因素[5]。Kim Y H等学者则提出了系统评价机构仓储的四维概念模型，包含18个评价项目，涉及39个指标[6]（见表1）。

表1 机构仓储评价概念模型[6]

笔者认为，上述评价指标基本上可归纳为系统指标、内容指标和管理指标3个维度。下面将分别从这3个维度选取若干主要指标进行评析。

2.1 系统指标

系统指标是机构仓储评价的硬件指标。机构仓储大多采用开源DSpace、EPrints、Fedora等软件建设，同类软件在功能组件与整体布局方面趋同，不同平台则存在一定的差别。因此，系统指标的考查多处于机构仓储项目建设的早期，现阶段机构仓储评价研究逐渐淡化。系统指标主要涉及如下三大类。

2.1.1 整合程度 整合是指按照一定的标准，将机构仓储与其它数字化平台资源集中，实现信息系统资源共享与协同工作。Kim Y H等学者在dCollection项目评价中考查机构仓储与OPAC是否实现整合是这一指标的具体反映[6]。

2.1.2 互操作性 互操作性是考查仓储平台是否具有先进性的核心指标。目前，DSpace等开源平台普遍支持OAIPMH（Open Archives Initiative Protocol for Metadata Harvesting，开放存档计划元数据收割协议）等。Crow R[1]、Westell M[7]、Xia Jingfeng[10]、Kim Y H[6]均将互操作性作为机构仓储项目的考查指标。

2.1.3 检索性能 支持多途径/多语言检索、检索的响应速度是检索性能的主要考查指标。运用不同的开源软件，机构仓储的检索性能会有一定的差别，但不显著。据不完全统计，仅有Kim Y H在dCollection概念模型中设置了平台主页、检索速度等检索性能指标对机构仓储进行评价[6]。

2.2 内容指标

不同的学术机构依机构目标、价值导向的不同，建设机构仓储的具体目标会有所差别，但是实现目标的途径均离不开资源的存缴。仓储内容是机构仓储建设的基础，因此内容指标也成为衡量机构仓储是否成功的核心指标。这些指标主要包括：（1）资源类型。一般说来，机构仓储支持的资源类型越多、保存的资源越丰富，就越能够满足存储和研究的需要。Shearer K在对存缴活动（Input Activity）的考查中将资源类型作为一项关键指标，并且他认为机构仓储的资源类型包括预印本、期刊论文、学位论文、会议论文、学习对象（Learning Objects）等[8]。（2）存缴者。机构仓储的内容存缴主要是由作者或者馆员来提交的。作者自愿存缴可以降低管理的成本，馆员存缴则能保证服务的质量。如何选择并定位存缴者的工作是内容建设的重要环节。（3）存缴率。存缴的好坏不仅体现在存缴的质量上，同时还体现在存缴的数量上，故存缴数量和全文数量成为考查机构仓储存缴率的两项主要指标。（4）开放获取。机构仓储是否推行开放获取成为评价机构仓储影响力的重要因素。当前，美国等西方国家一些研究型大学机构仓储的开放获取相对普遍，在构建机构仓储后即向开放仓储注册机构登记；而一些教研型大学机构仓储在开放获取方面则稍显不足。例如，Xia Jingfeng等学者对美国50所教研型大学机构仓储的开放注册统计发现，超过一半以上没有注册（26所）[11]。（5）使用率。机构仓储构建的基本目标之一是实现数字资源的保存和使用，下载数量和文献被引率可以客观地反映机构仓储的使用情况。Xia Jingfeng提出可用机构仓储的服务日志文档来考查机构仓储的使用情况，该手段是一种间接反映机构仓储使用率的统计方法[5]。

2.3 管理指标

2.3.1 管理政策 机构仓储的管理政策是支撑仓储规范化、持续化运作的根本保证。主要的管理政策包括存缴规定、质量控制政策、员工管理制度等。例如，针对资源的质量控制问题，有的机构制定了馆员审核制度、有的机构制定了同行评议机制等不同的管理政策。

2.3.2 资金分配 资金的预算是机构仓储项目执行的管理指标。如何将有限的资金合理用于机构仓储建设的各个环节是考查机构仓储是否成功的重要因素。一些机构未将仓储建设可持续化地开展下去，一方面与资金的管理不当有关，另一方面是由于资金的严重短缺所致。

2.3.3 推广策略 机构仓储的内容建设亟需通过卓有成效的推广措施使机构仓储在更多的作者和潜在用户中形成影响。从研究人员到潜在用户等不同群体，其推广策略包括多个方面，如制作宣传手册、举办大型机构仓储会议、不同网站的链接导航等。美国Jantz R C和Wilson M C对63个设有机构仓储的大学图书馆的导航途径统计发现，有40个大学图书馆对机构仓储在不同栏目中进行了导航。研究表明，机构仓储导航途径越多，机构仓储的推广就越充分，相应的资源存取与利用率会越高[12]。

3 评价内容

3.1 相关者对机构仓储的认知态度及其存储行为评价

大学教师或科研人员对机构仓储的态度直接影响着他们的参与程度。2005年，英国Swan A和Brown S对1 296位研究者的存储行为进行调研发现，有35%的作者运用机构仓储存储他们的预印本和印本数字资源，而另外分别有19%和45%的作者则选择学科仓储和个人主页[13]。韩国Kim J调查韩国31位教师提交资源给机构仓储的存储行为后发现，仅有9人曾将其资源提交给机构仓储，另有13人计划提交，其它则对此没有表态[14]。2007年，美国Lercher A对路易斯安那州立大学8个系的教师进行的关于仓储在学术交流中的有用性调研发现，不同学科的教师对于机构仓储的认知差异较大，数学系的教师对于仓储的认知率较高[4]。这一研究与英国Swan A和Brown S对英国15个学科作者的存储意识的调查结论基本一致。其研究发现，图书情报学、计算机科学和数学这3个学科的作者开放存储意识位居前三甲[13]。康奈尔大学Davis P M等研究了该校教师基本不参与机构仓储的原因，结果显示，信息传播渠道过剩、版权问题、与合作者发布的版本不一致等是教师对机构仓储不认同的主要因素[15]。新西兰Revell J等就学科馆员对机构仓储的感受研究后认为，竞争因素影响学科馆员对于机构仓储的重视程度，进而影响他们对用户的服务[16]。

3.2 基于机构仓储的电子出版评价

Crow R早在2002年提出机构仓储的基本目标是电子资源的存取[1]。近年来，随着机构仓储的发展，一些研究者提出通过机构仓储的资源整合出版电子期刊，Royster P甚至提出通过机构仓储出版原创性成果的构想[17]。截至2009年3月，美国、澳大利亚、英国、爱尔兰、日本和新西兰等国家已有82家通过BEPress仓储平台开展电子出版服务，该平台包括152种期刊[18]。澳大利亚伍伦贡大学通过该校机构仓储平台Research Online出版并存档该校期刊《大学教学与实践学报》。电子出版发展的普遍趋势反映了一些研究型图书馆通过开展电子出版正使得研究成果的开放获取更加便利；同时也丰富了原有的出版结构，拓展了机构仓储的学术交流模式[19]。Bankier J等学者认为，基于机构仓储的电子出版可以瞄准商业领域不愿意涉足的特定小范围，在这些特定小范围的专门领域内创办同行评议电子期刊[20]。该类期刊的类型包括：（1）非商业领域期刊；（2）发展中的新兴领域期刊；（3）地方性期刊；（4）学生运作期刊；（5）职业性（非学术）期刊；（6）专题论文期刊。大学通过创办这类电子期刊以吸引学者运用机构仓储，鼓励出版原创性成果，改善机构仓储自存档基本作为存档功能而缺乏原创性研究成果的状况[18]。Xia Jingfeng与Bankier J的观点相反，他认为基于特定小范围的电子出版其受众群体将十分有限，难以提升期刊的影响力。为此，Xia Jingfeng提出建立以单一机构仓储支撑多种学科综合的复合型出版模式[21]。PALS项目组提出机构仓储的电子出版问题宜重点考虑知识产权、合理拷贝、多版本、期刊订购的影响、出版模式、出版功能的整合、机构仓储与期刊的整合、大学出版社等[9]。

3.3 机构仓储的自存档评价

自存档一直是机构仓储充实数字内容的主要方式，但是教师并未积极地响应这一举措，造成很多机构仓储的内容十分匮乏。早在2004年，麻省理工学院的DSpace平台管理者就注意到文档存缴的自存储率非常低。对于存缴不积极，研究者起初认为机构仓储作为新生事物，学者缺乏自存储意识[22]，随后有研究者认为在某些学术领域缺乏预印本文化是机构仓储自存档内容的数量增长比较缓慢的原因[23]。但是，2007年对美国7所大学机构仓储涉及的4个学科教师的自存档情况的调研发现，并不存在机构仓储自存档学科文化，无论对机构仓储了解与否，教师对于自存档均不热情[24-25]。一些学科存缴率比较高（例如经济学）的原因在于绝大部分资源是由馆员代为存缴的[5]。Bankier J等人则认为，自存档不受教师青睐的原因之一是机构仓储仅作为机构内部存档资源，教师的原创性成果不能在同行之间达到学术交流的目的[20]。

3.4 机构仓储的系统化评价

系统化评价是从整体上来评价机构仓储，其研究成果包括从早期的评价指标到近年的系统评估模型研究。加拿大Shearer K早在2002年9月就实施了一项机构仓储成功因素的调研，认为存缴与使用是机构仓储评价的关键因素。这是最早基于实践探索成功机构仓储评价指标的研究[8]。随后，卡尔加里大学Westell M提出了一个新的机构仓储整体评价框架，从项目规划、与机构学术目标的契合度、资金分配与使用模式、与相关数字化项目的关系、平台互操作性、文档使用的测量、机构仓储推广策略、资源保存策略8个方面结合加拿大研究图书馆协会领衔的机构仓储项目进行了分析[7]。 该成果是对评价机构仓储项目的质量进行的初步尝试。韩国Kim Y H等则于2008年提出了基于韩国机构仓储联盟dCollection项目的评估模型，该模型引入层次分析法，通过三轮德尔菲调查得出评估的基本框架。通过上述评估框架，Kim Y H等调研了该联盟下的32个大学机构仓储并运用相关分析和回归分析进行了计算[6]。其三阶指标框架作为系统化的评价模型有一定的参考价值，但是其二、三阶层次指标涉及过细，主观成分较大，不具备评价的普适性。

4 展 望

当前，国外机构仓储的发展在提升系统功能的同时，正在重点加强机构仓储内容服务建设[26]。内容存缴的激励机制、仓储内容与Web2.0资源的融合，机构仓储的电子出版问题、仓储资源的联盟共享机制、研究型图书馆仓储服务战略等是机构仓储研究的新趋势，而机构仓储评价也将进一步涉及这些新变化。

[1]Crow R. The Case for Institutional Repositories: a SPARC Position Paper[EB/OL].(2002-08-01)[2009-12-23].http://www.arl.org/sparc/bm~doc/ir_final_release_102.pdf.

[2]Lynch C A.Institutional Repositories: Essential Infrastructure for Scholarship in the Digital Age[EB/OL]. (2003-02-01)[2009-12-23].http://www.arl.org/resources/pubs/br/br226/br226ir.shtml.

[3]Heery R, Anderson S. Digital Repositories Review[EB/OL]. (2005-02-19) [2009-12-20].http://www.jisc.ac.uk/uploaded_documents/digital-repositories-review-2005.pdf.

[4]Lercher A .A Survey of Attitudes about Digital Repositories Among Faculty at Louisiana State University at Baton Rouge[J]. The Journal of Academic Librarianship,2008 (5): 408-415.

[5]Xia Jingfeng. Assessment of Self-Archiving in Institutional Repositories: Across Disciplines[J]. The Journal of Academy Librarianship,2007 (6): 647-654.

[6]Kim Y H, Kim H H. Development and Validation of Evaluation Indicators for a Consortium of Institutional Repositories: a Case Study of dCollection[J]. Journal of the American Society for Information Science and Technology,2008(8):1282-1294.

[7]Westell M. Institutional Repositories：Proposed Indicators of Success[J].Library Hi Tech,2006(2):211-226.

[8]Shearer K. Institutional Repositories: Towards the Identification of Critical Success Factors[EB/OL]. (2003-10-01)[2009-12-23].https://dspace.ucalgary.ca/bitstream/1880/43357/6/CAIS-IR.pdf.

[9]Mark Ware Consulting Ltd. Publisher and Library/Learning Solutions（PALS）:Pathfinder Research on Web-Based Repositories[EB/OL].[2009-03-27]. http://scigate.ncsi.iisc.ernet.in/indest-ncsi-ir/resources/PALS_report_IR.pdf

[10]Xia Jingfeng,Sun Li.Factors to Assess Self-Archiving in Institutional Repositories[J].Serials Review,2007(2):73-80.

[11]Xia Jingfeng,Opperman D B.Current Trends in Institutional Repositories for Institutions Offering Master's and Baccalaureate Degrees[J].Serials Review,2010 (1):10-18.

[12]Jantz R C，Wilson M C.Institutional Repositories: Faculty Deposits,Marketing,and the Reform of Scholarly Communication[J].The Journal of Academic Librarianship, 2008 (3):186-195.

[13]Swan A, Brown S. Open Access Self-Archiving: an Author Study[EB/OL]. [2009-12-23].http://eprints.ecs.soton.ac.uk/10999/1/jisc2.pdf.

[14]Kim J. Motivating and Impeding Factors Affecting Faculty Contribution to Institutional Repositories[EB/OL]. [2009-03-27].http://journals.tdl.org/jodi/article/viewArticle/193/177.

[15]Davis P M, Connolly M L. Institutional Repositories Evaluating the Reasons for Non-Use of Cornell University's Installation of DSpace[J].D-Lib Magazine,2007 (3/4).

[16]Revell J, Dorner D. Subject Librarians' Perceptions of the Institutional Repository as an Information Source[EB/OL]. [2010-02-20]. http://www.ifla.org/files/hq/papers/ifla75/105-revell-en.pdf.

[17]Royster P. Publishing Original Content in an Institutional Repository[J].Serials Review, 2008(1): 27-30.

[18]The Berkeley Electronic Press.List of Digital Commons Sites[EB/OL].[2010-02-20].http://digitalcommons.bepress.com/institutions.html.

[19]Daly R, Organ M. Research Online: Digital Commons as a Publishing Platform at the University of Wollongong Australia[J]. Serials Review,2009 (3):149-153.

[20]Bankier J, Perciali I. The Institutional Repository Rediscovered: What Can a University Do for Open Access Publishing?[J]Serials Review,2008 (1):21-26.

[21]Xia Jingfeng.Library Publishing as a New Model of Scholarly Communication[J].Journal of Scholarly Publishing,2009(4):370-383.[22]Hahn K. Seeking a Global Perspective on Scholarly Communications:Contributions from the UK. ARL Bimonthly Report241[EB/OL].[2010-03-27] .http://www.arl.org/bm~doc/arlbr241scholcom.pdf.

[23]Andrew T. Trends in Self-Posting of Research Material Online by Academic Staff[EB/OL]. [2010-03-27].http://www.thesesalive.ac.uk/archive/Trends.pdf.

[24]Mackie M. Filling Institutional Repositories:Practical Strategies from the DAEDALUS Project[EB/OL]. [2010-03-27]. http://www.ariadne.ac.uk/issue39/mackie/.

[25]Xia Jingfeng A Comparision of Subject and Institutional Repositories in Self-Archiving Practice[J]. The Journal of Academy Librarianship, 2008 (6):489-495.

[26]Association of Research Libraries. The Research Library's Role in Digital Repository Services[EB/OL].[2010-03-27]. http://www.arl.org/bm~doc/repository-services-report.pdf.