大学机构知识库建设评价研究——以广岛大学和大阪大学为例*

（东北师范大学计算机科学与信息技术学院，长春 130117）

大学机构知识库建设评价研究——以广岛大学和大阪大学为例*

（东北师范大学计算机科学与信息技术学院，长春 130117）

通过构建机构知识库建设评价指标，为大学建设高质量机构知识库提供参考。在前人研究成果基础上，尝试从机构知识库建设流程入手，将流程中的各个环节纳入评价系统，构建机构知识库建设评价指标体系。在此基础上，对日本广岛大学和大阪大学机构知识库进行评价分析，以发现评价指标缺陷，并提出改进意见。

机构知识库；大学图书馆；评价研究

随着学术文献获取成本的增加，开放存取逐渐受到重视。实现开放存取的重要途径之一，便是借助知识库传播智力成果。目前很多知识库由大学建设、管理，大学机构知识库（Institutional Repository，IR）在开放存取中扮演着重要角色。在中国，很多大学已经建立自己的IR，CALIS也曾经启动过推广IR建设的相关项目，并取得了一定的成果[1]，不过总体来说，与国外相比，我国大学IR建设发展缓慢，且问题较多。开展IR建设评价研究，构建科学合理的评价指标，可以促进大学IR建设工作，在宣传推广、系统建设以及资源建设方面及时发现问题并予以解决，在IR建设过程中进行“质量”管理，而不是等到建设完成甚至投入使用后再亡羊补牢。

1　国内外IR评价研究现状

国内关于IR评价的研究，近年来取得很多成果。在IR网站及IR收录内容评价方面，丁敬达等主要从网站规模、网站流量、网站被链接数量、网络显示度、内容丰富度和网站PR值等六个方面进行IR网站网络影响力的定量分析[2]；邱均平等构建IR的Altmetrics指标来对IR及其资源进行评价[3]；李铭等在比较国内外IR网站网络影响力时引入系统工程中的TOPSIS分析法以及利用SPSS的Spearman相关分析功能来进行研究[4]。在构建IR评价指标方面，张雅琪等较为详细地研究了不同维度的IR评价指标体系[5]；张毅君构建了包括技术标准、管理政策和用户指标三个方面的评价指标体系[6]；刘雪梅等通过模糊综合评价法构建模型，对IR的价值进行定量分析[7]。

在国外，由于IR的研究起步较早，各个领域研究成果与国内相比较为丰富。从2006年开始，日本国立信息学研究所（National Institute of Informatics，NII）与日本大学开展的IR委托项目中，已经出现IR评价的相关课题研究。其中，2006年千叶大学与三重大学开展了IR评价系统的建设研究，目的是为建设IR的图书馆建立一套可以自行评估的评价指标体系，该研究会从IR的建设以及利用等多角度确定评价指标[8]；信州大学、埼玉大学和庆应义塾大学2010年开始启动关于IR信息综合分析能力的研究项目，旨在评价IR展示研究者和机构的科研成果产出状况，以及与相关机构内部数据库的数据关联方面的功能与作用，并提出多个评价指标[9]；Tripathi等通过IR内容、访问权限、信息组织、版权信息和检索界面等方面对印度国内的4个数字图书馆和20个机构知识库进行研究与评价[10]；Kim等对IR建设软件进行了分析评价[11]。此外，一些知名IR信息平台网站收录了世界范围内的IR信息，并在相关指标分析的基础上进行排名。如西班牙 Cybermetrics Lab 的Ranking Web of Repositories网站在整体规模、透明度、文献丰富度以及学术性等数据基础上对IR进行排名[12]。

虽然国内在IR评价方面已经取得较多成果，但主要是围绕IR建设成果开展研究，仅着眼于IR本身，忽视了IR背后的大学对IR产生的影响。一所大型综合院校建设的IR在收录文献数量以及种类等方面很容易超过一所规模较小的院校建设的IR，但是不能据此便断定后者IR收录资源较为缺乏。对不同IR相关统计数据进行单一的比较、评价也容易忽视学校实际情况。IR收录的文献资源来自于学校人员的智慧劳动，IR工作的开展也应该围绕学校实际情况进行。因此，学校的状况会对IR产生一定的影响，这一点在学校差异悬殊时更加突出。

2　评价指标体系的建立

研究尝试建立新的评价指标体系，以尽可能地将IR建设发展的所有活动都纳入评价分析中，在对IR进行评价分析时能够考虑到学校对于IR的影响，如在校师生规模，因为规模上的差距会直接影响IR的收录文献数量。例如日本的早稻田大学和圣学院大学，前者在校师生规模远超后者，IR资源数量方面也是早稻田大学较为丰富，但是将资源总数与在校师生数量相比得出师生人均成果数之后可以发现，圣学院大学的学生人均资源数、教师人均资源数和总体人均资源数量均超过早稻田大学，圣学院大学IR文献收集状况并不比早稻田大学差[13-16]。由此可见，学校规模对于IR的影响在某些方面是十分显著的。如果将学校的因素排除在外，就会影响评价指标的构建以及评价结果的准确性。

从最初有意向建设IR到IR投入使用，大致可以划分为四个阶段：宣传交流、研究分析、相关建设以及利用。宣传交流包括一切为推广IR及相关信息而采取的行动，包括争取管理人员、研究成果提交者、利用者的理解与支持而采取的行动，以及为分享信息而举行的所有活动；研究分析包括IR相关基础理论、建设方法、宣传交流方式和使用功能等方面的研究活动；相关建设包括IR系统、成果收集政策、管理使用制度以及IR网站等内容的建设活动；利用便是借助IR利用各种信息资源的所有活动。上述四个阶段并非替代关系，而是同时存在于IR的整个发展历程中。因此，从IR的建设流程入手开展建设评价，应当针对上述四个阶段内的各个活动内容进行。

由于宣传交流、研究分析、相关建设以及利用等四个方面存在诸多交叉情况，因此研究尝试通过构建二维矩阵的方式来描述四个阶段之间的联系状况，根据活动的直接目的进行区分与聚类，并据此将实际评价指标区分，以便能够全面、系统、清晰地评价分析。上述四个方面的交叉状况分类如表1所示。表中数字“1”和“2”代表将标注1的内容用到标注2方面以便达到标注2内容的目的，如行为“研究分析1”、列为“宣传交流2”的单元格意为将研究领域的成果信息进行宣传交流以便能够加强研究合作，促进相关工作的开展。在构建该矩阵的同时，也为每种分类分配了1～16的顺序号码，以便在接下来的实例分析中能够更加直观地呈现评价内容的分布。

表1　IR相关活动交叉分布

由表1可见，类目1、类目6、类目11和类目16均表示宣传交流、研究分析、相关建设及利用自身，即四个方面自身的建设成果。在IR的实际建设中，有些工作同时涉及宣传交流、研究分析、相关建设及利用四个方面中的三个方面。这类活动可以再次细分，如召开专题学术会议这种以促进利用为目的、以互相交流为开展形式的研究活动可以细分为以促进利用为目的的研究活动和以交流为开展形式的研究活动，再根据目的导向原则便可以将其划入类目14中，即以促进利用为目的的研究分析。

由于不同学校在开展IR建设中会根据自身特点采取不同的措施，因此研究并没有将具体的评价指标内容一一列出，而是尝试在进行实际分析时将不同方面的评价指标先归入上文二维矩阵所给出的不同类目中，之后再分析、综合目标IR相关评价指标的具体内容和数据，最后以4个类目为1组进行汇总。

3　选定目标IR并开展评价分析

据日本政府统计，2014年共有373所大学已经建设IR，占调查对象总数的48%；有225所大学有建设意向，且在调查时正在对建设IR的相关问题进行研讨，占调查对象总数的29%[17]。考虑到日本大学IR建设发展的整体状况较好，研究选取两所日本大学的IR——大阪大学学术信息库和广岛大学学术信息知识库作为实例分析的研究对象，选择这两个IR是基于下列原因：

（1）通过学校和IR网站能够收集到相对全面、完整的数据。

（2）两所大学同时参加NII的IR委托项目，并以此为契机开始建设IR。通过对参加的IR委托项目进行分析能够很好地掌握相关IR建设活动特别是研究活动的发展轨迹。

（3）学校规模虽有差距，但差距不明显，在进行IR的数据比较时更容易发现问题。

根据上述构建的评价指标，研究尝试对大阪大学和广岛大学开展建设IR进行实例分析。通过分析，一方面对大阪大学和广岛大学开展的IR建设进行评价，另一方面通过实例分析发现评价中存在的问题。实例分析中所有数据均来自两所大学附属图书馆和IR网站，访问时间为2016年1月。

3.1宣传交流方面

对宣传交流活动及以宣传为目的的活动信息进行收集、整理后得到数据见表2。

表2　宣传交流活动

由表2可见，两所大学IR都进行形式多样的宣传活动，宣传途径多样，宣传产品种类多样，较好地利用了校内刊物、网络平台以及其他活动（学术会议等）进行宣传。IR网站在建设中也考虑推广的重要性，在网站功能上增加推广功能。两个IR都提供了利用数据的相关服务，但提供服务种类都不多，大阪大学仅能看到下载数较高的资源利用信息，而广岛大学只有申请才能使用IR提供的下载数据邮件通知服务获取文献资源下载数据，且只有被IR收录文献的著者才可以申请。

3.2研究活动方面

对研究活动及以研究为目的的相关活动信息进行收集、整理后得到数据见表3。开展研究活动数据主要来自NII的IR委托项目专题网站公布的内容[18]。

表3　研究分析活动

日本国内很多大学都参与由NII组织的IR委托项目，大阪大学和广岛大学自2005年开始便加入IR委托项目的研究队伍。由表3可见，两所大学都积极地开展了相关领域的研究，研究内容分布在IR建设发展的方方面面，积极参与IR相关研究，在理论、技术等方面为日后本校IR发展奠定了坚实的基础。除了在NII组织的IR委托项目中的积极参与外，二者在建设学校IR的行动方面也积极开展相关研究，如IR系统的开发构建、制度性管理规则的颁布等，这些都是IR得以健康发展的重要前提。

3.3相关建设方面

对建设活动及以建设为目的的活动信息进行收集、整理后得到数据见表4。

表4　相关建设活动

在成果建设方面，大阪大学和广岛大学都出台了较为成熟的收集制度，并且在文献资源收录到IR之前会有多种形式的面向研究者的宣传交流活动，使得研究者对于IR有较为全面、清晰的认识，愿意在IR收录自己的研究成果方面给予帮助，甚至主动提交给IR，因此二者IR收集文献资源具有种类多、数量多以及更新速度快等特点。二者都在收集最新资源的同时，也在进行回溯收集的工作，所收集资源的时间跨度都在70年以上。从资源总数、人均资源数等方面来看，大阪大学较广岛大学要高，这也是大阪大学IR世界排名较高的重要原因之一。

续表

在分析网站建设时，研究借助Google日本的“site:”指令、“link:”指令以及Google PR值查询工具[19]来对两所大学建设的IR网站的规模、网络显示度等进行分析。大阪大学建设的IR规模较大，网站PR值较高，说明大阪大学IR网站整体质量较高。而从网络显示度来看，大阪大学IR网站远小于广岛大学IR网站的网络显示度，其中不可避免有技术方面的误差，另一个原因则是由两者网站内容差异导致的。通过访问，研究发现，与大阪大学IR网站相比，广岛大学IR网站有更多关于IR、法律等的介绍性信息，IR网站信息较大阪大学IR网站更为丰富多样。

3.4利用方面

对利用及以利用为目的的活动进行收集、整理后得到数据见表5。

表5　相关利用活动

只有能够利用的IR才是有价值的。在利用方面，大阪大学IR和广岛大学IR都面向用户开展了多种宣传活动，与面向研究者相同，面向利用者的活动也是以推广工作的开展，广岛大学IR仍是一个建设水平很高的IR。

4　存在问题及解决设想

研究尝试从IR建设流程入手，将流程中的各个环节纳入评价系统内，构建完整的IR建设评价指标。通过对大阪大学IR与广岛大学IR进行实例评价后发现了一些问题。

首先，在收集数据较少的情况下无法准确评价IR。在对大阪大学IR进行评价的时候，研究发现有些数据IR为目的。只有利用者对IR有了正确的认识，才会主动使用IR的资源；随着IR资源的利用频率增加，越来越多的研究者会从中受益，并且会愿意IR收录自己的研究成果，实现投入与使用的良性循环。

二者IR网站也开设多种栏目供访问者获取相关信息与文件，IR中的文献资源利用也通过IR出台的运用规范进行约束，保证所有利用都在合理范围内。为方便访问者查找利用IR内的资源，二者都提供了较为全面的检索工具，日语和英语两种语言版本更是方便了不同国家的访问者使用。

总体而言，大阪大学IR和广岛大学IR都已经形成较为成熟的工作制度。虽然在一些方面无法尽善尽美，但是已经可以很好地服务于各类人群。从相关数据如排名、成果规模等来看，广岛大学IR较大阪大学IR稍显逊色，但是考虑到广岛大学的实际情况以及广岛大学IR实际难以获取。没有数据便无法对IR进行全面系统的评价。在收集数据时应当尽量覆盖可能出现IR相关信息的信息源，除IR网站外，还包括该IR负责机构在开展相关研究、参加各种类型的学术会议、说明会时产生的文献以及校内发布的一些刊物。收集的大阪大学和广岛大学开展相关IR研究的数据中，有很大一部分是通过NII的IR委托项目网站获取的。此外，号召IR建设者规范数据发布、加强IR相关数据收集工作也是可行的办法。

其次，很难完全排除IR背后的大学对于IR所产生的影响。由于IR建设需要投入大量资金，并且需要建设者有相关系统建设、功能研发等计算机技能，因此大学能够投入的资金、人力等因素也会直接影响IR的建设发展。为了在评价IR时尽可能地消除大学对IR的影响，应当对大学本身的相关详细信息进行收集与分析，包括大学的在校师生与研究人员规模、投入资金数量以及出台的相关IR建设发展支持政策等方面的信息数据。

最后，总体而言，停留在定性评价的阶段，科学地分配各个评价指标权重较为困难，因此难以开展定量的研究。定性评价的结果较为抽象、复杂，无法开展如可视化分析、数据挖掘等后续工作，有可能无法彻底分析IR的现状，造成评价出现误差。为不同的评价指标确定不同的基础评分、不同的等级，并且选择合适的权重分配方法，对IR的发展状况进行计算分析，这种定量分析的结果会比定性分析更为直观，也便于计算机的数据处理。为了使评价结果更加科学合理，还应该根据IR的发展阶段调整相应评价标准与评价指标的权值。

[1] 聂华,韦成府,崔海媛.CALIS机构知识库:建设与推广、反思与展望[J].中国图书馆学报,2013,39(2):46-52.

[2] 丁敬达,朱梦月.高校机构知识库网络影响力评价研究:基于我国重点大学的实证分析[J].图书馆杂志,2014,33(7):13-23.

[3] 邱均平,张心源,董克.Altmetrics指标在机构知识库中的应用研究[J].图书情报工作,2015,59(2):100-105.

[4] 李铭,翁淳光.国内外机构知识库网络影响力的比较研究[J].现代情报,2015,35(7):73-78.

[5] 张雅琪,盛小平.国内外机构知识库评价研究进展与评述[J].图书情报工作,2015,59(9):127-135.

[6] 张毅君.机构知识库质量评价指标研究[J].现代情报,2011,31(10):50-52,56.

[7] 刘雪梅,刀克群.基于模糊综合评价法的机构知识库评价模型构建[J].情报探索,2015(5):22-24,28.

[8] 千葉大学(主担当機関),三重大学(連携機関).機関リポジトリの評価システム[EB/OL]. [2016-03-27]. http://mitizane.ll.chiba-u.jp/meta-bin/mtpdetail.cgi?cd=00047383.

[9] 国立情報学研究所.機関リポジトリ推進のための視認度評価分析システムの開発[EB/OL]. [2016-03-27]. https://www.nii.ac.jp/irp/rfp/2008/ partners.html#ryoiki2.

[10] TRIPATHI M, JEEVAN V K J. An Evaluation of Digital Libraries and Institutional Repositories in India [J]. The Journal of Academic Librarianship, 2011, 37(6): 543-545.

[11] KIM H H, KIM Y H. Usability study of digital institutional repositories [J]. The Electronic Library, 2008, 26(6): 863-881.

[12] Cybermetrics Lab. Ranking Web of Repositories [EB/OL]. [2016-03-27]. http://repositories.webometrics.info/en.

[13] 聖学院大学.大学について[EB/OL]. [2016-03-27]. http://www.seigakuin. jp/about/.

[14] 聖学院大学.聖学院情報発信システム[EB/OL]. [2016-03-27]. http:// serve.seigakuin-univ.ac.jp/reps/modules/xoonips/.

[15] 早稲田大学.情報公開[EB/OL]. [2016-03-27]. http://www.waseda.jp/top/ about/disclosure.

[16] 早稲田大学リポジトリ.このリポジトリのコミュニティ[EB/OL]. [2016-03-27]. http://dspace.wul.waseda.ac.jp/dspace/index.jsp?locale=ja.

[17] 政府統計の総合窓口.平成26年度学術情報基盤実態調査[EB/OL]. [2016-03-27]. http://www.e-stat.go.jp/SG1/estat/GL02020101.do?method =extendTclass&refTarget=toukeihyo&listFormat=hierarchy&statCode= 00400601&tstatCode=000001015878&tclass1=000001066584&tclass2= &tclass3=&tclass4=&tclass5=.

[18] 国立情報学研究所.学術機関リポジトリ構築連携支援事業委託事業[EB/OL]. [2016-03-27]. https://www.nii.ac.jp/irp/rfp/.

[19] Google PageRank Checker [EB/OL]. [2016-03-27]. http://pagerank. bookstudio.com/.

An Evaluation Study on the Construction of Institutional Repository of Universities: A Case Study of Hiroshima University and Osaka University

LI Xi
(School of Computer Science and Information Technology, Northeast Normal University, Changchun 130117, China）

This paper provides references for universities to build high quality institutional repositories by building evaluation system for institutional repository. On the base of the results of previous studies, the paper tries to start from the institutional repository building process, including all aspects of the building process in the evaluation system, to build an institutional repository evaluation system. On the base of the evaluation system of institutional repository, this paper takes the institutional repository of Hiroshima University and Osaka University as examples to analyze, discover evaluate defects, and suggest improvements.

Institutional Repository; University Library; Evaluation Study

G255

10.3772/j.issn.1673-2286.2016.5.008

* 本研究得到国家社会科学基金项目“图书馆书目数据社会化应用研究”（编号：15BTQ018）资助。

（2016-03-11）