多指标视角下UOWA评价模型与IR期刊质量研究

姜勇峰+肖碧云+肖可以+吴晓奕

〔摘要〕本文针对机构知识库中期刊贡献度评价指标的复杂性，形式多样性，模糊性等特点，构建了基于三角模糊数表达模糊信息和UOWA算子的期刊质量评估模型，并从RePEc机构知识库1 800种期刊随机抽取5个经济期刊，利用8项定量评价指标，采用模糊理论中的模糊语义处理同行评议专家评审数据进行质量评定，试图为我国机构知识库质量评价体系的完善提供参考。

〔关键词〕期刊定量评价指标；同行评议；模糊集合理论；UOWA算子

〔中图分类号〕G252.6〔文献标识码〕A〔文章编号〕1008-0821（2014）06-0087-05

基于开放存取理念成立的机构知识库（Institutional Repository，IR）为教学科研人员的科学研究提供了信息保障，其收录的信息资源质量直接影响到科研创新起点的高低[1]，IR正成为主流学术信息共享空间[2]，因其期刊质量评价机制不完善，我国立足于传统期刊形成的激励机制与知识产权保护制度[3]，对IR期刊贡献者缺少利益体现，作者积极性下降，IR库存资源难以更新，可持续发展出现危机。

1研究意义及背景

利用数学工具解决工作中的实际问题，是管理工作的管理手段之一。机构知识库建设和管理中，利用切实可行的方法分辨出质量优秀的期刊加以收录和持续更新，既能提高期刊知名度和知识传播率，也能提高IR的权威性和价值，更能吸引越来越多的传播者和使用者参与到IR知识的挖掘和利用中来，众人拾柴火焰高，IR建设就是在参与者不断的自我优化中完善着自己，使期刊和机构知识库的建设实现互利双赢。为了分辨出质量优秀的期刊，激励更多的优秀期刊进入机构知识库，达到优质信息持续上传和更新的目的，需要在IR建设中引入期刊质量评价机制[4]，长期以来许多学者、专家在此问题上都做了大量的研究工作。国外具有代表性的有：加拿大Westell M基于项目规划、资金分配与使用模式、平台互操作性、文档使用的测量、资源保存策略等进行了IR质量评估指标分析[5]；韩国Kim Y H基于韩国IR建设的dCollection 项目引入AHP分析法，通过三轮德尔菲调查得出评估模型[6]；利用社会书签[7]、学术期刊使用密度[8]、文献资源下载量、下载率、下载速率等指标对期刊质量进行的评价[9-10]等等。国内众多学者对IR期刊质量评价越来越受到重视，做了相当多的研究，在此就不一一列举，从已经发表的论文分析，研究人员的论文主要是从IR建设的网络建设层面、元数据要求、作者上传的意愿、IR是否可交互操作等方面对IR质量进行的研究。众多研究中定性研究比较多，定量研究依然比较弱，具有可操作性、实用性比较强的研究更是凤毛麟角。如：基于UGC的下载次数指标，对UGC论文质量和IR期刊影响力进行等级评定[11]，虽然属于定量评估期刊质量，但存在指标单一，普遍性不足等弊端。对于IR期刊质量参照传统学术刊物评审制度利用多评估指标进行的同行、专家定量评价还鲜有论证。本文利用三角模糊数表达模糊信息和UOWA算子建立分析模型，并以RePEc中任意抽取的5种经济期刊为例，借鉴传统学术刊物质量控制机制中的8种评价指标体系，引入模糊评价和公开同行评议的评审方法[12]，希望为IR中期刊质量评价提供参考。

2研究理论和数学模型

2.1三角模糊数

模糊数集合是对普通确定数集合的延伸，针对难以定义或复杂不确定的情况，对传统量化方式描述有困难的情况，允许中间状态的存在，使用模糊语义替代。

2.2UOWA算子评估模型

2.2.1OWA算子

集成离散数据的有序加权平均（Order weighted average：OWA）算子[13]是由Yager R R于1988年提出来的[14]，该算子最突出的特点是：①对评估数据排序从大到小后加权集成，其权重仅与相关的位置有关；②OWA算子仅能对于明确值进行计算，不能对于区间进行计算。

3以RePEc经济期刊为例实证分析

3.1数据采样

RePEc机构知识库收录了近1 800种期刊，约140万条信息，由79个国家和地区的志愿者组织共同管理。本文主要检测UOWA算子模型在期刊质量评估中的具体操作步骤，以验证该质量评价方法的可行性。基于国家自科基金委员会温明章、陈越、杜生明所作“3+χ”同行评议方式研究结果考虑[17]，从机构知识库管理委员会组织m位专家（expert）中随机抽取4位专家，以经济类期刊n种经济期刊作为运算对象，专家集和期刊集不妨分别记作{e1，e2，…，em}和{j1，j2，…，jn}，这里选取m为4人，n选取5种期刊，即专家者集为{e1，e2，e3，e4}；即IR期刊集为{j1，j2，j3，j4，j5}。这5种刊物[18]分别是：j1为：美国经济评论（American Economic Review）；j2为：金融经济学期刊（Journal of Financial Economics）；j3为：政治经济学期刊（Journal of Political Economy）；j4为：发展经济学期刊（Journal of Development Economics）；j5为：经济与统计学评论（The Review of Economics and Statistics）。IR期刊质量评价指标，评价传统纸质期刊质量的指标[19]有：h指数、被引频次和他引频次、期刊影响因子、平均被引率和平均他引率、载文量、相对h指数、SRI、g指数、篇均参考文献数和hc指数等。网络同行参与的评审评价IR期刊质量时可以参照传统期刊评价指标，充分考虑网络特征[20-21]和传统刊物评价优势融入：网络引文量、总链接数、外部链接数、总网络影响因子、外部网络影响因子、IP访问量、页面浏览量、人均页面浏览量和网络文献量等评价指标，形成适合IR期刊质量评价的新指标体系。随着对IR期刊质量评价研究的深入，或将有更多的质量评价指标出现。本文随机抽选了8项质量评价指标[22]（见表2）进行讨论。质量评价指标集为{S1，S2，S3，S4，S5，S6，S7，S8}。endprint

3.24位评估者对RePEc中5个经济期刊具体分析

第1步，4位同行专家采用模糊语义进行评价，得到IR质量评价原始矩阵（见表3），再通过模糊AHP法中群决策权重与判断矩阵的合并[23-24]，得到了8个评价指标的权重向量

4结语

本文采用同行专家评议和三角模糊数与UOWA算子模型整合处理IR期刊质量评价问题，希望能避免信息的流失，避免因评价专家知识背景局限或主观臆断以及评价指标不公正等对评价结果的影响，在实践评价中，应加大评议专家的人数以及完善评价指标，最大限度地体现出同行评价专家的偏好，分散评价指标之间的指标权重影响，准确地评价出IR期刊质量。

参考文献

[1]查先进，等.信息资源质量评估研究[J].中国图书馆学报，2010，36（2）：46-55.

[2]张晓林，李麟，刘细文，等.开放获取学术信息资源：逼近“主流化”转折点[J].图书情报工作，2012，56（9）：42-47.

[3]陈传夫.信息资源公共获取与知识产权保护[M].北京：北京图书馆出版社，2007：22-31.

[4]赵宇翔，吴克文，朱庆华.基于IPP视角的用户生成内容特征与机理的实证研究[J].情报学报，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于质量评估的机构知识库可持续发展研究——以厦门大学学术典藏库和美国RePEc为例[J].情报理论与实践，2013，（11）：41-44.

[12]张向谊.应引导审稿人进行有效的同行评议[J].编辑学报，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企业绩效评价[J]商业时代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]温明章，等.国家自然科学基金3+X同行评议方式的初步探讨[J].中国基础科学，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息计量学[M].湖北：武汉大学出版社，2006.

[20]邱均平.网络计量学[M].北京：科学出版社，2010.

[21]吴延俊.网络传播概论[M].湖北：武汉大学出版社，2006.

[22]苏金燕.开放存取期刊质量也有评估之法[N].中国社会科学报，2011-12-22，（014）.

[23]梁东莹，等.基于层次分析法的数字资源服务绩效评价体系构建[J].情报科学，2013，（1）：78-81，128.

[24]吴云燕，等.AHP中群决策权重的确定与判断矩阵的合并[J].运筹与管理，2003，（8）：16-21.

（本文责任编辑：马卓）endprint

3.24位评估者对RePEc中5个经济期刊具体分析

第1步，4位同行专家采用模糊语义进行评价，得到IR质量评价原始矩阵（见表3），再通过模糊AHP法中群决策权重与判断矩阵的合并[23-24]，得到了8个评价指标的权重向量

4结语

本文采用同行专家评议和三角模糊数与UOWA算子模型整合处理IR期刊质量评价问题，希望能避免信息的流失，避免因评价专家知识背景局限或主观臆断以及评价指标不公正等对评价结果的影响，在实践评价中，应加大评议专家的人数以及完善评价指标，最大限度地体现出同行评价专家的偏好，分散评价指标之间的指标权重影响，准确地评价出IR期刊质量。

参考文献

[1]查先进，等.信息资源质量评估研究[J].中国图书馆学报，2010，36（2）：46-55.

[2]张晓林，李麟，刘细文，等.开放获取学术信息资源：逼近“主流化”转折点[J].图书情报工作，2012，56（9）：42-47.

[3]陈传夫.信息资源公共获取与知识产权保护[M].北京：北京图书馆出版社，2007：22-31.

[4]赵宇翔，吴克文，朱庆华.基于IPP视角的用户生成内容特征与机理的实证研究[J].情报学报，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于质量评估的机构知识库可持续发展研究——以厦门大学学术典藏库和美国RePEc为例[J].情报理论与实践，2013，（11）：41-44.

[12]张向谊.应引导审稿人进行有效的同行评议[J].编辑学报，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企业绩效评价[J]商业时代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]温明章，等.国家自然科学基金3+X同行评议方式的初步探讨[J].中国基础科学，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息计量学[M].湖北：武汉大学出版社，2006.

[20]邱均平.网络计量学[M].北京：科学出版社，2010.

[21]吴延俊.网络传播概论[M].湖北：武汉大学出版社，2006.

[22]苏金燕.开放存取期刊质量也有评估之法[N].中国社会科学报，2011-12-22，（014）.

[23]梁东莹，等.基于层次分析法的数字资源服务绩效评价体系构建[J].情报科学，2013，（1）：78-81，128.

[24]吴云燕，等.AHP中群决策权重的确定与判断矩阵的合并[J].运筹与管理，2003，（8）：16-21.

（本文责任编辑：马卓）endprint

3.24位评估者对RePEc中5个经济期刊具体分析

第1步，4位同行专家采用模糊语义进行评价，得到IR质量评价原始矩阵（见表3），再通过模糊AHP法中群决策权重与判断矩阵的合并[23-24]，得到了8个评价指标的权重向量

4结语

本文采用同行专家评议和三角模糊数与UOWA算子模型整合处理IR期刊质量评价问题，希望能避免信息的流失，避免因评价专家知识背景局限或主观臆断以及评价指标不公正等对评价结果的影响，在实践评价中，应加大评议专家的人数以及完善评价指标，最大限度地体现出同行评价专家的偏好，分散评价指标之间的指标权重影响，准确地评价出IR期刊质量。

参考文献

[1]查先进，等.信息资源质量评估研究[J].中国图书馆学报，2010，36（2）：46-55.

[2]张晓林，李麟，刘细文，等.开放获取学术信息资源：逼近“主流化”转折点[J].图书情报工作，2012，56（9）：42-47.

[3]陈传夫.信息资源公共获取与知识产权保护[M].北京：北京图书馆出版社，2007：22-31.

[4]赵宇翔，吴克文，朱庆华.基于IPP视角的用户生成内容特征与机理的实证研究[J].情报学报，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于质量评估的机构知识库可持续发展研究——以厦门大学学术典藏库和美国RePEc为例[J].情报理论与实践，2013，（11）：41-44.

[12]张向谊.应引导审稿人进行有效的同行评议[J].编辑学报，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企业绩效评价[J]商业时代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]温明章，等.国家自然科学基金3+X同行评议方式的初步探讨[J].中国基础科学，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息计量学[M].湖北：武汉大学出版社，2006.

[20]邱均平.网络计量学[M].北京：科学出版社，2010.

[21]吴延俊.网络传播概论[M].湖北：武汉大学出版社，2006.

[22]苏金燕.开放存取期刊质量也有评估之法[N].中国社会科学报，2011-12-22，（014）.

[23]梁东莹，等.基于层次分析法的数字资源服务绩效评价体系构建[J].情报科学，2013，（1）：78-81，128.

[24]吴云燕，等.AHP中群决策权重的确定与判断矩阵的合并[J].运筹与管理，2003，（8）：16-21.

（本文责任编辑：马卓）endprint