基于循环修正思路的科技期刊综合评价

■刘莲花

海南医学院公共卫生学院，海南省海口市龙华区学院路3号 571199

1 引言

学术期刊是国家科技发展水平的重要窗口，是知识创新、科技成果转化为生产力的重要桥梁，在推动社会科技进步方面发挥着不可替代的作用[1]。通过期刊评价可以为优化学术期刊的使用与科技评价提供重要参考，同时可以提高学术期刊的内在质量，促进学术期刊的健康发展。因此如何客观公正的对学术期刊进行评价越来越受到学者们的重视。

期刊评价最早局限于用单一的指标评价，如国际上比较通行的单一评价指标是总被引频次和影响因子。但是由于单一评价指标提供的信息毕竟有限，很容易导致评价结果的片面性，并且不排除一些期刊为了追求排名而要求作者进行不必要的期刊自引，因此多指标综合评价方法在学术期刊评价中得到了广泛的应用。目前常用于期刊评价的多指标综合评价方法有主成分分析法[2]、因子分析法[3]、TOPSIS 方法[4]、 秩 和 比 法[5]、 灰 色 关 联 度法[6]、距离综合评价法[7]等等，但是我们发现应用不同的综合评价方法对同一组期刊进行评价时所得的结果往往存在着差异，而每一种评价方法都各有其优缺点，无法说明哪一种方法更好，这样仅采用一种评价方法得到的结果无疑具有一定的片面性。为此学术界提出了“组合评价”的思想，即对有代表性的几种单一评价方法的结果进行组合，然后按照组合评价值进行排序。常用的组合评价法有平均值法、Borda法、Copeland法和模糊Borda法[8]等，但是当采用不同的组合评价方法对同一组单一评价方法的结果进行组合时结论也可能是不一致的，俞立平[9]做过相关研究，即期刊评价结论的非一致性问题仍然没有得到解决。针对这一问题本文提出采用循环修正的组合评价方法对期刊进行评价，从而最终解决期刊评价的非一致性问题，以提高评价的科学性和合理性。

1 循环修正思路的组合评价模型

1.1 循环修正的组合评价原理

循环修正[10]是通过几种组合评价方法对多种单一评价方法的评价结果进行组合评价，得到几种组合评价结果，若几种组合评价结果仍然有差异，则继续利用这几种组合评价方法再次对组合评价的结果进行组合评价，如此循环，直至得到一致的结论。

1.2 循环修正组合评价模型的建立步骤

第1步 单一评价模型的建立

对所研究的对象，选取几种有代表性的单一评价方法进行评价，得到相应的评价结果和排名，本文选用的单一评价方法有TOPSIS法、主成分分析法、因子分析法、加权算术平均法[11]。

第2步 组合评价的事前检验

为了保证组合评价结果的科学性、合理性，在进行组合评价之前必须进行事前[12]检验，即检验各种单一评价方法是否具有一致性。本文采用肯达尔一致性系数进行事前检验，若不能通过检验，则需更换单一评价方法重新进行评价。

第3步 组合评价模型建立

用平均值法、Borda法、Copeland法对步骤（1）中的几种单一评价方法的结果进行组合评价，得到组合评价值，并按组合评价值的大小得到组合评价的排序结果。

第4步 计算三种组合评价排序结果的方差平均值

设有m个待评价对象，第i个待评价对象的组合评价结果排序的方差为，方差平均值为

第5步 循环修正

2 实证分析

本文以《中文核心期刊要目总览》（北京大学第六版）刊登的19种预防医学与卫生学核心期刊为对象，选取2013版《中国科技期刊引证报告（扩刊版）》[13]公布的9项计量指标为原始数据进行分析，各项指标依次为:总被引频次、影响因子、即年指标、他引率、引用刊数、学科影响指标、学科扩散指标、被引半衰期、H指标，其原始数据见表1。

2.1 四种单一评价方法排序

对表1中的19种期刊分别采用TOPSIS法、主成分分析法、因子分析法和加权算术平均法进行综合评价，所得的综合评价值及排名如表2所示，从中可以看出四种单一评价方法的排序结果出现了不一致的现象，故需进行组合评价。

2.2 事前一致性检验

对表2中的四种单一检验方法的排序结果进行肯达尔一致性检验，得检验统计量 χ2（19-1） =66.316，给定显著性水平α=0.01，查表得临界值，因为统计量的值66.316 ＞37.1565，故拒绝原假设，认为四种单一评价方法具有一致性，可以在此基础上建立组合评价模型。

2.3 首次组合评价

分别用平均值法、Borda法、Copeland法对上述四种单一评价方法的结果进行组合，得出组合评价值，并按组合评价值的大小得到三种组合评价的排序，组合结果见表3。

2.4 循环修正后的评价结果

表3中方差平均值不为0，也即三种不同的组合评价的排序结果仍然不一致，因此需重复用平均值法、Borda法、Copeland法对首次组合的评价结果再次进行组合，直至结果完全一致。通过第二次组合即发现方差平均值为0，即结果完全一致，见表4。从最终的评价结果来看，19种预防医学与卫生学核心期刊中排名前三的分别是现代预防医学、中华流行病学杂志和中国公共卫生，排名后三位的是工业卫生与职业病、中国工业医学杂志和中国职业医学。

表3 第一次组合评价得分、排序及方差

表4 第二次组合评价得分、排序及方差

3 结论与启示

关于期刊的综合评价人们很难证明哪种方法更合理，哪种结论更准确，因为很难找到一个客观的验证标准。传统的单一评价方法如TOPSIS法、主成分分析法、因子分析法以及加权算术平均法是从不同的角度对期刊进行的综合评价，无法说明哪一种方法的结果更好，如果仅采用其中的一种方法进行评价，其结果很难令人信服。为此本文采用三种组合评价法，对四种单一评价方法的结果进行组合，从而可以利用更多的信息，使评价结果更客观。针对三种组合评价结论的非一致性问题，又采用循环修正的思想进行多次组合，最终得到了一致的结论，从而最终解决了期刊评价中多种评价方法结论的非一致性问题，使评价结果更加科学合理。

[1]俞立平，潘云涛，武夷山.基于因子分析的学术期刊评价指标分类研究[J].图书情报工作，2009，53（8）:146-149.

[2]辛督强.基于主成分分析的13种力学类中文期刊综合评价[J].中国科技期刊研究，2012，23（2）:224-227.

[3]辛督强，韩国秀.因子分析法在科技期刊综合评价中的应用[J].数理统计与管理，2014，33（1）:116-121.

[4]王映.加权TOPSIS与RSR法在学术期刊影响力综合评价中的应用研究[J].图书情报工作，2013，57（2）:92-96.

[5]姚红.基于秩和比法的期刊综合评价[J].中国科技期刊研究，2006，17（1）:213-215.

[6]吕淑仪.灰色关联度综合评价法在期刊评价中的应用[J].情报科学，2004，22（3）:327-331.

[7]刘莲花.基于距离综合评价法的数学核心期刊评价[J].中国科技期刊研究，2015，26（8）:871-874.

[8]郭显光.一种新的综合评价方法—组合评价法[J].统计研究，1995（5）:56-59.

[9]俞立平，潘云涛，武夷山，等.基于结果一致度的学术期刊组合评价研究[J].中国科技期刊研究，2011，22（1）:59-64.

[10]刘艳春.一种循环修正的组合评价方法[J].数学的实践与认识，2007，37（4）:88-94.

[11]张荣艳，孙贵玲，王爱苹，等.组合评价模型在河南省主要城市综合经济实力评价中的应用[J].数学的实践与认识，2013，43（4）:60-67.

[12]曾宪报.关于组合评价的事前事后检验[J].统计研究，1997（6）:56-58.

[13]中国科学技术信息研究所.2013年版中国期刊引证报告（扩刊版）[M].北京:科学技术文献出版社，2013:125-128.