期刊评价中小同客观赋权法权重比较及其思考

俞立平　郑昆

DOI.10.3969/j.issn.1008-0821.2021.12.012

[中图分类号]G301 [文献标识码]A [文章编号]1008-0821（2021）12-0121-10

学术期刊是展现科研成果和进行学术交流的重要平台，是推动学术创新和理论创新的重要支撑。学术期刊评价可以衡量不同期刊的质量、贡献、影响，有利于促进学术期刊繁荣发展，对推动我国科研事业健康发展、调动科研工作者的积极性有着重要的作用。

期刊评价的方法包括单指标评价、多指标综合评价和组合评价。单指标评价所能提供的信息有限，实践中多采用多指标综合评价或混合多种多指标方法的组合评价。科学规范的评价体系可以梳理学科成果，引导学科的良性发展。目前，我国比较成熟和完善的期刊评价体系包括北京大学中国核心期刊要目总览、南京大学中国社会科学引文索引CSSCI、中国科学技术信息研究所中国科技论文与引文数据库CSTPCD等，均采用了指标体系评价。

在多指标综合评价模型中，如何确定评价指标的权重是其核心问题。指标权重反映了指标在评价体系中的重要性程度，直接影响评价结果。权重的确定方法主要有主观赋权法、客观赋权法和主客观组合赋权法。主观赋权法是研究者或专家通过结合实际情况和经验判断主观的赋予统计指标不同的权重系数，包括德尔菲法、层次分析法、直接赋权法等。主观赋权法应用的领域包括综合国力评价、企业经济效益评价、大学排名等，期刊评价中也多采用以专家打分形式的主观赋权法。

客观赋权法是对数据本身进行挖掘的一种赋权方法。客观赋权法不借助数据以外的信息，各指标权重的确定是基于数据本身的信息以及各指标之间的关系。客观赋权法的最大特点是一旦评价指标的数据确定，则评价权重和评价结果确定。由于没有人为干扰，一定程度上也得到了认可。关于主观赋权与客观赋权法的优劣，学术界还没有取得共识。客观赋权法主要包括熵权法、独立性权系数法、变异系数法、粗糙集法和CRITIC法等，在科技评价中也得到了广泛的应用，特别是在学术研究领域，广泛分布于评价类论文中。

在目前几乎所有的学术评价中，很多研究只交代了赋权方法，却很少给出选择该方法的充分理由，更缺少对不同客观赋权方法权重进行比较的研究。本文以学术期刊评价为例，在对各类客观赋权方法的赋权原理进行比较的基础上，对比不同客观赋权方法的权重以及评价结果，在理论上有助于丰富学术评价的权重理论，在实践中对于选择客观赋权方法也具有重要参考。

客观赋权法在期刊评价中应用广泛。刘莲花选取总被引频次、影响因子、他引率、引用刊数、学科影响指标、学科扩散指标、被引半衰期、H指数8项指标，采用变异系数法计算出各指标的客观权重并加入到距离综合评价法中，实现了15种数学中文核心期刊的综合评价：陈旸等利用粗糙集方法基于信息熵获得客观权重值结果，建立图书馆信息资源智能评价模型：俞立平采用客观赋权法对经济学期刊进行评价，发现熵权法和离散系数法适用于同类指标评价，复相关系数法和CRIT-IC评价法应慎重选用：曾伟等利用熵权法、主成分分析法等多种方法对18种科技期刊影响力进行评价，并对评价结果进行检验，得出熵权法适用性较差的结论：钟赛香等针对变异系数法、熵权法等7种指标权重客观赋权方法，分析不同方法的评价值和评价序的变化规律，实现对各种客观赋权法的“优劣比较”：徐峰等使用熵权法、变异系数法、独立性权系数法得到权重并建立综合评价模型计算高校专业评分及排名。

客观赋权法广泛应用在期刊评价、科技评价、教育评价等领域。客观赋权法不仅可以独立地作为赋权方法，也可以与其他客观赋权法或主观赋权法相结合，形成组合赋权法。但以下方面有待进一步研究：

第一，不同客观赋权法的理论基础和特点问题，应该对其进行进一步的分析比较。

第二，不同客观赋权法权重之间的关系如何？对于权重高度相关的客观赋权法，它们之间是否存在某种必然联系？

第三，客观赋权方法的选择是主观的，这一点无法改变，也是客观评价法“主观性”的一个重要依据。毕竟学术评价是为科研管理服务的，那么如何选择客观评价方法？

1理论与方法

1.1几种客观赋权方法

主要客观赋权方法如图1所示，客观赋权方法主要根据指标问的相关关系和指标内数据变异程度进行赋权，主要客观赋权方法包括独立性权系数法、粗糙集法、CRITIC法、变异系数法、熵权法、均方差法等。

独立性权系数法的思想在于利用指标之间的共线性强弱来确定权重。如果说某指标与其他指标的相关性很强，说明信息有着较大的重叠，意味着该指标的权重会比较低，反之如果说某指标与其他指标的相关性较弱，那么说明該指标携带的信息量较大，该指标应该赋予更高的权重。

独立性权系数法仅仅只考虑了数据之间的相关性，其计算方式是使用回归分析得到的复相关系数R值来表示共线性强弱（即相关性强弱），该值越大说明共线性越强，权重会越低。比如有5个指标，那么指标1作为因变量，其余4个指标作为自变量进行回归分析，就会得到复相关系数R值，余下4个指标重复进行即可。计算权重时，首先得到复相关系数R值的倒数即1/R，然后将值进行归一化即得到权重。

1.2客观赋权法的进一步讨论

客观赋权法通过信息量来确定权重，存在几个问题：

第一，不同客观赋权法是根据指标所包含信息量的大小来确定权重，信息量一般是通过指标内部的变异程度和指标问的相关关系来确定。熵权法与变异系数法在原理上相似，变异系数法以变异系数衡量信息量的大小，变异系数越大，指标所包含的信息量越大，其权重越大：熵权法以熵值作为信息量的度量，熵值越小，说明指标的变异程度越大，则指标的权重越大。

第二，信息量不一定等同于综合评价信息。客观赋权法将与其他指标相关性较高的指标赋予较小甚至为0的权重，如独立性权系数法，CRITIC法。但是指标体系中各指标具有较高相关性的现象是十分普遍的。客观赋权法认为，某一指标与其他指标的相关性越高，代表该属性的冗余度越高，其权重就越小。但这其实是不合理的，如评价学生的学业水平，其物理成绩和生物成绩的相关性可能很高，外语成绩与其他学科成绩的相关性较弱，就简单地赋予生物成绩较小的权重，而给英语较高的权重，这无疑是不合理的，在一定程度上掩盖了学生在理工科上突出的事实。同样的，变异系数法、均方差法依据指标内部的变异程度来确定权重，变异程度越高，则指标的权重越大，这会进一步放大在某一指标上指标值的差异。但是指标的变异程度与指标重要性，这二者之间显然存在差异。

第三，客观赋权法本质是基于评价指标数据自身计算权重，其权重与管理的实际需求可能存在差别，在期刊评价中应该慎用选择客观评价方法。盲目使用客观赋权法可能导致评价结果不准确，如在招聘过程中，对应聘者的各项素质进行综合评价，若招聘岗位为销售，则应该赋予人际沟通能力、语言表达能力等指标较高的权重：如招聘岗位为技术类，则应赋予技术能力、项目经验等指标更高的权重。这种情况下主观赋权可以很好地满足需要，但如果使用客观赋权法则不能够体现不同评价角度的差异。

第四，不同客观赋权方法所得到的权重存在一定的差异，那么权重大小排序能否体现指标重要性的差别，以及个别指标的权重值是否合理。比如在学术期刊评价中，通常认为影响因子的重要性较高，而载文量的重要性较低，如果某种客观赋权方法的权重结果不符合这种认识，那么该种赋权方法可能不够合理或者不适用于期刊评价，可以通过专家会议等方式判断其有效性和合理性。

2实证研究

2.1研究数据

为了比较不同客观赋权法的差别，分析客观赋权法的本质，本文通过期刊评价进行实证分析。为了提高研究结果的稳健性，本文在理学学科中选择数学，在经济学学科中选择经济学，在工学学科中选择计算机（信息系统）进行研究。评价指标的选取必须客观、全面、可行，才能保证指标体系的科学性和准确性。选择的评价指标包括：总被引频次、影响因子、他引影响因子、5年影响因子、即年指标、载文量、被引半衰期、引用半衰期、特征因子、论文影响分值10个指标，进行正向化以及标准化处理后，同时采取6种客观赋权方法得到权重，加权汇总得到评价值，并比较不同评价方法的评价结果，做进一步的分析。

JCR2019共有数学期刊324种，经济学期刊373种，计算机科学（信息系统）期刊156种，清除含有缺失值的期刊数据后，共有数学期刊308种，经济学期刊337种，计算机科学（信息系统）期刊143种，对这3类期刊数据进行实证分析。

2.2不同客观赋权法的权重比较

1）不同客观赋权法的权重及排序

利用几种客观赋权方法分别对3类期刊计算权重系数。数学期刊的權重结果如表1所示，可以发现，不同客观赋权方法所确定的权重差别较大，以总被引频次为例，熵权法对此指标的权重分别为0.204，认为此指标最为重要，而粗糙集的权重仅为0.002，重要性很低：对于不同客观赋权法，载文量的排序结果均优先于影响因子，也就是说，载文量的重要性大于影响因子，这与期刊评价的一般认识相悖。

经济学期刊的权重结果如表2所示。同数学期刊一样，总被引频次在熵权法上权重值最大，而在粗糙集上表现为最小;在不同赋权法上，载文量的重要性也均大于影响因子。

计算机期刊的权重结果如表3所示。均方差法、CRITIC法和粗糙集认为引用半衰期的重要性最高，熵权法、变异系数法则认为其重要性较低，进一步说明了不同客观赋权法所得权重的差异较大：有4类赋权方法认为载文量的重要性大于影响因子。

综合来看，不同客观赋权方法所确定的权重差别较大：在期刊评价中，通常认为影响因子的重要性高于载文量，而客观赋权法却得出载文量的权重值大于影响因子的结果：论文影响分值多被采用为期刊评价的指标，但其在3种期刊上粗糙集所得权重上表现为0，为可以剔除的冗余指标：同种客观赋权方法在3类期刊上所得权重存在一定的差异，但整体上排序结果基本一致。

2）不同客观赋权法权重的相关系数

计算不同客观赋权法所得权重的相关系数。表4为数学期刊所得权重的相关系数，可以发现，由于熵权法和变异系数法在赋权原理上相似，二者的相关系数为0.976，呈现高度的正相关：CRITIC法与均方差法也呈现高度的正相关：部分方法所得权重呈现负相关，如变异系数法与粗糙集。

表5为经济学期刊所得权重的相关系数，同数学期刊一样，熵权法与变异系数法也呈现高度的正相关，变异系数法与粗糙集呈现负相关：CRITIC法与粗糙集呈现高度的正相关。

表6为计算机期刊所得权重的相关系数，同上述两种期刊一样，熵权法与变异系数法呈现高度的正相关，变异系数法与粗糙集呈现负相关;CRIT-IC法与粗糙集呈现较高的正相关。

计算3类期刊所得权重的均值，得到表7。综合来看，客观赋权法所得权重结果存在一定差异，实际应用中应根据需要选择合适的客观赋权方法。由于在赋权原理上相似，熵权法和变异系数法在3类期刊上均呈现高度的正相关，其相关系数的平均值为0.985，均方差与CRITIC的相关性也较高。

2.3不同客观赋权法评价结果比较

1）不同客观赋权法的评价值排序

通过各类客观赋权方法得到权重值后，对各指标值进行加权汇总即得到各评价对象的综合评价值，本文节选了以熵权法为参考其综合评价值排名前10的期刊。

数学期刊评价值的排序结果如表8所示。可以看出粗糙集的排序结果与其他赋权法差异较大，熵权法与变异系数法的排序结果较为相似。

经济学期刊评价值的排序结果如表9所示。与数学期刊类似，粗糙集的排序结果与其他赋权法差异较大：熵权法与变异系数法、独立性权系数法与CRITIC法的排序结果较为相似。

计算机期刊评价值的排序结果如表10所示。粗糙集的排序结果与其他赋权法存在差异;除粗糙集外的5种赋权方法的排序结果较为相似。

综合来看，由于粗糙集所得权重的极端性，粗糙集的排序结果与其他赋权法存在一定的差异;除粗糙集外的5种赋权方法的排序结果相似度较高。

2）不同客观赋权法评价值的相关系数

为进一步比较不同客观赋权法所得评价值的差异，本文对评价值结果进行相关性分析。

数学期刊不同客观赋权法评价值的相关系数如表11所示。由于熵权法与变异系数法原理相近，其权重也高度正相关，所以二者的评价值也呈现高度的正相关，相关系数为0.994：部分赋权法的权重结果呈现负相关，其评价值却呈现正相关，如变异系数法和粗糙集，均方差法和变异系数法。

经济学期刊评价值的相关系数如表12所示，熵权法与变异系数法的相关系数高达0.998：均方差法与变异系数法的权重呈现负相关，其评价值却呈现高度的正相关。

计算机期刊评价值的相关系数如表13所示，同数学、经济学期刊类似，熵权法与变异系数法的评价值呈现高度正相关：均方差法与变异系数法的权重呈现负相关，其评价值却呈现高度的正相关。

可以看出，尽管各类客观赋权法所得到的权重结果差异较大，但其评价结果却大都呈现出中、高度的正相关性：由于原理相近，熵权法与变异系数法的相关系数都在0.99以上，均方差法与CRITIC法的相关性都在0.96以上：部分赋权法的权重结果呈现负相关，其评价值却呈现正相关。如果根据评价值的排序结果来衡量客观赋权法的有效性，可能会得出错误的结论。

3）权重相关度低、结果相关度高原因分析

部分客观赋权法所得权重呈现负相关，其评价结果却呈现中高度的正相关。造成这一现象的原因是评价指标之间存在高度的相关性，如表14所示。在某一指标的指标值较大的期刊，在另一指标的指标值也通常较大。若某一期刊的所有或者多数指标值都比另一期刊高，就会导致权重的大小对综合评价值的排序结果影响较小。

3结论与讨论

1）客观赋权法原理主要包括3个方面

第一，基于指标问的相关关系来确定权重，如独立性权系数法，某一指标与其他指标的相关系数越大，其权重越小;第二，根据指标数据的变异程度计算权重，如变异系数法、熵权法，指标数据内部的变异程度越高，其权重越低;第三，兼顾指标相关性和指标数据变异程度，如CRITIC法。

2）客观权重相差较大但评价结果相差不一定较大

总体上客观赋权法所得權重结果存在一定差异，甚至表现出负相关，但其评价结果却大都呈现出中、高度的正相关性，这是评价指标之间高度的相关性所导致的。这个问题一定程度上掩盖了客观赋权法选择的错误，因为即使客观赋权法方法选错了，结果或许不那么严重。需要注意的是，如果评价的学术期刊数量较少，不同客观赋权法的评价结果也许相差不大，但当评价的学术期刊较多时，结果相差会较大。

3）原理相近的客观赋权法权重和评价结果均高度相关

由于熵权法和变异系数法在赋权原理上相似，二者所得权重的平均相关系数为0.985，其评价值也表现为高度的正相关：均方差法和CRITIC法的相关系数为0.769，其评价值的相关系数都在0.96以上。

4）客观权重与主观管理需求往往不一致

一方面，客观赋权法对各期刊评价指标的赋权带有较大的不确定性：另一方面，在学术期刊评价中，出于管理需要，对某些指标的权重专家是有共识的。由于客观赋权法基于数据自身得到权重的特点，其权重与指标的管理要求的实际重要性可能存在较大差别，在期刊评价中应该慎用。即应该选取那些更接近管理要求的权重组合即客观赋权法，而所有的客观赋权法中不一定能找到这种权重组合。

本文通过探究不同类型客观赋权法的原理以及对期刊数据进行实证分析后发现，在实际期刊评价中，盲目选择客观赋权法可能会误判指标的重要程度，对客观赋权法的选择应考虑主观管理需求。如果某种客观赋权法所得权重结果符合主观管理需求和综合评价，可以选择该客观赋权方法，否则应考虑主观赋权方法或主客观结合赋权法。

（责任编辑：孙国雷）