期刊评价中非线性评价方法选取的检验研究*

■俞立平 宋夏云

1 引言

学术期刊的质量和水平是一个国家或地区科技创新实力的综合体现，期刊评价对于提高办刊质量，调动广大科技工作者的积极性，促进学术公平具有十分重要的意义。由于单指标评价提供的信息量毕竟有限，因此指标体系评价在学术期刊评价中得到了广泛的应用。迄今为止，指标体系综合评价方法已经有几十种，由于不同评价方法的原理不同，评价结果也不相同，因而评价方法的选取成为学术期刊评价的首要问题。

期刊多属性评价方法大致上可以分为两类，一类是加权汇总类评价方法，其原理是通过不同的方法得到权重，然后将评价指标标准化后进行加权汇总，典型的有层次分析法、熵权法、离散系数法等。另一类是非线性评价方法，评价结果与评价指标并不是精确的线性关系，而是相关关系。该类方法数量更多，典型的有主成分分析、因子分析、TOPSIS、数据包络分析、粗糙集等。非线性评价方法众多，在学术期刊评价中得到了广泛的应用，但是对于如何选取非线性评价方法，以及对非线性评价方法的评价结果如何检验却缺乏深入的研究。

在采用多属性评价方法对期刊进行评价领域，国外学者McCabe等[1]从作者、读者、期刊三方面构建期刊评价模型，将投稿作者获益度、论文随机质量、编辑审稿能力几个指标应用于OA期刊质量评价。Cho[2]利用Citabase上的元数据和网络计量数据来分析，构建了一个以被引频次和点击率为主要指标的新型复合指标体系，用来评价OA论文质量和作者学术成就。Farrokh等[3]认为影响因子应该给予不同权重，被引用的期刊与引用期刊属于同一档次权重为1，被引用的期刊低于引用期刊档次的权重大于1，被引用的期刊高于引用期刊档次的权重小于1。国内学者的研究相对较多，主要集中在采用不同的方法对不同学科的期刊进行评价。

学术界在评价方法的特点与选择领域的研究并不多。赵星等[4]根据不同人文社科期刊h指数与CSSCI排名的Spearman等级相关分析结果，发现13个学科相关，但在马克思主义和民族学没有得到证实。俞立平[5]将标准TOPSIS的2次幂推广到其他幂次并分别进行评价，同时比较了不同评价结果的一致性、区分度、打分倾向、数据分布特点等。辛督强[6]认为采用主成分分析法不仅可以解决期刊综合评价中指标的相关性和权重选取问题，还可以有效消除自引过高导致的影响力评价失真问题。

总体上，国外研究侧重采用单指标和一些复合指标对期刊进行评价，采用指标体系进行评价的不多，国内学者则采用各种多属性评价方法对期刊进行评价，涉及的评价方法有主成分分析、因子分析、TOPSIS、模糊数学、灰色关联分析、秩和比、层次分析法等等。由于评价方法众多，在评价方法的选择上，往往仅仅强调作者自己所采用评价方法的优点，缺乏对评价方法进行检验的研究。

本文提出一种非线性评价方法选取的检验思路，其原理是首先进行评价，然后将评价结果作为因变量，标准化后的评价指标作为自变量进行回归，如果全部回归系数为正，说明评价方法总体没有问题，如果回归系数存在负数，则进一步采用偏最小二乘法进行回归，一旦发现关键指标的回归系数仍然为负，说明存在“正向指标增加，评价结果减少”的现象，则必须淘汰该评价方法。由于非线性评价方法众多，本文以期刊评价中应用较多的主成分分析为例加以说明。

2 研究方法

2.1 期刊评价方法选取的影响因素

在期刊评价中，评价指标体系的一些特点决定了评价方法的选择和检验，主要体现在以下几个方面:

第一，评价指标众多。比如总被引频次、影响因子、即年指标、被引半衰期、引用半衰期、学科影响指标、学科扩散因子、基金论文比、地区分布数、海外论文比、特征因子、H指数、ACIF等等，数量有几十种。由于每个指标的侧重点和特点不同，这样，采用指标体系进行评价成为一种能够全面反映期刊水平的有效方法。

第二，评价指标相关度较高。比如总被引频次与影响因子、5年影响因子、即年指标之间由于均是被引性质的指标，往往存在较高程度的相关；期刊的学术质量越高，被引水平也越高，这样h指数、特征因子与期刊的被引指标之间相关度也比较高。由于评价指标相关程度较高现象的存在，导致非线性评价方法在进行评价结果与评价指标回归时，由于多重共线性而产生回归系数估计值偏误、t检验值偏小、回归符号出错等现象。

第三，多属性评价方法众多。虽然每种评价方法均有其优点和不足，但总体上，多属性评价方法中绝大多数均可用于期刊评价，因而会存在评价方法的选择问题，即采用什么样的标准对多属性评价方法进行选取。

2.2 非线性评价方法选取的检验原理

通常情况下，在对评价指标进行标准化处理后，所有的反向指标已经正向化，这样对所有指标而言，评价指标与评价结果应该正相关。若评价结果为Y，评价指标为Xi，则他们的关系是:

公式（1）中，c1、c2…cn分别为X1、X2…Xn的回归系数，c1、c2…cn均大于0，或者说，c1、c2…cn某种程度上相当于非线性评价方法中各指标的权重，反映了不同指标的重要性。

然而，由于多重共线性的存在，c1、c2…cn的回归系数可能存在小于0的情况，并且出现t检验值偏小，回归系数估计不准的现象，所以采用传统回归作为判断非线性评价方法选取的标准是不合适的。

那么如何克服多重共线性问题呢？传统的方法主要有两种，一种是采用岭回归，另一种是采用偏最小二乘法。

岭回归在数据量较少的情况下是不适用的，在期刊评价中，经常存在期刊数量少于评价指标的情况，比如一些期刊数量较少的学科。此外，岭回归是一种有偏的估计方法，通过放弃最小二乘法的无偏性，以损失部分信息，降低精度为代价来解决多重共线性问题。而偏最小二乘法在数据量较少、数据分布有偏、多重共线性比较严重的情况下拥有较大的优势。

偏最小二乘法（Partial Least Squares，PLS）是Wold等[7]提出的一种新型的多元统计数据分析方法，它结合了传统多元回归、典型相关分析、主成分分析法的优点，在回归建模中采用了信息综合与筛选技术，在解释变量多重相关性及变量个数多于观察个体时，是一种较好的新型数据分析方法。

对于自变量向量X和因变量向量Y，根据主成分分析的原理，首先从X中提取成分t1，从Y中提取成分u1，同时t1和u1的变异方差达到最大，即

考虑到回归建模的需要，又需要t1对u1有最大解释能力，根据典型相关分析的原理，要求t1和u1的相关系数最大，即:

在考虑以上两方面因素的同时，偏最小二乘法以t1和u1协方差最大作为提取条件，即:

t1和u1提取后，分别进行X对t1和Y对t1进行回归，如果回归方程达到PRESS精度要求，则算法终止，否则将从X提取t1后的残余数据以及Y提取u1后的残余数据中继续提取t2和u2，直到达到PRESS精度为止。由于t和u是彼此正交的，因而较好地解决了多重共线性问题。

如果最终从X中提取了m个成分t1、t2…tm，从Y中提取了q个成分u1、u2…um，则进行Yk对于t1、t2…tm的回归，最后再将其转换为Yk对于x1、x2…xm的方程。

对于非线性评价方法选取的检验方法如下:

第一步，根据期刊评价目的，慎重选取期刊评价指标。

第二步，对评价指标进行标准化，包括对反向指标进行正向化处理，然后选取某种非线性评价方法进行评价，得到评价结果。

第三步，用评价结果作为因变量，标准化后的评价指标作为自变量进行回归，如果回归系数均为正值，则检验结束，说明评价方法选取没有问题。

第四步，如果回归系数存在负数，则采用偏最小二乘法进行估计，继续检查回归系数的符号，如果全部为正，检验结束。

第五步，如果回归系数存在负数，则对回归系数为负的评价指标进行深入分析，质疑选取该评价指标的合理性，如果指标选取没有问题，则说明该非线性评价方法不能采用，必须更换评价方法。

第六步，如果评价指标有问题，则删除或更换成其他指标，重复第一步到第五步。

3 数据

本文采用汤森路透JCR 2011年光学期刊评价数据为例来进行研究，增强版JCR从2007年开始公布，共有7个指标，分别是:总被引频次（Total Cites，X1）、影响因子（Impact Factor，X2）、5年影响因子（5-Year Impact Factor，X3）、即年指标（Immediacy Index，X4）、被引半衰期（Cited Half-Life，X5）、特征因子分值（Eigenfactor Score，X6）、论文影响分值（Article Influence Score，X7）。这些指标中，除了被引半衰期是反向指标外，其他指标均是正向指标，在评价的时候需要对这些指标统一进行标准化处理，标准化后所有指标均为正向指标，并且所有指标的极大值均为100。

2011年JCR光学期刊共有77种，由于部分期刊部分指标数据为0，主要原因是有的期刊刚刚新办，还没有数据，因此将其删除，最终剩下66种期刊。

表1 标准化评价指标的相关系数

标准化后变量间的相关系数如表1所示。相关系数最高的是影响因子与5年影响因子，相关系数高达0.997，此外5年影响因子与论文影响分值相关系数为0.995，影响因子与论文影响分值相关系数为0.991，总被引频次与特征因子相关系数为0.934，均处于较高水平，期刊评价指标的相关性比较高。

4 实证结果

4.1 主成分分析评价

主成分分析是一种比较有代表性的多属性评价方法，它能较好地处理评价指标的相关性问题，在期刊评价中得到了广泛的应用，因此本文选取主成分分析法作为非线性评价方法的代表来进行研究。

采用主成分分析首先必须进行KMO检验和Bartlett的检验，用来检验选取主成分分析方法的合理性，结果KMO检验值为0.663，大于0.5的经验值，Bartlett卡方检验值为803.163，相伴概率为0.000，说明从主成分分析法适用的角度，选取该方法没有问题。

采用主成分进行评价，方差贡献率大于1的主成分共有3个，第一主成分占49.90%，第二主成分占16.09%，第三主成分占14.61%，3个主成分累计占90.59%，因此选取3个主成分进行评价，由于评价结果存在负值，因此采用全部结果加上极差的方法进行正数转换，然后再除以极大值后乘以100进行标准化，由于篇幅所限，前30种期刊的评价结果如表2所示。

表2 主成分评价前30种期刊

4.2 主成分法选取的检验

首先采用传统回归对主成分分析进行初步检验，自变量为标准化以后的指标值，因变量为主成分评价结果标准化后的值，结果如下:

所有变量均通过了统计检验，拟合优度R2较高，为0.999，接近1，但是标准化后的被引半衰期的回归系数为负数，也就是说，光学期刊被引用论文越新，期刊质量越差，明显不符常理，主要原因是多重共线性引起的。进一步进行多重共线性检验，结果如表3所示。影响因子、5年影响因子、论文影响分值的方差膨胀系数均远远大于10。

表3 共线性检验

在这种情况下，进一步采用偏最小二乘法进行估计，当自变量选取3个主成分时，PRESS检验值达到最小，此时，7个评价指标的回归系数依次为1.058、1.096、1.088、0.945、0.594、1.148、1.064，均大于0，说明偏最小二乘法很好地解决了多重共线性导致回归系数为负这个问题，也就是说采用主成分分析进行期刊评价在方法选取上是并没有问题的。

表4为选取1～5个主成分时偏最小二乘法的回归结果，总体上回归结果比较稳健，说明了偏最小二乘法的优越性。

表4 1-5个主成分下的偏最小二乘法估计

5 结论

5.1 PLS是筛选非线性评价方法的一种有效手段

期刊评价方法以非线性评价法为主，长期以来，对期刊非线性评价方法的选取没有客观公认的方法，一般只要符合评价方法本身的前提条件即可，而这相对容易达到，很多非线性评价方法甚至没有严格的使用前提条件，这其实是远远不够的。偏最小二乘法本着正向评价指标值增加、评价结果一定增加的标准对评价方法进行检验，开辟了一种新的思路。此外，偏最小二乘法完全克服了评价指标之间的相关性导致的多重共线性的影响，在评价期刊数量较少、评价指标较多的情况下一样适用，其应用具有相当的广泛性。

正向评价指标值增加，评价结果增加是一个隐性公理，只有在极少数情况下才会出现异常，何况不采用偏最小二乘法进行检验根本无法发现，因而容易被忽视，从而导致非线性评价方法的误用，这是需要值得重视和改进的。

5.2 PLS同样可以作为指标筛选的方法

凡事都是相对的，在采用偏最小二乘法进行检验时，如果发现某个期刊正向指标回归系数为负数，一方面可能是评价方法选取有问题，另一方面也有可能是指标选取有问题。对于传统的期刊影响力指标，一般不会有这个现象，更多的是一些与期刊质量关联度不太好的指标，比如海外论文比、地区分布数等，在这种情况下，如果回归系数出现负数，还要考虑到评价指标自身不能很好地反映期刊质量，此时就要删除该指标，并不一定是评价方法的选取问题，要具体问题具体分析。

5.3 PLS可以推广到所有非线性评价方法的筛选

本文选取主成分分析法为例进行说明，其实用偏最小二乘法来进行评价方法的选取可以推广到所有非线性评价方法，具有十分广阔的应用前景。主要原因是，线性评价方法评价指标与评价结果是相等关系，而非线性评价方法评价指标与评价结果是相关关系。从统计学回归的角度，本文回归仍然是一种“线性”回归，当然线性评价与线性回归并不是一回事。需要说明的是，加权汇总类线性评价方法是不能采用本文的方法进行检验的，需要探索其他的方法。

1 Mark JMccabe，Christopher M Snyder.Amodal of academic journal quality with applications to Open access journals.[2011-06-11].http://citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.116.7562&rep=repl&type=pdf

2 Cho SR.New evaluation indexes for articles and authors academic achievements based on Open Access Resources.Scientometrics，2008，77（1）:91-112

3 Farrokh Habibzadeh，Mahboobeh Yadollahie.Journal weighted impact factor:A proposal.JournalofInformetrics，2008，2（2）:164-172

4 赵星，高小强，周春雷.h指数在人文社会学科中的评价表征能力:期刊视角的实证.情报学报，2010，29（6）:1125-1130

5 俞立平，潘云涛，武夷山.TOPSIS在期刊评价中的应用及在高次幂下的推广.统计研究，2012，29（12）:96-100

6 辛督强.基于主成分分析的13种力学类中文期刊综合评价.中国科技期刊研究，2012，23（2）:224-227

7 Wold S，Martens H，Wold H.Themultivariate calibration problem in chemistry solved By the PLSmethod.Heidelberg:Springer-Verlag，1983:286-293