刘 洋,温学兵,b,刘瑞银
(沈阳师范大学 a.数学与系统科学学院,b.沈阳师范大学 学报编辑部,沈阳 110034)
基于结构方程模型的科技期刊评价指标结构关系研究
刘 洋a,温学兵a,b,刘瑞银a
(沈阳师范大学 a.数学与系统科学学院,b.沈阳师范大学 学报编辑部,沈阳 110034)
研究中国科技期刊量化评价指标间的相关关系,为指标的分类和评价体系构建提供参考。基于结构方程模型原理并利用AMOS软件,对2016年中国科技期刊引证报告中工程技术类期刊的12个量化指标408个数据进行相关性分析。得出2类共9个指标满足结构方程模型的理论要求和一级二级指标间的相关关系。分析结果反映了期刊的影响力因子解释总被引频次、影响因子、学科影响因子、H指标4个指标的能力分别为0.81、0.85、0.37、0.79;期刊的传播力因子解释引用刊数、学科影响指标、平均引文数、平均作者数、基金论文比5个指标的能力分别为0.72、0.50、0.87、0.74、0.91。相较以前利用结构方程研究期刊指标的结果,本文的结论更加符合结构方程的理论要求。得出结构方程模型为期刊指标的分类提供了新的想法和解决方法,是未来解决期刊指标筛选的一种重要工具。
科技期刊;评价指标;结构方程模型;AMOS;结构关系
瑞典统计学家、心理学家Karlg Joreskog将回归分析和路径分析巧妙地结合在一起,开创了结构方程模型(Structural Equation Modeling,SEM)这个崭新的量化研究范式[1]。随后的研究学者们从不同的属性方面赋予它不同的名字:因果建模—功能方面;协方差结构分析—数据结构方面。结构方程模型在近十年里被广泛应用于各行各业。邱皓政在《结构方程模型的原理与应用》[2]中归纳SEM的时候提到,结构方程模型在方法层面上讲是一门基于统计分析技术的研究方法学,对多个变量的研究处理有较好的辅助作用。
Weiping Yue[3]等人应用结构方程模型的方法分析了期刊影响力方面的关系,不过没有进行实例验证。庞景安[4]等人利用层次分析法并结合相关定量方法,将科技期刊指标进行了分类,并对各个指标进行解释。俞立平[5]等人从期刊评价指标这一方面着眼,将影响力、期刊特征和时效性3个指标进行分析,发现结构方程模型除了可以对隐含的指标进行评估以外,还可以对指标进行筛选,因此为期刊评价提供了新思路。邱均平[6]等人使用灰色关联法对指标进行评价,并提出了期刊评价指标中的三维层次结构图。毛国敏[7]等人运用结构方程模型的原理将多个指标分为影响力因子和传播因子两类,并对其进行相关关系检验。程慧平[8]等人对学术期刊评价指标进行模拟,不但成功揭示了指标之间的关系,也为评价指标的筛选和评估提供了量化参考。陈小山[9]等人在利用主成分分析的基础上再应用结构方程模型的方法对影响因子、他引影响因子、web下载率等指标之间的结构关系进行了探讨。赵婧[10]等使用结构方程模型原理用定量的分析方法,将影响科技期刊发展的因素进行了分类研究。雷蕾[11]等人将结构方程模型运用在应用语言学领域中,同时使用结构方程模型软件AMOS进行分析处理。
俞立平的研究表明,指标的选择要从4个方面分析:首先是指标内涵、获取指标的难易度及区分度;其次是指标的用途和影响;再次是指标的数量;最后是各个指标的组合形式[12]。
学术期刊的评价指标也在逐年增加,从原有的总被引频次、即年下载率,到近几年新加入的特征因子分值和SNIP指数等。颜帅在文章中提到总被引频次、基金论文比、影响因子、Web下载率、他引影响因子、国际论文比、国际编委比等几个指标在所有指标中显得尤为重要[13]。
本文采用的是2016年《中国科技期刊引证报告》(扩刊版)工程技术类期刊的相关数据[14],选择了电气工程、工程大学学报、石油天然气等8个学科类别,期刊数分别为116、12、65、68、19、37、41、50,合计408种期刊,将其分为影响力因子、传播力因子两大类,并从中收集总被引频次、影响因子、引用期刊数、学科影响因子、学科扩散因子、H指标、来源文献数、平均引文数、平均作者数、基金论文比11项指标数据,见表1。
由于数据之间的差异较大,因此将数据进行标准化处理:
标准化处理后的数据均在0-1之间,避免了在不同计量单位下的误差。同时也对数据的效度和信度进行了分析处理,然后运用AMOS20.0进行统计分析。
表1 指标及分类
结构方程模型的路径图是由测量模型和结构模型两部分组成[15]。
图1 SEM原理图
潜在变量是指模型中不能直接测量的部分,在AMOS中常用椭圆表示。测量变量是指模型中能够测量的部分,用矩形表示。外生变量作为其他变量的组成部分而内生变量可以由其他内生变量或者外生变量组成。中介变量是在内生变量和外生变量之间的桥梁。
用方程式表示为
其中:y—内生测量变量;λy—y指标与η潜在变量的关系;ε—y指标的误差项;x—外显测量变量;λx—x指标与ξ潜在变量的关系;δ—x指标的误差项;η—内生潜在变量;Β—内生潜在变量之间的关系;ξ—外显潜在变量;Γ—外显潜在变量之间的关系;ζ—模式内所包含的变量以及变量之间的残差项。
此处需要注意的是,每个潜在变量下至少要有3个测量变量,之前一些学者的研究结果没有满足这样的要求。
例如,外生变量ξ1和ξ2分别由观察变量x1,x2,x3和x4,x5,x6来测量,其矩阵形式是
依照测量模型,得出:
x1=λ1ξ1+δ1
x2=λ2ξ1+δ2
x3=λ3ξ1+δ3
x4=λ4ξ2+δ4
x5=λ5ξ2+δ5
x6=λ6ξ2+δ6
在这里,λ1,λ2,…,λn分别是某个观察变量(或者指标)所对应测量的潜在变量上的负荷(Loading)。结构方程模型的测量模型有以下三个前提条件:
(1)E(η)=0,E(ξ)=0,E(δ)=0,E(ε)=0;
(2)ε与η,ξ,δ不相关;
(3)δ与η,ξ,ε不相关。
结构方程模型的样本量的最基本要求是要达到测量变量个数的5~10倍,样本数至少要达到200以上,但是大多数学者会认为样本数要达到待估计的自由参数的10倍以上,才能得到一个相对稳定的结论[16]。之前文章中的样本数量没能保证在最优的范围,这样得到的结果可能存在着误差。本文的样本量达到了408个,保证了所得结果的稳定性和可靠性。
初始模型假设见图2所示。
图2 初始模型
模型中C12表示EXT与INF之间的路径关系。本文使用AMOS20.0(Analysis of Moment Structures)软件进行模拟分析。
AMOS软件共有5种参数估计的方法[17],通常情况下,数据量在300左右要选择最大似然估计(Maximum likelihood);数据量超过1000,选择第5种渐进无母树统计(Asympotically distribution-free)。由于本文数据量为408,选择最大似然估计法。AMOS软件可以处理单一的测量模型,同时也可以处理结构模型。本文先对两组测量模型单独分析,将拟合不理想的指标删减,最后保留9个指标。图3和图4分别为两组测量模型的路径系数表。
图3 影响力标准化模拟结果
图4 传播力标准化模拟结果
本文在对两组测量变量分析结束后将其合为一起进行模型测试,结果见图5。
图5 初始模型标准化拟合结果
从图5可以看出他引率INF3和来源文献量EXT3两项指标不符合路径系数大于0.5的优秀标准,因此要将这两项指标删除。至此本文将剩下9项指标进行拟合测试。图6为模拟测试结果。结构方程模型指标拟合度测定有很多种,以下为两类常用的模型拟合度检验形式:一类是两个或多个模型相似最高,一般指标>0.9,表明具有较高的拟合度,>0.8表明拟合度较好。此类指标有GFI、CFI、TLI等。另一类是两个或多个模型差异最小,一般指标<0.08才算标准,此类指标有RMSEA、RMR等。
(1)卡方自由度比:即是用卡方值除以模型的自由度,公式为
其中,p表示模型中外生测量变量的个数,q表示内生观测变量的个数,t表示模型自有参数的个数。
(2)GFI(goodness-of-fit index):指标与回归方程中的R2相似,表示模型拟合得到的方差和协方差能够表示数据资料的方差与协方差的程度。公式为
其中,Σ表示最大似然法拟合后得到的再生矩阵,S表示原始矩阵。
(3)AGFI(adjusted GFI):该指标用模型自由度和参数个数来调整GFI,与回归模型拟合指标中R2。公式为
(4)NFI(normed fit index):该指标反映了假设模型个独立模型之间的差异,通常称为Δ1指标。公式为
(5)RFI(relative fit index):该指标来源于NFI,用卡方自由度比代替了NFI计算公式中的卡方值。公式为
其中,RFI调整了模型自由度可能对NFI造成的影响,通常称为ρ1指标。
图6 第一次修改后标准化拟合结果
系数路径图中所有系数均满足0.5的要求[16],但是查看结果发现一些指标之间不符合显著性,同时也没有达到GFI、RMSEA等指标的拟合参考,见表2。
根据上述拟合指标的标准,原始模型的拟合度并不是很理想。因此要进行模型的修正工作。修正指标要查看AMOS20.0输出结果中的MI指标,见表3。
表2 第一次修改后模型拟合指数表
根据表3的M.I.数据、删减后指标结果的检验以及期刊指标自身特点,最后本文删除EXT4、EXT5、和INF4这3项指标并在误差项e1、e2、e6之间;e4和e10之间;e5和e10之间加入修正条件。再次利用AMOS20.0软件进行验证,结果如图7所示。
表4显示出所有指标p均小于0.01并且都已经达到显著,说明拟合修正是有可行性的。
以上指标显示拟合指数基本符合约束条件,因此本文认为EXT与EXT1引用刊数、EXT2学科影响指标、EXT4平均引文数、EXT5平均作者数、EXT6基金论文比之间存在结构关系;INF与INF1总被引频次、INF2影响因子、INF4学科影响指标、INF5H指标之间存在结构关系。
表3 MI修正指标值
图7 修正模型模拟结果
表5为模型的题目信度进行了分析和验证,数据显示EXT和TIM与其测量变量之间的相关性都可以达到可接受的范围,而INF与INF4学科影响指标之间的相关性差一些。可能是因为学科与学科之间存在着差异,评价不同学科期刊的标准可能也会有所区别。
修正和检验的结果显示,影响力和广度之间有0.52的相关关系,但是二者间并没有方向关系。影响力因子与总被引频次(INF1)、影响因子(INF2)、学科影响指标(INF4)、H指标(INF5)之间的因子载荷量分别为0.812、0.847、0.366、0.788。传播力因子与引用刊数(EXT1)、学科扩散指标(EXT2)、平均引文数(EXT4)、平均作者数(EXT5)、基金论文比(EXT6)之间的因子载荷量分别为0.721、0.496、0.868、0.741、0.913。
表4 修正模型显著性检验
表5 题目信度检验
根据拟合结果,总被引频次、影响因子、H指标与影响力因子之间存在高度相关;学科影响指标与影响力因子之间存在低度相关,这样的结果也是可以接受的,因为不同学科的学科影响指标之间可能会存在着较大差异,导致指标相关过低。而引用刊数、平均引文数、平均作者数、基金论文比与传播力因子均存在高度相关,只有学科扩散指标与传播力因子之间存在中度相关,这也可能是由于学科之间的相关度低所导致的结果。
SEM模型在产生过程中多加入研究者自身的情感,因此可能会因为过度修正而达到研究者事先想要的结果。与此同时,对数据的依赖超过了原本的标准,这样就会对原有的理论忽视,而研究的结果也会因此失去有效性。
结构方程模型采用的是验证性因素分析而不是探索性因素分析,这两种不同的分析,所基于的原理是不同的,但多数应用这两种方法的学者不理解或者忽视它们之间的差别。验证性因素分析方法是指在拟定模型之前,学者通过自身所学理论知识对其研究指标进行初步分类,建立初始模型,并通过对数据的分析将分析结果与原假设模型进行拟合度检验。这里要求路径系数与拟合指标双重验证方式。此前很多学者的拟合指标或路径系数没能达到标准,甚至比较之下相差很多,这一点要引起各界学者的注意。结构方程模型是一种验证性因素分析方法,一定要严格要求各项指标的拟合度是否符合理论标准。
[1] JORESKOG K G,SORBOM D.Advances in factor analysis and structural equation models[M].Cambridge:MA,1979.
[2] 邱皓政,林碧芳.结构方程模型的原理与应用[M].北京:中国轻工业出版社,2009.
[3] YUE W P,WILSON C S.Measuring the citation impact of research journals in clinical neurology:a structural equation modelinganalysis[J].Scientometrics,2004(3):317-334.
[4] 庞景安,张玉华.中国学术期刊综合评价指标体系的研究[J].中国学术期刊研究,2000(11):217-219.
[5] YU L P,CHEN Y Q,PAN Y T.Research on the evaluation of academic journals based on structural equation modeling[J].Journal of Informetrics,2009(3):304-311.
[6] 邱均平,张荣.期刊评价指标体系及定量方法研究[J].现代图书情报技术,2004(7):23-26.
[7] 毛国敏,蒋知瑞,任蕾,等.影响因子等主要期刊指标之间的关系研究[J].中国科技期刊研究,2012,23(3):377-382.
[8] 程慧平,万莉.学术期刊评价指标结构研究_基于结构方程模型[J].情报杂志,2014,33(11):113-116,123.
[9] 陈小山,陈国福,张瑞.基于因子分析和SEM模型的期刊评价指标结构关系研究[J].情报科学,2016,34(10):61-64,71.
[10] 赵婧,潘云涛.基于结构方程模型的科技期刊发展影响因素研究[J].科技与出版,2016(9):120-125.
[11] 雷蕾.结构方程建模及AMOS软件在应用语言学研究中的应用[J].中国学术期刊研究,2009, 21(1):39-44.
[12] 俞立平,潘云涛,武夷山.学术期刊评价指标选取若干问题的思考[J]情报杂志,2009,28(3):75-77,100.
[13] 颜帅.科技学术期刊的质量控制与审读(讲稿)[EB/OL](2012-06-29)[2012-07-05].下载地址:http:/blog.sina.com.cn/s/blog_54f7cb080106a7lu.html.[14] 中国科学技术信息研究所.2016年版中国期刊引证报告(扩展版)[M].北京:科学技术文献出版社,2016.
[15] 林嵩,结构方程模型原理及AMOS应用[M].武汉:华中师范大学出版社,2008.
[16] 吴明隆.结构方程模型-AMOS实务进阶[M].重庆:重庆大学出版社,2013.
[17] 毛国敏,蒋知瑞,生冬梅,等.期刊计量指标的鉴别度和可信度分析与研究[J].中国科技期刊研究,2012,23(2):202-207.
(责任编辑:刘划 英文审校:赵欢)
Researchontherelationshipbetweenthestructuresofsci-techjournalevaluationindexbasedonstructuralequationmodel
LIU Yanga,WEN Xue-binga,b,LIU Rui-yina
(a.School of Mathematics and Systems Science,b.Editorial Office of Journal,Shenyang Normal University,Shenyang 110034,China)
In this paper,we study the correlation between quantitative evaluation index of sci-tech journals and provide a reference for building classification index and evaluation system.Based on the principle of structural equation model,this paper uses the AMOS software to correlatively analyze 408 data of 12 types of journals of science and technology from report on the 2016 China's journals of science and technology.The result shows that a total of nine indicators from 2 classes meet the theory of structural equation model and the correlation between the levels of the first and secondary indicators.Analysis results reflect that the ability of the four indexes on the journals influence factors to explain the cited frequency,impact factor,subject factor,H index were 0.81,0.85,0.37,0.79 respectively;the ability of the five indexes on journal of power factor to references publication number,subject effect index,the average number of citations,the average number of authors,fund paper were 0.72,0.50,0.87,0.74,0.91 respectively.Compared with the former journal indexes studied by using structural equation results,the conclusion of this paper conforms more to the requirements of the structural equation theory.At the same time,it is concluded that the structural equation model for the classification of the journals index provides new ideas and solutions,which would be an important tool to solve journals index screening in the future.
sci-tech journal;evaluation index;structural equation model;AMOS;relationship between the indicator structures
2017-07-18
国家自然科学基金(项目编号:11401393);国家统计局全国统计科学研究项目(项目编号:2014LY017)
刘 洋(1991-),女,辽宁铁岭人,硕士研究生,主要研究方向:统计学应用,E-mail:285199375@qq.com;温学兵(1975-),男,河北唐山人,副教授,主要研究方向:统计学理论和应用,E-mail:xbw2004@163.com。
2095-1248(2017)04-0088-08
O213; TP39;G213
: A
10.3969/j.issn.2095-1248.2017.04.012