社会科学期刊质量评价维度探析

胡绍君 秦新国

1)徐州工程学院管理工程学院，江苏省徐州市云龙区丽水路2号 221018 2)南京大学信息管理学院，江苏省南京市栖霞区仙林大道163号 210023

2021年6月，中央宣传部、教育部、科技部联合印发了《关于推动学术期刊繁荣发展的意见》，明确指出要“改进完善学术期刊评价体系，以内容质量评价为中心，坚持分类评价和多元评价，完善同行评价、定性评价，防止过度使用基于‘影响因子’等指标的定量评价方法评价学术期刊特别是哲学社会科学期刊”[1]。确定评价维度是开展期刊评价的前提和基础性工作，评价维度认可度将直接影响评价结果的认可度。社会科学学科的特点决定了其评价更具有复杂性和多元性。由于人们对期刊质量的看法存在差异，获得具有共识性的社科期刊质量评价维度尤为重要。

期刊质量有比较广泛的含义，包括出版质量、学术质量和政治质量等，本文提出的质量特指学术质量，因为学术质量是学术期刊的命脉。学界一直在热烈讨论什么样的期刊才是高质量的期刊[2]。以Martin等[3]提出的2个科学维度(贡献知识的原创性和研究成果对科学界的潜在影响)为基础，相关研究提出的期刊质量评价维度大致可分为以下几类：(1)创新性或原创性——涉及对领域前沿知识、新的或复杂问题的讨论，以新的方式处理现有的问题、推理案例，发展新的设计或方法分析模型、理论和概念等[4]；(2)有用性或贡献——主要表现为对促进知识发展或对有关领域新成就的贡献，对教学和科学研究的价值，受访者阅读和投稿偏好程度等[5-6]；(3)规范性或严谨性——主要包括期刊的整体学术规范程度、文章研究方法的严谨性、作者运用学术语言的能力、论文的逻辑结构等[7]；(4)期刊总体影响力或受欢迎程度——主要包括期刊的国际影响力、国内影响力、单篇文章影响力、受读者欢迎程度和对领域的潜在影响等[8]；(5)期刊声望或知名度——包括期刊本身的定位、编辑委员声誉、同行评议的质量、期刊知名度、稿件接收率、发表效率，以及发文群体等[9]。但现有研究往往仅强调质量的某一方面，仅靠单一维度进行期刊评价，无法对期刊质量进行全面衡量。后来，Schmied[10]将质量定义为各种利益相关者认为研究“好”的程度；他认为“好”的定义仍然取决于利益相关者，只有利益相关者才对期刊质量有更加直接的体会。但人们心中的质量评价属于典型的隐性知识：人们很可能无法定义什么是质量，但却知道如何判断质量。有学者将这种现象称为“默会知晓”(Tacit Knowing)，并将其描述为“我们能够知道的事实比我们能够说出的更多”[11]。基于此，本文借鉴个人建构心理学领域的凯利方格访谈法(Kelly Repertory Grid Technique)，在尊重多样性的基础上，深入了解广泛的利益相关者对期刊质量的意见，显化隐性知识，以期形成有共识性的社科期刊质量评价维度。

1 研究设计

1.1 研究方法

首先，采用凯利方格访谈法挖掘期刊利益相关者对期刊质量维度的认知和主观构念。整理、归纳获得的构念，通过打分了解受访者对构念的倾向程度，以获取核心构念和边缘构念。随后，增加问卷样本量，大范围征求社科研究人员对整理出的构念的重视程度。采用统计分析的方法，对主要构念进行主成分分析降维，形成有共识性的社科期刊质量评价维度。研究设计流程如图1所示。

图1 期刊质量评价维度研究设计流程

在20世纪50年代，心理学家乔治·凯利(George Kelly)提出了个人建构理论(Personal Construct Theory)，指出一个人的心理过程是被他预测事件的方式引导的，这是个人建构心理学的基本假设。凯利方格访谈技术是个人建构理论的延伸，它作为一种获取隐性知识的方法，有着比较广泛的应用[12]，在评价维度挖掘方面有着突出的优势。乔治·凯利认为，通过捕捉个人用来解释、建构和评估构成他们生活的实体(元素)的主观概念(构念)，可减少普通调研手段仅凭已有价值尺度对受访者进行测量的局限性。凯利方格访谈由三部分组成：确定主题、筛选元素和提取构念，其中第三部分是其核心。分6个步骤实施访谈过程：

(1) 确定元素。随机挑选3种受访者熟悉的本领域学术期刊作为访谈元素。

(2) 建立构念。请受访者根据其对期刊质量的主观感知，从3种期刊中选出1种(可以是质量比其他2种好，也可以是质量比其他2种差)，阐明选择的具体理由，以此引出其对期刊质量的一系列构念。

(3) 若受访者熟悉的期刊数量超过3种，则重复步骤(1)和(2)，直到不再产生新的构念；若受访者熟悉的期刊只有3种，则直接进行下一步骤。

(4) 整理并归类构念，制作凯利方格。

(5) 请受访者按照构念，对熟悉的期刊打分。

(6) 数据分析。按重要程度排列构念，获得核心构念和边缘构念。汇总构念和评分数据，确定主要构念。

为提高效率，进行分组访谈：按照访谈的先后顺序，将受访者分成6组(每组5～7人)。为节约访谈时间，尽量减少构念重复的情况，为后一组的受访者提供前面一组或几组受访者提出的全部构念。根据访谈过程中的构念整理和数据分析需要，将整个访谈过程分为2个阶段：第一阶段——收集所有受访者的访谈资料，整理构念，绘制凯利方格；第二阶段——请受访者打分，获取定量数据，以体现受访者对于构念的重视程度，提炼核心构念。

1.2 访谈对象选择

使用凯利方格访谈调查一个特定的主题，一般只需要相对较小的样本数量(15～20名受访者)[13]。考虑到受访者需要对期刊较为熟悉，限定受访者近3年至少在3种本学科中文学术期刊上发文，同时兼顾受访者学历、职称、年龄、地域分布等方面的均衡性。初步确定30名受访对象，结合访谈进度与理论饱和情况，最终对32人进行访谈，其基本情况见表1。所有受访者均为硕士研究生以上学历，多次在中文社科期刊上发文，其中博士生导师有6人，硕士生导师有9人，多名受访者有参与期刊评价工作的经历。

表1 受访者基本信息

1.3 访谈实施

在初步确定受访者范围后，采用面对面交流和微信语音通话相结合的形式与受访者进行一对一访谈，访谈时间持续40～90分钟；完成一组访谈后，进行一轮构念整理，并请该组受访者进行凯利方格打分，以获取核心构念和边缘构念。按访谈顺序对受访者进行编号，在征得受访者同意后，对访谈过程进行录音。通过与受访者不断交流，反复整理各组构念数据，发现每组中新出现的构念数量不断减少，从第5组开始不再出现新的构念(图2)。据此，认为访谈已达到理论饱和，将受访者样本数量确定为32个，共获得57个初步构念。

图2 新构念出现趋势

在第二阶段进行凯利方格打分。标准的凯利方格(表2)把受访者提出的不同构念的正反两极分别设置在评分栏的两端：将消极或者比较负面的构念置于左端，将积极或者趋向正面的构念置于右端。受访者针对不同元素，参考两端的构念分值，对各元素进行评分。反极分值为1，正极分值为7。在评价某期刊时，受访者如果趋向认同反极的描述，可以打2分或1分；如果趋向认同正极的描述，可以打7分或6分；如果持中立态度，可以打4分；如果受访者认为某个构念无法用于评价期刊质量，可以为所有期刊打相同的分数。根据打分情况，可以初步发现受访者对某个构念用于期刊质量评价的认同程度。如果某位受访者对某个构念打分的差异较大，则可推断其比较认同采用该构念评价期刊；反之，则可推断其不太认同将该构念用于期刊质量评价。

表2 凯利方格样表

1.4 构念提炼

在对访谈产生的构念进行整理汇总时，由两人进行构念提炼。首先，确定提炼原则，即以核心构念为主，以被多数受访者提及的构念作为重要参考，使获得的构念兼顾重要性和全面性。随后，两人分别提炼构念，并比对每组结果，协商统一不一致处。期间，查阅词典或咨询专家，厘清一些模糊概念或表述，对部分构念进行整合。最终保留43个构念，见表3。

表3 凯利方格访谈获得构念情况

1.5 重要程度问卷

通过网络平台“问卷网”发放问卷，邀请社科领域的高校教师、研究人员、研究生、图书馆员、期刊编辑等对构念按照重要程度打分：1分表示“不重要”，2分表示“一般”，3分表示“重要”，4分表示“很重要”，5分表示“非常重要”。问卷中还设置题项，请受访者对构念进行补充。共获得206份有效答卷，填答者中包括之前参与访谈的32位受访者。

从表4可以看出，调查样本分布情况基本满足抽样要求。在职业分布上，高校教师比例较高，其次是博士研究生群体，他们是目前从事科研工作的主力军，对学术期刊质量有更多体会。从学科分布看，样本基本涵盖了管理学、经济学、教育学、法学、社会学、新闻传播学等学科的研究人员。统计问卷数据发现，仅有7位受访者补充了自己认为重要的构念；但与现有构念比较发现，补充构念与现有构念均存在重复和包含关系，故不予增加。各构念打分的最低均值为1.90，最高均值为4.26，数据标准差、偏度和峰度情况表明数据基本满足正态分布。

表4 参与问卷调查的受访者情况统计

为了解不同受访群体对构念的重视程度差异，使用SPSS 24.0软件对不同群体打分数据进行两独立样本t检验或单因素方差分析，未发现明显差异。为了解不同学科受访者对构念的重视程度差异，对43个构念的得分均值差异作统计，发现经济学领域受访者对构念的打分均值高于其他学科受访者，管理学、教育学、法学、社会学和新闻传播学领域受访者打分均值差异无统计学意义。方差分析结果表明，除“理论创新程度”这一构念的打分在部分学科间有显著统计学差异外，其余构念打分不存在明显差异。进一步比较发现，与管理学、教育学、法学、社会学4个学科类别的受访者相比，经济学的受访者对“理论创新程度”构念的重视程度更高，其对该构念的打分分别比管理学、教育学、法学、社会学受访者高0.42、0.42、0.57、0.73(P<0.05)，此种差异提示在设置期刊评价指标权重时，需更加重视经济学期刊的“理论创新程度”。

为了进一步获得共识维度，剔除平均得分低于3分(即受访者普遍认为“不重要”和“一般”)的构念，因为这部分构念为受访者普遍认为的边缘构念，不可能对共识维度有较大的贡献。

1.6 主成分分析

主成分分析法是一种典型的统计学方法，可在最小化信息损失的前提下实现数据降维目的，具体步骤包括数据标准化、计算矩阵、计算特征值及特征向量、提取主成分(通常要求提取成分的累积解释方差百分比达到85%)，以及解释主成分。由于数据都由Likert量表获得，无需进行标准化处理，可直接进行检验。在SPSS 24.0软件中分别进行了相关性检验、KMO(Kaiser-Meyer-Olkin)检验和Bartlett′s球形检验，发现各组变量之间的相关性系数均在0.30以上，这表明各组变量之间存在较好的线性相关性。Bartlett′s球形检验得出P<0.01，KMO检验系数为0.84，表明变量间有相关关系，可以开展主成分分析。在SPSS 24.0软件中对32个构念的数据进行主成分提取，结果见表5。

表5 32个构念的主成分提取结果

此时，有8个成分的特征值大于1，累积解释方差百分比为79.77%，小于85%。可见，本次降维效果并不明显。实施主成分分析的目的是获得有共识性的维度，要求提取的成分能最大限度地解释各变量，所以进一步剔除部分解释效果不佳的变量，再次进行主成分分析，直至累积解释方差百分比达到85%。陆续删除方差提取解释度不高的构念后，剩余21个构念，此时的累积解释方差百分比达到85%。21个构念的主成分提取情况见表6。

虽然碎石图显示可提取7个主成分，但由于第7个主成分的特征值(0.42)小于1，不予提取。从表6可以看出，6个主成分的累积解释方差百分比达到了85.67%；第一主成分包括6个构念，这些构念侧重于文章质量评价，而整体的文章质量可以作为衡量期刊质量的指标，所以可以概括为规范性维度；第二主成分包括5个构念，这些构念可以衡量期刊在宏观选题、刊文以及期刊管理等方面的创新程度，可以概括为创新性维度；第三主成分包括4个构念，这些构念均为对期刊审稿、编辑加工等环节的评价，是期刊办刊水平的体现，可以概括为专业性维度；第四主成分包括3个构念，这些构念可以概括为影响力维度；第五主成分包括2个构念，这些构念可以概括为重要性维度；第六主成分仅包括1个构念，但提取到的该构念的公因子比例非常高(0.98)，故保留该构念，将其概括为吸引力维度。这6个主成分的特征值均大于1，因此能以它们作为综合因子来解释数据的整体状况。

表6 21个构念的主成分提取结果

2 研究结果与分析

根据主成分分析结果，最终提取到6个主成分，可反映期刊的规范性、创新性、专业性、重要性、影响力和吸引力6个方面的质量维度(表7)。可通过6个维度对期刊的管理能力、创新活力、用稿机制、学术规范、声誉声望、影响力、贡献程度等进行评价。

表7 社科期刊质量评价的维度

2.1 规范性

主要从期刊发表文章的学术规范角度衡量期刊规范性，规范性子维度包括研究完整度、文章说服力、方法规范性、数据准确性、论证充分度和写作严谨性。遵守学术规范是学术活动顺利进行的重要保证。学术研究不仅是一项系统的工程，更是一项技术性很强的规范工程，研究人员必须经过系统性的学术训练，掌握科学的研究范式，才能提高学术成果质量。

2.2 创新性

创新性包括两个层面：一方面是期刊在办刊理念和选题方面的创新性，另一方面是期刊发表文章的创新性[14]。既往研究将创新性定义为新发现和新理论的产生，异常的新发现可能使挑战传统范式的新理论出现。这些理论不一定产生创新的科学知识，它们对科学进步的主要贡献在于帮助解决了现有的困惑。学术界之所以重视创新性，是因为它在知识积累中发挥了作用，甚至有学者认为原创性作品是研究者学术道德的体现[15]。更具体地说，那些被认为能够贡献原创作品的学者常常被认为具有智力上的真实性、完整性以及与之相关的道德品质，而这些品质正是学术界所重视和追求的。

2.3 专业性

专业性是衡量期刊稿件筛选和加工水平的重要维度。严谨、规范、透明、高效的筛选机制是投稿者对高质量学术期刊的普遍期待。同行评议水平是衡量期刊学术性的重要标准，同行评议的专业性是期刊学术质量的重要保障。专家中肯、专业、客观、公正的审稿意见，不仅能为主编和编辑决定是否录用稿件提供重要参考，而且能为投稿者继续完善稿件提供专业建议，对提升投稿者研究水平和保证期刊的整体学术质量都具有非常关键的作用[16]。

2.4 重要性

重要性维度体现了期刊价值。整体而言，人们更关心期刊可能对知识和学术界产生的重要影响以及其发表文章的经济、社会或政治影响。根据期刊发文主题(是基础性的、战略性的，还是应用性的)，人们可以用不同的方式来判断其发表成果的意义。如果某项研究突破了现有的理论或方法论基础，提供了新的知识或解决了当前重要的实际问题[17]，并在某些领域提供了值得信赖的结果，那么它就可能具有较大的意义，即重要性比较强。评价重要性的方法包括判断期刊对领域发展的影响或潜在影响，审查其对学术界焦点问题的实际贡献以及评估其对政策和实践的影响或潜在影响、对决策者或从业人员的直接影响等。

2.5 影响力

影响力是指期刊在某一段时间内对其对应学科领域内科学研究活动的影响范围和深度，主要取决于期刊学术质量和文章数量。期刊学术质量反映的是期刊对科研活动的影响深度，即期刊发表的文章对科研活动的影响力大小，其表征参数是期刊的影响因子、总被引频次等文献计量指标；期刊文章数量反映的是期刊对科研活动的影响范围，其表征参数是期刊的稿源量[18]。近年来，随着互联网的发展，人们已经把更广泛的互联网用户纳入影响力评价范围，即纳入文章网页检索量、下载量等指标。

2.6 吸引力

期刊在学术共同体中的口碑、声望，期刊主办机构的影响力，优秀学者、知名机构、国家级基金项目发文占比等会在一定程度上影响投稿者对期刊学术质量的判断[19]。期刊宣传力度也在一定程度上成为吸引稿件的因素。然而部分国内期刊中，人情稿、关系稿、自家稿屡见不鲜。很多优秀青年学者对国内期刊的筛选机制和发文流程缺乏信心而将论文转投到国外期刊。稿源是学术期刊可持续发展的生命线，更是影响期刊学术质量的基础性因素，能够长期吸引优质稿件是期刊发展的核心条件。

3 讨论

3.1 维度的全面性

提出了规范性、创新性、专业性、重要性、影响力和吸引力6个具有共识性的期刊质量评价维度。与既往研究提出的维度相比，提出的评价维度更为全面，可从更多的视角评价期刊的学术质量。创新性维度涵盖了期刊的选题创新程度、理论创新程度、方法创新程度、办刊活力和观点独特性5个子维度，可比较全面地衡量期刊在宏观选题、刊文以及期刊管理等方面的创新程度。重要性维度与前期研究中涉及的“有用性或贡献”维度类似，但大多数现有研究只强调了质量维度的某一方面[20-21]，而本文形成的重要性维度包括了对实践的贡献和对理论的贡献两大子维度，故可以更为全面地评价期刊的学术贡献和实践贡献。从规范性维度看，现有研究主要强调期刊的整体学术规范程度、文章研究方法的严谨性、作者运用学术语言的能力及文章的逻辑结构等方面[22]，而本文构建的规范性维度包括研究完整度、文章说服力、方法规范性、数据准确性、论证充分度和写作严谨性6个子维度。此外，现有研究对与期刊的影响力与声望相关的维度的界定比较模糊，有的研究将影响力等同于声望[23]。本文获得的影响力维度包括成果传播力度、业内声誉和引文影响力3个子维度。

新挖掘出专业性和吸引力2个维度，分别从期刊稿件的录用与处理和稿源质量两方面评价期刊学术质量，可以进一步丰富现有评价维度。专业性维度衡量期刊管理能力。目前我国正在倡导建设高质量期刊，其实现路径除了吸引优质稿源，号召广大科研工作者“把论文写在祖国大地上”外，还包括加强期刊自身能力建设，提高编辑水平、审稿人水平和稿件甄别能力，这是提升期刊学术质量的重要保障[24]。将获得的评价维度与叶继元教授提出的“全评价”理论框架进行比较可以发现，专业性和吸引力维度可以对应“全评价”的形式评价，规范性和创新性维度可以对应“全评价”的内容评价，而影响力和重要性维度可以对应“全评价”的效用评价。

3.2 维度的适用性

获得的6个维度为期刊多维度评价打好了基础。多维度评价思想强调：期刊质量评价，特别是社科期刊质量评价具有全面性和复杂性的特征，达成质量评价共识是一项比较困难的工作，所以应跳脱出对质量的狭隘看法，全面地看待期刊质量[25]。

以雷达图的形式展现4种同领域期刊的六维度质量评价结果数据(图3)，可以很直观地体现期刊不同维度的质量，这既有利于期刊找准自身定位，寻找差距，也有利于学术界更加全面客观地认知期刊，理性选择发表和阅读论文的渠道。例如，与期刊B相比，期刊A虽然在大多数维度中处于劣势，但其在创新性维度的优势明显；除了规范性和影响力2个维度外，期刊C在其他维度均处于劣势。期刊A和期刊C可以结合评价结果，认真分析差距，找好对标对象，努力实现提升。在4种期刊中，期刊D虽然在影响力、重要性和专业性维度均处于领先地位，但其吸引力、规范性和创新性维度与其他期刊相比都有明显差距，应努力补齐短板，实现均衡发展。期刊B各维度发展比较均衡；可在此基础上，借鉴期刊A在创新性方面和期刊D在影响力方面的典型做法，实现新的突破。多维度呈现评价结果对于破除“唯核心期刊”“唯影响因子”也有积极意义：不仅可以打破期刊“核心”与“非核心”的身份界限[26]，激活众多“非核心”期刊的发展潜能，而且有助于期刊的多元化发展，避免“千刊一面”的局面，从而更好地满足学术界对文章发表和阅读的个性化需求。

图3 期刊多维度评价结果雷达图

3.3 维度的局限性

构建的维度也存在一定的局限性，虽然在维度挖掘过程中力求严格遵循科学研究规律与方法，在一定程度上避免了维度制定的主观随意性，但不可忽视的是，该维度仍然存在进一步完善的空间。首先，评价维度包含了多个子维度，这表明在构建期刊评价指标体系时，每个一级指标又可以分为若干个二级指标，其中既有定性指标，也有定量指标。如何对它们进行量化，如何简单、高效地获取数据，使评价更具可操作性，是后续研究需要深入探索的问题。其次，在挖掘评价维度的过程中，为获得社科研究人员共识，可能忽视了部分某一学科领域受访者提及频次较多的构念，这些构念很有可能是受该学科领域学者普遍重视的独特维度或子维度。所以，在针对具体学科领域期刊的评价实践中，需要在形成的6个维度的基础上，适当增加部分能体现学科领域独特性的个性化指标，或者在设置权重时充分考虑学科差异。最后，虽然力求样本多样化，但受笔者从事工作和专业的限制，访谈和问卷调查样本可能存在代表性不足的情况。后续研究仍需扩大调研范围，征求更广泛群体的意见。

4 结语

确定评价维度是开展期刊评价的前提和基础性工作。本文通过凯利方格访谈、问卷调查和主成分分析等方法，显化社科研究人员评价期刊学术质量的隐性知识，挖掘评价维度，最终确定了规范性、创新性、专业性、重要性、影响力和吸引力6个有共识性的社科期刊评价维度及一系列子维度，从而多角度评价期刊的学术质量，为期刊多维度评价打下了基础。后续研究可以在进一步量化期刊评价维度、进一步探索某一特定学科期刊的个性化评价维度，以及扩大实证检验的样本范围等方面作出努力。