■闫 群 初景利
1)中国科技出版传媒股份有限公司,北京中科期刊出版有限公司,北京市东城区东黄城根北街16号 100717 2)中国科学院文献情报中心,北京市海淀区中关村北四环西路33号 100190 3)中国科学院大学经济与管理学院图书情报与档案管理系,北京市海淀区中关村北四环西路33号 100190
科技期刊是一个国家赢得科技话语权的重要工具,而科技期刊建设与发展的核心是学术质量与影响力。科技期刊学术质量和影响力在很大程度上取决于编委会的作用,而编委会的作用在于其运行机制的设计。本研究将我国科技学术期刊编委会运行机制理解为编委会组织、编委会成员作为个体开展工作的方式以及相应的保障措施。
我国大部分科技学术期刊设有编委会,但编委会作用的发挥存在很大的差异:有的编委会对期刊的发展贡献巨大,但也有些期刊编委会徒有虚名[1]。笔者曾以中国科学院科技学术期刊为例,通过问卷调研我国科技学术期刊编委会运行现状及存在的问题,研究发现我国科技学术期刊的办刊模式仍以编辑部责任制为主,编委会在推动期刊发展方面发挥了重要作用,但仍有可提升的空间[1]。但目前,国内外尚未有科技期刊编委会运行机制及优化的系统研究,没有现成权威的指标体系。朱大明[2]初步探讨了学术期刊编委会作用的评价指标,将发表论文、推荐论文、审稿、提案和参会作为指标;莫愚等[3]将审稿、撰稿情况,组稿数量,编委获奖及基金资助情况,参与期刊主办活动及发挥的作用,对期刊的宣传情况等作为编委考核指标;丁广治等[4]提出通过编委的发文量、论文的下载量及被引频次、审稿情况、参加活动、协助搭建平台、联系企业赞助等直接贡献度,以及对期刊发展提供有价值的建设性意见、对期刊进行宣传推广等间接贡献度对编委会进行考核;叶飞等[5]通过层次分析法,遴选了6个指标并设置权重,用于遴选青年编委。国内已有研究都是基于解决期刊自身发展的某一具体问题或针对编委的某一群体如青年编委提出评价指标,大多未设置权重,未得到期刊出版界同行及科研人员的认可。
在我国科技学术期刊体量大,整体办刊水平相对较弱的现实背景下,构建我国科技学术期刊编委会运行优化指标体系,为我国科技学术期刊的高质量发展和影响力提升提供指南和依据,对改进我国科技期刊的管理和发展现状,具有一定的现实意义。本研究围绕我国科技学术期刊编委会运行机制优化,试图回答“编委会运行机制优化的指南或依据是什么”这个问题。
1.1.1 信号理论
1973年,美国经济学家A.M.斯宾塞(Andrew Michael Spence)首先提出信号理论(Signal Theory)。信号理论旨在通过可观察的行为传递商品价值或质量的确切信息,由三个重要因素组成:信号源、信号和接收者[6-7]。
在学术生态系统中,科技学术期刊即为信号源,期刊发表的文章为信号,相关领域的科研工作者为接收者。编委会参与期刊的约稿、稿件把关以及服务期刊工作(如期刊宣传)的行为,都保障了期刊的论文质量和声誉,也在一定程度上代表和传递着期刊的形象。编委会将期刊的信号释放到其所在的学术圈,进而得到学术共同体的信赖(尤其是在学者对期刊不了解的时候),反过来进一步提升期刊的质量和声誉(图1)。同时,编委会成员的学科组成、地域分布的多元化,有利于带动期刊作者、审稿专家以及读者的多元化。编委会是否积极有效地为期刊工作,对于一流科技期刊的培育、建设乃至整个学科的发展意义重大。
图1 期刊的信号理论模型
1.1.2 比较优势理论
英国经济学家亚当·斯密(Adam Smith)提出绝对优势理论,大卫·李嘉图在绝对优势理论的基础上进一步完善并提出比较优势理论。比较优势理论的原则是各国获得繁荣首先是通过利用其可利用的资源,集中生产所能生产的最佳产品,然后将这些产品与其他国家所能生产的最佳产品做交易[8],所有人都做自己最擅长的工作,其他需求由别人来满足,最终使整个社会的福利最大化。
我国大部分期刊的运行采取“编委会+编辑部”的运行模式。编委会是期刊的学术指导机构,编辑部是期刊工作的执行机构,双方明确分工,各自将优势利用到极致,定能发挥“1+1>2”的效果。在编委会层面,编委会中不同职位的成员,充分发挥各自既定的职责和任务,集思广益,才能将编委会的作用发挥到极致。
1.1.3 全面质量管理理论
20 世纪 50 年代末,美国质量分析专家费根堡姆和朱兰提出了“全面质量管理”(Total Quality Management,TQM)理论。全面质量管理是指一个组织以持续提升质量为目标,以全员共同参与为基础, 运用专业技术和现代管理技术,对影响质量的各个因素进行全面系统的管理和控制的全部活动[9]。
全面质量管理理论强调确定发展核心目标,要达到目标,需要最高管理者的真诚投入和动员组织全体人员尽全力朝该方向努力,在整个过程中还需要有效的管理制度和工作程序。随着国家关于一流期刊建设文件的颁布以及对科技学术期刊的重视,要实现期刊更好、更快地发展,需要在主编的带领下,全体编委会成员齐心协力,全员共同努力才能实现最终目标。这需要在宏观层面上有健全、科学的编委会运行机制,在微观层面上需要主编、编委会成员的全员努力。以全面质量管理理论为依据,从宏观和微观两个层面构建编委会运行机制优化的指标体系,以期为期刊发展提供更好的借鉴。
目前,学术期刊仍被认为是学术成果发表的最重要途径,也被看作是“最正式”和“最基本”的学术成果发表形式之一,代表了知识增长的最新状态。为了更好地汇聚学术论文等科研成果,数据库应运而生。由于数据库的承载能力有限,因此,运用“核心期刊”的理论遴选期刊时会对期刊定位、论文数据、编委会情况等进行综合考察,优中选优。
数据库在遴选期刊时一般会重点考察编委会成员的地域分布、期刊工作参与度和自身学术水平。国内外数据库都比较关心编委会成员的组成差异化和地域分布多元化,SCI还会考察作者群体分布是否与编委的地域和学科分布一致,这重点是考察编委分布的合理性,以及期刊的国际化程度和传播力度。数据库一般还会考察编委会成员的办刊参与度,其中,SCI对全职主编的期刊有所倾斜,CSTPCD考察编委会成员服务期刊的参与方式和实际工作效率,目的都是要考察编委会成员是否切实对期刊的发展作出贡献,而不是简单地挂名,归根结底在看是不是专家办刊。此外,数据库在评估期刊影响力时一般还会考察编委会成员的学术水平和声誉,学科背景与期刊刊载范围是否一致等。
宏观和微观是认识事物的两个方面,从宏观方面认识事物可以把握方向,具有战略意义,从微观方面探究事物可以抓住本质,具有战术意义,两个方面都很重要。本研究遵循科学性、指导性、代表性和可操作性的指标构建原则,从宏观方面的编委会组织优化和微观方面的编委会成员能力和绩效,设计了“我国科技学术期刊编委会运行机制优化指标体系”。
为保证所构建指标体系的科学性和权威性,本研究采用了德尔菲法对指标进行评议,然后进行数据统计处理,并根据反馈结果,最终确定指标体系[10]。
专家遴选是德尔菲法的关键过程,也是保证指标体系科学性的根本。本研究在专家选择过程中,本着专业性、权威性和全面性的原则,初步遴选期刊出版界(7名)、科技界(5名)和期刊评价领域(2名)的14名具有高级职称的资深专家组成专家组。专家单位涵盖一流的中英文科技期刊出版单位,学科涉及数理、化学、生命、农学、医学、综合学科等,机构涉及国内综合科技期刊出版社、学会出版社和高校期刊社,以及国内知名数据库;期刊出版界的专家为期刊社、单刊或国际期刊出版商负责人,科技界专家在学科领域享有很好的学术声望,同时是期刊的主编、副主编或骨干编委,期刊评价领域的专家为国内知名数据库的负责人或骨干参与者。总之,专家咨询组的专家是我国科技学术期刊编委会的参与者、运行者或评价者,具有非常高的权威性,在理论研究或实践经验层面对本研究主题都有深入的了解,能够科学、客观地判断我国科技学术期刊编委会运行机制优化指标体系,并提出合理且有价值的建议。
利用李克特五级量表法设计咨询问卷,并分别对每一个指标的“必要性”等级赋值,即:5分—非常必要,4分—必要,3分—一般,2分—不必要,1分—非常不必要。在正式发放问卷前,首先邀请1位行业资深专家进行预评估,结合专家建议对指标进行完善。然后,结合研究的实际情况,设计两轮专家咨询:第一轮,对指标提出意见,进行指标修改;第二轮,确定指标并进行指标两两对比确定相对重要程度。具体步骤如下:
① 构建初步指标体系;
② 邀请1位行业资深专家进行预评估;
③ 完善指标体系;
④ 确定专家咨询组;
⑤ 进行第一轮专家咨询;
⑥ 分析第一轮专家咨询结果,形成第二轮专家咨询问卷;
⑦ 进行第二轮专家咨询;
⑧ 分析第二轮专家咨询结果;
⑨ 达成共识,确定最终的指标体系。
本次发送问卷共14份,回收问卷12份,有效数据问卷12份,12位参与问卷评议的专家信息见表1。2份问卷有个别指标未打分,其中:1份问卷有3个指标未打分,通过专家给予的指标建议应该是认为指标设置或指标说明不合理,对此3项指标,根据数据分析结果结合此专家的态度综合评定;另1份问卷有1个指标未打分,认为可以与上个指标任选1个,因此分值按照上个指标赋值,最后综合考虑是否合并。根据专家打分数据分析和指标修改建议,对指标进行修正和完善。
表1 咨询专家组专家的基本情况
2.3.1 第一轮专家咨询数据分析
专家对指标的“必要性”打分中,均出现了最高分5分,因此,不需要对“必要性”打分数据进行归一化处理。针对各指标“必要性”的专家评议,通过计算算术平均值和评分选项“5分—非常必要”和“4分—必要”的专家占比(即“必要性”百分比)对指标进行取舍[10]。若平均值>3.5,“必要性”百分比>60%,表明指标已达成共识;若平均值>3.5,“必要性”百分比<60%,或平均值<3.5,“必要性”百分比>60%,则在结合专家文本意见修改后,列入第二轮咨询;若平均值<3.5,“必要性”百分比<60%,则认为专家对该指标的必要性未达成共识,考虑从指标体系中剔除或与其他指标合并处理。
2.3.2 第二轮专家咨询数据分析
第二轮专家咨询的数据分析采用算术平均值法,当“‘必要性’平均得分”>3.0时,认为指标“必要性”已达成共识,列入指标体系,否则删除。
经过两轮专家评议和咨询,对原有指标体系进行调整、增减、合并以及表述方式修改等优化,保证了指标的科学性、明确性和可操作性。最终形成由4个一级指标、17个二级指标构成的“编委会组织优化指标体系(宏观)”和2个维度、5个一级指标、16个二级指标构成的“编委办刊贡献考核指标体系(微观)”,宏观层面优化和微观层面考核相结合(图2),为我国科技学术期刊编委会运行机制的优化提供支撑。
图2 我国科技学术期刊编委会运行机制优化指标体系构建逻辑
完整的评价体系通常包括指标体系的构架和权重的确定两部分。指标体系的架构是对评价对象属性的反映,指标权重是对属性重要性的反映[10]。本研究采用层次分析法,借助yaahp软件设计问卷,通过邮件问卷的形式邀请参与指标体系评议的12位专家对同一个层次的指标进行相对重要程度的两两判断。将12位专家的评审结果导入yaahp软件,并进行一致性检验,当检验系数CR<0.1时,认为判断矩阵的一致性可以接受;当CR>0.1时,设定“自动选择调整算法”选项,根据数据情况选择合适的算法对判断矩阵进行调整。依据专家打分数据构建判断矩阵:矩阵取值大于1时,表明纵向指标较横向指标的重要程度高;矩阵取值等于1时,表明横向指标与纵向指标的重要程度一样;矩阵取值小于1时,表明横向指标较纵向指标的重要程度高。将判断矩阵集结,运用加权几何平均法计算出各指标的综合评分,确定各指标权重。具体过程如下:
(1) 构建层次分析模型。针对研究目标,基于指标体系,将研究目标所包含的要素划分为决策目标层、中间要素层和方案层等,构建符合研究目标的层次结构图。
(2) 构建判断矩阵。采用1~9的标度方法来评估判断要素的相对重要性,将衡量尺度划为9个等级,其中,9、7、5、3、1的数值分别对应绝对重要、十分重要、比较重要、稍微重要、同样重要,8、6、4、2表示重要程度介于相邻的两个等级之间。靠左边的等级单元格表示左列因素比右列因素重要,靠右边的等级单元格表示右列因素比左列因素重要。确定层次结构模型后,邀请专家对各层要素进行两两比较评分,从而获得若干判断矩阵。
(3) 层次单排序。通过各判断矩阵,计算被比较元素相对于所在准则层的相对权重,并进行一致性检验。
(4) 层次总排序。将各指标的相对权重乘以对应准则层的相对权重,即可得到各指标相对于总目标的复合权重,即为各评价指标的最终权重。
3.2.1 权重确定
根据一级指标和二级指标的权重计算结果,计算各指标对于目标决策层“编委会组织优化”的权重,得到最终的“编委会组织优化指标体系”权重结果(表2)。
3.2.2 权重分析
在一级指标层面,专家普遍认为“制度保障”的重要性大于其他一级指标,该指标中的“主编任务或职责明确性及保障措施完备性”的重要性高于其他二级指标(图3)。由此可以看出在专家的心目中,能否确保发挥主编的作用对于期刊发展至关重要。
3.3.1 权重确定
根据指标维度、一级指标和二级指标的权重计算结果,计算各指标对于目标决策层“编委办刊贡献考核”的权重,得到最终的“编委办刊贡献考核指标体系”权重结果(表3)。
表2 “编委会组织优化指标体系”指标权重分布
图3 “编委会组织优化指标体系”指标权重(a)一级指标权重;(b)二级指标权重
表3 “编委办刊贡献考核指标体系”指标权重
图4 “编委办刊贡献考核指标体系”指标权重(a)维度权重;(b)一级指标权重;(c)二级指标权重
3.3.2 权重分析
专家普遍认为编委“服务期刊的学术贡献”(0.7129)远重要于“自身的学术贡献”(0.2871)。“服务论文组织和质量把关”的重要性大于其他一级指标,该指标中的“组约稿数量”重要性高于其他二级指标(图4)。由此可以看出,在专家的心目中,编委对于期刊的最重要贡献应该是服务期刊论文组织和质量把关。
3.4.1 “编委会组织优化指标体系(宏观)” 适用范围及计算方法
我国科技学术期刊大多单刊运行,期刊编辑部在编委会运行管理方面的实践和经验相对较少,编辑部内部也很难实现“传帮带”。“编委会组织优化指标体系(宏观)”为我国创办科技学术新刊时组建编委会、期刊发展不同阶段对编委会进行组织优化的评估以及编委会换届优化提供依据和参考。通过对每项指标进行打分,进一步剖析编委会在组织设计层面的优势和不足,探析编委会运行机制优化的措施,以期尽可能发挥编委会作用,提升期刊质量,推动期刊良性发展。
依据SERVQUAL的 “服务质量差距模型”,即服务质量取决于用户所感知的服务水平与用户所期望的服务水平之间的差别程度[11]。结合本研究,对“服务质量差距模型”进行调整,即编委会组织优化指标为评估者理想预期与实际感受水平的差别程度。
科技学术期刊“编委会组织优化”单项指标得分的计算公式为
Si=Pi-Ei
(1)
式中:Si为第i个(i=1,2,…,17)指标的得分;Pi为第i个指标的理想预期值;Ei为第i个指标的实际感受值。
科技学术期刊“编委会组织优化”总分的计算公式为
T=S1×0.1175+S2×0.0585+…+S17×0.0332
(2)
3.4.2 “编委办刊贡献考核指标体系(微观)” 适用范围及计算方法
“编委办刊贡献考核指标体系(微观)”用于对同一职位编委的办刊贡献和日常工作情况进行量化考核,所有指标均可量化。为了更好地体现编委的活跃度,数据统计可以以编委会任期或近3~5年为时间框,进行年均数据统计或总数统计。该指标体系适用于期刊遴选编委、编委评优、换届或阶段性的编委考核。
由于各类指标的量纲不同,无法直接对比结果,为此对每个指标的得分进行归一化处理,即将可量化的数据转化为百分制[5]。
“编委办刊贡献考核指标”成员每个指标得分的计算公式为
Pn,j=(Porg,n,j-Pmin,n,j)/(Pmax,n,i-Pmin,n,j)×100,
j=1,2,3,4,…,16
(3)
式中:Pn,j为第n个成员第j个指标的得分;Porg,n,j为第n个成员第j个指标的原始得分;Pmin,n,j为成员第j个指标的最低得分;Pmax,n,j为成员第j个指标的最高得分。
“编委办刊贡献考核指标”成员得分的计算公式为
Pn=Pn,1×0.0770+Pn,2×0.0788+…+
Pn,16×0.0490
(4)
科技学术期刊编委会组织优化和编委的办刊贡献是一个需要阶段性监测和评估的过程。本研究在指标实证过程中参照“环境技术评估制度”,通过第三方验证,供使用者在进行决策时参考的方法[12],邀请期刊界专家结合自身期刊发展和编委会工作情况,对指标体系“科学性、指导性、代表性、可操作性”进行评估验证。专家遴选兼顾负责期刊的语种、学科和所在机构性质多样性,最后遴选10位专家(与构建指标体系的12位专家不重复)。打分表根据李克特五点量表法设计,对“编委会组织优化指标体系”和“编委办刊贡献考核指标体系”的认可度等级分别赋值,即:5分—非常认可、4分—认可、3分—一般、2分—不认可、1分—非常不认可。共返回有效问卷10份。
根据专家对指标体系的“认可度”评估,通过计算算数平均值和评分“5分—非常认可”和“4分—认可”的专家占比(即“认可度”百分比)对指标体系评估结果进行判断。结果显示,指标体系的平均值均>4,“认可度”百分比均>80%,表明该指标体系得到了使用者的较好的认可。
此外,评估问卷还设计了开放题目:“您认为若期刊采用该指标体系进行编委会运行机制的设计和优化,将会对期刊质量的提升有什么样的影响?”8位专家填写了相关见解,其中,1位专家建议将主编的范畴扩大到主编团队,其余7位专家都对指标给予了积极的认可。专家普遍认为该指标体系对编委会组织运行及期刊发展将具有较好的指导和监督作用,利于调动和发挥编委会的办刊积极性,助推科技学术期刊学术质量的提升,进而全面提升我国科技学术期刊的学术影响力,希望能广泛推行。
针对“编委会运行机制优化的指南或参考是什么”的问题,本研究采用德尔菲法,遴选与科技学术期刊密切相关的期刊出版界、科技界和期刊评价领域的12位专家对指标体系的构建和优化贡献智慧,形成了由4个一级指标、17个二级指标构成的“编委会组织优化指标体系(宏观)”,以及由2个维度、5个一级指标、16个二级指标构成的“编委办刊贡献考核指标体系(微观)”。12位专家对指标的重要性进行两两比较,确定各指标权重,最终形成了“我国科技学术期刊编委会运行机制优化指标体系”。该指标体系将宏观层面优化和微观层面考核相结合,为我国科技学术期刊进行编委会构建和换届优化提供指南或参考,以期通过优化编委会运行机制,真正实现我国科技学术期刊的“专家办刊”,进而推动我国科技学术期刊的高质量发展。
致谢感谢参与专家咨询的老师们!感谢刘培一编审在研究过程中给予的指导!感谢段美珍博士和金鑫博士在指标构建过程中给予帮助和建议!