我国科普研究类学术期刊评价体系构建研究

■罗德荣 齐小英 颜 燕 李 玲 朱小曼 李晗语

1)南京大学信息管理学院,江苏省南京市栖霞区仙林大道163号 210023 2)中国科普研究所,北京市海淀区学院南路86号 100081

2016年,习近平总书记在全国科技创新大会、两院院士大会、中国科协第九次全国代表大会上指出:“科技创新、科学普及是实现创新发展的两翼,要把科学普及放在与科技创新同等重要的位置。”[1]科普有助于提升国民科学素质、培育良好的科学社会氛围、提高生产力水平、推动科学技术成果转化。2022年,《关于新时代进一步加强科学技术普及工作的意见》发布,进一步强调了科普的重要作用,提出强化全社会科普责任、加强科普能力建设、促进科普与科技创新协同发展等要求[2]。科普研究类学术期刊是开展科普研究的重要媒介,主要刊载符合学术规范的科学普及理论和实践研究成果,为各行业从业人员提供了交流学习的平台,有助于推动科普学科的建设与高质量发展,对提升国民科学素质、增强国家科技创新实力意义重大。

期刊评价及其结论既是特定期刊实力的衡量标准,也在相当程度上成为期刊提升质量与深化创新的科学依据[3]。目前,部分学者提出建设科普期刊的评价体系。刘雪立[4]、栾春娟等[5]基于引文与载文指标,对中国科普领域核心期刊进行了分析。刘清海等[6]认为发行量、经营状况、广告数量、品牌资产、技术要求、编辑质量等都是评价科普期刊的客观指标。在内容生产和用户评价方面,张波等[3]认为科普期刊核心要义在于对科学与技术知识的普及性传播与呈现,因此应从内容、渠道、出版效果角度来革新期刊评价指标。庄丽远[7]认为评价科普期刊的指标包括读者数量以及社会效果。崔林蔚等[8]提出将用户评价纳入科普期刊评价体系,以有效提升科普工作的群众满意度。对已有研究成果进行分析可以看到,目前学界研究的主要对象是科普期刊,尚未有针对科普研究类学术期刊评价的研究。科普研究类学术期刊与科普期刊有着本质区别:科普研究类学术期刊以学术性和专业性为主要特征,而科普期刊主要特征是通俗性。以《科普研究》为代表的科普研究类学术期刊已经形成一定的规模,但尚无针对性的评价体系,关于科普研究类学术期刊评价的研究也不多。本文拟从对科普研究类学术期刊概念界定和评价现状的分析入手,在全评价体系的基础上,结合期刊评价工作实践和专家问卷调查,建立起科学合理的科普研究类学术期刊评价体系。

1 我国科普研究类学术期刊的评价现状

1.1 科普研究类学术期刊概念界定

科普的定义是动态发展的,但其核心要义始终是科学技术知识、方法、思想、精神、道德等的普及。中共中央办公厅、国务院办公厅印发的《关于新时代进一步加强科学技术普及工作的意见》指出,科普是国家和社会普及科学技术知识、弘扬科学精神、传播科学思想、倡导科学方法的活动,是实现创新发展的重要基础性工作[2]。科普研究包括了科普的概念与性质特征、科普的发展历史、科普的对象与内容、科普的功能、科普的渠道与政策、科普的载体、科普队伍建设、科普设施建设与管理、科普工程组织、科普效果评估、科普特点等[9]。学术期刊是指经国家新闻出版行政主管部门批准,持有国内统一连续出版物号,领取期刊出版许可证,以刊载包含研究发现和创新成果的学术论文为主的定期连续出版物[10]。参考以上概念,认为科普研究类学术期刊是经过学术出版机构审查和编辑,符合国家出版部门相关要求,反映国内外科普领域最新学术成果的专业性学术期刊,主要刊登与科普概念、科普创作、科普政策、科学素质、科普产业、科普能力、科普人才、科普基础设施、科普媒介等相关的科普理论与实践研究领域的学术成果。

1.2 科普研究类学术期刊评价现状

我国当前主流期刊评价体系主要包括中国社会科学评价研究院推出的《中国人文社会科学期刊AMI综合评价报告》、北京大学图书馆推出的《中文核心期刊要目总览》、南京大学中国社会科学研究评价中心推出的《中文社会科学引文索引》等。针对科普研究类学术期刊,这些主流期刊评价体系的特点如下。

1.2.1 评价环境不利

影响因子和被引频次是当前三大主流评价体系学术评价的主要指标。《中国人文社会科学期刊AMI综合评价报告》评价指标包括吸引力、管理力和影响力,以影响因子为主的学术影响力占影响力指标的70%。《中文核心期刊要目总览》评价指标主要有影响因子、被引频次、他引量等,影响因子和他引量占比分别为40%、19%。《中文社会科学引文索引》评价指标由他引影响因子和总被引频次构成,占比分别为80%、20%。科普研究类学术期刊相比其他学术期刊较为小众,这就意味着期刊内容难以被广泛引用。因此,以被引频次和影响因子为主要评价指标的评价环境对科普研究类学术期刊是不利的。

1.2.2 学科归属不明

科普研究类学术期刊在主流期刊评价体系中缺乏稳定的学科归属。以科普研究类学术期刊的典型代表《科普研究》为例,《中国人文社会科学期刊AMI综合评价报告》将其分在教育学学科下进行评价,《中文核心期刊要目总览》将其分在自然科学总论中进行评价。期刊归属于不同的学科领域,面临的竞争对手与评价要素有所不同,这将会对期刊评价结果产生一定影响。

综而观之,由于科普研究类学术期刊在期刊数量和学科归属等方面有特殊性,因此其与当前主流的期刊评价体系并不能完全契合。本文拟围绕评价框架、评价指标、评价体系,按照“剖析现状—总结问题—设计框架—优化指标—形成体系—提出对策”的逻辑推进研究,总体研究思路如图1所示。

图1 科普研究类学术期刊评价体系设计思路

2 科普研究类学术期刊评价体系构建

2.1 理论基础

在全评价分析框架中,叶继元[11]提出了评价维度中的3个新概念组合,即形式评价、内容评价和效用评价。其中:形式评价是指评价主体对评价客体内含知识的外部特征的评价,包括定性评价和定量评价;内容评价是指评价主体对评价客体内含知识的本身特征的评价,由同行专家通过直接观察、阅读、讨论实行;效用评价是指实践、时间、历史对评价客体实际作用、价值的验证或最终评价。

2.2 评价体系构建

提出的科普研究类学术期刊评价体系以全评价分析框架为基础,由评价目的、主体、客体、制度、方法和维度六大要素构成,如图2所示。评价体系的短期目的即推动科普研究类学术期刊高质量发展,达到按质分级、各得其位,按位配置资源、优化管理的目的,从而解决由评价环境不利导致的科普研究类学术期刊发展受限的困境。长远来看,评价体系的构建能够推动科普学科发展,提升科普效果。鉴于科普研究类学术期刊的特殊性,评价主体包括学术共同体、业界从业人员和普通用户,从专业学术角度、同行评议视角与用户实际体验3个方面对期刊进行评价与反馈。评价客体即科普研究类学术期刊。评价体系以分类分级评价制度保障评价结果的公平性,以动态准入-淘汰制度保证学术评价的效率,以评价管理与信息服务制度保障评价结果的公正性。评价体系采用定性与定量相结合的综合评价方法,从形式、内容和效用三大维度对科普研究类学术期刊进行评价。其中:形式评价主要基于科普研究类学术期刊的外部形态进行评价,常用数据表示结果;内容评价是同行专家学者对科普研究类学术期刊实质性内容的评价,常用文字评语来表达;效用评价是对科普研究类学术期刊的实际贡献、应用结果等的评价,依赖实践或历史的评价或检验[12]。

图2 科普研究类学术期刊评价体系框架

3 科普研究类学术期刊评价指标体系构建

3.1 专家确定

要实施德尔菲法,首先要确定专家组的人选,专家数量一般为8～20人[13]。根据科普研究类学术期刊评价体系构建所需知识,从学术评价专家、科普学术专家、科普从业专家3个层面确定10位专家,专家来自国内知名科研院所、高校、科普基地,有10年及以上科普工作或期刊评价工作经历,并且同一家单位的专家数量不超过3人,专家组情况见表1。专家全部具有硕士研究生及以上学历,具备高级职称。

表1 专家组情况

3.2 专家咨询可靠性分析

根据陈艳佳等[14]的研究方法,测度专家的积极程度和权威程度。在本轮德尔菲专家咨询中发出咨询表10份,回收10份,回收率为100%,这说明专家的积极程度较高且认可本研究的价值。

专家的权威程度量化值Cr由专家对问题的熟悉程度量化值Cs和专家对问题做出判断的依据量化值Ca决定,具体量化值见表2和表3,Cr=(Ca+Cs)/2。一般认为,Cr≥0.7表示专家在该领域具有权威性,给出的意见和建议可靠。Cr越大,专家的权威程度越高。专家权威程度自评结果显示,Ca=0.94,Cs=0.76,Cr=0.85,反映出参与咨询的专家具有较高的权威性。

表2 专家对问题的熟悉程度对照表

表3 判断依据对照表

用专家意见的协调程度来评判参与调查的专家对每项指标的评价是否存在较大分歧[15-17],主要包括变异系数和肯德尔和谐系数(Kendall′s W)等指标。变异系数是专家对单一指标意见协调程度的观察指标,当变异系数≤30.00%时,指标协调程度可接受。变异系数越小,专家评价的一致性越高。肯德尔和谐系数是专家对总体指标意见协调程度的观察指标,其值为0～1。肯德尔和谐系数越大,总指标协调程度越高[18]。

专家意见协调程度计算结果显示,变异系数为0.064～0.242,肯德尔和谐系数为0.212(P<0.01),说明专家意见具有一定的协调性,可信度较高,结果可取。

3.3 评价指标确定

通过文献分析法检索和分析大量国内外相关文献,结合期刊评价工作实践,在形式评价、内容评价和效用评价3个维度上进行指标选择,构建了科普研究类学术期刊评价指标体系,初步形成的指标体系由3个一级指标、10个二级指标以及36个三级指标组成。

为进一步完善评价指标体系,采用德尔菲法向专家咨询指标修改意见。专家对科普研究类学术期刊评价指标体系持肯定态度,但也有专家认为部分指标难以量化,建议将“经济效益”指标删除,“科普效果”改为“科普效用”,同时将其三级指标分别改为“学习工作效用”和“知识或技能效用”。二级指标方面,建议在“学术影响”指标中增设“文章下载数”和“文章阅读数”,在“社会效用”指标下增设“行业传播影响力”。吸收了专家提出的意见,考虑了指标的重复性、可操作性、可用性等,最终拟定了形式评价、内容评价、效用评价3个一级指标,学术影响、新闻传播、办刊条件等9个二级指标及其下属的33个三级指标,见图3。

图3 科普研究类学术期刊评价指标体系

(1)形式评价指标。形式评价体现了科普研究类学术期刊的基础能力、学术能力、宣传能力等,这些能力主要表现在期刊的办刊条件[19]、学术影响[20]和新闻传播[21]方面。办刊条件对科普研究类学术期刊出版队伍为实现期刊内容价值所做出的表现进行评价,对学术影响和新闻传播产生作用,包括编委队伍[19]、开放获取[22]、智慧出版[3]等方面:通过编委队伍指标评价期刊的办刊质量;开放获取指标则侧重于审视期刊的渠道整合能力,检验期刊是否开展广泛的内容传播;智慧出版指标旨在评价期刊的技术运用能力,是否能够娴熟地运用大数据、人工智能等新兴技术为期刊传播服务。学术影响表现为影响因子、被引频次[23]、数据库收录[24]和国际影响[25]等,考察期刊是否在学术交流与发展方面发挥作用:影响因子为期刊前两年发表论文在报告年份的被引频次除以该期刊在这两年内发表的论文总数;被引频次是期刊中所有论文被其他论文引用的频次,侧重考察学术成果之间的关系;数据库收录是指期刊被国内外学术数据库收录的情况,能够说明期刊的接触难易度,在一定程度上影响其国际影响力;国际影响是指期刊在国外的发展情况和知名度,具体表现为国际编委、国际论文占比等。新闻传播指标从内外两个角度对期刊的新媒体传播实力展开评价:不仅关注外部评价对象对期刊的报道,也关注期刊自身对新媒体传播的重视程度和理解深度。

(2)内容评价指标。内容评价是同行专家学者对科普研究类学术期刊实质内容的评价,可以从出版质量、同行评议和论文创新3个角度来评定[25]。出版质量指标又包含编校质量、印刷质量和栏目策划等,主要考察期刊在内容呈现、编辑出版等方面是否遵守出版行业规范,印刷品整洁度、清晰度等是否合格,栏目涉及学术知识的丰富程度和质量等。同行评议指标包括专家遴选、专家认证、公平保障、定期通报、回避制度、知识产权审查和学术问责制度7个三级指标,对期刊科研诚信和学术创新情况进行评定,考察期刊是否具备严格的学术质量保障体系。论文创新指标用来评估科普研究类学术期刊的创新性、主题前沿性和战略性,考察期刊是否符合社会科普需要,为建设社会主义现代化强国服务[26]。聚焦热点主题指标考察期刊是否开创或反映学科前沿主题;聚焦国家战略指标对期刊的政治导向提出要求,紧跟国家战略指示;理论创新指标用以考察期刊论文是否反映理论动态,对科普理论有所突破,对科普实践活动有重要的指导作用;实践创新指标则考察期刊对新型科普实践的创新和推动作用。

(3)效用评价指标。对科普研究类学术期刊的效用评价主要是指在期刊出版后一段时间内对科普、学术、社会作用的评价。科普效用[27]包括学习工作效用和知识或技能效用,考察期刊是否为受众带来严谨、详细又易于接受的科学专业知识,方便读者学习工作、掌握必备的知识技能。学术效用[28]由信息获取效用和科技创新效用组成。对于社会上的科技行业从业者,期刊从推动科技发展的高层次定位出发,为读者提供最新的科学资讯,为科学研究提供紧跟发展潮流的信息服务,促进学术创新。社会效用[29]侧重期刊的传播能力,要求期刊在更多地域拥有较高的普及度和知名度。

3.4 评价指标权重计算

对问卷各级指标按照Likert 5级评分法评分:5分表示很重要,4分表示比较重要,3分表示一般重要,2分表示不太重要,1分表示不重要。指标权重Ai的计算公式为

Ai=bi/b

(1)

根据专家打分情况,得出各级指标的专家赋值表。将分值带入公式,可得一、二、三级指标权重,如图4所示。一级指标中,内容评价的权重(0.341)较高;二级指标中,同行评议(0.122)、学术影响(0.115)、出版质量(0.115)、论文创新(0.115)、学术效用(0.115)被赋予较高权重;三级指标中,聚焦国家战略(0.034)、聚焦热点主题(0.033)、编委队伍(0.033)、专家遴选(0.033)、编校质量(0.032)、理论创新(0.032)、实践创新(0.032)、知识产权审查(0.032)、学术问责制度(0.032)等指标权重较高。上述指标都与期刊的内容质量和创新水平密切相关,说明提升内容质量和创新水平是对科普研究类学术期刊的核心要求。被引频次(0.028)、新闻报道(0.028)、传播策略(0.027)、印刷发行(0.026)等指标权重较低,这与学术期刊的专业性和纸质期刊的衰落有一定关联。

图4 科普研究类学术期刊评价指标权重

3.5 评价指标应用

为验证科普研究类学术期刊评价体系的合理性和可行性,以《科普研究》为例,对期刊发展状况进行调研。

3.5.1 形式评价分析

(1)学术影响。中国知网数据显示,《科普研究》复合影响因子为1.523,综合影响因子为0.968,整体呈逐年增长态势;总被引频次为12730次,学术水平较高。

(2)新闻传播。《科普研究》通过期刊官网、微信公众号、微信群、QQ群等提供信息服务、发布文章、宣传推广等;通过举办研讨会、学术沙龙等活动促进学术交流,加强与专家学者的联系,传递科普研究领域的先进理论和研究成果。

(3)办刊条件。《科普研究》依托主办单位中国科普研究所承担课题项目,获取资金支持,广泛吸收相关领域的专家学者。除国内的30余位编委专家外,还拥有来自美国、英国、澳大利亚等国家的16位国际编委。

3.5.2 内容评价分析

(1)出版质量。《科普研究》严格遵循审稿流程,坚持择优录用原则,对稿件格式和参考文献格式统一要求,建有完善的论文投稿系统,从收稿到见刊严格把关论文质量。栏目设置彰显期刊特色,既设置“研究论文”“研究综述”“圆桌论坛”等栏目以推动学术研究繁荣发展,又设置各类专题来探讨传递相关领域的最新动态。

(2)同行评议。《科普研究》采用匿名审稿制,并由专业权威的编委会确定稿件的最终去留,评审过程公平公正。对来稿的知识产权进行约定,遵循出版伦理道德规范,维护作者与编辑部合法权益。

(3)论文创新。《科普研究》始终聚焦热点主题和国家战略,通过专题约稿推出“疫情科普研究”专题、“中国共产党领导下的百年科普史”专题、“新时代科普人才发展研究”专题等,紧跟国家战略指示,回应读者需求。

3.5.3 效用评价分析

(1)科普效用。《科普研究》以“促进科普理论研究,推动科普事业发展”为宗旨,刊载科普研究领域的最新理论与实践研究成果,力推学术精品,为学界和业界提供理论指导和实践参考,帮助读者扩充知识储备、提升实践技能。

(2)学术效用。《科普研究》始终坚持内容为王,积极推动中外学术交流,力争成为多元化思想观点交汇、碰撞、反应的容器,充分满足读者的信息获取需求,加速科技创新。

(3)社会效用。《科普研究》借助官方网站、微信公众号、QQ群等广泛、深入地传递出版动态和最新研究成果,推出研讨会、学术沙龙等活动。

作为我国科普研究类学术期刊的典型代表,《科普研究》的发展模式值得借鉴:一是注重形象塑造,采用多种媒介和宣传手段提高期刊知名度,打造国际化的编委队伍,承担科普的社会责任;二是坚持科学办刊,严格规范审稿流程,聚焦热点主题与国家战略,促进期刊的高质量发展;三是重视用户反馈,满足用户的多种需求,实现期刊的可持续发展。

4 结语

本研究探索全评价理论在科普研究类学术期刊评价中的应用方式。基于全评价理论框架,分析了评价目的、评价主体、评价客体、评价制度、评价方法、评价维度之间的逻辑关系,建构了科学、动态的科普研究类学术期刊评价体系。该体系能够全面且科学地评价科普研究类学术期刊,为我国科普研究类学术期刊发展提供参考,有助于实现对科普研究类学术期刊的专业化、规范化和精准化评价。

诚然,本研究也存在一定局限性:仅以《科普研究》这一种期刊为例对评价体系进行验证讨论,实证案例较少。下一步将基于构建的评价体系对更多科普研究类学术期刊进行评价,立足科普研究的交叉学科特点,进一步优化评价体系,验证评价体系的可行性、有效性。与此同时,进一步了解科普研究类学术期刊的发展现状,从中发现问题,提出策略,为科普研究类学术期刊的发展提供参考。