推进代表作评价存在的问题与对策研究

2021-05-26 09:06俞立平张矿伟蒋长兵
情报学报 2021年4期
关键词:评议论文专家

俞立平,张矿伟,蒋长兵

(1.浙江工商大学统计与数学学院,杭州310018;2.浙江工商大学管理工程与电子商务学院,杭州310018)

1 引言

在科技评价中,代表作制度越来越受到重视。在创新型国家建设背景下,提高科研成果质量已经成为首要任务。2018年7月,中共中央办公厅、国务院办公厅印发了《关于深化项目评审、人才评价、机构评估改革的意见》①http://www.gov.cn/zhengce/2018-07/03/content_5303251.htm,明确突出品德、能力、业绩导向,克服“四唯”倾向,推行代表作评价制度,注重标志性成果的质量、贡献和影响。2018年10月,科技部、教育部、人力资源社会保障部、中科院和工程院联合发布《关于开展清理“唯论文、唯职称、唯学历、唯奖项”专项行动的通知》②http://www.most.gov.cn/tztg/201810/t20181023_142389.htm,要求开展清理“四唯”专项行动。2019年6月,中共中央办公厅、国务院办公厅发布了《关于进一步弘扬科学家精神加强作风和学风建设的意见》③http://www.gov.cn/zhengce/2019-06/11/content_5399239.htm,提出大力弘扬科学家精神,营造风清气正的科研环境。2020年2月,科技部印发《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》的通知④http://www.most.gov.cn/xxgk/xinxifenlei/fdzdgknr/fgzc/gfxwj/gfxwj2020/202002/t20200223_151781.html,提出在科技项目、科研基地、基础研究机构、国家奖励和人才评估等方面全面推行代表作制度。对各种科技评价中实行代表作制度提出了具体的要求。

代表作制度的推广与实施已经成为一种必然趋势,对其存在的问题进行深度分析具有重要意义。首先,对代表作制度存在问题的分析有利于推进科技评价理论;其次,有利于发现其中存在的问题,从而有利于采取必要的政策措施,进一步优化代表作制度;最后,从长远的角度,有利于保证学术公平,调动广大科技人员的积极性,为建设创新型国家服务。

代表作制度日渐成为世界上学术界一种重要的学术评价制度。叶继元[1]认为,代表作是指能够体现和衡量科研人员学术水平的代表性成果,作品的数量不再做硬性要求,数量再多也不加分。英国的科研评价体系逐渐从RAE(Research Assessment Ex‐ercise)过渡到RAF(Research Assessment Framework)的过程中,对高校教师进行业绩考评和晋升审查时要求提交高质量出版物[2]。荷兰大学协会的科研评价则要求科研人员提供5份有代表性的出版物及其质量和声誉的其他材料[3]。

关于代表作制度的应用,学术界存在一些争议。有些学者总体上肯定代表作制度,俞吾金[4]指出,代表作制度主要是在文科教师职称晋升中,对只重视论文数量这一做法的纠正。宋敏等[5]研究发现,高等学校自然科学奖评选的同行评议结果与科学计量学指标呈正相关,可作为高校代表作评价制度开展的模式参考。臧峰宇[6]认为,实施代表作评价有助于从源头上遏制学术浮躁之风,挤破粗制滥造的学术泡沫,打破核心期刊的神话和迷信。

也有些学者指出代表作制度存在的一些问题。姜春林等[7]认为,由于人文社会科学研究自身的复杂性、评审专家的认知偏差、学科划分、同行选择和人情关系等因素的共同影响,导致代表作制度评价目前水平一般。田贤鹏[8]指出,由于评价过程中的程序公平难以保障,代表作的质量评判标准无法统一,学术共同体的评价机制尚未健全,量化评价形成的制度利益破除困难等,导致代表作制评价的实践探索陷入重重困境。符征[9]指出,实行代表作制度时,评审人也存在着能否读懂论文问题。李涛[10]认为,代表作制会导致职称晋升的不可预期性,可能破坏高校学术梯队的稳定性,并加剧学术腐败,诱发诸多新的学术危机。

代表作的评审主要依靠同行评议,但同行评议本身也存在一些问题。Wennerås等[11]在Nature上撰文指出,同行评议容易造成裙带关系和性别歧视。Marsh等[12]认为,作为学术成果评价的守门员和仲裁者的同行评审专家,在对论文的评审过程中,存在着夸大事实和容易偏见等问题。Bornmann等[13]通过分析两本期刊在不同季节来稿数量和评审标准,发现同行专家的评审存在不公平现象。Bohannon[14]曾以一篇存在明显科学问题的研究论文进行了大型投稿调查,发现304种开放存取期刊中退稿量仅占32.2%,即同行评议存在严重的有效性问题。姜春林等[15]认为,在中国特定文化背景下,强大的关系社会带来了非学术性干扰,很难使同行专家保持学术中立。

有学者针对代表作制度提出了改进建议。姜春林等[16]在探讨代表作制在实施过程中可能存在的潜在问题的同时,提出科学合理的学术评价制度应当是基于同行评议的代表作制度与科学计量评价方法二者的有效结合。张积玉[17]提出,实行以量化为基础代表作为主的综合化评价制度,不失为保证学术评价科学合理、公平、公正且具可操作性的正确选择。杨兴林[18]认为,有效减少学术代表作评价误差,不仅需要评审专家确实学有专长和具有较好的学术良知,而且需要有相应的制约机制为保障。杜学亮[19]认为,代表作制度的关键在于两个方面:一是建立公开透明的公示制度;二是建立配套的申诉复议制度。

从现有的研究来看,关于代表作制度的优劣学术界还存在争议,有研究者肯定代表作制度,也有研究者认为代表作制度存在不少问题,包括代表作制度自身存在的问题以及引申出来的同行评议的相关问题。对于代表作制度的改进,学术界提出了众多改进建议。总体上在以下三方面有待进一步深入研究。

第一,对代表作制度存在的问题分析,缺乏一个系统的分析框架,这样导致分析问题不够全面和系统。

第二,从分析问题的方法来看,主要采用纯理论逻辑分析,缺乏必要的数学分析和证明,国内的实证研究也较少。

第三,由于上述两个问题,导致政策建议也不够全面,而且一些政策建议缺乏操作性。

本文首先建立代表作制度的分析框架,然后逐一对问题进行深度分析,并对代表作的可靠性和通过率进行证明,最后提出相关解决路径与政策建议。

2 代表作制度的分析框架

2.1 代表作的评价对象

代表作评价对象如图1所示。采用代表作评价主要有宏观评价和微观评价两个层面,宏观评价主要包括机构评价、学科团队评价、研究基地和实验室评价,等等,其特点是评价对象是团队总体为主,成果不是以单个学者为主,代表作数量一般也较多。微观评价包括奖励评价、项目评价、职称评审和人才评价等,其特点是评价对象以单个学者为主,代表作数量一般也较少。关于代表作数量,科技部在《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》指出,对于宏观评价,代表作数量为10篇、20篇和40篇;对于微观评价,代表作一般是5篇。

图1 代表作评价对象

2.2 代表作评价与文献计量评价的关系

与同行论文评议一样,代表作评价实质是在进行内容评价,而文献计量评价实质是在进行形式评价,虽然文献计量评价在意内容质量,但其产生发展的动因只是在于能够在某种程度上通过形式评价来帮助解决外行进行内容质量评价时所面临的认知困惑。因此,基于科研管理关切,两种评价关注的终极目标是一致的,但是在操作要求上有所不同,执行效果亦各有千秋。对于微观学者评价而言,基于代表作的评价方法是有意义的;而对于宏观评价,由于评价工作量巨大往往采用形式评价。无论是代表作评价、同行评议评价,还是文献计量评价,必须考虑评价方法的可执行性、可操作性和评价结果的可接受性。

2.3 分析框架

代表作制度的分析框架如图2所示。从评价目的、评价对象、同行评议和评价技术四个方面展开。关于评价目的,主要从数量质量与学科比较视角展开分析;关于评价对象,主要从论文选择和学科异质性两个角度进行分析;关于同行评议,主要从环境背景、评审专家和操作程序三个方面开展分析;关于评价技术,主要从可靠性与通过率角度开展分析。

图2 分析框架

3 代表作制度存在问题分析

3.1 评价目的分析

1)代表作制度缺乏规模评价视角

代表作评价本质上是一种质量评价,并非数量评价,在进行微观评价包括奖励评价、项目相关评价、职称评审、人才评价等时,这是没有问题的,本着质量至上的原则。但是在进行一些宏观评价如学科团队、大学、实验室、研究基地等评价时,一方面需要关注这些机构的一流科研成果即科研质量,另一方面也需要兼顾一定的数量,否则的话,一些上百人甚至更大机构的科研质量或许5~10位高水平科研人员的高质量成果就能代表,存在“一美遮百丑”现象。不兼顾数量评价难以评价机构的贡献,进而可能也会带来科技资源分配的不公。我国目前的宏观评价需求较多,评价工作量巨大,这个问题必须引起足够的重视。

2)代表作无法进行跨学科比较

跨学科比较虽然是一个难题,但是采用文献计量学进行跨学科比较已经取得了较大的进展,并且有些方法已经运用到具体的应用。然而,采用代表作制度根本无法进行跨学科比较,代表作的评审主要采用同行评议,而同行评议专家往往是学科内部的。目前,关于跨学科比较的评价需求又是比较旺盛的,例如,自然科学奖励评审时不同学科的指标分配,不同学科团队的资源分配,等等。

3.2 评价对象分析

1)作者选择代表作面临诸多困惑

第一,作者难以选择代表作。采用代表作评价无疑是评价论文质量,假设共选择5篇代表作,如果作者有5篇中科院SCI一区论文、5篇SCI二区论文,一共10篇论文。一区论文中有2篇相对弱一些,而二区论文中有2篇质量不错。代表作的选取假设有两种方案,第一种是用5篇一区论文,第二种是用3篇一区论文和2篇二区论文。论质量的话能否采用第二种方案?由于历史原因,以刊评文影响很大,如果评审专家更加关注发表的期刊,那么代表作制度也会受到影响。在代表作评审中,是难以实现真正盲审的,即使是匿名,通过搜索论文标题也很容易查到作者是谁。

需要说明的是,严格意义上的代表作评价与学术期刊等级无关,只要公开发表即可。但实际操作过程中,这一点难以做到,如在职称评审、学科评价中,往往强调在“重要期刊”“核心期刊”“有影响力期刊”等期刊上发表若干篇论文,因此在一定程度上,作者或机构在选取代表作的时候,一般会比较重视期刊级别。

2)代表作选取中的中国期刊论文问题

科技部明确规定了代表作中中国期刊论文的数量原则上不少于1/3,这需要一段过渡时间。由于历史原因,最好的自然科学论文往往以英文形式发表在国外期刊上,中国主办的英文期刊数量较少、载文量有限、质量有待提高,许多作者没有中国期刊论文,即使有中国期刊论文,质量也达不到“代表作”的水平。故在报送代表作的时候,对于中国期刊论文的选择也是一个难以抉择的问题。

3)同一学科不同研究类型学者代表作难以比较问题

即使在同一学科,如果一位学者侧重基础理论研究,而另一位学者还兼顾应用研究,在评职称报送代表作时,前者报送5篇论文,后者报送2篇论文外加3份研究报告或是专利转让成果。由于这两位学者无法或不能采取分类评价,代表作类型又不一样,此时,对两位作者进行代表作比较是非常困难的。解决办法是进一步细分进行分类评价,但是评价往往和广义的资源分配有关,过细的分类评价不利于资源的合理分配,如职称指标、学科点的申报,等等。不同类型之间的资源分配是一个新的问题。

4)学科异质性影响代表作的评价效果

第一,不同学科代表作的代表性不同。自然科学代表作更具有代表性,哲学社科的代表性相对较弱。由于人文社会科学研究具有研究周期长、社会影响见效慢、学术观点无完全的对错之分、评价中评审者的主观性多于客观性、社会科学研究具有时代性等特点,因此,对人文科学研究采用“代表作制度”仍需辩证地加以认识[20]。此外,人文社科还可能存在研究学派问题,不同的研究学派观点有所差异。

第二,学科发展速度影响代表作的代表性。有些学科发展较快,知识增长快,优秀的科研成果会引领学科发展,代表作就拥有较好的代表性,而另外一些学科相对成熟,知识增长慢,代表作就难以起到代表作用。例如,互联网高速发展时,计算机网络领域的论文代表作就拥有较好的代表性,而目前相对成熟的数学学科,代表作代表性就相对较弱,毕竟重大成果很少,小成果较多,不同代表作水平之间的区分度相对不大。

5)代表作对不同水平学者的适用问题

对于水平较高的学者,代表作制度可以反映其水平,但是对于水平相对较低的学者,尽管代表作可以反映其水平,但有些大材小用。毕竟采用代表作制度涉及大量人力物力和财力的投入,对于明显低水平的研究采用代表作进行评审,会浪费许多公共财政资源。尤其在科技奖励评选时,对于低水平研究,完全没有必要全部送审,可以先初选一批。

3.3 同行评议分析

1)我国同行评议制度还有待完善

学术代表作制评价的核心问题在于按照学科的内在逻辑,建立学术共同体内在的价值标准[21]。中国还没有形成真正意义上的学派,还不完全具备形成学术共同体的条件和群体意识[22]。由于缺乏深厚的评价文化底蕴,我国学术共同体学术评价的制度规范还不够完善,并且东方文化比较重视人际关系,导致在学术评价中人情关系对代表作评价的干扰较大。当然,这个问题也并非我国所独有,西方发达国家也或多或少存在类似的现象,只不过我国的问题比较严重而已。

2)评审专家的学识局限

受评审专家主观局限性和思维惯性的影响,加上评价情境的复杂性,可能会使同行评议失效。每位专家都有自己的思维定势,这将导致评价产生认知偏差,从而影响评价的客观性和稳定性。虽然可以通过延长评审时间,以及尽可能进行匿名评审的方法降低认知偏差,但这种影响是难以消除的。

3)评审工作量加大专家难以满足需求

一旦代表作制度全面铺开,评审工作量将呈几何级数上升,评审专家将难以满足需求。毕竟大量的评审专家均是学科领域内杰出学者,是最权威、最称职的同行评议专家,然而,这些学者的工作和科研任务繁重,根本无暇进行大量的评审。代表作评价需要大规模扩大评审专家的数量,其结果必然导致评审专家的平均水平下降,难以对代表作进行客观公正的评价,同时增加了寻租风险。

4)全面型评审专家无法满足要求

在进行宏观评价时,代表作就是团队或机构的代表作,如进行学科评价时,一个单位就有20篇代表作,可能涉及学科中3~5个研究方向,而评审专家同时评审的学科可能会有10多个,那么涉及的研究方向可能会有20~30个。很少有专家拥有如此宽阔的知识广度和知识深度,如何找到合适的评审专家首先是个难题,在宏观评价中,这个问题是非常普遍的。即使是微观评价,如果一位专家同时评审10个学者的50篇代表作,那么依旧存在评审专家的知识面不够问题。

5)同行评议不同分组难以比较问题

对于有些宏观机构评价,每家机构代表作数量会达到40篇,一篇论文短的可能是七八页,长的有几十页。而参评机构可能有50家,这对评审专家绝对是巨大的工作量。如果不认真阅读论文,那么评价效果会很差;如果认真阅读论文,一位评审专家也难以评审50家机构的2000篇论文。可行的解决方法是分组评价,即将2000篇论文进行分组,每组请若干位专家进行同行评议,虽然是定性评价,也打分,但不同组别的评审结果是难以进行比较的。

6)评审专家以刊评文问题

由于代表作评审专家在评审时面临巨大的挑战,如知识面不够、评审工作量大、时间不足等问题,最直接的方式是看代表作发表的期刊,根据发表期刊的级别来大致对作者的研究质量进行判断,即“以刊评文”,而教育部、科技部在相关文件中明确提出摈弃“以刊评文”。本文暂不讨论以刊评文的利弊,但是在代表作评审过程中,以刊评文其实是一种常见现象,如果评审专家由于思维定势的影响继续以刊评文,那么代表作制度就会大打折扣。

7)同行评议的规范性有待提高

代表作的同行评议是个系统工程,涉及方方面面。一类是程序性问题,如专家数量、专家是否异地、抽签方式、通讯还是会议、打分区分度、表决方式,是否允许申诉、程序是否公开、保障机制;另一类是具体操作问题,如代表作的判断标准,打分数据分布,评审意见要求,等等。这方面许多工作需要细化,目前的同行评议的规范性亟须提高。

8)代表作无法实现真正的匿名评审

学者的科学研究从论文投稿到代表作评审过程如图3所示。作者在进行论文投稿时,需要采用同行评议进行首轮评审,目前国际上通行的做法是严格进行双盲评审,即作者不知道评审专家,评审专家不知道作者。首轮评审时,期刊一般至少请2个评审专家进行同行评议,如果论文被接受,那么投稿完成;如果论文被退稿,那么作者还要改投其他期刊。在论文接受之前,意味着投稿会有多次评审,1篇论文在发表前可能有10个不同期刊的专家匿名评审。

图3 从论文投稿到代表作评审

在采用代表作进行评价时,本质上是第二轮评审,评审方法同样采用同行评议,但是需要注意的是,代表作同行评议一般只有1次,并且无法做到双盲,实际上只能做到单盲,这是因为即使采取双盲措施,根据论文题目和其中的相关语句还是可以查到作者是谁。

对比以上两轮评审,可以非常明显看出第一轮评审的公平性远超过代表作第二轮评审。论文的发表过程就是一个经受同行评议专家质询的过程,作者论文数量越多,这种质询次数也越多,因此,论文数量一定程度上反映了这种考验的次数,进一步地,传统根据论文数量的评价有一定的合理性。

9)代表作评价的成本问题

采用代表作进行评价是需要成本的,包括组织成本、同行评议成本、会议成本、争端解决成本等经济成本,此外还有时间成本等。随着代表作制度的全线铺开,评价工作量增加较大,评价成本会增加更多,根据我国科研体制的现状,这些成本往往采用公共财政资源支出,这也增加了纳税人的负担。

10)代表作评价无法防止科研投机

科研投机者往往并不是真正的学者,其会发表一定数量的核心期刊论文,然后谋求个人利益。在传统的科技评价体系下,尽管也存在一些学术不端以及科研投机现象,但总体上是可控的。然而,如果广泛采用代表作,这些投机现象防范可能比较困难。毕竟科研投机者造出5篇代表作还是相对容易的,这些人一旦到达比较重要的岗位又没有真才实学,造成的损失和负面效应会更大。

3.4 代表作的技术问题

1)代表作评审专家较少时误差较大问题

根据前文分析,论文发表时的评审专家总体会比代表作二次评审时的同行评议专家数量要多,这可能会导致代表作评审时的打分误差较大,设不同专家对某篇论文评分的分值为

其中,xi为专家给出的评分值;μ为该论文真实水平所对应的真实值;εi为单次评分与真实水平的随机误差。则n位专家给出的评分为

采用算术平均法来综合n位专家评分,得到专家评分平均值:

单次评分与真实水平存在随机误差ε,当单次评分高于真实水平时,随机误差ε为正值;当单次评分低于真实水平时,随机误差ε为负值。由于随机误差ε服从正态分布,因此当n越大,即评审专家人数越多时,随机误差和逐渐趋向于0,即多人评分的均值逐渐接近真实值的近似值。

在微观评价时,代表作的数量可能就是5篇或10篇,如果评审专家的数量也就是5~10人,在这种情况下,不能称为大样本,此时ε就不会服从正态分布,从而会产生较大的评价误差。

在代表作评价时,如果评审专家达到30,此时从概率与数理统计的角度可以称为大样本,随机误差会服从正态分布,随机误差项会趋近于0,此时误差较小,打分会比较精确,但这也意味着评价成本成倍增加。

由于在代表作评审过程中无法实现双盲,那么在评价中除了随机误差,还会存在系统误差,系统误差是无法消除的。

综上所述,造成代表作评审误差有两个方面:一是评审专家较少时的偶然误差;二是不管评审专家人数多少时,由于无法绝对进行双盲评审而造成的系统误差。

2)二轮评审通过概率大于论文录用首轮评审

代表作评审的可靠性还可以从另一个视角进行分析比较。在一些选拔型的评审中,如职称评审、奖励评审中,假设用代表作或论文的通过概率作为其难度的一种指标,通过概率大说明难度不高。不妨做如下假设:

第一,论文审稿人、代表作同行评议专家能力和水平一样;

第二,论文审稿人、代表作同行评议专家打分服从正态分布N(μ,σ2);

第三,论文审稿人、代表作同行评议专家打分独立且同分布;

第四,论文审稿人数量是代表作同行评议专家的2倍(根据前文分析,这容易满足);

第五,论文审稿人、代表作同行评议专家打分采用双盲评审。

在论文审稿时,多人审稿制度下,假设被评人有已录用的稿件n篇,在期刊的投稿过程中,每一篇稿件需经两个审稿人同意后才能录用,n篇稿件审稿人总数至少为2n。设xi、yi分别为第一审稿人、第二审稿人打分,则该被评人的i篇稿件概率密度函数为

对其标准化后进一步处理得

由于xi+yi=Ti~N(2μ,2σ2),可得

则作者稿件通过的概率密度函数为

最后得稿件的通过概率为

在代表作同行评议时,假设同行评议专家人数为n,zi为第i个专家的打分结果,代表作打分同样服从正态分布N(μ,σ2),则代表作通过的概率密度函数为

同样地,对其标准化得

最后,得其稿件通过概率为

对比式(6)和式(10)得

也就是说,PA<PB。由此可知,代表作同行评议的通过率高于论文投稿的通过率,作者期刊论文录用的难度要大于代表作同行评议。这也说明另外一个问题,在代表作进行同行评议时,评审专家较少筛选效率不高。

4 代表作制度的优化改进路径

4.1 不宜扩大代表作的适用范围

在科技评价中会面临各种评价需求:在微观评价以及科研质量评价中,代表作制度可以尝试并逐步进行改进;但是在进行宏观评价时,一定要反复思考这个问题,真的对机构评价就没有规模和数量的要求吗?现在国家对一些科研机构的投入,多的每年高达数亿元,如果这个机构恰恰是从事基础研究的,如果评价时只看10篇代表作,那么有没有问题?

对于不同学科之间的比较也超越了代表作评价的能力,凡是涉及资源在不同学科之间分配,以及不同学科之间的比较问题,此时已经超越了代表作可以评价的范围,要采用新的规则。

对于一些重要的微观评价,要反思一下评价目的。例如,提拔科研管理工作重要岗位上的学者,这些学者即将拥有更大的权力,对单位的科研影响会很大,建议应该适当兼顾论文数量,防止科研投机现象。

4.2 代表作的选取一定要明确要求

对于作者代表作的选取一定要明确质量,并且评价机构要承诺严格执行。严格意义上,即使是非核心期刊论文也应该可以选为代表作,但是在《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》中提出鼓励发表高质量论文,包括发表在具有国际影响力的国内科技期刊、业界公认的国际顶级或重要科技期刊的论文,以及在国内外顶级学术会议上进行报告的论文,某种程度上这是一种新的“以刊评文”现象。除非下决心不采用任何核心期刊目录,否则代表作选取时还是要兼顾发表的期刊级别。

“以刊评文”的评价方式并不能被完全否定,其存在一定合理的评价逻辑。在没有特别有效的方式的前提下,以刊评文仍将是现在科研评价制度中非常重要的一种方式。“代表作”评价的核心是让研究者树立质量意识,同时在一定程度上可以降低评价成本。“代表作”评价与“以刊评文”不是对立的,不能强调代表作评价,就要把文献领域的一些方法和成果完全放弃掉。

4.3 分类评价要进一步细化

学者的分类评价,国家已经提出了许多明确要求,但仍需要进一步细化。如教学型、教学科研并重、科研型的分类,基础研究、应用基础研究、应用研究的分类,等等。对于不同类型的代表作评审要求是不一样的,相互之间不可比较,进一步细化有利于代表作制度的推进。但又带来一个新的问题,即不同类型评价之间如何分配资源,如职称指标、科研经费等。

4.4 对初中级评审可以适当采取以刊评文

由于代表作评审全面推开会大幅度加大评价工作量,提高评价成本,代表作评审的公平程度也有可改进空间。因此,对于一些初中级评审,可以适当采取以刊评文的做法,如讲师评审、一般高校的副教授评审等,以刊评文仍然是一种成本较低相对公平的有效手段。

4.5 建立量化考核与代表作制度兼顾的评审制度

建立量化考核与代表作制度兼顾的评审制度,能够淘汰掉一批质量相对较低评审对象,提高评审门槛,从而节省评价成本,另外也有利于保证评价公平。具体的量化考核基本要求各高校和科研机构可以根据自身情况制定具体的细则。实际上,目前国内许多高校在职称评审中都提出了一定的量化考核要求,这是代表作制度推广的良好基础。

即使在这种情况下,对于量化考核成果相差较大的,也不需要采用代表作评价;对于量化考核成果相近的,代表作制度可作为一种必要的补充。

4.6 提高代表作同行评审的规范性与质量

第一,要规范同行评审程序,细化同行评审细节,提高同行评审的规范性,尽量做到公开透明。第二,适当保证评审专家的规模。当评审专家规模较小时,会增加评价的随机误差,从而影响评审结果,当评审专家人数较多时,又容易增加成本,必须在两者之间保持一个合理的平衡,建议对于一些重大评审,评审专家数量为25~30人,或者略多。

4.7 代表作制度的推广应给高校一定的自主权

关于代表作的推广,教育部重点考核的是各“双一流”建设高校以及教育部直属高校。建议区分不同评价目的、不同高校、不同学科推广代表作制度,赋予高校一定的自主权。对于一流大学、一流学科大学的一流学科、教育部直属高校的优势学科,在微观评价时采用代表作制度是没有问题的。对于其他情况,建议赋予高校一定的自主权,兼顾量化考核与代表作制度进行评价。

4.8 建议推广一些新的文献计量指标

传统的以SCI论文数量为主的科技评价方法存在不少弊端,从而催生了代表作制度产生,但是代表作制度也并非十全十美,其完善适用还有很长的路要走。造成这种现象的根源是长期以来文献计量学与科学计量学得不到应有的重视,有许多不错的文献计量指标,如h指数家族、特征因子、z指数等,如果早一点采用这些指标进行评价,而不是简单地统计论文数量和影响因子,科技评价质量会提高很多。

4.9 完善科技评价机制

我国的科技评价机制还有待改善。第一,科技评价体制取决于科研管理体系,要全面系统地进行顶层设计,包括科研管理体系;第二,要全面系统地设计我国的科技评价机制,确定评价战略、目标、原则、机制等宏观框架;第三,加强管理的科学性与制度化,及时吸收最新评价方法和手段,充分发挥评价专家在科技评价中的作用;第四,发挥高校与科研院所的自主权,国家层面只做宏观引导。

猜你喜欢
评议论文专家
强化述职评议 落实主体责任
致谢审稿专家
本期论文英文摘要
创新评议形式 提高评议实效
对“自度曲”本原义与演化义的追溯与评议
本期论文英文摘要
请叫我专家
本期论文英文摘要
专家面对面
“两官”评议:人大司法监督新途径