“代表作”制度的理论研究综述

王世鹏 包翔 宋余庆,2 刘桂锋

1. 江苏大学科技信息研究所 镇江 212013；

2. 江苏大学计算机科学与通信工程学院 镇江 212013

引言

2018年“中国科技论文数量世界第一”的好消息，带给国人自豪和信心，这是改革开放以来我国科研和学术评价机制重视科研成果展示走向开放，鼓励学术论文发表面向世界的有力驱动。但是，以往科研和学术评价机制执行过程中的一些片面理解和不当导向，也带来了学术泡沫、学术不端等负面现象，催生了不良社会风气，影响了学术研究环境的良性生态，严重打击了学术创新积极性。这些负面现象引起了高层的重视，习近平总书记在2018年两院院士大会上曾指出，我国唯论文、唯职称、唯学历的现象仍然严重[1]。也引起了全社会对科研和学术评价机制的深度思考，如中国农业科学研究院院长唐华俊就直言不讳地指出：当前科研评价中以“帽子”论英雄倾向比较严重，人才总体趋于静态[2]。由此更引发了新一轮科研和学术评价体系建设的探索，2021年人力资源社会保障部、教育部联合印发《深化高等学校教师职称制度改革的指导意见》，文件中要求推行代表性成果评价，克服唯论文、唯“帽子”、唯学历、唯奖项、唯项目等倾向。

“代表性成果评价”即“代表作制度”，在权威性文件里被作为一种重要的评价机制明确提出，标志着我国科研和学术评价理论方法应用和评价制度新一轮改革的开始。本文基于文献调研分析，梳理“代表作”制度理论研究成果、列举“代表作”制度建设和实施案例，介绍“代表作”评价和“代表作”抽选的一般方法。以求为建设以“代表作”为特征的新型科研学术评价体系提供参考。

1 “代表作”基础理论研究

1.1 “代表作”概念

“代表作”，在《汉语词典》[3]中解释为：最能显示作者的水平或风格的作品。全国科学技术名词审定委员会公布的《图书馆·情报与文献学名词目2019》更进一步表述为：最能显示作者素养、造诣、水准和个人风格的作品[4]。叶继元[5]认为“代表作”是指“能够体现和衡量科研人员学术水平的代表性成果”。1994年，张培红翻译美国学者Mary Hamm和Dennis Adams的专著《一种新的评价方式:“代表作”评价》时，将“代表作”意译为“能反映一个人技能水平的证明材料”[6]。有学者认为真正的“代表作”应该是在相应的研究领域里，能够对当前已有的研究做出实质性的推进作用的学术成果[7]。

“代表作”评价是在人才评价、项目评审等学术评价活动中，对科研人员的代表性成果进行评价，以代表性成果价值作为科研人员学术水平主要判断依据的评价行为[8]。

总的来讲，“代表作”主要是某一科研人员或个人的技能水平、科研能力以及学术成果的衡量标杆，延伸之后也能够作为评价学术机构与研究项目水平的重要依据。

1.2 “代表作”制度

“代表作”制度在各类学术评价制度中相对较新，在破“五唯”的指导思想下，以“代表作”制度作为评价主体的学术评价体系探索逐渐得到了重视。国内对“代表作”制度理论的研究是学术评价发展的必然结果也是国家政策引领的产物。国内众多学者从“代表作”制度的体制、实施目的和学术环境等方面进行思考，形成一众理论成果。有关“代表作”制度的研究，部分学者提出当前“代表作”制度存在的问题。石长慧等[9]发现东部与中西部地区高校试行的时间前后差距造成经验积累程度差异；郭正堂院士[10]在专访中支出，“代表作”制度的普遍实行应当建立在充足的人才储备智商，而当前人才培养工作还有待加强；梁亚民[11]发现当前的“代表作”制度还没有完全从“重定量、轻定性”的氛围中挣脱出来。除了“代表作”制度自身的问题，制度推行中同样发现阻碍，“代表作”制度应用的各个学科成果特性各不相同，自科更新周期短而社科发展相对缓慢，二者如果使用同一指标，权威性也将产生差异[12]。

国外在“代表作”制度理论领域的研究，有同行评议的批判，也有对评审专家以及评价指标的质疑。对“代表作”制度的批判一方面是申请评议者与评议专家的“密友体质”[13]，会造成贵族化、中心化的问题；另一方面是选择评审专家或者评价指标都有着强烈的个体复杂动机和主观色彩，选择利益相关或有共同学术思想的专家，评审结果往往会偏向申请评议者[14]。国外在“代表作”制度的理论研究，内容都是“代表作”制度的缺陷，指出“代表作”制度的利益纠葛，批判由利益联结形成的“学术圈子”，阻碍学术发展。国内外研究由于社会环境等存在差异，目的虽然都是追求“代表作”制度的公允评鉴，但是国内研究较多指出制度实施过程中的差异问题，国外更多是关注制度自身的缺陷问题。

表1 部分学者“代表作”制度研究

综上所述，“代表作”制度在理论研究中比较“热”，已经有了不少成果，但在实践应用方面却遭受冷遇，相关研究较少[15]。

2 “代表作”评价研究

“代表作”评价在一定程度上借鉴了学术评价的方法，大体有两种：一种是定量分析，即运用科学（文献、信息）计量学的方法进行量化评价对“代表作”进行指标考核；另一种是定性分析，即从专业学术角度对“代表作”的创新性、前沿性、应用性等方面进行价值判断。

2.1 定量的科学计量与定性的文本分析方法

科学计量与文本分析的方法目前流行的主要有2种。

一种是基于论文的相关数据，如h指数[16]、特征因子[17]、z指数[18]等，定量分析论文的学术价值、创新性或学术影响力等特征。如孙劲楠等[19]通过representative方法和H指数核心法对文章进行筛选得到“代表作”；通过特征因子抽选“代表作”在一定程度上可以借鉴天津大学图书馆运用特征因子原理进行的学术评价研究[20]；张学梅[21]选择部分论文来参加计算，被引量越高则越能获得更好的z指数排名，从而更有可能被抽选为“代表作”。

另一种是基于内容分析的论文全文评价方式。从全文中抽出具有研究代表性的语句，分析语句的分布特征及规律[22]，当抽选出的语句与引用之间存在联系，则二者重复率越高创新性越低[23]。除了语句外，还有研究表明，可以通过挖掘、计算关键词，探究文章的创新性，一般表现为，关键词学科交叉度越广则创新性越强[24]。李贺和杜杏叶[25]将“代表作”评价角度定位于论文的内容层面，提出深入知识元这一科学论文的组成单元，利用知识元理论和机器学习的方式从论文细节角度对论文的创新性进行研究。

目前，科学计量法应用于“代表作”评价已经形成三个各具特色的分析角度，如表2。

表2 针对“代表作”评价的科学计量方法概述

2.2 同行评议分析方法

完整合理的同行评议体系通常由评价主体、评价客体、评价目的、评价方法、评价标准及指标和评价制度六大要素组成。针对“代表作”评价中的同行评议部分有学者提出建立学科专家库，可以充分利用第三方平台相对独立的特性和在社会关系中的中立地位保障同行评议时专家的公平、公正[31]。国内学术评价在实践中借鉴国外经验引入同行评议制度，但受社会环境因素影响同行评议制度的发展并没有一帆风顺，不过，在实践中，在同行评议必须遵循相应的原则上达成了共识。

（1）公开原则

同行评议的流程与公示都应该是公开的、透明的，也必须是详细的、明晰的，过程、结果坚决不能含糊其词。评议小组专家成员应当在评议开始前进行公示，防止由于完全匿名而产生敷衍、轻慢的现象。在同行评议专家的选择中应当有所要求，应当具有哪些职称，研究领域是否契合，在该领域需有一定成果，应当具备一定的评议经验，应当具备良好的学术信誉与评估信誉[32]。

（2）自主原则

无论是单位内部组织的评议小组还是由第三方构成的专家评议系统，首先保障评议小组成员具有相当的自主权，保障专家的发言自由也要保证专家的退出自由，当评议专家与被评议人在学术观点存在冲突的时候评议专家可以选择退出评议，避免主观性因素影响评议结果的客观公正。

（3）回避原则与推荐制度

在同行评议中采用回避制度，首先确保申报人与评审委员没有利益关系或者冲突。其次，避免申报人与评审委员之间的学术观点冲突[33]。现行的“代表作”评价国内外偏重点不同，国内因前期学术成果评价量化倾向严重，对运用“代表作”理论进行定性分析将会带来的良好效果充满期待。而国外偏重于同行评议，对涉及到的利益关联、极端主观情况提出批判。国内外在“代表作”评价方法选择上通常在科学计量法与同行评议间选择其一，两种评价方法都存在不同程度的问题，单一使用科学计量法容易陷入极端数量化，单一使用同行评议则会过于主观，容易受社会属性影响，而且效率一般较低。

3 “代表作”选取方法研究

除了“代表作”制度的理论研究，还有一些学者将目光投向了“代表作”抽选方法，对“代表作”理论进行实践，在实践中检验“代表作”制度理论研究的科学性。

当前“代表作”抽选方法主要是采用科学计量法与同行评议，针对这两种方法，诸多学者进行各自的研究。以科学计量法为主要方法时，孙劲楠等[19]将研究涉及的所有论文均设定为“代表作”，运用representative方法和H指数核心法进行筛选，并将其引入到Z指数中形成Zh指数和Zr指数，最终通过各项指数进行抽选。伍军红等[34]提出一种基于大数据进行遴选“代表作”的被引频次标准化方法。即:PCSI= ez(z为标准化变量)。对杰出研究成果的评价中，美国学者赫希(J.E.Hirsch)[35]提出的h指数(h-index)法和埃赫(Leo Egghe)[36]提出的g指数(g-index)法,都是基于科学计量法进行的，h指数考察被引数，g指数中g的定义为按论文被引降序排列,被引数高或者排序号靠前的为“代表作”。河南省图书馆团队将每个学科每一年的论文均按照被引频次降序排列，把论文分8个百分位等级，建立8个等级论文的被引频次基准线，划分等级高的论文为“代表作”[37]。张积玉[38]提出以量化为基础，以“代表作”为主体的综合化学术评价制度的构建，对“代表作”发表的期刊、被引、转载和获取等进行打分，分等次后分别计分，结合同行评议进行综合评价。Beck[39]将“代表作”理解为代表科学成果质量的文献，在探讨“代表作”质量的理论和应用问题中，创造了一种用以测量创造性成果和批判性成果的具有42个等级的度量方法。杨正瓴[40]提出完全依靠同行评议进行分析的观点，通过对论文论点和内容的原创性进行分析评价，抽选“代表作”。两种不同的抽选方法目的都是为了“代表作”抽选更加科学、公正，两者也同样存在缺陷，采用科学计量法时问题更多出在研究方法自身，特别是一些指标、应用场景，同行评议的问题更多是在人工筛选的主观性与外来因素干扰。

表3 部分“代表作”抽选方法

选取“代表作”的论文数量和年限的确定还没有形成明确、完备的规则，论文数量通行方法是3～5篇，有一定认同度但是缺乏理论依据。论文选取年限上，姜春林和刘则渊[41]通过对文献生命周期理论进行研究，通过计量分析得出不同学科引文评价最佳时间，文史哲等学科应在成果发表后的5～8年后，而经济学等应用性较强的学科则在3～5年后。

4 “代表作”政策建设与实施探索

4.1 “代表作”政策建设

自2011年教育部发布《关于进一步改进高等学校哲学社会科学研究评价的意见》到2021年人力资源和社会保障部、教育部发布的《关于深化高等学校教师职称制度改革的指导意见》，均指出高校教师职称、科研成果评价等要推行“代表作”制度，重点考察研究成果和创作作品质量，淡化论文数量要求。各部门陆续出台有关“代表作”评价政策文件（如表4），为不断完善“代表作”评制度的贯彻落实提供政策支持。

表4 “代表作”相关政策文件

4.2 “代表作”评价制度应用

“代表作”评价制度应用在我国部分高校、科研机构已经作为科研人员职称评定、职务升迁、津贴待遇、选拔人才以及科研资源分配的依据，逐渐形成绩效优先、鼓励创新和竞争向上的科研人员评价机制[55]。

当前在教师职称评定的相关研究中，已形成一定的共识，即指对一定数量的最能代表评价对象学术水平的“成果”进行专家学术评审。在“代表作”制度中数量要求只是一部分，超过一定数量，并不能为“代表作”学术水平加分，目的是遏制过分数量化[5]。控制数量这一共识在实践中得到一定程度的体现，部分高校如北京大学、中国人民大学、复旦大学、北京师范大学和南开大学等已在教师职称评定中探索实行“代表作”评价制度[56]。如科技部、国家自然科学基金委员会等实施“代表作”制度并采用同行评议的决策机制；华中科技大学在夏令营选拔中要求相关人员提供代表性学术成果。部分单位“代表作”制度的实施情况如表5。

如表5所示，2003年南开大学首先进行“代表作”评价制度探索，而后在国内一些知名院校陆续开始尝试。西方“代表作”评价制度首先出现在行政部门对高校、研究机构的评价中，以“代表作”评价结果为依据进行财政拨款的控制，后来逐渐发展到对研究人员个人的评价。而国内则是以院校对科研、职称评定等进行评价开始，而后发展到对机构的评价。国内“代表作”评价制度总体上看重点院校探索尝试相对较早，东部地区对“代表作”的应用要早于中西部地区。存在差异的同时也形成一定的共识，特别是数量上基本上都控制在1-3篇，在弱化数量的同时，注重提交“代表作”的学术影响力。

表5 部分实施“代表作”制度单位情况

5 总结与建议

5.1 总结

（1）“代表作”制度理论研究方面，我国对“代表作”和“代表作”评价制度的概念已经有了相对权威明确的界定，不少文献介绍了国外“代表作”制度理论建设经验，学界普遍对于“代表作”评价制度在“破五唯”中的作用有所认识并寄予厚望。从研究文献来看不难发现，专门针对“代表作”评价制度的系统研究较少，已有研究中有对“代表作”评价制度实施的意义，也有涉及机制、实施条件和程序安排等方面的研究，主要研究对象还是高校教师职称评审。但是“代表作”评价制度在学科评价领域的相关研究不足[54]。对于“代表作”的来源文献提供是作者、机构、还是学科专家没有明确。对于“代表作”作者与其从事的学科专业的对应性，实际工作岗位的相关性没有明确的要求。研究表明，单一的“代表作”制度评价方法受制于自身缺陷与我国当前学术环境，想要使理论与实践共同“热起来”很难，需要从学术评价机制自身发展与社会学术环境两个方面关系着手，将科学计量法与同行评议相结合，形成更具科学性和普适性的“代表作”评价制度理论体系。

（2）“代表作”评价研究方面，定量的科学计量与定性的文本分析方法是“代表作”评价的技术性方法，国内外研究成果，有的相对成熟，这些贡献大多来自图书情报学界，从一个方面说明了，图书情报界是“代表作”评价体系建设的重要生力军。同行评议分析方法是“代表作”评价的人文性方法，在国外应用比较广泛，国内在这方面有待伴随观念转变和制度建设逐步深入。

科学计量的客观性能够有效避免同行评议中的人情关系，同行评议是避免唯数量论的重要途径，在方法选择上没有必要非此即彼，定量定性分析与同行评议，两种方法完全是可以相互融合、相互合作。结合科学计量法与同行评议，形成有别于单一方法的“代表作”评价体系，有望在使用中结合两者的优势，并凭借各自的特质弥补相互的缺陷。为保证学术评价不落入极端思想中就需要在评价方式中寻找到平衡点，做到两者兼顾、共同作用和共同发展。

与此同时，也有学者提出强化第三方力量，尤其是文献情报机构，能够有效将定量分析、定性分析和同行评议有机结合，并形成一种自动化、平台化的评价工具[60]。

（3）“代表作”选取方法研究方面，综合各类“代表作”抽选方法，可以看出，“代表作”抽选方法主要还局限在计量技术应用范围，人文性方法还比较单薄，仅限于原创性认定的人工筛选，这对于自然科学“代表作”抽取可能不会造成重大失误，但是纯技术方法在人文社会学科“代表作”抽取中很容易造成极端问题，所以，无论哪个学科的“代表作”抽取，都需要在定量分析与定性分析研究具有一定基础之后，引入等级制，打分制，甚至是论文论点和内容的原创性分析评价方法，利用弹性原则将计量技术与人文分析有机结合，扩大原创性人工筛选思维定势，引入合更多的人文性评价理念，有可能实现“代表作”选取的科学性、社会性和合理性。另外，不同学科“代表作”的论文数量和年限的确定研究有待于进一步深入，以形成一个权威的标准。

（4）“代表作”评价制度建设与应用探索方面，我国的“代表作”制度建设起步较晚，“意见”、“通知”、“方案”较多，虽然具有一定有权威性和政策性，但法律效应性不强，标准规范性作用足不，跟不上中央反复强调施行“代表作”评价制度、建立健全分类评价标准体系的要求。从“代表作”评价制度应用角度看，我国目前只有少数高校在职称评定上尝试“代表作”评价制度，涉及评价对象和应用方向专指、受限，而国外应用领域相对宽泛，即使在高校范围，也已经涉及宏观的“科研评价”，这也是我国需要积极拓展“代表作”评价应用领域值得借鉴的。

5.2 建议

科研和学术评价事关学术生态环境建设与科学技术生产力的积极性调动，是一个系统工程，这个系统工程建设良性发展引导驱动，需要全社会共同参与，协同促进，“代表作”评价制度作为一种评价理论和方法相比以往的科研和学术评价理论方法有其时代特征、技术基础和人文条件，但也受传统观念和方法的羁绊，我国的“代表作”评价制度需要从以下几个方面加强建设。

（1）完善落实政策法规要求，提供科学规范的“代表作”范式。有鉴于当前学术环境存在的问题，除了指导性意见外，更应该完善政策法规，出台具有权威公信力、科学规范的“代表作”范式，从法规角度对学术环境进行规范，完善“代表作”制度。同时针对政策实施情况总结经验，为“代表作”制度推广提供规范、权威具有普适性和包容独特性的范本。在制度流程方面，借鉴2018年国务院发布《关于优化科研管理提升科研绩效若干措施的通知》要求简化流程，为项目审核减负，同样，在“代表作”制度中应当做到流程简明、公开，对结果要求做到可公示、可质疑和可追溯。通过“代表作”评价制度的公开透明催动学术氛围的改善，学术的归学术、行政的归行政，良好的学术氛围也为“代表作”制度的健康发展提供环境基础。

（2）建立同行评议专家库，精准匹配专家研究方向与“代表作”主题的一致性。建立专家库，对专家名单进行公示，将专家库专家进行分组，提请专家评议时对参评论文随机分配到不同专家组，在分配前检索参评论文作者与专家库专家之间的联系。在专家选择时，可以选择异地专家、异国专家或者离退休专家学者。评价结果在排除最好与最差后取平均值或常值。为避免同行评议的人情与利益关系，需要对“代表作”进行检索，有针对性的由专业人员对“代表作”涉及的人物关系进行详细审查，要明确专家评议小组成员的关系网络，对同行专家与“代表作”作者之间是否存在利益往来等需要规避的关系进行审查。

（3）完善“代表作”评价方法体系，定量的科学计量与定性的同行评议有机结合。“代表作”评价方法中科学计量法与同行评议都有各自的优点，两者结合进行优势互补可以有效解决单一评价方法存在的过度量化、过于主观的问题。在优势互补的基础上也要进行自我发展，在传统科学计量法的基础上引入社会指标等新的量化指标进行自我丰富，同行评议不断完善评价制度与规则。

（4）充分考虑学科特质，探索适应不同学科的“代表作”应用场景。不同学科具有不同的特质，单一评价方法不能适应所有的应用场景，同样单一评价制度也不能适应所有学科。“代表作”评价制度应该是分层次、分学科的评价制度，根据各个学科的特质形成具有不容侧重、不同特点的评价方法，只有不断适应各个学科、应用场景才能保证“代表作”评价形成具有生命力的不断发展的学术评价制度。