欧盟项目ACUMEN的研究人员评价方法及启示

耿海英

〔摘 要〕[目的/意义]研究人员评价作为科研评价的一部分在科研管理过程中具有重要意义。[方法/过程]介绍了欧盟科研人员评价标准联合框架ACUMEN的基本情况，阐释了该项目中研究人员评价体系设计的思想与模型以及具体的评价指标和方法，重点分析了该评价方法的特点。[结果/结论] ACUMEN评价方法对我国研究人员评价实践的启示与思考。

〔关键词〕欧盟；ACUMEN；研究人员；评价方法；启示

DOI：10.3969/j.issn.1008-0821.2016.07.007

〔中图分类号〕G3212 〔文献标识码〕A 〔文章编号〕1008-0821（2016）07-0034-07

同行评议法是一种重要的研究人员评价方法，在科研评价工作中发挥着积极作用，但其评价结果的主观性，甚至是偏见性问题也不容忽视[1]。随着文献计量学的发展，文献计量学方法被引入科研评价中。发表论文数、被引次数和h指数是评价研究人员的主要文献计量学指标[2]，P指数[3]、Pt指数[4]等新的综合评价指标也逐渐被应用到研究人员评价中。随着信息获取和学术交流方式的改变，Altmetrics作为学术影响力评价方法的有效补充[5-6]，可以更充分地了解研究人员的学术工作以及他们在学术界和学术界之外的影响[7]，但目前以理论研究为主。欧盟项目ACUMEN（Academic Careers Understood through Measurement and Norms，简称ACUMEN）在参考欧盟同行评议系统基础上，提出一种包含文献计量学指标和Altmetrics指标的研究人员综合评价体系。本文以期通过对ACUMEN评价方法的分析，为我国研究人员评价实践提供参考。

1 ACUMEN项目基本情况

ACUMEN是欧盟的一个研究人员评价标准联合研究计划，于2010年启动，2014年完成，是欧盟第7框架计划（FP7）科研体系改革的重要组成部分。ACUMEN由荷兰莱顿大学、以色列巴伊兰大学、西班牙最高科研理事会、英国胡弗汉顿大学、爱沙尼亚研究委员会、德国洪森堡大学、德国维尔道应用技术大学、丹麦哥本哈根大学皇家图书情报学院和荷兰皇家科学院数字人文组（eHumanities Group-KNAW），共计9个研究机构联合完成，并由莱顿大学科学技术研究中心（Center for Science and Technology Studies）主任——Paul Wouters担任首席研究员[8]。

ACUMEN项目组指出，目前研究人员评价实践中存在以下不足之处[9]：（1）目前的研究人员评价标准以单学科评价为主，能在一定程度上反映学术成果质量，但不够全面。例如，期刊的影响因子和被引次数等文献计量指标可在一定程度上反映一篇论文的学术质量，但却不能反映出这篇论文与社会经济发展之间的关系。（2）随着研究人员规模的增加，学术研究体系的日益复杂，已有的评价方法，如同行评议法的局限性逐渐显现。（3）原有的评价体系不能评价新的知识创新模式和学术交流方式，例如研究人员间以网络为媒介进行的合作和交流。（4）有些文献计量学指标是宏观、中观层面的测度指标，并不适合微观层面，如研究人员个体层面的测度。（5）原有的评价指标未涉及性别差异，但由于社会分工的存在，性别差异带来的影响确实存在。

ACUMEN项目组为解决以上评价实践中的问题和不足，将项目任务分为6个子项目[9]：（1）分析比较了欧洲当前的同行评审系统，分析了当前评价和同行评审实践中的经验和观点，深入探索新的个体研究人员评价方法。（2）重点关注研究人员的网络显示度，开发了一系列基于网络数据的评价指标和工具。（3）研究了学术研究如何在网络上讨论，重点关注社交媒体平台。（4）分析了评价指标、定性标准和评价过程对女性研究人员职业发展的影响。（5）评估了现有绩效评价中的科学计量指标，从已有指标中选择部分指标，同时还考虑了指标可能的负面影响，分析了如何使用好指标来测量生产力、影响、合作和多样性。（6）汇集以上各子项目信息，在以上研究基础上设计出ACUMEN 评价指标体系，并制定了评价实践指南。

ACUMEN设计出的研究人员评价指标体系包含了研究人员学术生涯的3个主要方面（专长、产出和影响力）。该评价指标体系能够凸显研究人员的成绩，更好地展示每一个研究人员，还可作为传统个人简历的补充。

2 ACUMEN评价方法

21 评价思想与模型

传统的评价过程中，科研绩效评价通常是机构、团队或科研人员产出的直接测量，研究人员在评价过程中仅仅是评价对象而不是重要参与者。评估者的视野往往局限于特定的评价，不能对科研人员在科学或学术系统更高层面的影响力进行全面评价，评价过程又往往保密。ACUMEN项目组摈弃以上做法，提出全新的评价视角。ACUMEN项目组认为评价是评估者与被评者之间复杂的互动过程，而不是简单的研究人员的绩效测量，评估者与被评者之间可以就选择合适的评价标准和评价材料进行交流；应该考虑评价系统对科研人员职业发展的影响。同时还分析比较了不同国家、不同学科和不同机构已有的评价实践，以及这些评价实践对科研人员职业发展的影响[10]。基于以上思想，ACUMEN项目组提出让科研人员在评价实践中发出自己声音的评价模式。其评价模型以研究人员陈述为中心，辐射以专长、产出和影响力。评价模型见图1。ACUMEN项目组在此模型基础上设计出了一套评价工具，即ACUMEN研究人员评价指标体系。

22 ACUMEN研究人员评价指标体系

ACUMEN研究人员评价指标体系就是ACUMEN项目组在其评价思想和评价模型基础上设计出的一套评价工具。该指标体系包含科研人员3个方面的主要信息：专长、产出和影响力。具体有4个文件组成：陈述与学术年龄计算、专长、产出和影响力[11]。每一个研究人员都要填写这4个文件，每一个文件里都包含了研究人员职业和成绩方面的材料。

221 文件1——陈述与学术年龄计算

陈述：学者可以在此部分阐释本人作为研究人员的价值，尽可能辅以证据。学者可以陈述本人的主要贡献，比如是在发表文章方面，还是学生教育方面抑或是媒体方面，类似于国内人才评价（如职称评审等）中的个人主要业绩的自述部分。

学术年龄：学术年龄计算方法及详细说明见表1。

表1 学术年龄计算方法及说明

学术年龄计算 说 明

博士起始日

博士答辩日

博士答辩完后养育孩子数和特殊情况

学术年龄=博士答辩后全职工作年限-养育孩子数-特殊情况（其中计算单位都是年）。〖〗 学术年龄有助于评委准确评判

其中养育孩子数，如果一个孩子出生后由本人独自抚养，则计数为1，如果由夫妻两人抚养，则计数为05。特殊情况则指由于生病等其他原因而没有从事学术工作的时间。

“学术年龄”主要是考虑到研究人员真正从事学术活动的时间，尤其是女性研究人员。不考虑性别年龄因素而直接对评价结果进行比较显然有失公允。ACUMEN项目组的调查结果证实了传统的性别模式，即男性出版物产出数量平均比女性要高，女性在合著中的地位不能平等地体现出来[12]。因此，ACUMEN项目组在评价体系中充分考虑了性别因素。同时，一些研究人员由于抚养孩子、生病或其他原因从事科研活动的实际时间与工作年限会有所不同，因此，ACUMEN项目组提出了学术年龄的概念。

222 文件2——专长

研究人员可以在此部分阐述自己在学术、教学、技术、交流、组织等方面的能力，同时可以辅以定量数据或者具体事例加以佐证。具体指标和说明详见表2。

此部分多是研究人员通过示例或描述来证明自己各方面的专长或技能，其中很多指标在国内研究人员评价时也会用到，如授课时间、做报告、论文获奖、接受媒体采访、行政职务等。

223 文件3——产出

研究人员可以在此部分展示其在学术、教学等方面的成果产出。此部分成果产出不仅包括传统的期刊论文、图书、专利等产出，也包括数据集、软件工具等，还包括在社交媒体等网站上的贡献等，需要有定量数据和具体事例加以佐证。具体指标和说明详见表3。

224 文件4——影响力

研究人员可以在此部分展示其在科学或学术、社会、经济、教学等方面的影响力，要有定量数据或者具体事例加以佐证。具体指标和说明详见表4。

文件3和文件4则是目前研究人员评价中经常用到的两项内容，只不过评价内容更加细化和全面，而且增加了新型媒体环境下的产出和影响。如今，学者可以通过网络这种非正式途径进行学术交流，如通过个人网站、研究小组网站、机构库、预印本、研究博客或社交网站。研究人员还可以通过添加标签和评论，与网络上他人的出版物进行互动和反馈[13]。因此，网络指标和Altmetrics指标可以作为传统影响力指标的补充，为测量学者和出版物影响力提供了一种新方式[14-15]。ACUMNE主要在“产出”和“影响力”评价方面采用了网络计量指标和Altmetrics指标。

文件4中引入学术搜索引擎数据。科研评价中常用的数据源就是Web of Science和Scopus。Web of Science数据库更倾向于收录英文语种出版物，而且收录期刊文献中社会科学中的部分学科和人文艺术类覆盖不足[16]。Scopus数据库系统覆盖范围起始于1995年，收录年限较短，不适于评价青年学者。因此，ACUMEN项目组充分考虑了这些数据源的优缺点，使用这些传统引文数据库的同时，引入了Google数据作为补充，使用了Google Scholar和Google Books引文指标以及基于Google Scholar的h指数。

文件3和文件4中的指标比较全面，但同时也存在某些指标数据不易获取（如商业活动收入），某些指标数据可能不真实（如Altmetrics指标数据）等问题，因此具体使用时应根据评价目的、评价对象、数据可获取性等因素对指标进行有选择性地删减。

3 ACUMEN评价方法特点

ACUMEN评价方法作为欧盟项目的一个研究成果，历经5年，其研制过程也是众多学者潜心研究的过程。透过其研制过程及各阶段研究成果，可发现该评价方法具有以下特点。

31 研究人员在评价过程中扮演着重要的角色

ACUMEN项目组一改传统评价过程中研究人员仅仅是评价对象的做法，而是让研究人员在评价过程中发出自己的声音，具体表现在：（1）研究人员可以在文件1的“陈述”部分以“故事”的形式讲述自己所做的主要学术成绩、贡献及社会经济价值等；（2）研究人员可以在其他指标部分辅以说明性或证据式的描述。因此，该方法中研究人员通过示例或描述来证明自己的成绩或技能，而不是仅仅列出成果和活动清单。通过研究人员的参与，有助于评估者了解隐藏于数字背后的东西。

32 多维度、多角度综合评价研究人员

研究人员除了从事科研活动有直接的科研产出如论文、图书等，还有其他职责或活动，如教学、准备教学材料，也会接受媒体采访，也会参加企业活动或者参加其他同行评议活动。ACUMEN项目组从科研活动的社会经济功能出发，从研究人员的专长、成果产出及影响力3个维度综合衡量。其中每一个维度里又包含多方面，而不仅仅是学术，如影响力就包括学术、社会、经济、教学等多方面。指标选取方面既有诸如引文数这样的定量指标，也有获奖、受邀讲话等之类的定性指标。因此，该方法试图全方位、多视角地反映出研究人员学术、社会、经济等方面的综合价值。

33 评价指标体系的灵活性

ACUMEN研究人员评价指标体系可谓是一个针对研究人员的文件包，但是不同学科领域研究人员从事的活动相差巨大，研究形式各异。人文社会科学领域图书扮演着重要角色，而工程学领域和应用科学领域会议论文和技术参考作品起重要作用[16-17]。如果每位研究人员都填写统一的文档表格，则不仅浪费时间精力，也可能不适用。因此，ACUMEN项目组建议不同学科、不同领域、不同目的的评估者可以依据本身的特点，对评价指标体系进行不同程度有针对性的删减，仅保留能体现评价需求的重要指标，以减少研究人员的填写压力，适应具体的评价需求。

34 有相应的指南用以指导评价

ACUMEN项目组在设计评价指标体系的同时，创建了评价指南，指南里不仅解释了各种数据源的优缺点，还解释了各种定量方法和指标，指出各种方法和指标的优势及不足，指导评估者根据其评价目的、所在学科领域选择适用的评价指标，并通过具体评价样例详细说明如何利用此评价方法开展评价。该指南不仅有利于评估者和研究人员深入了解此套评价方法，有助于评估者开展评价，也有利于研究人员参与到评价过程。

4 启 示

ACUMEN作为欧盟第7框架计划的一个重要部分，其参与成员机构多达9个，其中包括多个从事计量学和科学评价的重要研究机构。因此，作为其研究成果的ACUMEN研究人员评价方法也体现了欧盟研究人员评价发展的最新趋势。ACUMEN评价方法对于我国研究人员评价，甚至于科研评价实践具有一定的启发意义。

41 扩展研究人员评价内容、构建多维度的评价体系 评价是指从人类活动的行为中发现行为的意义与价值，揭示价值内涵的一种方法与手段，实质是人把握被评价对象对人类社会发展、经济发展以及人类生存环境的改善等方面产生的意义与价值这样一种观念性活动[18]。由此可推，研究人员的评价就是对研究人员从事学术活动对人类社会发展、经济发展以及人类生存环境的改善等方面所产生的意义和价值做出一种观念性的判断。因此，研究人员的评价体系中应纳入社会价值或公共价值、经济价值之类的考量指标。作为科研活动主体的研究人员并不是仅仅从事发表论文、出版图书等直接的科研活动，也有其他职责和活动，如教学、接受媒体采访、参加企业活动或者参与其他同行评议活动。这些活动都是重要的评价内容，因此，简单以论文、专利、项目和经费作为主要评价内容的学术评价体系已不适用，需要构建全面衡量研究人员的多维度评价体系，除评价研究人员的学术成绩外，还要测度研究人员教学、技术、经济、社会和文化方面的影响或价值。

42 引入网络计量学和Altemetrics

随着网络在社会生活各方面的渗透和普及、Web20技术的推广，各种网络平台与社交媒体平台正在改变着研究人员的科研模式和学术交流模式，以及科研成果的传播与扩散方式。传统文献数据库已经无法满足目前信息技术环境下的科学评价，网络计量指标与Altemetrics指标的加入成为必然。网络计量指标在测度某些学术影响力（如学术成果的网络影响力）或教学影响力（如网络课件的利用情况）时具有优势，而Altemetrics在测度社会影响力时更具优势。

43 分类评价、分学科评价

分类、分学科是评价工作的基本原则。实际上，即使分类评价，同一类里，如基础研究中不同学科也存在较大差异。评价中的很多指标（如引用）学科差异明显，因此，在考虑学科差异性基础上，充分考虑学科特点，有选择性地制定适用于本学科的评价标准，避免“一刀切”现象。2013年底，教育部在《教育部关于深化高等学校科技评价改革的意见》中也曾指出“实施分类评价”，“按照基础研究、应用研究、技术转移、成果转化等不同工作的特点”建立科学合理、各有侧重的评价标准[19]。

44 鼓励研究人员参与评价

目前我国科研评价过程中，研究人员作为评价客体一直处于被评价的位置，几乎不参与到评价过程。其实，评价与被评价应该是一个互动的过程，评估者可能会对学科科学活动缺乏深入了解，在评价标准制定的过程中通过与研究人员的沟通交流能够选取更适用于本学科、更易被研究人员接受的指标，这样也促使研究人员在评价之初就对评价方法和指标有个感性认识，减少评价过程中的抵触情绪。同时，研究人员参与评价还可通过提供定量数据的同时辅以描述性的文字作为定量数据的证据支撑，为评估者提供参考。

45 公开评价指标体系并制定使用指南

我国研究人员评价体系多是由科研管理者制定，研究人员对指标体系虽有一定了解，但不并深入，很多科研人员不清楚指标的具体含义，因此出现了研究人员要求检索机构检索其论文“影响因子”的现象。科研管理部门应在制定好评价指标体系后，辅以使用指南，用以解释需要的数据源、指标含义、指标的使用范围等，并将这些材料公布于众，真正做到公开、公平、公正地评价，让研究人员了解具体评价方法的同时也能起到研究人员自评的效果，促使最后评价结果的可靠性。

参考文献

[1]Lee C J，Sugimoto C R，Zhang G，et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology，2013，64（1）：2-17.

[2]王炼.科学计量学应用于科研人员绩效评价的挑战[J].科学学与科学技术管理，2007，28（4）：165-168.

[3]王志军，郑德俊.p指数运用于人才评价的有效性实证研究[J].图书情报工作，2012，56（14）：93-97.

[4]韩毅，夏慧.时间因素视角下科研人员评价的Pt指数研究[J].中国图书馆学报，2015，（6）：73-85.

[5]Bornmann L.Do altmetrics point to the broader impact of research？An overview of benefits and disadvantages of altmetrics[J].Journal of Informetrics，2014，8（4）：895-903.

[6]Moed H F，Halevi G.Multidimensional assessment of scholarly research impact[J].Journal of the Association for Information Science and Technology，2015，66（10）：1988-2002.

[7]Konkiel S，Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology，2013，39（4）：22-26.

[8]ACUMEN about[EB/OL].http：∥research-acumen.eu/about，2015-01-25.

[9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http：∥cordis.europa.eu/result/rcn/157417en.html，2015-01-25.

[10]ACUMEN Report Summary-Final Report Summary[EB/OL].http：∥cordis.europa.eu/result/rcn/157423en.html，2015-01-25.

[11]ACUMEN Portfolio[EB/OL].http：∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf，2015-01-25.

[12]Van der Weijden I，Calero Medina C.Gender，Academic Position and Scientific Publishing：a bibliometric analysis of the oeuvres of researchers：International Conference on Science and Technology Indicators，Leiden，2014[C].

[13]Neylon C，Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol，2009，7（11）：e1000242.

[14]Bar-Ilan J，Haustein S，Peters I，et al.Beyond citations：Scholars visibility on the social Web：the 17th International Conference on Science and Technology Indicators，Montreal，Canada，2012[C].

[15]Kousha K，Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B，Sugimoto C R.Beyond Bibliometrics：Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press，2014.

[16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：135.

[17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland：Springer Netherlands，2005：133-134.

[18]潘云涛.科技评价理论、方法及实证[G].北京：科学技术文献出版社，2008：1.

[19]教育部关于深化高等学校科技评价改革的意见[EB/OL].http：∥www.gov.cn/gzdt/2013-12/20/content2551954.htm，2015-01-25.

（本文责任编辑：郭沫含）