科研人员信用评价指标体系研究

李艾丹，李春梅，杨思维

科研人员信用评价指标体系研究

李艾丹1，李春梅2，杨思维2

本文在对国内外信用评价相关研究的基础上，结合国家科技计划管理制度和政策，设计了一种科学、客观、可行的科研人员信用评价指标体系，并给出指标计算方法、数据采集和数据来源，通过AHP方法和专家打分法得出合理的权重值，利用YAAHP方法科学、快速地计算出权重，给予各指标的评价评分标准，采用国际上通用的十级评分等级进行评价，通过实证分析证明本文所采用的科研人员信用评价方法的可行性。

科研人员；信用评价；指标体系

1 引言

近年来，中国的科技投入总量逐年增加，2016年科学技术支出已达6568亿元，比2015年增长12%[1]。中国科研学者发表SCI论文数量也呈现出持续增长的趋势，2016年SCI收录的中国学者发表的论文共304054篇，是2006年的4.3倍，其中2526篇被选作ESI高水平论文[2]。2006—2016年，中国处于世界前1%的高被引论文为1.69万篇，占比12.8%，居世界第三位；近两年间，中国发表的论文被引用次数进入本学科前1‰的国际热点论文为495篇，占比18%，同居世界第三位[3]。在中国科研论文数量大幅增加的同时，也不时有学术和科研不端行为被披露出来，损害了国家和中国科研人员的声誉，凸显出中国的科研诚信环境建设亟待加强。

国内外对科研诚信并没有统一的定义，美国学术诚信研究中心将其定义为：即使在逆境中仍坚持诚实、信任、公正、尊重和责任这五项根本的价值观[4]。在科研诚信方面，中国正面临着一个巨大的难题[5]。科技计划是指一定范围内，行政主体为实现科技要素优化配置的一系列科技行动方案，所构成的相互联系、相互协调、相互促进的体系[6]。目前，中国针对国家科技计划实施中的不同主体(科研人员、项目承担单位、评审专家、从事项目管理和中介服务的机构等)的信用评价指标体系研究较少。

本文在对国内外科研人员信用评价情况调研的基础上，参考国家科技计划管理制度和政策，提出了科技计划科研人员信用评价指标体系，并给出评价指标计算方法。通过AHP方法和专家打分综合判断得出指标合理的权重值；利用YAAHP软件，科学、快速地计算出权重；设计了科研不端的一级指标作为减分项指标，强调科研不端行为对科研信用的重大影响；设置信用基数，以体现无业绩、无职称青年科研人员的基本信用。

2 科研人员信用评价指标

2.1 研究现状

信用评价研究在欧美等西方国家已有100多年的历史，发达国家推进信用管理的历程和经验表明，形成完整的信用评价体系的一个基本要件是能对相关主体进行公平、公正的信用评价[7]。中国信用评级方法研究发展较晚，可追溯到20世纪80年代末，主要运用于银行、金融、保险、个人消费等领域或行业，对于科研方面的信用评价指标体系研究仍处于探索阶段。

在西方发达国家，形成了大众诚信的全社会性信用文化，科研人员早已习惯和遵循这种信用模式。美、英、德、法、丹等欧美国家进行了有益的尝试，而美国国家科学基金会(NSF)的运作是典型代表[8]。围绕“人的行为”，NSF倡导科研诚信，预防、监测、调查、处理科研不端行为。建立了思路、工具、人员、组织卓越性4项指标，要求高效、诚信、多样化、有能力、有活力的人才队伍[9]。NSF设立了总监察长办公室(OIG)，下设调查办公室(OI)，以调查与其有关科学研究中的不正当行为[10]；2006年以来，科技部等部门在科研诚信方面频出重拳，2007年，科技部、教育部、中科院、中国工程院、国家自然基金委、中国科协6个部门建立了科研诚信建设联席会，指导全国科研诚信建设[11]。2016年3月，科技部、国家卫生计生委等十五个部委联合下发了《关于印发〈国家科技计划(专项、基金等)严重失信行为记录暂行规定〉的通知》，以达到加强科研信用体系建设，净化科研风气，构筑诚实守信的科技创新环境氛围的目的[12]。一些学者从如何建立抑制和惩处科研不端行为的法律规制角度进行了研究，张九庆认为有必要引入刑法规制来积极处理那些后果严重的科研不端行为，使用相关刑法手段配合行政处罚组成完整的法律规制来抑制科研不端行为的发生[13]。

为了提高科技计划项目的执行力度和完成质量，一些学者从参与科研人员的信用入手进行研究。徐华以“培养科技工作人员良好的守信与创新能力”为主要目的，提出“一评终评”以及“初评终评”两种评价方法。徐华设计的科技人员信用评价指标体系包括品格、能力和资源环境3个一级指标及个性、作风等14个二级指标，采用德尔菲法获取了指标权重[14]。李芳颂从性格品德、个人能力、资源条件三个方面建立评价指标模型[15]。吕跃华采用探索性因子分析、信度分析等方法对科研人员信用评价指标进行了实证研究[16]。

本研究针对国家科技计划实施中的不同主体，研究科研信用管理相关的指标体系和评价方法，本文提出的科研人员信用评价指标体系，主要依据的是国家科技计划相关管理制度与政策法规，目的在于在实际评价运用时，使得评价指标与相关规定中的要求及定义相一致，增加指标体系的可用性，指标体系的设计也参考借鉴了国内外关于科研信用评价体系的研究成果。

2.2 指标体系

科研人员信用评价指标的设计主要依据国家科技计划相关管理制度与政策法规，在国内外关于科研信用评价体系研究成果的基础上，结合科研项目立项、实施、验收等过程，采用专家调查、问卷、访谈等多种方法，最终确立了科研人员信用评价指标体系，包括一级指标为3项，二级指标为6项，三级指标为19项，如表1所示。其中“关联信用”指标可以根据具体情况有所增减，但整个指标权重、打分标准、计算公式和评价等级的方法和思路是一致的。

信用是针对科研不端行为而言的，存在不端行为即为失信。因此，本文中科研人员信用评价指标体系一级指标中的科研不端为减分项。关于科研不端行为的信用指标设计，参考了学者张九庆[13]和董兴佩[17]的论文研究成果，为避免“行政法规制对严重的违规者来说，不具备较强的警示和惩戒作用，达不到以儆效尤的效果[13]”，通过调整减分项权重，当受评对象因科研诚信受到3次以上行政处罚即为信用极差，对受到5次以上行政处罚或犯有严重科研不端行为、构成犯罪前科的受评对象，直接判定其无信用。

2.3 指标数据采集和来源

科研人员信用信息的采集应确保其客观性、准确性和合理性，保障信息安全，不涉及个人隐私信息，任何机构、组织和个人不得以科研信用信息采集的名义收集信息，达到商业获利或侵害他人隐私的目的。

为贯彻国家关于加强科技计划信用管理的精神，提高政府科技资源分配的公正性和有效性，提高国家科技计划相关主体的信用意识与信用水平，各级行政主体在实际项目管理中应结合具体科技计划项目，选取科技项目申报书、任务书、验收材料等管理过程中具有代表性的资料和数据作为评价对象，通过收集、整理、分析等，对科研人员信用进行评价，同时可以要求科研人员所在单位等相关单位上报数据或进行数据交换，使科研信用评价的数据来源更加客观公正。

中介机构对所采集的科研人员信用信息必须认真核实，未经核实或核查无实据的信用信息不得作为信用评价依据[18-19]。科研人员信用数据来源如表2所示。

表2 科技计划科研人员信用数据来源

3 评价指标权重和评价标准

3.1 评价指标权重获取方法

利用AHP(Analytic Hierarchy Process)法，通过构建判断矩阵来获取评价指标的权重。AHP法是美国运筹学家T.L.Saaty最早提出的一种多目标评价决策方法，将复杂的问题分解成各个组成因素，又将这些因素按支配关系分组形成递阶层次结构，通过两两比较的方法确定层次中诸因素的相对重要性。

当以上一层次某因素作为比较准则时，可用一个比较标准aij来表述某一层次中第i个元素与第j个元素的相对重要性的认识，aij取正整数1～9及其倒数，取值规则如表3所示。

表3 判断矩阵取值规则

用aij表示判断矩阵A—B的比较标准，构成判断矩阵(aij)，用bij表示判断矩阵B—C的比较标准，构成判断矩阵(bij)。

得到评价指标的权重：(wi,wi,…,wm)，m=1,2,…,11。

令wj为减分项评价指标的权重，j=12,13,…,19。每一层次所含各因素均可用上一层次的一个因素作为比较准则来做相互比较。比较方法和取值规则与正向评价指标相同。得到评价指标的权重：(wi,wi,…,wj)，j=12,13,…,19。

本文选取50名科技管理领域相关专家，利用AHP方法，通过矩阵计算得出指标权重。利用YAAHP进行矩阵权重的计算，YAAHP是以层次分析法和模糊评价法为基础的综合评价辅助软件，为利用层次分析法和模糊综合评价的决策过程提供模型构造、计算和分析等方面的帮助。

通过YAAHP录入数据，或通过由YAAHP导出的专家调查表填报两两指标比较的调查问卷，最终在YAAHP中检查所有专家判断矩阵的一致性，计算得出指标权重，如表1所示。

在计算权重时，实现科研信用层次模型绘制、判断信用矩阵生成及两两比较数据输入、判断矩阵一致性比例及排序权重计算、不一致判断矩阵自动修正、残缺但可接受判断矩阵的计算、残缺且不可接受判断矩阵的自动补全、总目标或子目标排序权重计算、根据排序权重的加权分数计算、灵敏度分析、群决策、群决策调查问卷、群决策专家数据录入、专家数据检查、群决策计算前数据处理、导出计算数据、模糊综合评价等多种功能，该方法可应用于其他领域的决策分析工作中。

3.2 评价标准

科研人员信用评价指标标准值的分值一般由评价机构组织专家评审会议，汇总得出评价结果。通常要选取连续几年的数据对其进行综合评价，只有对连续几年的综合考核，才能反映受评对象的发展趋势。

采用定量指标标准值的赋值方法和定性指标的评价标准，其中定量指标标准值的赋值方法包括递进平均法和信用比例定分法。递进平均法采用多步定界平均的方式，分别确定各指标的优秀、良好、平均值和较差等不同档次的标准值。比例定分法采用评价指标的行业平均值或全国平均值作为标准值，然后按照与标准值的偏离距离确定一定的百分比，以此计算指标分值。指标评分的标准值主要从《中国科技统计年鉴》和《国务院部门属社会公益类科研机构改革与发展情况调查统计报告》相关数据统计得出。

(1)职称及从事研究工作C1评分标准:

标准值高级职称(或工作年限≥20)中级职称(或10≤工作年限<20)初级职称(或3≤工作年限<10)无职称(或0≤工作年限<3)标准系数10[08，10)[06，08)[0，06)

(2)承担国家级项目C2评分标准:

标准值项目数≥2015≤项目数<208≤项目数<150≤项目数<8标准系数10[08，10)[06，08)[0，06)

(3)专业学术机构任职C3的评分标准:

标准值标准系数在全国性专业学会或专家委任主要领导职务。10在全国性专业学会或专家委任非主要领导职务，或在省级专业学会或专家委任主要领导职务。[08，10)在全国性专业学会或专家委任一般职务，或在省级专业学会或专家委任非主要领导职务。[06，08)未在全国性或省级专业学会、专家委任职。[0，06)

(4)专利申请及授权C4评分标准：

标准值专利申请及授权量≥6(或专利授权量≥4)4≤专利申请及授权量<6(或2≤总专利授权量<4)2≤专利申请及授权量<4(或专利授权量=1)0≤专利申请及授权量<2标准系数10[08，10)[06，08)[0，06)

(5)获得省部级及以上科技奖励C5评分标准:

标准值省部级及以上奖励≥6(或国家级奖励≥3)4≤省部级及以上<6(或国家级奖励=2)2≤省部级及以上<4(或国家级奖励=1)0≤省部级及以上<2(无国家级奖励)标准系数10[08，10)[06，08)[0，06)

(6)发表论文及出版专著C6评分标准:

标准值论文及专著数≥77(或专著数≥6)49≤论文及专著数<77(或4≤专著数<6)30≤论文及专著数<49(或1≤专著数<4)0≤论文及专著数<30标准系数10[08，10)[06，08)[0，06)

(7)科研项目完成情况C7评分标准：

标准值标准系数承担的科技计划项目全部按照预期目标完成，达到预期的目标。10承担的科技计划项目完成率在95%(含)以上，较好地达到预期的目标。[08，10)承担的科技计划项目完成率高于90%(含)、低于95%，基本达到预期的目标。[06，08)承担的科技计划项目完成率低于90%，基本达到预期的目标。[0，06)

(8)科研项目履约C8评分标准:

标准值项目履约=100%90%≤项目履约<100%80%≤项目履约<90%项目履约<80%标准系数10[08，10)[06，08)[0，06)

(9)个人贷款及偿还C9评分标准:

标准值不良信用次数=00<不良信用次数≤22<不良信用次数≤4不良信用次数>4标准系数10[08，10)[06，08)[0，06)

(10)个人纳税C10评分标准:

标准值不良信用次数=0不良信用次数=1不良信用次数=2不良信用次数≥3标准系数100806[0，06)

(11)合同履约C11评分标准:

标准值合同履约=100%90%≤合同履约<100%80%≤合同履约<90%0≤合同履约<80%标准系数10[08，10)[06，08)[0，06)

(12)篡改剽窃C12评分标准:

篡改剽窃标准系数=因篡改剽窃受到行政处罚的次数

(13)抄袭作假C13评分标准：

抄袭作假标准系数=因抄袭作假受到行政处罚的次数

(14)违规署名C14评分标准：

违规署名标准系数=因违规署名受到行政处罚的次数

(15)其他行政处罚C15评分标准：

其他行政处罚标准系数=因其他科研不端受到行政处罚的次数

(16)盗用经费C16评分标准：

盗用经费标准系数=因盗用经费受到刑事处罚次数

(17)学术诈骗C17评分标准：

学术诈骗标准系数=因学术诈骗受到刑事处罚次数

(18)重大危害C18评分标准：

重大危害标准系数=因科研活动造成重大危害受到刑事处罚次数

(19)其他刑事处罚C19评分标准：

其他刑事处罚标准系数=因其他科研不端受到刑事处罚次数

4 综合得分和评价等级

4.1 综合得分

科技计划科研人员信用评价综合得分的计算公式为：

式中，N为科研人员信用评价综合得分；n为信用基数。引入信用基数以体现无业绩、无职称科研人员的基本信用；本文中选取n=50进行计算，实际应用中可根据具体科技计划项目特点进行调整；wi为科研人员信用指标三级指标中第i项指标的权重；ci为科研人员信用指标三级指标中第i项指标的标准系数。

4.2 评价等级

采用符合国际通用的10级标识并自动累计浮动确定评价等级，级别的划分如表4所示。

表4 科技计划科研人员信用等级标识

5 科研不端行为减分实例

2017年4月21日，国际知名出版商斯普林格(Springer)下属期刊《肿瘤生物学》(Tumor Biology)公布的107篇科研论文因中国作者编造审稿人和审稿意见而被撤稿的消息，引起国内外的广泛关注，给中国学术界的声誉造成严重的负面影响[20]。由国家科技部、教育部等部委组成的联合工作组进行了调查。根据调查结果，科技部暂停了21名涉事作者参加的20个国家科技计划项目(课题)的立项程序；国家自然科学基金委对与撤稿论文相关的51个项目终止了项目评审；工程院暂停了1名涉事作者的院士候选人资格[21]。

根据本文的科研信用评价指标体系，以上科研不端行为可以归类为抄袭作假和违规署名两项负分指标，见表5。

科研人员由于科研不端行为被减去20分后，即使具有丰富的科技计划项目研究经历，很强的项目组织实施能力和研究开发能力，其信用等级最高也只能达到信用一般(BB)。以体现出该不端行为对科研信用的严重影响。

表5 科研不端行为减分实例

6 结语

本文设计了一种科学、客观、可行的科研人员信用评价指标体系，并给出指标计算方法、数据采集和数据来源，通过AHP方法和专家打分法得出合理的权重值，利用YAAHP方法科学、快速地计算出权重，给予各指标的评价评分标准，采用国际上通用的十级评分等级进行评价，通过实证分析证明本文所采用的科研人员信用评价方法的可行性。随着指标体系、评价方法研究的进一步深入和完善，科研人员信用评价指标体系将得到普及和使用，成为科研信用评价体系建设中重要的科学评价工具。该指标体系作为一种客观可行的评价决策工具，也可以用于其他领域科研主体信用评价的参考。

[1]科技部.2017年全国科技工作会议在京召开[EB/OL].http://www.most.gov.cn/ztzl/qgkjgzhy/2017/2017tpxw/201701/t20170110_130385.htm,2017-01-10.

[2]LetPub编辑科学网.2016年中国高校及科研院所发表SCI论文排名情况[EB/OL].http://blog.sciencenet.cn/blog-1232242-1032041.html,2017-02-07.

[3]科技日报.中国论文“高被引”“热点论文”均冲入世界前三[EB/OL].[2016-10-13].http://digitalpaper.stdaily.com/http_www.kjrb.com/kjrb/html/2016-10/13/content_351212.htm.

[4]Final report to ESF and ORI：First World Conference on Research Integrity；Fostering Responsible Research[EB/OL].2017-05-12.

[5]QIU J.Safeguarding research integrity in China[J].National science review,2015,2(1):122-125.

[6]徐建国,吴贵生.国家科技计划与地方科技计划关系研究[J].中国科技论坛,2004(5)：13-17.

[7]李丽亚,毕京波,宋扬.关于建立我国科技信用评价系统的几点思考[J].中国科技论坛，2006(5):47-51.

[8]曾原.国内外科研信誉管理研究综述[J].图书与情报,2008(2):26-30.

[9]FY2005 performance and accountability report[EB/OL].http://www.nsf.gov,2005-11-15.

[10]Research Misconduct[EB/OL].[2007-06-29].

[11]科技部等六部门联手强化科研诚信建设[EB/OL].http://news.xinhuanet.com/tech/2007-01/18/conten_5622384.htm,2007-02-02.

[12]科技部.国科发政(2016)97号文[EB/OL].http://www.most.gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/gfxwj2016/201604/t20160407_125044.htm,2016-03-25.

[13]张九庆.我国科研不端行为的法律规制：从行政法到刑法[J].山东理工大学学报(社会科学版),2012,28(1):58-61.

[14]徐华.基于科技人员的信用评价模型设计[J].科学学与科学技术管理,2009,30(6):182-187.

[15]李芳颂.科技人员信用评价指标体系的构建研究[J].电脑知识与技术:学术交流,2016,12(5):134-135.

[16]吕跃华.科技人员信用评价指标体系的构建研究[J].特区经济,2014(9):182-185.

[17]董兴佩.中美科研不端举报人保护制度之比较[J].中国科技论坛，2016(10):155-160.

[18]赵锦华.依法采集和使用信用信息切实保障信用信息安全[J].南方金融,2013(5):11-13.

[19]国务院办公厅.征信业管理条例[EB/OL].http://www.gov.cn/flfg/2013-01/29/content_2323780.htm,2013-01-29.

[20]孙武.太丢人！中国学者集体欺骗国际医学期刊 被撤稿107篇论文[EB/OL].观察者网，http://www.guancha.cn/TMT/2017_04_21_404716.shtml,2017-04-21.

[21]科技部公布107篇论文撤稿调查结果：486人存在过错[EB/OL].观察者网，http://www.guancha.cn/Education/2017_07_28_420333.shtml,2017-07-28.

CreditEvaluationIndexSystemofScientificResearchPersonnel

Li Aidan1,Li Chunmei2,Yang Siwei2

(1.Institute of Scientific and Technical Information of China，Beijing 100038，China；2.Beijing Zhongjikehai Technology& Development Co.，Ltd，Beijing 100048，China)

Based on the researches on the credit evaluation index system at home and abroad，and combining with national science and technology project management rules and policies，this paper proposed a scientific，objective and feasible credit evaluation index system for the personnel who engage in national scientific and technological researches.The paper also gave the index calculation method and the data acquisition method and source.The evaluation was rated by the ten-grade scoring.The AHP and expert scoring methods were applied to obtain a reasonable weight value，and the YAAHP software was used to quickly calculate the weight and give the evaluation criteria of each index.Finally，the empirical analysis was taken to verify the feasibility of this credit evaluation method.

Scientific research personnel；Integrity evaluation；Index system.

中国科学技术信息研究所科研诚信建设项目“科研信用评价体系研究”(CRI2016002)。

2017-07-13

李艾丹(1984-)，女，北京人，博士，高级工程师；研究方向：信息管理与知识管理。

(1.中国科学技术信息研究所，北京 100038；2.北京中机科海科技发展有限公司，北京 100048)

G311

A

(责任编辑 刘传忠)