多维度评价科技工作责任主体信用模型与算法

唐印浒,刘峻,王淋,孙辉,赵凤娇,钟诚

(广西大学 计算机与电子信息学院，广西 南宁 530004)

0 引言

中国科学技术协会、教育部等多部门共同发布的《关于加强我国科研诚信建设的意见》(国科发政〔2009〕529号), 将科研诚信定义为“科研诚信主要指科技人员在科技活动中弘扬以追求真理、实事求是、崇尚创新、开放协作为核心的科学精神, 遵守相关法律法规, 恪守科学道德准则, 遵循科学共同体公认的行为规范”。

2018年5月，中共中央办公厅、国务院办公厅印发了《关于进一步加强科研诚信建设的若干意见》，对进一步推进科研诚信制度化建设做出部署。近年来，各级地方党委政府也发布了有关科研诚信的政策文件，强调依托科技信息系统建立科研信用信息平台，对各类责任主体的科研信用行为记录进行信息化管理，作为科技管理决策的参考依据；实行科研信用承诺制度，实行科研信用评价制度，实行科研信用信息共享应用制度，以及实行失信行为记录动态更新制度。

在学术界，国内外学者对建设科研信用评价进行了研究。文献[1-3]提出需要建立科研诚信数据库、加强立法、发挥社会舆论监督作用、完善科研信用评价指标体系、加强高校之间以及高校与上级管理部门之间的沟通协调等有针对性的对策。《柳叶刀》杂志发表社论称：学术奖励应以质量评估为核心，科研信用评价需有透明度和问责机制[4]。为解决科研诚信问题，不但需要不同机构出台完备的政策，更需要科研人员充分认识学术不端行为的危害，还需要监管机构的人员具备良好的素质[5]。文献[6]提出构建健全预防机制，开展诚信教育，完善以质量和贡献为导向的科研评价体系，加强监督作用，建立科研不端的惩治问责机制。文献[7]提出应提高科研过程中的数据开放性和透明度,并对数据科学评价，以提高科学严谨性，构建科研信用良好环境。文献[8]提出科研信用评价指标应基于信用主体(科研单位和科研人员)的行为结果，遴选信用要素构建指标体系，并提出应加快科研信用信息支撑系统的建设。文献[9]借助结构-过程-结果理论(structure-process-outcome, SPO)，从科研能力、科研过程与科研结果三方面构建项目负责人信用评价指标。

科研信用评价系统建设是一项新的系统工程。研究多维度的科研诚信评价数学模型及信用评价算法等方面的工作很少。现有的信用评价模型大多针对单个部门的数据及单个主体进行研究，较难全面地评价机构、个体的信用情况。

本文采取定性及定量结合的方法，研究建立科研活动全过程中的科技工作责任主体科研信用的多维度评价数学模型，设计实现面向项目申报人员/承担人员、项目申报单位/承担单位、评审评估咨询专家、科技管理服务机构4个对象的科研信用评价算法，并通过实验评测其性能。

1 评价模型

层次分析法(analytic hierarchy process, AHP)把复杂问题中的各种因素通过划分为相互联系的有序层次，通过两两比较把专家意见和分析者的客观判断结果结合起来，将同一层次元素(参数/指标)两两比较的重要性进行定量描述；然后，利用数学方法计算反映每个层次元素的相对重要性次序的权值，通过所有层次之间的总排序计算每个元素的相对权重并排序[10]。

下面以“项目申报人员/承担人员”主体为评价对象，阐述建立科研信用评价数学模型的方法与过程：

① 建立项目申报人员/承担人员的科研信用评价正向指标的层次模型。

根据科研信用评价实施细则，按照项目申报人员/承担人员的科研信用评价计分与正向评价指标(项目承担情况R_Proj、守信行为激励R_CreditI、学位R_Degree、职称R_Title)之间的相互关系，构建项目申报人员/承担人员信用评价正向指标的层次模型Researcher_PIHM见表1。

表1 科研信用评价正向指标层次模型

② 构建项目申报人员/承担人员的信用评价正向指标的判断矩阵。

为科学合理地计算正向评价指标(R_Proj、R_CreditI、R_Degree、R_Title)的权重大小，构建项目申报人员/承担人员信用评价正向指标的判断矩阵R_PIMatrix。该矩阵由正向评价指标之间两两相对于“项目申报人员/承担人员科研信用评价正向指标计分R_PIS”的重要程度组成。通过向科技行政管理部门专家、项目申报人员、评审评估专家以及科技管理服务机构工作者等相关人员进行充分调查采样，获得4个正向评价指标两两之间的重要程度排序次序，然后依据层次分析法中的标度法，计算得到判断矩阵R_PIMatrix中的各项值见表2。

表2 科研信用评价正向指标判断矩阵

③ 生成项目申报人员/承担人员的信用评价正向指标的特征向量。

为了求解项目申报人员/承担人员的科研信用评价正向指标的权重，采用层析分析法中的特征向量来描述判断矩阵R_PIMatrix中指标的重要程度，其中特征向量的每一行表示矩阵R_PIMatrix中对应每个指标的权重。

通过采取矩阵变换方法，求解得到判断矩阵R_PIMatrix的最大特征值R_λmax，以及对应的特征向量R_W={r_w1r_w2r_w3r_w4}T。

为了将特征向量的数据映射到0～1范围之内的值，进行规范化处理，将矩阵R_PIMatrix的特征向量R_W归一化为

(1)

④ 对项目申报人员/承担人员的信用评价正向指标进行一致性检验。

为了使得到的特征向量R_W更加准确合理，依据层次分析法对判断矩阵R_PIMatrix进行一致性检验，定义R_CI作为衡量判断矩阵偏离一致性的指标，R_CI=(R_λmax-n)/(n-1)，其中n为矩阵的阶数；定义随机一致性比率R_CR=R_CI/RI，其中RI为随机一致性指标。随机一致性指标RI可查表3获得。

表3 科研信用评价正向指标一致性检验随机一致性指标RI

对于项目申报人员/承担人员的科研信用评价正向指标的层次模型，n=4，RI=0.89。

利用随机一致性比率R_CR对判断矩阵R_PIMatrix进行一致性检验：若R_CR<0.1，则R_PIMatrix满足一致性检验要求(即特征向量R_W作为R_PIHM中指标的权重)；否则，调整R_PIMatrix的赋值，直至满足一致性检验为止。

⑤ 生成项目申报人员/承担人员的科研信用评价数学模型。

R_Credit=R_BCredit+R_PIS+R_NIS

⑥ 项目申报人员/承担人员的科研信用评价等级R_Grade确定。

若项目申报人员/承担人员的学术信用指标、一般失信行为指标、严重失信行为指标、司法信用指标出现一票否决的情形，则其R_Grade评为“C”等级。

类似地，可以构建项目申报单位/承担单位、评审评估咨询专家、科技管理服务机构的信用评价模型。

2 数据库表结构

设计4个科研信用评价对象的数据表结构：

① 项目申报人员/承担人员科研信用评价数据表结构由基础信用、项目承担情况、守信行为激励、学位、职称、学术信用、一般失信行为、严重失信行为、金融信用、税收信用、司法信用等属性组成。

② 项目申报单位/承担单位科研信用评价数据表结构由基础信用、项目管理和服务能力、条件保障及科研能力、信息真实性、守信行为激励、一般失信行为、严重失信行为、金融信用、税收信用、司法信用等属性组成。

根据教育部教指委提出的机械类专业机械设计课程教学基本要求，以及应用型人才应具备的知识、能力、素质要求，提出表1所示的《机械设计》课程教学质量目标.

③ 评审评估咨询专家科研信用评价数据表结构由基础信用、评审年限及次数、专家使用评价、项目评审结果、守信行为激励、资质证书、学位、职称、学术信用、一般失信行为、严重失信行为、金融信用、税收信用、司法信用等属性组成。

④ 科技管理服务机构(专业机构、中介服务机构)科研信用评价数据表结构由基础信用、资质证书、专业和规范、服务效果、守信行为激励、一般失信行为、严重失信行为、金融信用、税收信用、司法信用等属性组成。

3 评价算法

本文设计实现了“项目申报人员/承担人员”“项目申报单位/承担单位”“评审评估咨询专家”“科技管理服务机构”4个对象的科研信用评价算法。下面以项目申报人员/承担人员科研信用评价算法(researcher-credit-evaluation，简称RCE)为例，给出算法的形式描述。

算法1RCE

输入：科研信用数据库表中各指标的值、单位矩阵E；

Step 1：从项目申报人员/承担人员的科研信用数据库表中读取其基础信用指标计分R_BCredit、正向指标判断矩阵R_PIMatrix、项目承担情况计分R_Proj、守信行为激励计分R_CreditI、学位计分R_Degree、职称计分R_Title、学术信用扣分R_ACredit、一般失信行为扣分R_WeakNT、严重失信行为扣分R_SerNT、金融信用扣分R_FCredit、税务信用扣分R_TCredit和司法信用扣分R_LCredit的数据；

Step 2：生成随机一致性指标数组RI={0，0，0.59，0.89，1.12，1.26，1.36，1.41，1.46，1.49，1.52，1.54}；

Step 3：由正向指标计分数据构造正向指标分值向量R_PIV；

Step 4：由负向指标扣分数据构造负项指标分值向量R_NIS；

Step 5：计算矩阵R_PIMatrix的特征值λ1,λ2,…,λn以及最大特征值R_λmax，n为矩阵的阶数；

Step 6：计算矩阵R_PIMatrix的最大特征向量R_W；

Step 7：对最大特征向量R_W归一化处理；

Step 8：计算衡量判断矩阵偏离一致性的指标R_CI；

Step 10：当R_CR≥0.1时，调整R_PIMatrix的赋值，重复步骤step 5～step 10，直至其满足一致性检验为止；

Step 11：当R_CR<0.1时，计算正向指标计分值R_PIS、负向指标扣分值R_NIS和信用总得分R_Credit；

Step 12：若学术信用、一般失信行为、严重失信行为或司法信用出现一票否决情形，则输出其科研信用评价等级为“C”，算法结束；

Step 13：当R_Credit≥90时，则输出其科研信用评价等级R_Grade为“AAA”；当80≤R_Credit<90时，则输出R_Grade为“AA”；当70≤R_Credit<80时，则输出R_Grade为“A”；当60≤R_Credit<70时，则输出R_Grade为“B”；当R_Credit<60时，则输出R_Grade为“C”；

输出：项目申报人员/承担人员的科研信用评价等级R_Grade。

项目申报人员/承担人员信用评价算法包括正向指标权重计算和信用等级计算。step 5和step 6的时间复杂度为O(m2)，其余步骤均为O(1)，其中m表示正向指标的个数。信用等级计算的时间和空间复杂度均为O(n)，其中n表示所有计分指标的总数。因此，科研信用评价算法的时间和空间复杂度分别为O(m2+n)。

4 实验

实验的硬件环境：计算机CPU4核、内存容量8 GB、带宽20 Mbps、硬盘容量20 GB。软件环境：操作系统Windows 10、开发框架SpringBoot2.2.6、开发工具IntelliJ IDEA X64、数据库Oracle Database 2019c。参照科技行政管理部门的业务和科技信息管理平台产生的科研信用数据，生成4个评价对象的科研信用数据集，其中项目申报人员/承担人员数据集含10 076条记录数据、项目申报单位/承担单位数据集含10 073条记录数据、评审评估咨询专家数据集含10 082条记录数据、科技管理服务机构(专业机构、中介服务机构)数据集含10 068条记录数据。

对这4个评价对象的所有记录进行算法测试，算法运行时间分别为13.499、8.342、15.480、8.139 s。表4至表7分别给出了运行信用评价算法对项目申报人员/承担人员、项目申报单位/承担单位、评审评估咨询专家、科技管理服务机构4个数据集中部分代表性记录计算得到的信用评价结果。

表4 项目申报人员/承担人员科研信用评价结果

表5 项目申报单位/承担单位科研信用评价结果

表6 评审评估咨询专家科研信用评价结果

表7 科技管理服务机构科研信用评价结果

通过对计算实验结果检验可知，4个算法运行获得的4个对象信用等级评价的准确率和召回率均为100 %，信用等级评价计算结果正确，均符合预期结果。

5 结论

本文的研究特色和新颖之处：基于科技行政管理部门的业务和科技信息管理平台产生的科研信用数据，有机结合其他部门、社会机构的信用数据，采取定性与定量结合的办法，对科技工作生命周期全过程中的4个主体责任对象，建立了多维度评价项目申报人员/承担人员、项目申报单位/承担单位、评审评估咨询专家、科技管理服务机构(专业机构、中介服务机构)的科研信用评价数学模型，设计实现4个评价主体的科研信用评价算法；算法运行效果好，具有应用价值。