丁 颖
(无锡城市职业技术学院,江苏 无锡 214153)
系统知识缺失、信息资源政府垄断、体制内外智库发展不均衡导致当前我国智库决策资源配置效率和智库决策质量低下。高校智库作为高水平智库是推动社会发展的重要力量,在政信力和公信力上具有较强的影响力。《中共中央关于全面深化改革若干重大问题的决定》将“加强中国特色新型智库建设”作为建设目标[1]。教育部在《中国特色新型高校智库建设推进计划》中也明确指出:“高校智库应当发挥战略研究、政策建言、人才培养、舆论引导、公共外交的重要功能,应有计划地推进中国特色新型高校智库建设。”[2]
同行评议专家遴选是高校智库决策中专家遴选框架设计的重要应用。专家库的构建及专家遴选对评议结果的质量起到至关重要的作用。高校智库应当秉承“公平、公正、以人为本”的原则,积极探索专家遴选的合理方法,构建优质高效的多领域适用的专家遴选和排序模式。
高校智库作为我国四大智库之一,在推动决策科学化和提高治理能力方面起着重要的作用[3]。高校智库的优势在于集团队打造、机构建设、项目管理与平台发布于一体[4],能够为政府和社会提供智库产品,培育智库人才。美国是全球智库发源地、当今世界顶尖智库汇聚地[5],在研究重大战略问题和公共事务政策时,其高校智库通过社会关系网络、“旋转门”机制[6]、学术出版物等多种途径扩大其决策对政府决策层的影响力。
新型高校智库需要整合资源,要在特色、新型上下功夫。关于新型高校智库研究的出发点,中国教育智库以单一比较和一般性归纳的研究方法对教育政策及其方针的规划进行研究,忽略其经济社会发展的适切性[7]。智库决策要能够“跳出教育看教育”[8],发挥决策服务的功能,共同服务于区域教育现代化建设的大局,依照新型教育智库的立场来分析问题、解决问题。关于高校新型智库决策机制建设,孙鸿飞等人提出应当构建基于大数据驱动的决策支持系统、基于协同合作的决策咨询系统和基于多元化的决策评价系统,使高校智库对提高政府的决策水平和决策能力发挥更加重要的作用[9]。
高校智库拥有不同学科的专家,他们中的许多人长期从事某个领域问题的研究,积累了大量的相关数据,开展趋势性分析与研究具有明显的优势[10]。智库专家在新技术的支持下以一种全新的视角观察数据,以一种全新的态度、理念与方法来处理数据,可以有效加强教育决策咨询的可信度和科学性,并据此获取经济利益与社会价值[11]。
近年来,我国专家学者试图尝试用不同的方法及模型来为专家遴选提供支持。李江等人基于Web of Science期刊论文、中国博硕士学位论文、简历、网络新闻等组成的多源数据对专家的推荐标准进行研究,从专长吻合度、学术影响力与社会关联值三个角度构建了专家遴选、回避与推荐模型[12]。潘云涛等人构建了包括专家匹配子模块、抽取规则子模块、专家回避子模块、专家评价子模块、专家排序子模块在内的专家识别推荐模块技术框架[13]。刘宝等人采用BP神经网络方法建立了专家遴选模型,可以有效减少人为因素的影响,以满足专家遴选的要求[14]。
综上所述,高校智库的决策支持功能已得到社会的广泛认同,其学科专长优势有助于提高智库决策的综合水平和决策的影响力。新型高校智库决策机制的建设亟须基于大数据驱动的决策支持系统的构建。本文基于该理念,对高校智库决策过程中的专家遴选标准化流程进行深入研究和设计,构建多目标决策的专家遴选框架结构,整合结构化的信息分析及诊断平台,推动智库数据转化决策结果,为同行专家遴选及排序提供可行性智力支持。
建设我国高校智库必须充分利用信息技术和大数据资源,以提高智库的信息资源保障水平,保证决策产品的质量。现各地建立各类同行评议专家库的方法基本以单独采集信息建库并定期维护的方式进行。信息源多来自各个学校几年一个周期的自主申报。采集信息内容少,专家库的完整性和实时性均得不到保证。该方式下的专家遴选也只能筛选出“大同行”,即从事一级学科的学者群体,仅具有科学共同体的特征,很难解决同行评议中因专家判断差异导致的“非共识”性问题。而这些“大同行”专家也无法在一些专业性要求较强的项目中对学术质量、专业建设等方面的内容做出精准的判断。美国宾夕法尼亚大学教授詹姆斯·麦克甘在谈到中国智库时说:“如果要成为有效的、有益的智库,比获得资金更重要的是获得数据。”[15]全国教师管理信息系统是高校智库拥有的覆盖面最广、信息最全的教师信息库,也是高校智库可以整合和利用现有资源的一个重要载体。
根据国家教育信息化工作总体部署,教育部在2013年完成了全国教师核心数据库建设和教师基础信息管理与业务管理系统的开发。2016年,该系统在试点成功的基础上向全国推广部署,为全国每一名教师建立电子档案,为教育管理、绩效提升提供有益的数据支持。因高校、中职、中小学、幼儿园的层次及实际不同,系统在模块设计上略有差异。其中高校端的集合信息对高校智库决策专家判别具有重要的指导作用,模块信息中有很多内容可以详细反映专家的基本情况、学科知识情况、奖惩和考核情况等。系统也可以及时反映教职工的入职、离职、调动、长病假和死亡等状态,并实现全国联网。这为专家库的构建和专家遴选提供了便利及可能,同时也可以有效弥补传统专家库建库方式在完整性、动态性方面的缺陷,并能识别筛选具有相同或相近的研究方向的小型的、有凝聚力的学者群体,即“小同行”[16]。
智库决策,因其决策事项的复杂性、决策依据的综合性、决策过程的公正性和决策结果的导向性,需要在决策方式和决策流程上多方面综合考量。同行专家评议,这一高校智库决策应用结果的科学性必须依照多目标决策的方法进行,需要建立一个全面的专家遴选框架结构。全国教师管理信息系统中的教师核心信息指标是统一规划的。高校端采集模块主要包括基本信息、学习经历、工作经历、岗位聘任、专业技术职务聘任、年度考核、教师资格、师德信息、教育教学信息、教学科研成果信息、教学科研获奖信息、入选人才项目信息、技能及证书信息等。各省还可以基于教师系统开发其他业务管理功能。这同时也为优化模块、改进工作和创新发展提供了可能。基于对系统模块的分析,将专家遴选的框架分为学术标准框架和道德标准框架,同时分别提取高校端中不同模块的信息作为专家遴选的信息来源。以项目评审活动为例,设计具体框架(见图1)。
图1 基于全国教师管理信息系统的专家遴选框架结构图
项目评审的质量主要取决于同行评议专家的专业程度及学术水平。对全国教师管理信息系统中的相关信息进行拆解,结合评审项目,可将专家遴选的学术标准框架按“专业匹配”及“综合评测”两个子模块进行分配。
1.专业匹配子模块
能够直接反映采集人员研究领域及专业方向的信息才是智库决策选取的有效信息。(1)学习经历信息模块。学历、学位信息中所包括的毕业院校及专业等信息,能够准确反映专家的背景知识结构。(2)教育教学信息模块。该模块记录教师的学科研究领域及具体任教信息,可反映教师的知识领域。(3)教学科研成果信息模块。这一部分信息能够突破研究领域在二级学科上的限制,将专家研究专长向深度挖掘。采集内容主要包括科技项目、科技著作、科技论文、专利成果四类。(4)教学科研获奖信息模块。可以从中抽取学科领域、专业分类方面的相关信息。采集内容主要包括国际奖励、科学技术奖励、教学成果奖励、人文社科奖励、国外奖励五类。
2.综合测评子模块
全国教师管理信息系统中与专家水平直接相关的模块有基本信息模块、学习经历信息模块、专业技术职务聘任信息模块和入选人才项目信息模块。这些模块中的年龄、学历、学位、入选人才项目的层级、职称及任职年限均可以纳入专家水平综合测评指标体系中。同时,有些项目对评审专家有年龄、职称及任职年限等方面的限制,该模块可根据项目评审的实际需求而有所变化。
专家的道德标准事关评审工作的客观与公正。由于同行专家评议工作是一个复杂的系统工作,专家评审的客观性和公正性会受到评议专家的各种社会关系的影响。同时,专家也可能会因日常行为的失当而失去做评审专家的资格。
1.回避制子模块
专家具有社会性,应当尽量规避专家的社会关联因素。一方面,全国教师管理信息系统所采集的人员的学习经历信息、工作经历信息可以大致圈定专家的社会关系区域。若专家社会关系区域与评审对象有交叉,可以实行回避制度。例如,评审对象和专家于同一时间段在同一所学校同一个专业学习,则同学关系成立;评审对象和专家在某一交叉时间区域内在同一个单位工作,则同事关系成立;评审对象学习期间就读的学校和二级学院如果在某一交叉时间区域内与专家就职学校的二级单位一致,且研究方向一致,则师生关系的可能性极大。以上情况均可在系统内识别,并在遴选阶段就实行人员回避制度。另一方面,系统中教学科研成果信息可以记录专家的论文、论著、专利、项目等情况,可以从这些信息中检查科研合作关系,若专家与评审对象有合作关系的,也可按需执行回避政策。
2.一票否决制子模块
一票否决制子模块主要由师德信息和年度考核信息支撑。作为专家库成员的教师,首先师德必须高尚。如果教师在师德师风上有问题,就不能确保专家评审工作的保密度及公信力。因此,教师管理系统中,如教职工有师德师风方面的不良记录,必须对其评审资格执行一票否决制,将其剔除出专家库行列。同理,年度考核是记录教职工工作表现及状态正常与否的一个重要指标。如教职工年度考核结果为不合格,则说明该教师在政治素质、遵纪守法、民主测评、日常考勤或工作态度上存在重大问题,也应该对其执行一票否决制。
1.设计专业匹配度算法
假设S为专业匹配度,评审项目文档(申报书、中期报告、期末报告等)有j个关键词。提取该j个关键词,可以同系统中的专家信息进行匹配。(1)与学习经历中的专业进行匹配。ei为项目文档中第i个关键词匹配上某专家学习经历中专业的频次,一个学段匹配成功则记频次为1。(2)与教育教学信息中的任教课程进行匹配。ti为项目文档中第i个关键词匹配上某专家教育教学信息中任教学科的频次,不同学期教授的同一门课程不重复计算,如某专家在2018—2019学年第二学期和2019—2020学年第二学期均任教“数据库管理系统”这一门课程,与项目文档中的某一个关键词匹配成功,则匹配成果的频次仅为1。(3)与教学科研成果信息中的成果进行匹配。ni为项目文档中第i个关键词匹配上某专家科研成果题目中关键词的频次,不同类型的科研成果(科技项目、科技著作、科技论文、专利成果)累加计算。ai代表与该关键词匹配成功的科研成果载体的影响力。(4)与教学科研获奖信息中的获奖项目进行匹配。mi为项目文档中第i个关键词匹配上某专家科研获奖项目专业方向的频次,不同类型的教学科研获奖(国际奖励、科学技术奖励、教学成果奖励、人文社科奖励、国外奖励)累加计算。di代表与该关键词匹配成功的教学科研奖项的影响力。
以关键词匹配成功频次加权累加的方法来计算评审项目与专家的专业匹配度。公式如下:
(1)
信息匹配成功,并不是指完全相同,而是需要根据文档关键词与全国系统中的专家信息的相似程度来确定匹配结果。首先需要利用扩展模块,对文档关键词与系统中的专家信息进行分词处理,利用扩展模块对其进行语义规范,再利用现有的主题词表以及多元数据的关联挖掘来确定相似程度[17];或者利用向量空间检索实现相似度的计算,相似程度达到一定要求的即成功建立匹配关系[18]。
2.设计综合测评值算法
综合测评值主要是用来衡量专家个人综合水平的高低,是按规则选取专家的参考值。可以根据项目评审本体对指标需求程度的高低,将指标值转化为具体的定量数据,并按各因素的重要性规定各指标的系数,最后计算专家的综合测评值。假设L为综合测评值,项目评审需要考虑专家年龄、学历层次、入选人才项目级别(最高)、职称层次及任职年限这4个因素中的k个因素,k≤4。wi为各因素从高到低设定的指标值的量化数据,ci为各因素的系数。设计专家综合测评值的公式如下:
(2)
每一个评审项目都可以有自己的指标体系。为了更好地理解综合测评值的算法,模拟构建了指标体系(见表1)。此处的模拟数据对系数不做区分,c系数设定均为1。年龄、学历、职称层次与任职年限这3个因素的指标很容易界定,其指标值具有唯一性,按项目评审需求进行框定即可。而入选人才项目的数量及级别却因人而异,并不具备唯一性。专家很可能在同一级别内获多项人才项目。国家级专家主要包括国家有突出贡献中青年专家、国务院政府特殊津贴专家、长江学者、国家自科基金入选者、千人计划入选者、万人计划入选者、国家级教学名师等;而省部级及地市级专家按各地区实际情况自行界定。在测评该因素时,只对专家获批的最高级别的人才项目进行测算。
表1 综合测评指标模拟体系
3.设计回避值算法
在全国教师管理信息系统中,根据专家及评审对象的经历来大致确定评审对象同专家是否存在师生关系、同学关系、同事关系或合作关系。假设C为专家回避值,项目评审需要考虑师生关系、同学关系、同事关系、合作关系这4个因素中的l个因素,l≤4。具体的f1代表师生关系逻辑值,f2代表同学关系逻辑值,f3代表同事关系逻辑值,f4代表合作关系逻辑值。设计回避值的公式如下:
(3)
式(3)中,fi逻辑值的值域为{0,1}。逻辑值为0时,即师生关系、同学关系、同事关系或合作关系成立。逻辑值为1时,即师生关系、同学关系、同事关系或合作关系不成立。当四种关系中有任一关系值为0,则C为0,即回避关系成立,该专家必须对此项目评审回避。
4.设计一票否决值算法
假设N为一票否决值。v1代表师德考察逻辑值,v2代表年度考核逻辑值,设计一票否决值公式如下:
N=v1×v2
(4)
式(4)中,v1、v2这两个逻辑值的值域为{0,1}。v1为0时,即该专家在系统中有师德师风不良记录;v1为1时,即系统中无师德师风不良记录。v2为0时,即该专家在系统中有年度考核不合格记录;v2为1时,即该专家在系统中无年度考核不合格记录。当v1、v2中有任一关系值为0,则N为0,即实行一票否决。
5.模型整合及解释
基于对专业匹配度、综合测评值、回避值和一票否决值的设计,将专家遴选及排序模型整合如下:
(5)
专家排序模型为专业匹配度(S)、综合测评值(L)、回避值(C)和一票否决值(N)的乘积。该模型不仅可以确定教师管理信息系统中的人员是否可以作为某项目的评审专家来推荐,同时还能对符合条件的多名专家进行排序。
当R>0时,R值越大表示推荐程度越高,专家排序越靠前。当R=0时,表示不推荐该专家参加某项目的评审。R=0有几种情况:(1)评审项目文档的关键词与教师管理信息系统的专家信息匹配不成功,专家研究专长与评审对象申报内容不相关;(2)该专家不符合该项目评审在年龄、学历、人才项目获批层次或职称层级及任职年限上的要求;(3)该专家与评审对象存在回避关系;(4)该专家因师德师风或年度考核情况不佳,被取消了评审资格。当回避值(C)和一票否决值(N)均为1时,R值的高低取决于专业匹配度(S)和综合测评值(L)的大小。
如果评审项目对综合测评的4个指标均无要求,则模型可以精简为:
(6)
如果评审项目对回避值中4种关系均不回避,则模型可以精简为:
(7)
特殊情况下,如果评审项目对综合测评4个指标均无要求,且对回避值中4种关系均不回避,则模型可以精简为:
(8)
某高层次人才项目配套课题到期考核,课题有“大数据战略”“大数据产业图谱构建”和“智慧社会”3个关键词,评审专家人数为5人。先对关键词进行语义规范,并与全国教师管理信息系统中的专家信息进行匹配。为了强调该项目评审专家的专业度,要求该项目参审专家的专家匹配值C值必须大于等于5。表2仅列举匹配值C≥5的专家数据,其他专业匹配值不高的专家数据不再列举。表2显示系统中共有14位专家的专家匹配值C达到专家遴选的标准。其中,专家5和评审对象存在同学关系,R值为0,需要回避。专家11和评审对象存在师生关系,且有项目合作,R值为0,也需要回避。专家13因年龄超过项目评审的要求,R值为0,故不推荐。对其余11名专家按R值从大到小进行排序,可得该评审项目专家的推荐顺序为:专家3、专家1、专家8、专家2、专家14。
表2 评审推荐专家名单及排序(检验)
从数据运行来看,该模型运作可行,能从专业匹配度、综合测评值方面进行推荐,且兼顾回避制与一票否决制的要求。更有效的模型效果检验还需要全国教师管理信息系统的支持,并从实际运行中对评审对象、评审专家及业务操作人员的反馈进行分析。高校智库不仅需要对模型进行设计,还要集合系统信息处理技能人才,在系统内设计信息自动提取、识别、筛选及计算的功能模块,最终实现模型构建向实际技术应用的转换。
本文从学术标准框架及道德标准框架两条线出发,设计包括专业匹配子模块、综合测评子模块、专家回避子模块和一票否决子模块4个子模块在内的高效的专家遴选框架。此框架可以做好项目专家需求的定制匹配,利用专家遴选及排序模型有效精准地筛选出项目所需的同行专家,为高校智库发展提供智力支持。也可以有效避免高校智库建设中专家信息刻画粒度的不细致,使智库运行更高效。虽然构建的模型具有推广范围大、数据可靠性强、数据获取不受时间和空间限制等优点,但是也具有一定的局限性,例如:无法做到亲属关系的回避,无法匹配政府或企事业单位一线专家等。
基于本文的研究,高校智库发展还可以从以下三个方面进行细化深入:一是实现数据库标准的进一步细化与统一。有效利用全国教师管理信息系统的覆盖面优势,整合数据资源,实现多数据平台的数据共享与数据对接。例如与Web of Science期刊论文、博硕士学位论文等科研权威载体的搜索互联。同时引入社会关系模块,拓宽系统内专家自动回避的范围。引入校外专家模块,增加校外兼职教师、校外兼课教师等专家信息,拓宽专家遴选的范围。二是推动数据、决策、专家的协同运作。同领域同类专家的遴选不再是简单的选择与排序,而应形成决策库。单次专家遴选不仅要考虑本次活动有效性,也要统筹历史,符合遴选频率限制的要求。真正将数据、决策、专家的结合由临时性、碎片化输出向规范性、统筹化整合转变。三是推进高校智慧管理体系的构建。利用专家遴选框架及模型有效地将教师系统与教师管理工作相结合,将数据分析与教师服务相融合,加强各地高校智库的沟通与交流,实现高校“互通型、一站式”智慧管理的新模式。