面向科技评估的专家评审系统研究与实践

李家深

广西壮族自治区科学技术情报研究所 南宁 530022

引言

2016年5月，习近平总书记在全国科技创新大会、两院院士大会、中国科协第九次全国代表大会上的讲话中提出，要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系[1]。2018年7月，中共中央办公厅、国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》，要求深化“三评”改革，激发科研人员积极性创造性，构建科学、规范、高效、诚信的科技评价体系，推进分类评价制度建设，发挥好评价指挥棒和风向标作用[2]。习近平总书记的重要讲话和指示，以及“三评”改革意见，是加强科技评价工作的指导思想。党的十八大以来，党中央国务院高度重视科技评估工作，先后出台一系列重要文件和措施，明确了科技评估工作思路，是开展科技评估工作的根本遵循。这些文件政策明确了科技评估的价值导向、实施方式、组织模式、结果应用等，对评估机构和人员的能力建设也提出了更高的要求。国家统计局发布的最新数据显示，2021年我国R&D经费投入高达2.78万亿元，比上年增长14.2%[3]。在此背景下，如何充分发挥科技评估对科技创新的指导作用，高效利用快速增长的研发投入、进而支持高质量社会发展，是当前科研评估工作所面临的重大挑战，也是科技评估研究的重要使命和机遇。科技评估是一项知识密集型、专业性强的综合性服务，科技评估活动除需要科技评估人员、科技评估机构，更需要科技评审专家的参与。如何充分发挥专家以及大数据关联技术提升评估工作的公平性和公正性，提高评审专家遴选以及工作效率，构建适用科技人才、科技项目、科技成果等多类科技评估场景的专家评审技术体系，是本研究拟解决的主要科学问题。

1 大数据背景下的科技评估研究现状

1.1 国际科技评估制度与实践

作为传统科技强国，英国构架了以科技计划、项目和科研机构评估为主体的科技评估体系。在该体系下，政府、公共组织和社会机构相互协作，形成了自上而下多层次的科技评估组织架构，保证了公共资源的合理分配和高效利用[4]。1976 年美国国会通过《国家科技政策、组织和重点法》，是较早以法律形式推动科技评估工作的文件，因此也成为了美国至今为止较为重要科技管理法律依据。在操作层面，美国的科技项目评审往往由第三方机构来承担，在专家遴选过程中，采用轮换制和回避制[5]。除了国家研究评估委员会外，法国的一些中介评估机构也承担了一部分科技评估工作，专门从事技术转移中基于科技创新价值评估的项目选择工作[6]。此外，德国的马普学会、日本的总务省都是各自国家科技评估体系中较为重要的组织或者机构[7]。

1.2 我国的科技评估制度和系统建设

在科技发展日新月异的新世纪，科技评估的形式由单一的会议评审转变为线上、线下混合评审的模式，评审的对象越来越多元化，项目数量越来越多。在此背景下，构建具有中国特色的、基于数字化技术的评估体系是我国科技发展的必由之路。潘教峰等人提出了科技评估DIIS方法，也就是在科技评估中通过收集数据、揭示信息、综合研判和形成方案的流程进行方案的设计和实[8]。国内有不少针对科技评估对象、评估相关方法、标准和系统的研究，如阮航等对科技成果评价体系的研究[9]，李子愚等对国际科技合作评估信息系统[10]，杨光针对科技项目评审的研究[11]。国家科技评估中心实行“小核心、大网络”的运行机制，除科技评估人员外，中心还聘有高级咨询顾问10多名，在共享科技部、国家自然基金委专家库的同时，还专门建立了一支有近5000名评估专家的队伍，其中包括中国科学院、中国工程院的数百名院士[12]。

1.3 大数据背景下的专家遴选策略研究

当前科技评估方式一般有两种：一是由管理部门直接邀请专家开展评估分析工作；二是管理部门委托评估机构实施评估工作，评估机构再邀请专家开展评估分析工作[13]。无论采用什么评议形式，比如单盲或者双盲，以及哪种评议方式，比如通讯评审还是会议评审，基于同行评议的科技评估中，都是借助专家的专业知识，以评估对象责任主体提供的评估信息为基础，按照一定的标准、程序对评估对象开展评估分析。专家评审工作的质量和专家的遴选，直接关系到科技评估工作的成效。罗军等人提出了针对专家评审工作质量的评价模型，作者利用该模型对广东省的重点领域研发项目评审效果进行了评估[14]。数字化基础设施的逐渐成熟给同行评议中的专家遴选带来了便利条件，各种基于大数据的遴选算法或者系统应运而生，比如在算法设计方面，李振清等人开发的基于术语匹配的专家遴选系统[15]、贺颖等人设计的基于科学计量的专家遴选模型等[16]。在实践方面，国家科技管理信息系统已使用相关技术实现了科技项目评审专家的遴选推荐[17]。

1.4 我国面向科技评估的专家评审面临的挑战

从科技投入与GDP的比例来看，我国已经比较接近经济合作与发展组织（OECD）的平均水平，并且我国的科技评估工作在量化研究和应用实践方面也取得了较为丰富的成果。然而，在基于专家评审的定性评估方面，还存在很多不足。

（1）评估体系兼容性有待优化。同行评议制度在全球学术界已经有上百年的历史，被广泛用于学术论文评审、项目立项、成果鉴定、人才评价和机构评估[18]。然而现有的基于同行评议的科技评估体系和系统大都是针对科技成果、科技项目等单一科技评估对象。

（2）评估工作对科技创新驱动不够。评估促进科技创新是科技评估最重要的目标之一。然而有研究表明，我国的科技评估政策对具体项目的指导作用较为有限，政策的驱动效应不够显著[19]。

（3）绩效评价失位，投入产出效率低下。无论是基础性研究项目还是面向重大应用需求的产业项目，目前的科技项目的执行存在较为严重的重立项、轻评估的问题。大量科技项目在执行过程中，缺乏必要的中期监督和后期考核，导致了资源配置效率和有效使用率比较低[20,21]。

从理论和技术层面来看，设计具有良好兼容性的评价体系和系统，采用大数据技术优化专家遴选技术，实现科技项目全生命周期管理，是提升科技评估效率的有效途径。

2 面向科技评估的专家评审体系设计

2.1 指标体系设计

科技评估的效果依赖于评审指标库的建立。项目管理者可以根据项目、成果的特点灵活对指标信息进行添加、修改或删除，最终形成完善的指标体系。科技评估涉及科技政策、科技计划、科技项目、科技指南、科技人才、科技机构、科技成果、科技绩效等多种评估对象，每种评估对象所涉及评估指标大相径庭，如科技政策评估一般包含必要性、合理性、合规性、可行性、执行力、效率、效果与影响等内容；科技项目评估一般包括可行性、任务部署、资源配置与使用、组织管理、实施进展、成果产出、知识产权、人才队伍、目标完成情况、效果与影响等内容；科技成果评估一般包括科技成果的创新型、先进性、成熟度、可行性、应用前景、潜在风险、社会效益、经济效益等内容；科技人才评估一般包括人才的创新能力、成果、贡献、诚信等内容[22]。为便于同类评审对象评审指标的可复用性，以及评审指标的管理需要建立评审指标库，用户可根据科技评估对象的特点设置相应的指标，本研究根据科技评估对象的特点建立了科技人才（见表1）、科技项目、科技成果的通用评审指标体系。

表1 科技评估技术评审指标体系

2.2 基于大数据技术的专家遴选策略研究

科技评估项目中的任务管理中，除了常规的任务维护、项目组管理和项目管理外，最为重要的、也是关系到评估效果的关键环节是评估专家的遴选。本研究根据项目研究主题的宽泛程度设计了两种专家遴选方式，一种针对项目主题相对宽泛的情况，根据专家研究领域分配评审专家，以大同行为主；另一种针对研究主题比较聚焦的情况，主要匹配小同行专家。如：某省科技厅要组织煤炭智能采掘技术榜单项目评审，需要寻找在煤炭地下气化、小型微型燃气涡轮发电机、燃料电池（氢燃料电池、固体氧化物燃料电池）发电等方向比较活跃的专家。对小同行专家的遴选，参考专家的代表作以及个人研究兴趣，实现研究方向与待评审科技项目主题内容的相似度计算[23]，从而完成评审专家的推荐。

专家个人研究方向的抽取主要依托北京万方数据股份有限公司10亿+的科技大数据，内容涵盖科技文献、专利、技术标准、科技报告、科技成果、科技项目等。在专家识别过程中，通过工作单位、邮箱、出生日期、研究方向、合作关系、引用关系等维度进行专家重名消歧，建立专家与科技产出的对应关系。然后，分别从科技评估项目相关文档和专家兴趣描述数据中抽取特征项、分词处理、词项规范化，完成项目文档与专家兴趣的向量表示和相似度计算，最后得到按相关性强弱排序的候选专家列表，项目评审负责人可以根据推荐的专家列表，查看专家画像，确定最终的项目评审专家。

2.3 适应多场景的专家评审模式的设计

为了克服以往专家评审系统只能针对单一评审对象的缺陷，在本研究设计的专家评审体系中，除了提供较为灵活的、可配置的指标体系外，可以根据相应的任务需求，分配给专家按需定制的评审任务。专家在各自的任务列表中，根据个性化的项目评审要求，完成评审工作。具体的评审流程是，专家登录系统后，可看到已分配待评审的项目组信息，专家在进行项目评审前需先下载评审材料，进入评审页面后根据定制的指标项填写专家定量打分以及综合评价意见和建议，最后得出综合评分。对于科技人才（团队）评估，系统提供基于万方数据海量科技大数据的科技人才、科技机构画像服务，辅佐专家进行评审以及相关评审材料验证。

3 面向科技评估的专家评审系统设计

3.1 总体设计原则

面向科技评估的专家评审系统设计围绕“任务—指标—项目—专家”的业务逻辑开展，将项目评审全流程分解上线，使任务与项目的发布与管理、团队与专家的管理与评审工作系统化。实现从评审任务创建、评审指标设置、评审专家遴选分配、评审打分、统计汇总、评审报告下载等全流程的信息化和标准化服务体系,全面提升评审工作的服务水平和服务能力,从根本上解决制约评审工作向前发展的瓶颈。严格制定评审流程、科学设置评审标准,最大程度保障评审工作的科学性、严谨性、权威性、公平性。

3.2 系统架构设计

系统根据项目、成果的特点构建完善的评审流程，包含三类用户角色：（1）系统管理员：评审任务设置，评审指标库进行管理；（2）项目组管理员：针对待评审项目以或成果进行评审专家的遴选分配，项目评审管理；（3）专家用户：专家登录系统后可查看待评审的项目或成果，并根据指标对项目、成果进行打分，系统根据专家评审的分数生成可下载的评审报告。专家评审系统整体架构见图1。

图1 面向科技评估的专家评审系统架构

4 结语及展望

本文根据科技评价制度改革的需要，建立了以“任务—指标—项目—专家”为主要管理维度的专家评审体系，实现多维度、全信息、全流程的实时跟踪，针对科技评估对象的多样性，提供了灵活的指标模型库设计和管理，可以支持多种权重评估，适合多种科技评估对象，针对科技评估项目研究主题的聚焦程度不同，提供了两种不同的专家遴选推荐方式，提高了项目评审的质量和效率、规范了项目成果评价验收的过程和结果，优化了科技评估评审管理流程，提升了科技评估项目评审的公开公平公正。最后，根据研究中设计的评审体系设计开发了面向科技评估的专家评审系统。目前系统已在某科技评估中心科技评估业务中正式使用，取得了较为显著的应用效果。当然，专家在线评审系统也存在一定的不足之处：目前评审系统用户主要是科技评估机构、专家，缺少科技评估项目委托方角色，没有实现从委托方提交科技评估项目委托，科技评估机构接受委托，组织专家评审，到科技评估机构报告交付全流程线上化。下一步系统会针对这些不足之处进行优化完善。