竞争性科研项目评估方法的创新与应用

工业和信息化部装备工业司 国防科工局军工项目审核中心

竞争性科研项目评估方法的创新与应用

工业和信息化部装备工业司 国防科工局军工项目审核中心

专家会议文本评估方法对更好开展第三方评估，形成稳定支持和竞争性支持相协调的机制，公平公正地进行竞争，把科研项目安排在最具优势的研究单位，最大限度地激发科技第一生产力，都具有重要意义。

“十二五”期间，工业和信息化部装备工业司委托国防科工局军工项目审核中心作为第三方咨询评估机构，开展有关科研项目的评估。面对竞争性科研项目出现的新情况、新特点，装备司借鉴欧盟有关科研项目评估方法，结合我国科技体制和科技计划的具体情况，与审核中心研究提出了专家会议文本评估方法。该方法的突出特点是：申报单位将项目建议书文本提交委托方，不到会议现场答辩；设立现场观察员全程监督评估过程；评估专家需当众宣布自己的评分并陈述理由；评估结论当场公布并经全体专家和观察员签字确认。这种评估方法在实际应用中卓有成效，得到竞争性科研项目申报单位的高度认可。

创新竞争性科研项目评估方法的形势与需求

采用一种新的评估方法评估竞争性科研项目，是在深入分析竞争性科研项目的新特点和常用评估方法不足后提出的。

竞争性科研项目的新特点需要评估方法创新

最近几年，随着我国经济发展和技术进步，竞争性科研项目的申报单位范围和数量都出现一些新的特点。一是申报单位的范围不断扩大。近年来，随着国有企业研究开发能力的提升和民营企业经济技术实力的壮大，申报科研项目的单位不仅限于研究院所和高校，一些以生产制造为主的国有企业，改制、新建的民营企业，都积极参与研究开发。二是同一项目的申报单位数量呈上升趋势。一些新技术、新工艺、新产品开发，特别是具有一定市场前景的民用技术、军民两用技术的研究开发和新产品的研制项目，国内往往有多家研究机构、高校和企业具有相应研究基础和技术积累，具备承担科研项目的资格。近年来，多家单位申报同一科研项目的情况呈上升趋势，竞争越来越激烈。

常用评估方法存在不足需要评估方法创新

长期以来，科研项目的评估主要采取评估机构组织专家和申报单位到会议现场答辩的方式进行。采用这种方式进行竞争性科研项目评估择优，评估专家可当场与申报单位进行讨论沟通，有助于准确把握各参与竞争单位的优势和弱项。但以会议现场答辩方式进行竞争性科研项目评估存在一些难以避免的问题。一是难以有效避免竞争中的人为干扰因素。项目评估前或评估中，有的申报单位给熟悉的评估专家打招呼请予关照，影响专家评估工作。二是不利于专家客观公正发表评估意见。鉴于一些技术领域研究机构的有限性，很多项目不得不聘请与申报单位同一集团的专家参与评估；会议现场答辩时，评估专家面对所属集团相关领导和兄弟厂所负责人，难以完全客观公正发表意见。三是一些申报单位对项目论证和建议书编写不够深入。有的申报单位认为现场答辩时讲清问题即可，研究方案等核心内容论述过于简略，主要依靠到场答辩时口头解说项目技术方案。由于存在上述问题，出现过落选单位不认同评估结论，到委托方申述并要求重新评估等情况。

面对竞争性科研项目出现的新情况、新特点，为规避会议现场答辩评估中出现的问题，自2011年以来，装备司和审核中心研究提出了竞争性科研项目评估新方法——专家会议文本评估方法。

竞争性科研项目评估新方法的主要制度创新

专家会议文本评估方法要求申报单位将项目建议书文本提交委托方，申报单位不到会议现场答辩，在观察员全程监督下，评估机构组织专家按照既定程序开展评估工作。评估程序主要包括：评估机构向专家和观察员介绍评估流程、有关原则和纪律要求；评估专家阅览项目建议书，对参与项目竞争的每份项目建议书进行独立评分（不得相互讨论），按照规定时间在会议现场上交评分表；所有专家宣布自己对每份项目建议书的评分情况并详细陈述理由；专家组集体讨论，共同决定对每份项目建议书的得分是否进行调整、如何调整，按照讨论确定的分数作为最终得分，对最终得分第一的项目建议书推荐立项；最后对推荐立项项目建议书的研究方案进行详细评估。与会议现场答辩评估相比较，专家会议文本评估方法主要在以下几方面进行了评估制度创新：

评估专家不与申报单位人员见面

所有参与该项目竞争的申报单位只提供科研项目建议书和相关资料，均不到评估会议现场。评估专家所看到的只是项目建议书和相关资料，不与参与竞争的申报单位人员见面。

设立现场观察员全程参与评估过程

观察员由参与竞争单位的上级主管部门、集团派出，其作用相当于现场公证员。有关部门、集团派出观察员，要在会前报告委托方并经委托方同意。观察员全程参加相关项目的评估，可查阅参与相关项目竞争的全部项目建议书，负责监督评估会议程序的合规性、评估专家选取的合理性；对发现有违公平、公正的问题及时向委托方报告，但不得对项目的研究方案等发表意见。现场观察员制度的设立，使评估机构和专家受到有效的监督和约束，对保证整个项目评估过程的公开、公平和公正起到重要作用。

实行两轮评分并去掉最高分和最低分

专家看完项目建议书后，按照定量评估评分表中的各个细项要求，独立填写对每份项目建议书的评分。专家在此阶段不得相互讨论，并按照规定时间在会议现场上交评分表。评估机构按照去掉最高分和最低分等既定统计方法，计算出每份项目建议书的得分，做出第一轮得分统计表并张贴公布。第一轮评分结束后，经评估专家组充分讨论，决定对每份项目建议书的第一轮得分是否进行调整、如何调整，按照讨论确定的分数作为第二轮得分；如果专家组不能达成一致意见，则按照少数服从多数的原则表决推荐立项的项目建议书。

评估专家当众宣布自己的评分结果并陈述评分理由

按照评估程序，每位专家需宣布自己独立评分的评分结果，并详细陈述评分理由。评估专家在评估机构人员、观察员、所有专家面前当众陈述评分理由，其评分结果的公正性受到严峻考验，有利于提高专家评分的客观公正性。

评估结论当场公布并经全体专家和观察员签字确认

第二轮排名第一的项目建议书推荐立项，第二轮得分统计表需由评估专家、观察员现场签字确认；对推荐立项的项目建议书，评估专家组要对其研究内容、关键技术等研究方案进行详细评估，形成评估意见，并由全体专家当场签字确认。其间，有不同意见的专家可写出保留意见及理由。

竞争性科研项目评估新方法的优势

近几年在装备司主管的某专项科研项目评估中，审核中心一直应用专家会议文本评估方法，确保了竞争性科研项目评估过程和结论的公平公正，数百个科研项目的评估均取得良好成效。与专家会议答辩评估方法相比，其具有明显的优势。

有效提高了申报单位对项目论证和建议书的重视程度

由于评估专家看到的只是项目建议书，项目的论证深度、建议书编写的质量成为竞争成败的重要因素，申报单位对项目论证和建议书的编写质量更加重视，对研究内容、关键技术、技术指标等核心内容力图论证充分，提交的项目建议书翔实程度日益提高。

有效降低了竞争中的人为干扰因素

由于申报单位不到现场答辩，既不知道评估专家组成，也没有机会与评估专家见面，基本避免了申报单位给熟悉的评估专家打招呼请予关照等情况，有效降低了竞争中的人为干扰因素。评估现场对评估结果当场签字确认，也避免了竞争失败的申报单位在会后托人情、找关系，试图改变竞争结果等情况。

有利于评估结论更加客观公正

由于评估会议现场既没有所谓“熟人”，又有观察员在现场监督（观察员有权查阅参与竞争的每一份项目建议书），评估专家还需当众宣布自己的评分结果并详细陈述理由，评估意见的客观性受到强有力的监督。通过每位专家详细陈述评分理由，也可使所有专家更全面地了解项目情况。所有专家在观察员的监督下经充分讨论集体推荐承研单位，评估结论相对更加客观公正。近几年在某专项的数百个竞争性科研项目评估中，没有出现申报单位对评估结论公正性有异议的情况，评估结论得到申报单位高度认可。

《深化科技体制改革实施方案》中提出，要“制定监督评估通则和标准规范，强化科技计划实施和经费监督检查，开展第三方评估”“完善稳定支持和竞争性支持相协调的机制”。通过总结分析竞争性科研项目的评估，可以看出，专家会议文本评估方法对更好开展第三方评估，形成稳定支持和竞争性支持相协调的机制，公平公正，把科研项目安排在最具优势的研究单位，最大限度地激发科技第一生产力，都具有重要意义。