国家科技报告质量评价指标体系研究

任惠超　刘　亮　史学敏（中国船舶信息中心，北京 100012）

国家科技报告质量评价指标体系研究

任惠超刘亮史学敏
（中国船舶信息中心，北京 100012）

建立科学、客观、易于操作、适应目前国家科技报告管理的质量评价体系，是提高国家科技报告技术价值和编制质量的重要手段之一。文章在分析国家科技报告征集现状及特点的基础上，通过参考借鉴国防科技报告评价的有效经验，对国家科技报告质量评价体系的构建进行了探索和研究，利用专家调研法、层次分析法等方法，提出国家科技计划中产生的科技报告验收阶段和收录1～2年后的评价指标体系及其权重，并对开展国家科技报告质量评价提出措施建议。

国家科技计划科技报告；质量评价；评价指标；评价体系；层次分析法

1　引言

2012年底国家科技部开展国家科技报告试点工作，迄今已有超过6万份报告提供全社会共享使用，已初具规模。然而，在建立体系、征集收录科技报告的同时，如何确保报告质量，成为影响后续工作健康、持续开展的关键问题。规范科技报告质量管控，确保越来越多高质量的科技报告能够得到有效收录和共享使用，有必要建立一套相对科学的科技报告质量评价指标体系，并出台系列科技报告质量管控制度措施。

目前，征集的国家科技报告主要涉及国家科技重大专项、国家重点基础研究发展计划（973计划）、国家高技术研究发展计划（863计划）、国家科技支撑计划、国家国际科技合作专项、国家重大科学仪器设备开发专项以及国家科技奖励工作等项目2006年以来立项的全部非涉密计划项目（课题）。“国家科技报告服务系统”于2013年11月开通了征求意见版，并于2014年3月正式上线，目前国家科技报告服务系统收录国家科技报告近6万篇（图1）。

科技报告按内容分为专题技术报告、技术进展报告、最终报告和组织管理报告四大类型［1］。目前，国家科技报告服务系统收录的各类科技报告以技术进展报告和最终报告为主。这些报告是在国家科技计划项目管理中提交的年度进展报告、成果验收报告的基础上，经中国科学技术信息研究所组织科技报告专家按科技报告撰写标准规范改写而成（表1）。

图1　各类型国家科技计划产生的科技报告对外公布数量

表1　国家科技报告与科研项目管理成果的对应关系

为构建能够有效评价国家科技计划科技报告的质量评价指标体系并开展应用研究，调研和分析研究了我国已开展的国防科技报告评价实践。从20世纪80年代建立国防科技报告制度［2］以来，国防科技报告已经形成了由总装备部、各工业部门以及基层科研单位组成的三级管理体系，各基层企事业单位基本建立了本单位国防科技报告产生、撰写、征集以及评审方面的相关程序制度。在质量评价方面，国防科技报告没有建立统一的评价制度，但在各领域和行业，相关科技报告管理部门陆续开展了一些理论探索研究和实践工作。这些单位的相关研究和实践，对开展国家科技报告质量评价工作具有一定的参考借鉴作用。

通过对国防科技报告系统具有代表性意义的评价工作机制与指标体系进行调研和分析，发现国防科技报告质量评价的主要目的是评选优秀科技报告，相关评价体系主要是针对优秀科技报告的撰写规范和技术内容等方面提出了要求，同时考虑科技报告涉及项目本身的重要性和意义、科技报告的交流使用价值及作者科研能力和写作水平等（表2）。

本文在分析国家科技报告特点的基础上，通过借鉴国内相关领域科技报告评价经验和期刊会议文献评价的一般思路［3-8］，利用专家研讨和层次分析法，分析得出相应的评价指标体系及其权值，提出国家科技报告质量评价措施建议。

2　评价目的、主体及流程

开展国家科技报告质量评价的目的主要有两个方面：一是通过客观、全面评估科技报告本身的质量水平，有针对性地制定并实施报告质量管控措施，从而提高报告的技术价值和使用价值；二是通过对科技报告质量的评价，间接反映和衡量科研活动的水平和效果，对管理机关监督和考评科研活动提供依据。

目前，国家科技报告通过国家科技报告申报系统在线提交，报告申报系统用户分为报告提交单位管理员和报告作者。报告作者将其撰写完成的科技报告通过申报系统提交至单位管理员，基层单位管理员检查后提交至科技部，委托保藏单位审核，审核通过后收录馆藏。具体流程如图2所示。

通过分析国家科研项目管理及科技报告呈交流程，科技报告评价主体主要包括项目承担单位和国家科研项目管理机关委托的评审专家团队，在科技报告上交、项目检查与验收、科技报告上线1～2年三个时间节点对科技报告进行质量评价与管控。前两个时间节点质量评价主要目的是把控和提高报告质量水平，最大程度地避免质量低劣报告的产生和流向社会。第三个时间节点质量评价主要目的是奖励优秀，从而激发产生更多的优秀报告，形成撰写提交优秀报告的良性循环（图3）。

表2　国防、船舶等相关领域的科技报告质量评价指标整理

2.1科技报告上交阶段

对于尚未上交的科技报告，首先由项目承担单位科研管理部门主管人员对本单位即将上交的科技报告进行质量把控，包括对科技报告进行形式审查和组织单位内部专家进行评审等，以确保本单位科技报告技术质量。然后通过科技报告呈交系统上报科技报告。

图2　国家科技报告提交流程

对于已经呈交的科技报告，后续将依托科研项目管理机关组织的相关项目检查和验收工作，开展相应质量评价。评价合格的科技报告将进入国家科技报告服务系统，面向社会公众开放使用。

2.2项目检查与验收阶段

根据国家科研项目管理要求，在开展项目年度、中期检查与验收工作时，由科研项目管理机关组织的项目评审专家组，依照科技报告质量评价指标，在对项目评审的同时对科技报告质量进行评价。

2.3科技报告上线1～2年之后

为提高项目承担单位撰写和提交高质量科技报告的积极性，在科技报告上线服务1～2年后，由国家科研项目管理机关不定期组织评审专家组对科技报告的质量进行抽查评价。评审专家组依照科技报告质量评价指标体系对科技报告质量进行评价，根据评价结果对优秀科技报告和项目承担单位予以奖励。

3　质量评价指标及其权值

根据国家科技计划管理部门、国家科技计划科技报告管理部门和国家科技计划项目研制部门的具体需求，在参考借鉴国内（主要是国防）科技报告质量评价经验的基础上，通过对50余位项目管理专家、科技报告专家和技术专家的现场调研、问卷调研及专题研讨，构建国家科技报告质量评价指标体系层次简表，通过专家分析给出评价指标相对影响力判断，利用层次分析法计算指标权重，得出国家科技报告质量最终评价指标及其权值。

3.1验收阶段评价指标

国家科技计划项目验收阶段进行科技报告质量评价的目的是通过建立并利用统一科学的评价体系，提高科技报告的整体编写质量和技术水平，引导真正全面、客观、完整反映重要科研活动核心、关键内容的、高质量的国家科技报告的产生，提升报告的交流使用价值。

评价指标包含2个一级评价指标和7个二级评价指标（图4），主要体现为报告科学价值（科学或理论的创新性、技术综合性、技术重现度、潜在应用价值），报告编制质量（基本信息表的准确完整性、撰写格式标准化、写作水平）两个方面。在通用指标下，不同类型的科技报告在指标的内涵解释与具体应用方面要求不同。根据专家打分情况，利用层次分析法计算，获得报告科学价值指标的权值为0.63，报告编制质量指标的权值为0.37。通过进一步计算，（C1，C2，C3，C4）的权重分别为（0.2420，0.2045，0.4577，0.0958），（C5，C6，C7）的权重分别为（0.2258，0.4156，0.3583），根据相关权值，计算指标权重如表3所示。

图3　国家科技报告申报及质量评价流程图

图4　国家科技报告验收阶段评价指标结构图

3.2收录1～2年后评价指标

国家科技报告收录1～2年后进行质量评价是报告质量事后评价的重要体现，由科技报告馆藏服务机构利用科学统一的评价体系对已共享交流报告实施事后评价，是对验收阶段报告质量评价的有益补充。

评价指标体系包含2个一级评价指标和6个二级评价指标（图5），主要体现为报告科学价值（科学或理论的创新性、技术综合性、技术重现度、潜在应用价值）以及报告使用价值（使用指数、加权使用指数）两个方面。在通用指标之下，评价不同类型科技报告，对于科学或理论的创新性、技术重现度、潜在应用价值等方面的要求侧重不同。根据专家打分情况，利用层次分析法计算，获得报告科学价值指标的权值为0.58，报告编制质量指标的权值为0.42。通过进一步计算，（F1，F2，F3，F4）的权重分别为（0.1384，0.2430，0.4341，0.1846），（F5，F6）的权重分别为（0.5323，0.4676），根据相关权值，计算指标权重如表4所示。

表3　国家科技报告验收阶段评价指标及其权重

图5　国家科技报告收录1～2年后评价指标结构图

4　评价措施建议

对国家科技报告质量进行有效评价，并将评价结果反馈在后续的科研过程中，是保证科技报告质量、提升科技报告使用价值的有效手段［9-10］。为进一步加强国家科技计划科技报告质量评价工作，在前期相关研究的基础上，提出如下建议。

表4　国家科技报告收录1～2年后评价指标及其权重

4.1评价工作纳入项目管理过程

科技报告管理工作只有纳入对科技计划项目的管理过程中才能真正实现工作目的。科技报告质量评价作为科技报告管理的重要工作，要想通过质量评价实现提高报告质量和交流使用价值的目的，只有将质量评价合理纳入科技计划项目管理流程，才能够切实有效发挥质量评价的作用。建议在科技计划项目管理重要环节嵌入科技报告质量评价，而不是另外做一套流程和办法，独立进行评价。

首先，根据目前国家科技报告制度管理规定要求，在科技计划项目验收时要验收是否按照合同要求完成相应数量和类型的科技报告，建议同时对报告质量进行评价打分。可选择两种评价方式：一是对所有项目的所有科技报告进行评价，并进入项目验收总成绩。由专家组依照指标体系给出每一篇报告相应分值，并将其折算进入项目验收总分值，同时将科技报告质量评价结果写入科研单位科研信用数据库。二是对部分科研项目的科技报告进行抽查评价。由国家科研项目管理机关抽取一定比例的科技报告，项目验收专家组依照指标体系给出相应分值。报告质量评价低于60分，项目验收将不予通过；低于80分，需对科技报告进行改写或重写，并将相应评价结果写入科研单位科研信用数据库。经检查或验收后，评价合格的科技报告将进入国家科技报告服务系统，上线供社会公众使用。同时，为进一步选拔和鼓励优秀科技报告的呈交交流，可在科技报告上线服务1～2年后，由国家科研项目管理机关不定期组织评审专家组对科技报告的质量进行评价。

其次，要在相关科技计划管理办法中明确规定对科技报告质量的要求，规范质量评价节点、评价办法、评价流程等，明确评价结果对于科研项目实施和验收等的影响，做到质量评价工作制度化、规范化。

4.2质量评价与报告呈交单位和作者的考核结合

评价科技报告质量是对于报告质量的事后把控，要想通过质量的后评价达到从根本上提高报告撰写质量的目的，就必须将质量评价的后果与报告呈交单位以及报告作者的考核激励结合在一起。建议科技报告的质量评价结果进入科研信用记录系统，单位或具体科研人员撰写报告连续或累计多次不合格或分数排名较低，在一定时间暂定其申报国家科技计划项目的资格，撰写者本人的不良报告记录也应当进入单位对其的职务职称晋升以及人事考核中。反之，单位呈交报告连续或累计多次达到优秀或排名前列，可优先申请国家科技计划项目，撰写者本人也可在职务职称晋升以及人事考核中相应加分。

4.3引导呈交单位开展质量评价

科技报告质量评价是独立于项目完成单位和下达单位之外的第三方评价。为引导项目承担单位能够在撰写阶段就按照优秀报告的标准执行，要全面推动和积极引导项目承担单位根据科技报告质量评价指标，开展报告质量的自我把控。一方面，科研人员明确质量评价指标要求，能够利用指标提前开展自我评价；另一方面，项目承担单位要在科研人员提交报告后，上交国家科技报告系统之前，开展单位层面的质量评价，做好质量管理的第一环节工作。

4.4质量评价根据实际工作情况循序渐进开展

鉴于目前国家科技报告处于广泛征集的阶段，目的是最大程度、最大范围呈交科技报告，质量评价工作应服务当前工作重点。建议可先期在某类国家科技计划项目中进行试点，首先在项目验收环节开展科技报告质量评价，逐步完善形成质量评价规范、流程，后续在更大范围推广，直至进入科技计划项目管理规范流程中。

5　结语

在国家科技报告制度建设初期，通过建立一套相对完整科学的科技报告质量评价指标体系和相对完善的科技报告质量控制流程，有助于提升我国科技报告的质量，确保高质量的科技报告能够得到有效收录和共享使用。本文提出了国家科技报告验收阶段和收录1～2年后的评价指标体系及其权重，并对如何有效开展国家科技报告质量评价提出了措施建议。下一步将对本研究中提出的科技报告质量评价指标体系及其权重进行实证验证研究，挑选部分领域科技报告进行评价。同时，建议科技报告领域管理专家和研究专家可在本研究提出的评级措施建议的基础上进一步思考和研究，尽快建立国家科技报告质量评价体系，促进能够有助于提升我国科技报告质量的相关政策制度尽早落地实施。

［1］ 冯长根，程津培，钟南山，等.建立国家科技报告体系势在必行［J］.科技导报，2011，29（21）：15-16.

［2］ 国防科技报告管理办公室.国防科技报告是国防科技发展的重要资源［J］.航空科学技术，2004（1）：11-14.

［3］ 马谦杰.信息资源评价理论与方法［M］.北京：经济科学出版社， 2002.

［4］ 肖珑，张宇红.电子资源评价指标体系的建立［J］.大学图书馆学报， 2002（3）： 35- 42.

［5］ 李随成，陈敬东，赵海刚.定性决策指标体系评价研究［J］.系统工程理论与实践，2001，21（9）：22-28.

［6］ EGGHEL.Theory and practice of the index［J］.Scientometries，2006，69（1）：131-152.

［7］ 杨忻.数字馆藏评价指标的获取方法［J］.图书馆，2008（5）：77-79.

［8］ 赵俊玲，陈兰杰.国外网络信息资源评价研究综述［J］.图书馆工作与研究，2004（3）：24-26.

［9］ 贺德方.科技报告资源体系研究［J］.信息资源管理学报，2013（1）：4-9，31.

［10］ 毛刚，贾志雷，侯人华，等.情报学视角下的科技报告研究［J］.情报杂志，2013，32 （12）：62-66，109.

Research on the Evaluation Index System of National Scientific and Technical Report

REN Huichao， LIU Liang， SHI Xuemin
（Ship Information Center of China， Beijing 100012）

It is an important means for improving the technology value and writing quality to establish a scientific， objective and operable national scientific and technical report quality evaluation system， which is suitable for presently national scientific and technical report management. The construction of national scientific and technical report’s quality evaluation system was explored and studied on this article， according to the status and characteristics of national scientific and technical report’s collection and effective experience of GF report evaluation. By the Analytical Hierarchy Process， we proposed the evaluation index and its weighting on national scientific and technical report in the stage of its acceptance and collection.

national scientific and technical report， quality evaluation， evaluation index， evaluation system，Analytical Hierarchy Process

G251.4

A

10.3772/j.issn.1674-1544.2016.01.009

任惠超（1977—），女，中国船舶信息中心高级工程师，研究方向：科技报告制度建设、知识产权战略；刘亮*（1987—），男，中国船舶信息中心工程师，研究方向：科技报告使用、知识产权战略；史学敏（1978—），女，中国船舶信息中心副研究馆员，研究方向：科技报告制度建设与挖掘使用。

国家科技报告制度试点专项“国家科技计划科技报告质量评价指标体系建设”（2013KJBG-02）。

2015年12月15日。