科技报告文献质量评价体系构建及实证研究

王 辉，黄晓林，蒋欣宏

(湖南省科学技术信息研究所，湖南 长沙 410001)

1 引言

科技报告是科学技术报告的简称。我国国家标准《科技报告编写规则》将科技报告定义为：科技人员为了描述其从事的科研、设计、工程、试验和鉴定等活动的过程、进展和结果，按照规定的标准格式编写而成的特种文献。[1]452-458。在我国，科技报告一般由政府财政资金支持的科技项目产出，是科技项目研究内容学术性的完整表述，具有科研管理和学术参考的双重价值，是国家重要的基础性、战略性科技信息资源。[2]788-792

我国的科技报告起源于1984年国防科技报告体系建设工作的开展。2014年国家全面推进部门、地方科技报告工作，除国防科技项目，科技部、国家自科基金委、交通运输部以及各省(市)主管的科技项目均开始陆续提交科技报告，我国科技报告数量迅速增长。截至2019年1月，国家科技报告服务系统已收藏各类科技报告17万余份。由于我国科技报告的管理和运行机制尚处于探索阶段，随着科技报告数量的激增，科技报告质量参差不齐的问题日益显现。从国家到各省，虽然已有一些关于科技报告质量控制与评价方面的研究，但多集中在宏观层面或质量评价全体系指标构建层面，且提出的部分指标概念抽象、在实际操作中定量评价困难，需加强包括文献质量控制与评价在内的微观层面研究，以进一步对二级指标进行细化，明晰三级指标并确定有关权重，才能更好地应用于实际工作中科技报告质量的初步评判，准确评价科技报告文献质量，有效引导科技报告质量提升。为此，本文结合科技报告管理工作实际，借鉴国内外科技报告质量评价已有研究，运用头脑风暴法、层次分析法等方法和工具，构建了一套包括3个二级指标、14个三级指标的科技报告的文献质量评价体系，以期为专家进行科技报告专业质量和效益质量评价提供参考，为科技报告的综合评价实践提供决策参考，为本省推进科技报告资源体系建设提供一定支撑。

2 国内外科技报告质量评价体系研究现状

科技报告制度起源于美国，科技报告质量的控制与评价研究最早也开始于美国。在美国，政府资助的科技报告被认为是一种典型的政府信息。因而，美国信息质量评价体系从总体上代表了美国科技报告质量评价体系的要素要求。1996年，美国学者Wang即提出了信息质量IQ四维评价体系[3]5-33，随后美国政府对其加以利用颁布了《信息质量法案》，提出了包括客观性、实用性和完整性的三级信息质量控制体系，对包括科技报告在内的政府信息质量作出了原则性的要求。[4]12-18

在我国，刘冠伟等最早描述了层次分析法在国防科技报告评价指标体系研究中的应用，其中的国防科技报告评价指标体系包括报告撰写水平、技术内容和应用价值3个二级指标，含报告正文撰写综合文字水平等9个三级指标，并分别确定了其权重。[5]381-385南京大学裴雷等最早开始民口科技报告质量控制与评价研究，提出了科技报告质量评价指标体系设计的原则、方法、描述框架和参考体系，将科技报告质量分为文献质量、专业质量和效益质量3个层次，其中文献质量评价参考指标包括语法质量、形式质量2个二级指标，下含4个三级指标。[6]813-823朱丽波、陆海燕等分别建立了一套包括报告编撰水平、技术属性、实用价值3个二级指标的科技报告质量评价指标体系，其中前者包括9个三级指标[7]80-84[8]57；后者构建的农业领域专业研究所科技报告质量控制评价体系共计包括18个指标，报告编撰水平包括报告记录内容完整性等9个指标。[9]353-356任惠超等参考借鉴国防科技报告评价经验，将科技报告质量分为科学价值、编制质量和使用价值3个方面，将科技报告质量评价分为验收阶段和收录1～2年后两个阶段，并分别赋予不同的评价指标及其权重。[10]42-49。乔振等从科技报告质量控制与评价标准、评价指标体系、控制与评价方法3个方面，对当前国内科技报告质量控制研究现状进行了阐述与总结，并对山东省在科技报告质量控制与评价中的做法进行了梳理。[11]124-127杜薇薇从科技报告撰写各要素(引言、研究过程、结论等)的完整性与准确性角度设计了最终科技报告文本质量评价指标和质量评价参考标准。[12]96-100陈洁基于全面质量管理理论，结合科技报告形成过程，构建了包括报告文本格式和技术内容2个一级指标，其中文本格式评价包括元数据规范性等5个指标的科技报告质量评价体系。[13]55-60

从上可知，由于我国民口的科技报告制度建设启动较晚，国内有关科技报告质量评价体系研究方面的文献相对较少，且多集中在科技报告质量宏观层面分析或全体系指标构建方面。大部分学者认为，科技报告的质量可分为文献质量(撰写水平、编制质量)、专业质量(技术内容、科学价值)和效益质量(应用价值、使用价值)3个层次，文献质量是指科技报告的各个要素的完备性、格式的规范性和语言组织水平等，也即科技报告的编辑水平及规范性。在科技报告3个质量层次中，文献质量为最基本的层次，是整个科技报告质量的基础，专业质量和效益质量均需以文献质量为前提。关于科技报告文献质量的评价，国内学者从不同的角度提出了多个指标体系，包含的二级指标2～9个不等。研究组在上述研究基础上，从分层次进行质量控制的角度出发，结合工作实际，将科技报告质量评价体系分为文献质量、专业质量和效益质量3个一级指标和与之相关的8个二级指标，具体如表1所示。

表1 科技报告质量评价体系

3 科技报告文献质量评价体系构建

科技报告文献质量的影响因素作用于科技报告形成的全过程，进而影响科技报告文献质量，同样，这些影响因素也影响着科技报告文献质量的所有构成要素。对科技报告文献质量的构成要素进行整理并建立评价体系，可以有效地对科技报告文献质量进行定量的评判。适宜的科技报告文献质量评价体系也是国家和省级科技报告管理服务机构对科技报告文献质量加强控制的重要工具。

(1)评价体系构建原则

在科技报告质量评价指标体系的构建原则上，裴雷[6]813-823认为应包括：最低质量标准与自由裁量原则，一致性原则，成本效益原则，多元评价原则，评价激励原则。文献质量是科技报告质量的一部分，本研究认为，科技报告文献质量评价指标体系构建在不违背上述总体原则的基础上，重点应遵循如下3个原则：(1)一致性。评价标准必须与现有的科技报告标准规范和相关的制度规范保持一致，如GB/T15416-2014、GB/T7713.3-2014、GB/T3034-2014、GB/T3035-2014、《国家科技报告管理办法》等规范对科技报告编写的具体要求。(2)完备性。一份规范完整的科技报告由基本信息页、目次、引言、主体、结论、参考文献和附录等部分组成，评价指标体系应尽可能覆盖所有构成元素。(3)可操作性。过于模糊笼统或复杂的指标设计，都会使评价不准确或因成本高昂而变得不可行，适量地选择与科技报告实体对应关系明了、易于判断操作的指标，是指标体系具有实用价值的前提。

(2)各级评价指标的筛选

遵循上述指标体系构建原则，首先收集原始指标。本文基于前人的研究、作者工作经验，收集得到所有与科技报告文献质量评价相关的原始指标63个，其中包括《科技报告编写规则》(GB/T7713.3-2014)中的科技报告构成元素19个，裴雷、朱丽波等前人的科技报告文献质量设计指标27个[6]-[13]，科技报告编写常见问题17个[14]142-147。然后采用研究小组头脑风暴法进行多轮讨论，并征询行业专家意见，对指标筛选和归并。最终形成了对应科技报告辑要页表格的基本信息质量，对科技报告篇章行文语法的结构布局质量，对科技报告文档格式的正文格式质量3个二级指标，下含14个三级指标的科技报告文献质量评价指标体系。同时还制定了评判指标完成情况的评分标准，以便指标体系应用于实际工作中。评价指标体系层次结构关系、指标说明及评分标准如表2。

表2 科技报告文献质量评价指标体系及其说明

(3)构造判断矩阵

按照层次分析法(AHP)计算评价指标体系权重的基本步骤，首先对评价指标进行标度，构造判断矩阵。本文采用专家调研法，让研究组成员及2名专家共5人，对准则层基本信息质量(B1)、结构布局质量(B2)和正文格式质量(B3)，采用1～9标度法[15]39-44分别进行两两标度，并构造判断矩阵。然后对标度结果进行整理，对标度不一致的地方进行研究小组讨论，重新标度，直至结果完全统一。最终的准则层判断矩阵如下：

采用同样的方法，对指标层的各指标标度并构造判断矩阵，对应的3个判断矩阵如下：

(4)计算评价指标相对权重和矩阵一致性检验

在层次分析法中，各个指标在评价体系中所占的权重，被转化为求指标所属判断矩阵最大特征根λmax对应的归一化特征向量W。本文采用方根法[11]求得准则层判断矩阵A1最大特征根λmax为3，对应的特征向量经归一化处理之后为WA=(0.1，0.6，0.3)T,也即准则层3个指标的相对权重分别为WB1=0.1，WB2=0.6，WB3=0.3。

同理，可求得指标层各判断矩阵B1、B2、B3的最大特征根λmax和各个指标相对权重对应的归一化特征向量W。计算结果如下：

λB1=4.00，λB2=4.00，λB3=6.00

WB1=(0.5238，0.2708，0.1354，0.0700)T

WB2=(0.2215，0.6265，0.0760，0.0760)T

WB3=(0.1336，0.0736，0.2428，0.4413，0.0386，0.0701)T

在层次分析法中，判断矩阵是否构造得合理，需要对其一致性进行检验。避免判断矩阵构造的不合理而造成指标权重计算的失真。

一致性检验时引入一致性检验指标CI

其中λ为最大特征根，n为矩阵阶数。

同时查找矩阵阶数对应的随机一致性指标RI，计算检验系数CR

一般的，当CI=0时，判断矩阵有完全的一致性，CI越大，判断矩阵一致性越差。当CR<0.1时，可认为判断矩阵具有一致性，计算的权重值可以接受。否则需要调整判断矩阵指标标度，直至符合条件。

本文对以上判断矩阵A1，B1、B2、B3的一致性进行检验计算，得到的CR分别为0、0.0008、0.0006、0.0051，表明各判断矩阵均有很好的一致性。

(5)计算评价指标综合权重

将上述计算得到的各指标相对权重与对应准则层的相对权重相乘，得到各指标对目标层的加权权重，计算结果如表3所示：

在求得科技报告文献质量评价体系各个指标的综合权重后，即可以参照表2给出的评分标准，对某一份科技报告文献质量的各个指标进行评分，再对评分结果进行归一化处理之后，乘以各指标的综合权重。经过归一化和加权处理的评分之和，即为该份科技报告文献质量的评价得分结果。

4 实证分析

为验证上述评价体系的科学性和合理性，我们将上述科技报告文献质量评价体系用于真实科技报告评价，并将上述评价体系的评价结果与专家评价法的结果进行了对比。考虑到评价结果的代表性，本文以国家科技报告服务系统(http://www.nstrs.cn)中科学技术部“国家科技支撑计划”类目下的科技报告为研究对象，抽取其中最新、公开的45份科技报告作为样本，进行实证评价。

对选取的科技报告，按照表2评分标准制作的打分表进行逐一打分，将每个单项的打分结果除以该项满分，进行归一化处理，再乘以表3中该项的综合权重，最后转换为百分制，即得最终评分结果。与科技报告文献质量相关的各评价指标单项得分、综合得分和得分排序如表4。

表4 科技报告文献质量评分结果(部分)

由表可知，国家科技报告服务系统收录的“国家科技支撑计划”科技报告文献质量评价得分大部分在50～90分之间，样本文献质量平均得分72.30分，总体处于良好的状态。从表4和表5中可知，3个二级指标中，(1)基本信息质量的评分变异系数最小，得分率最高，各三级指标的评分较也为稳定，可能是由于这部分内容在科技报告中是以表格形式展现的，作者只需要根据表格要求正确填写，不容易出现文献质量问题。(2)结构布局质量变异系数最大，而其中正文内容指标的变异系数较高，得分率组内最低。可见科技报告的文献质量在结构布局方面的差异较大，这可能是由于这部分文献质量与科技报告的专业质量联系紧密，结构布局质量不仅是形式上的正确表达，更涉及研究内容本身是否完成，正确的形式表达是以完整的研究内容为前提。(3)正文格式质量得分率最低，其中参考文献指标的变异系数最高，得分率最低。查看具体的科技报告可发现这是由于许多研究者不太重视参考文献的规范编写，甚至没有参考文献而导致的。

表5 评分结果统计分析

目前，我国的科技项目每年有数万份科技报告产生，标准化、程序化的科技报告文献质量评价，其目的之一是辅助高成本、非程序化的专家评价，减少专家评价的工作量。因此该评价体系的评价结果与专家评价结果的符合度，是该评价体系科学性和合理性的重要参考。

本文从湖南省科技报告管理中心及有关市州科技报告管理机构共邀请9名资深科技报告审核人员组成专家评价组，抽取前10份报告进行专家评价。由于专家之间并没有统一的打分标准，只是对科技报告文献质量的总体评价，因此只要求专家按科技报告文献质量优劣进行排序，最后综合各位专家的排序结果，进行平均、取整，形成专家评价排名。将专家评价排序结果与应用本文评价指标体系的评价排序结果进行比较，如表6。

表6 专家评价与本文方法评价结果比较

由表可知，本文构建的指标体系评分排序结果与专家排序的结果误差均未超过1位，其中有6份报告的排序结果完全一致，另外4份报告的排序结果存在1位误差。造成误差的原因可能有二：一是由于参与排序评价的报告较多，而部分报告文献质量差距不大，造成专家评价排序不准确。二是专家对科技报告文献质量概念认知是定性的、总体的，而本文对科技报告文献质量已经过充分讨论并量化分解，因此，两者可能存在细微的差异，造成评价排序结果误差。从总体来看，排序结果并未出现大于2位的误差，由此可知，本文构建的评价指标体系的打分排序结果和专家排序的结果重合度较高，评价结果较理想。

5 结论与讨论

质量是科技报告的生命，科技报告内容伴随科技项目管理全过程而产生，由于项目管理的环节多、周期长等特点，加之部分科研人员的科研记录不详尽、不完整习惯问题，因此，如何完整、规范表述整个科技项目的研究内容，有效进行质量管理控制一直是科技报告研究的重要方面。开展科技报告质量评价，是规范科技报告管理，促进科技报告质量提升的有效措施。科技报告质量按层次可分为文献质量、专业质量和效益质量，其中文献质量是基础质量，开展科技报告文献质量评价是对科技报告质量的初步评判。科技报告文献质量的好坏可以在一定程度上反映科研人员的科研态度、科技项目执行情况和文献组织能力，是科技报告质量的重要组成部分。

本文构建了一套基于实际需求、直观、可操作性强的科技报告文献质量评价体系，在面对海量科技报告时，能较高效地对科技报告文献质量作出评价，有效缩小专家进行专业质量、效益质量评价的报告范围，为科技报告总体质量的评估、评选优秀科技报告等提供了参考依据和实用工具。

本文的两点不足之处：其一，本文仅仅只是就科技报告文献质量构建了可与实操层面直接对接的评价指标体系，而对科技报告的专业质量和效益质量尚未进行类似的研究，这是今后应加强研究的方向之一。其二，开展科技报告质量评价只是科技报告质量控制的措施之一，要做好科技报告质量控制研究和工作，还应同时加强宣传培训，优化审核流程，落实考核和激励机制等工作[11],[12]，共同推进科技报告质量的稳步提升，这也是今后研究和工作需要注意的方面。