“全评价”体系在科技查新质量评价中的应用研究

孙清玉，陈刚

（1.河海大学 图书馆，江苏 南京210098；2.河海大学 科技处，江苏 南京210098）

科技查新是进行科研管理和成果评价的一个重要环节，保证查新工作质量尤为重要。通过对科技查新质量相关文献的调研，发现大多数查新质量控制与评价的文献都是关于查新报告质量、文献检索质量的理论研究及部分指标体系探讨，较少涉及从科技查新全过程来进行查新质量的控制与评价。

科技查新质量评价体系应是一个经由对投入的资源和条件进行质量评价，进而对查新过程各环节质量进行评价，直到对所完成的查新报告及用户检验为止的全过程的系统评价过程。

南京大学叶继元教授在《人文社会科学评价体系探讨》一文中首次提出了全评价理论，提出了形式评价、内容评价和效用评价“三位一体”的概念组合。南京大学陈铭在《基于“全评价”体系的图书馆电子书评价研究》[2]一文中，分析了“全评价”体系在图书馆电子书评价中的运用，并深入研究了图书馆电子书形式评价、内容评价和效用评价的指标体系构建。南京大学范佳佳在《全评价理论在学科馆员评价中的应用研究——以天津外国语大学图书馆学科馆员评价为例》一文中，分析了全评价理论应用于学科馆员评价的可能性，并以天津外国语大学图书馆学科馆员为例建立全评价体系。叶继元教授等以中国科技论文在线优秀期刊为例，分析了“全评价”体系在开放存取期刊学术质量评价上的应用，并从开放存取期刊的评价主体、评价客体、评价目的、评价标准、评价指标、评价方法和评价制度等方面,对开放存取期刊质量的形式评价、内容评价和效用评价的指标体系进行了构建。

综合上述理论研究成果可以得出：科技查新质量评价体系如果缺少评价目的、评级主体、评价客体、评价方法、评价标准与指标、评价制度这六要素的任何一种都不能称之为完整的评价体系。因此科技查新作为科研管理和成果评价的重要部分，其服务质量完全适合根据全评价理论模型进行评价。

一、“全评价”体系在科技查新系统中的应用

全评价理论是基于人文社会科学评价提出的，科技查新服务的理论基础大部分来自于图书馆学、情报学，属于社会科学学科范畴，符合该理论提出的前提要求。根据“全评价”体系的理论依据，把其运用在科技查新质量的评价中，来科学合理地分析科技查新质量的目的、评价主体、客体、标准及指标、方法和制度，从而真正掌握科技查新质量评价的根本所在。

（一）评价目的

评价目的是评价要达到的总的期望和要求，制约和引导着整个评价的方向和具体操作方法。科技查新质量的评价目的就是对科技查新中所显示的各种属性及其利用效果进行分析，对科技查新的功能、价值及其发挥作用和对用户需求满足程度的评估，使科技查新服务更符合社会与用户需要。

（二）评价主体和评价客体

评价的实施者即为评价主体，科技查新质量评价主体的确定与评价目的、评价客体密切关联，查新质量评价主体应为接受查新服务的用户和相关职能部门的科技查新管理人员。考虑到被服务一方的评价具有最直接的参考价值，因此接受查新服务的用户评分应占较高权重为60%，相关职能部门的科技查新管理人员的评分占权重为40%。

评价的客体就是指评价对象，也就是科技查新质量。科技查新服务是一种深层次的信息咨询服务，它有别于其它的参考咨询服务，目前已经发展成为涉及社会各领域用于判断项目新颖性的鉴证手段。科技查新质量直接关系到对科学研究创新程度评价的客观、公正与否。评价和控制查新质量是查新管理的重要内容，也是查新质量管理的关键环节。

（三）评价标准和评价指标

评价的标准依赖于评价目的。首先明确科技查新是一项深层次信息咨询，它具有和其他咨询服务同样的属性，它的评价标准是以其服务满足社会与用户需要为最高标准。在进行评价时需要注重其具有项目鉴定、鉴证的功能。

其次，全评价体系中的形式评价、内容评价和效用评价对评价客体来说也是一种评价标准。具体到科技查新质量的形式评价，就是对科技查新所表现出来的外部特征的评价，主要包括对查新人员素质、文献资源配置、查新报告质量、查新系统等进行评价。科技查新质量内容评价就是对科技查新的权威性、新颖性、学术性、完整性等内容质量进行评价，如文献检索质量、专家咨询质量、查新课题整体水平的评价。科技查新质量的效用评价就是用户或相关职能部门的科技查新管理人员在看到查新报告一段时间后，对查新报告产生效用的评价，可以反映出他们对查新报告的认可度、满意度及如何提升的一些需求。

根据科技查新质量的形式、内容和效用评价的分析，可以把里面的每一概念进行细化，从而对科技查新质量的属性进行概括。根据这些细化的指标就可以构建科技查新质量评价的指标体系。

（四）评价方法和评价制度

1.文献调研法

在查阅教育部等查新管理部门制定的相关查新质量评价指标，参考了国内科技查新质量评价指标文献的基础上，并通过查看科技查新用户反馈的统计资料和数据，探讨查新质量评价指标体系的建立。

2.层次分析法与模糊综合评价法的结合

主要体现在将科技查新质量评价指标体系分成递阶层次结构，运用层次分析法确定各指标的权重，然后分层次进行模糊综合评价，最后综合出总的评价结果。

二、科技查新质量评价指标体系构建

设立科技查新质量评价指标体系，须依据一定原则：首先所设指标体系应能全面反映评价客体的本质特征，指标之间既相互独立，又互为补充。其次评价指标应该是较易于获得具体数据的，指标量化工作相对容易实现。另外选择的指标应具有代表性，能够全面反应评价客体的性能，避免指标过多或过少；再次指标体系层次需清楚、结构合理。

（一）科技查新质量形式评价

根据评价指标的设立原则和科技查新质量本身的特征，通过对科技查新质量全评价体系六大要素的逐一分析，笔者从形式评价的角度出发，拟将科技查新形式评价指标体系划分成4个一级指标，14个二级指标的体系结构。

表1 科技查新形式评价指标体系

（三）科技查新质量效用评价研究

用户在收到查新报告一段时间后，对查新报告产生的效用评价，是评定查新报告对用户申报项目、奖项的作用；查新管理部门在年检、抽检对查新质量调查也是效用评价的一部分。效用评价部分指标不适合用定量化的指标来评定，本文选择从用户反馈、查新管理部门指导意见进行判断。评价采用调查问卷表的形式（见表2，表3）。

表2 查新用户调查问卷

表3 查新管理人员调查问卷

三、结束语

本文从“全评价”体系的理论入手，深入分析了“全评价”体系在科技查新质量评价中的运用，构建了科技查新质量形式评价、内容评价和效用评价的指标体系。指标较全面地覆盖了科技查新工作的全过程及质量评价的主要影响因素，且相对易于获得。随着科技查新质量管理的不断规范和完善，在保证评价指标相对稳定的同时，应及时调整相应指标，以期实现查新质量的持续改进。

[1]叶继元．人文社会科学评价体系探讨[J]．南京大学学报（哲学·人文科学·社会科学），2010,47(1):97-110.

[2]陈铭.基于“全评价”体系的图书馆电子书评价研究[J]．图书与情报，2012(1):22-26．

[3]范佳佳．全评价理论在学科馆员评价中的应用研究：以天津外国语大学图书馆学科馆员评价为例[J]．图书馆杂志，2012(9):75-82．

[4]叶继元，陈铭．开放存取期刊学术质量“全评价”体系研究——以“中国科技论文在线优秀期刊”为例[J]．图书与情报，2013(2):81-87．