中国科技查新服务评价研究述评

夏 冬，徐英祺，王 超，李 蓓

（1.中国科学院成都文献情报中心，成都 610000；2.齐鲁工业大学（山东省科学院），济南 250000；3.山东省科学院情报研究所，济南 250000；4.中南大学生命科学学院，长沙 410000）

1 引言

科技查新是中国重要的情报学审查工作，其专业性要求高，包括必须具备规范的操作程序、足够的检索年限、高标准的查全率和查准率、明确客观的查新结论等，最重要的是如实准确地反映查新项目的新颖性[1]。科技查新围绕着项目申请、项目结题验收、专利申请、标准跟踪、科技成果评价（原科技成果鉴定）、申报奖励等业务开展，30 多年来在支撑中国科技发展和推动科技进步方面起到了积极作用[2]。据不完全统计，中国提供科技查新服务的各类机构数量已超过400家[3]，因此针对各机构的科技查新服务能力、水平评价甚至整个科技查新服务业的全面评价均非常重要。基于此，本文拟对中国科技查新服务评价的研究现状进行梳理，从评价的主体、客体、指标体系、评价方法及工具、实证研究5 个方面进行论述[4]，总结中国科技查新服务评价研究的具体内容和特点，并针对性提出科技查新服务评价的发展建议。

2 科技查新服务评价研究概况

笔者在中国知网的 《中国学术期刊（网络版）》 数据库中，以TI=(' 查新'+' 科技查新')*(' 评价'+' 评估'+'满意度')为检索式进行检索，时间限定为近20 年（2001—2020 年），共检索到83 篇文献，经人工排除不相关文献，最终得到文献56 篇。图1 显示了56 篇论文的时间分布情况，整体来看，国内学者对科技查新服务评价的关注较少（年均论文不到3 篇），仅有2010年论文数达到10 篇，其次2011 年有7 篇论文，绝大多数年份的论文数均在5 篇及以下。这或许与中国开展科技查新工作是服务于其他科技管理工作有关，即科技查新是一项“强制性”服务而非一项市场主导型的服务，且论文数量少也与中国科技查新工作量大，查新人员开展研究时间少相关。

图1 论文年份分布Fig.1 Annual distribution of papers

图2 展示了56 篇论文的期刊分布情况。由图可知，56 篇论文共分布于31 种期刊，其中发表在 《情报科学》 上的论文数最多，共有6 篇；《医学信息学杂志》 和 《中华医学图书情报杂志》 各有5 篇论文，这与中国最早在医学领域开展成果鉴定工作有关。从载文期刊质量角度看，发表在 《北京大学中文核心期刊（2017 年版）》《中文社会科学引文索引（2019—2020）来源期刊》收录期刊上的论文共有18 篇，占全部论文的26.6%，这说明发表在高质量期刊的论文偏少，可见查新工作繁忙不但影响发文数量，也影响了论文的质量。

图2 载文期刊分布Fig.2 Distribution of published journals

3 科技查新服务评价研究现状

3.1 评价的主体

评价的主体是指谁来进行评价，科技查新服务评价的主体与评价的目的密切相关[5]。通过梳理文献，结合作者署名机构性质，笔者将科技查新服务评价的主体大致分为3 类，分别是高校图书馆和研究院所、管理机构、查新用户。

高校图书馆和研究院所是科技查新服务的主要力量，也是科技查新服务评价的主要研究力量。高校图书馆和研究院所具备较强的科研实力，他们针对科技查新服务过程中的某个或某些方面，从不同角度进行了研究。这类主体关注的是行业内部问题，虽然不同性质的机构承担的查新项目领域或方向不尽相同，但各机构的查新工作均是依据 《科技查新技术规范》[6]的流程完成的，因此这类主体通过开展评价能找到自身的定位，发现短板并及时弥补。

管理机构包括了国家科技奖励工作办公室[7]、卫生统计信息中心[8]、卫生部医学信息工作管委会办公室[9]、中华医学会[9]4 家机构。这类主体关注的是中国科技查新整体工作的评估与考核，是从管理角度对科技查新在支撑其他科技管理工作中的作用进行评价。管理机构的评价显示出管理机构对中国科技查新工作的重视，且有3 家机构均为医学方向，可以看出科技查新在医学科技管理工作中的重要性。

查新用户作为科技查新服务的购买方，也参与了科技查新服务的评价研究[10,11]。与高校和研究院所的人员不同，查新用户的评价多依赖自身在查新服务中的实际感受来评价，如服务的便捷性、满意度、服务的性价比等。

3.2 评价的客体

评价的客体是指要评价的对象，科技查新服务评价的客体包括了科技查新服务范畴内的一切要素，通过梳理相关文献，笔者将评价的客体归结为5 类，分别是科技查新报告、查新咨询中心、查新人员、查新用户、查新服务。

3.2.1 科技查新报告

科技查新是一项专业性极强的科技咨询服务，科技查新报告（以下简称查新报告）作为服务的最终输出产品，体现了查新员在“查”和“新”两部分的智慧，因此是科技查新服务评价的首要客体。黄宗昉[12]和姚宝卿[13]均在1992 年就对查新报告和成果查新报告的质量评价进行了实证研究，这说明从科技查新开展之初，查新报告的质量就受到了关注。由于查新报告在项目立项申请、科技成果评价、专利申请等其他科技活动中具有参考价值，故一份高质量的查新报告应是逻辑统一、内容充实的报告，基于这一要求，针对查新报告的评价也涵盖了查新点质量评价[14]、检索质量评价[15,16]、新颖性评价[17,18]及报告撰写质量[16,19-23]评价4个方面。

3.2.2 查新咨询中心

评价客体中占据第二位的是服务提供方—查新咨询中心。虽然开展查新报告质量评价可以对规范科技查新工作，但是查新报告的质量不能完全代表查新咨询中心的整体水平。仅仅对查新报告评价很难推动整个行业质量的提升，而全国所有查新咨询中心的整体水平才是中国科技查新行业的体现，因此对查新咨询中心进行评价，不仅有助于查新委托人了解查新咨询中心的服务能力，也有利于引导查新咨询中心不断提升自己的水平，也只有从查新咨询中心的角度入手进行评价，才能从根本上推动科技查新的发展。与评价查新报告质量不同，对一个服务单元的评价除了要衡量其服务产品的质量，还涉及其他维度，这主要是由于查新咨询中心的双重属性：一层属性是作为服务单元为不同用户提供科技查新服务；另一层属性是作为研究型单元依托研究所或图书馆开展学术研究。在查新咨询中心的评价上，评价指标包括了硬件和软件两方面，涉及领导重视程度、文献资源、设备情况、业务情况、人力资源、科研创新水平、管理水平等[7,24-27]。

3.2.3 查新人员

查新咨询中心的竞争，最根本的还是人员的竞争，拥有高素质且能够为组织带来知识资本增值的知识型员工将日益成为查新机构增强竞争力的重要元素。以科技部和教育部批准的具有科技查新资质的机构[3,28,29]来看，科技查新服务多由高校图书馆或各信息研究所提供，这类机构具有丰富的知识资源，因此查新人员也应符合一名知识型员工应具备的特征，对查新人员的评价也包括了专业素养、服务意识、业务能力、学习能力等多个方面[30-32]。

3.2.4 查新用户

查新用户是查新服务评价中较查新员较查新人员更少的一类客体。查新咨询中心作为服务的提供单元，与用户接触极为密切，因此除了要重视内部管理，还应重视外部管理。作为外部资源，用户资源是查新咨询中心的宝贵财富。评价查新用户有助于各查新咨询中心提供精准服务，能根据不同用户的需求制定发展战略以提供具有更高价值的知识服务[33]对查新用户的研究集中在服务需求挖掘、服务满意度调查等方向[34-37]，这类研究的目的是梳理分析查新用户的特征、行为、需求、满意度等。通过实施用户关系管理的来完善查新咨询中心的管理和运营，以实现提高用户信任度和忠诚度，提高查新咨询中心竞争力的目的。

3.2.5 服务质量

服务质量是科技查新服务评价研究中最少被关注的客体，在学者们对查新报告、查新咨询中心、查新人员进行评价时，服务质量这一无形的体验评价鲜有人关注，目前仅有连丽艳从感知角度对查新服务进行了评价研究。她认为，虽然查新报告在一定程度上代表着科技查新的质量，但其本身无法量化，只是无形服务的有形表现形式，无论是查新报告质量还是查新咨询中心评价均不能等同于服务质量。作为一项以主观感受为主的评价，查新服务质量的评价应该找到服务过程中查新咨询中心、查新人员、查新用户发生服务接触时的感知关键点[38]。

3.3 评价的指标体系

设计评价指标体系是需要针对不同类型客体进行不断调整的复杂过程。针对不同的评价客体，国内学者从不同角度设计了不同的指标体系进行综合评价。依据设计视角的不同，这些指标体系可分为以下5 类：基于专家经验视角的评价指标体系、基于理论借鉴视角的评价指标体系、基于行业标准视角的评价指标体系、基于服务绩效视角的评价指标体系、基于用户体验视角的评价指标体系。

基于专家经验视角的指标体系在查新报告和查新咨询中心评价中应用最多，这类评价多为科技查新专家依据实际工作设计指标体系，也有使用已有指标体系再结合咨询专家进行改进设计的。如蒋丽敏[39]通过专家咨询得到数据，构建评价指标体系对河南大学科技查新站的服务质量进行了评价；罗臻等[40]也通过专家咨询法研究构建医学科技查新质量评价指标体系；孙会清等[41]在已有的相关研究成果的基础上研究了科技查新质量评价指标体系；曹姝等[25]通过专家咨询研究了军队医药卫生科技查新机构评价指标体系；除开查新报告和查新咨询中心，韦彤[33]也基于专家咨询设计了查新客户评价的指标体系，并运用层次分析法确定各指标的权重系数，进而给出综合评价量表及计算方法。

基于理论借鉴视角的指标体系也都是针对查新报告和查新咨询中心进行设计，如王芸凤[22]将熵权法引入查新报告质量评价，根据评价指标数据提供的信息量对查新质量进行多目标客观综合评价；化明艳等[42]基于灰色理论研究构建了科技查新质量评价指标体系。

基于行业标准视角的指标体系旨在为评价体系标准化提供参考，制定评价标准的依据是具有规范性或标准性的文献，如王世雯[43]基于 《科技查新规范》 中每一个工作流程的操作规范，就查新报告质量评价构建了评价体系；陆海红等[14]研究基于ISO 标准管理理念和管理模式研究构建科技查新报告质量评价主要指标。

基于服务绩效视角的指标体系多针对查新咨询中心的评价进行设计，这类评价指标体系的设计均参考了平衡计分卡。如王子珍[10]从财务、客户、内部流程、学习与成长4 个维度，建立科技查新绩效评价的动态平衡计分卡模型；张伟聪[11]构建了衡量部级查新工作站绩效的财务维度、客户维度、内部流程维度和学习与成长维度的评价体系；黄卓泳等[44]研究构建了地方科技查新机构的绩效评价指标体系。

基于用户体验视角的指标体系即以用户在查新服务中的感受为中心构建评价体系，这类评价研究较少，其中夏蕾[26,45]以用户为中心，设计了查新站质量评价方法并对查新机构评价指标体系进行了优化设计。

3.4 评价的方法

在评价方法的选取上，学者们采用了定量和定性评价两种方法。其中定量评价包括计量分析及构建指标体系评价的方式，定性评价主要涉及评价过程中面临的难点、要点分析。

定量评价方面，统计分析主要是应用统计学方法进行计算，在应用指标体系进行评价时，由于指标体系是综合指标体系，学者们采用了不同的方法进行指标权重赋值，绝大部分指标的赋值均采用了专家打分的方式[42,46]，也有结合专家和经验打分进行赋值[47,48]或对用户发放问卷进行调查后确定权重的[26,49]；确定指标体系后，层次分析法是被应用最多的分析方法[19,33,41,43,46,50-54]，层次分析法的优点在于可利用较少的定量信息使思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法，尤其适合于对决策结果难于直接准确计量的场合，但层次分析法也存在指标权重主观性较强的劣势，这也造成评价结果的公平公正性缺乏说服力。除层次分析法外，学者们还探索了使用熵权法[22]、结构效度分析法[26]、神经网络法[31]、灰色关联度分析法[42]、直觉模糊推理[45]、工作分解结构法（Work Break Down Structure，WBS）[47]、数据包络分析（Data Envelopment Analysis，DEA）杂合自组织映射（Self-Organizing Maps，SOM）[49]、模糊德尔菲法[55]用于评价。在工具的使用方面，仅有少数学者明确了使用MATLAB[26,48,49,53]或MCE 软件[25]、EXCEL及SPSS[56]，大部分研究均未明确是否运用软件或工具。

定性评价方面，学者们多采用对查新工作总结归纳的方法针对评价过程中的不足进行探讨，如邱戌旦[17]对医药卫生查新项目中有关新颖性评价的若干问题进行了研究；曹姝[21]对军队医药卫生高等级成果查新报告复核评估工作进行了概述；蒋丽敏[57]研究了影响查新质量的因素；周旭毓[58]探讨了系统评价方法及其对查新咨询工作的启发。

3.5 实证研究

实证研究是评价的一项重要内容，开展实证研究的方法有两类，一类是计量分析评价，如刘岩[30]对回收的调查问卷采用了定量排序，发现中英文医学科技查新是工作量最大的环节；另一类是实证研究是为了对提出的评价指标体系或方法进行验证，验证指标体系或方法用于评价的有效性，在56 篇文献中，有21篇文献均提及开展了实证研究，如王芸凤[22]对某查新站10 名查新员的报告质量进行评价，夏蕾[31]利用基于BP 网络构建的模型对提出的查新工作人员服务质量评价模型进行了验证，张静[46]利用基于AHP-模糊数学建立的模型对科技查新质量评价进行实证研究。

4 中国科技查新服务评价存在的问题

当前国内科技查新服务评价在评价主体、评价客体、评价指标体系和评价方法上都呈现出多样化但又相对集中的特点：评价主体以提供查新服务的高校和研究院所为主，评价客体以查新报告和查新咨询中心为主，设计的评价指标体系均采用了多指标体系，评价方法包括定性和定量评价，定量评价时层次分析法被应用最多。虽然评价研究推动科技查新向更好的方向发展，但不同视角下的评价研究凸显出4 点不足。

4.1 评价客体概念混淆

评价客体概念混淆是科技查新服务评价的重要问题。如有文献使用科技查新质量评价、科技查新服务质量评价、查新咨询质量评价的提法[57,59,60]，从实际内容来看，评价的对象均是围绕科技查新报告的质量进行评价。但不同的概念，其内涵和外延是不同的。以科技查新服务为例，科技查新服务的质量不同于科技查新的服务质量，科技查新的服务质量评价应是针对无形服务的质量评价，其指标体系的设计应以整个查新工作中用户的主观感受和体验为主；此外，查新质量和查新咨询质量也不应混为一谈。除开评价客体的概念，科技查新一词的英文也有多种表达，如“Sci-Tech Novelty Assessment”[30]、“Sci-Tech Novelty Retrieval”[61]、“Scientific and Technological Novelty Searching”[62]等，而在《科技查新技术规范》[6]中采用的是“Scientific and Technical Novelty Search”。在概念模糊不清的情况下开展评价研究，不但不利于科技查新人员借鉴参考，也不利于其他研究人员了解科技查新行业。

4.2 缺乏定量评价指标体系标准

科技查新最初是在开展科技成果鉴定工作的背景下产生的，开展科技查新的资质最早由科技部（原国家科委）审批，但2003 年后科技部已取消对科技查新资质进行行政审批；教育部在2003—2015 年分批在102 家高校设立了查新工作站，但也于2017 年后取消系统内科技查新资质认定。在这期间，科技查新专业委员会在中国科学技术情报学会的指导下于2012 年成立，并于2016 年制定了 《科技查新技术规范》[6]，但技术规范仅针对查新工作进行规范，缺乏对查新报告质量、查新咨询中心、查新人员更细致的要求及规范，并不完全适用于指导科技查新服务的评价，因此在定量评价时，学者们构建的指标体系不尽相同，这也意味着评价结果不具有可比较性。

4.3 忽视服务效能评价

由于缺乏具有指导性的评价方案及指标，学者们只能参考或借鉴其他领域的评价指标体系来开展评价工作。但评价只针对科技查新的有形元素进行评价，却忽视了服务的效能，即服务产生的影响力。随着中国科技飞速发展，科技查新应用场景不断拓展。科技查新不仅是其他科技活动的支撑环节，也是市场经济环境下各机构拓展高价值服务的基础业务。2014 年国务院 《关于加快科技服务业发展的若干意见》[63]中首次将科技查新划定为科技咨询服务业，作为一项具有决策支撑性的服务，科技查新服务评价应考虑科技查新对公众或其他科技活动的影响，因此科技查新工作的效能应该被考虑在科技查新服务评价内。

4.4 未探讨评价后科技查新发展问题

科技查新从最初得到各科技管理机构的认可（被动查新），到如今逐渐得到科研人员的认可（主动查新），都离不开科技查新的可持续发展。当前科技查新服务评价研究与建议均集中于如何做好现有的科技查新工作，未能基于评价研究进行更深层次的科技查新发展探讨。在中国进入第十四个“五年计划”的开端，科技查新的职能表现逐渐突出，如何更好的服务于中国科技事业，也是科技查新服务评价需要进一步研究的，如张薇[64]于2018 年将科技查新归纳为把关筛选、咨询服务、鉴定查证3 类职能，针对不同职能的查新服务，以评价促进发展才能使中国的科技查新与国家发展紧密联系。

5 中国科技查新服务评价的建议

科学的评价是为了更好的管理和发展，通过梳理科技查新服务评价的研究现状及面临的问题，笔者针对科技查新服务评价提出以下建议。

5.1 明确客体，厘清概念及其内涵边界

科技查新服务评价包含了科技查新服务过程中的全部要素，需要在确定客体及概念清晰的前提下开展研究才具有严谨性和可参考性。因此在进行科技查新服务评价时，首先应划清评价客体的概念边界，如查新服务质量不等同于查新报告质量，查新报告质量也不等于查新人员或机构水平，此外还需规范专业名词的英文表述。基于相关研究，笔者认为科技查新服务评价的客体应包括科技查新报告、查新咨询中心、查新人员、查新用户、查新服务5 类，其概念边界如表1 所示。

表1 科技查新服务评价对象及评价内容Table 1 Evaluation object and content of scientific and technical novelty search service

5.2 注重效能，建立顶层指标体系标准

顶层指标体系对科技查新服务具体评价实施具有指导作用，由于目前科技查新服务评价标准缺乏，因此尽快研究适合科技查新服务的顶层指标体系就显得极其重要。2015 年1 月中共中央办公厅、国务院办公厅印发《关于加快构建现代公共文化服务体系的意见》[65]中提出公共文化服务评价要以效能为导向。公共文化服务提供机构包括图书馆、档案馆、博物馆、文化馆、艺术馆等，科技查新作为面向市场的服务业，在评价时也应注重以效能为导向，因此在设计顶层指标体系时，可参考这类服务性机构或服务行业，将评价方向向服务影响力等方向引导。

5.3 建立平台，推行内外二元评价机制

目前，中国科技查新监管主体不统一，也没有建立全国性的管理平台，各机构业务数据未能开放共享，这不但限制了评价研究的开展，也有悖于科学数据开放的大趋势。笔者认为，科技查新行业应尽快推进建立全国性的查新管理平台，并推行内部评价与外部评价结合的二元评价机制。内部评价即自我评估，即在标准化的评价指标体系下进行自查和自审，开展评价的主体为查新咨询中心和上级主管部门，尤其主管部门定期进行评价后整改的验收；外部评价包括用户评价或第三方机构评价，但在外部评价时，仍然需要建立起独立、规范、制度化的评价机制。利用全国公共数据结合内外部评价不仅利于主管部门明确行业问题，也有利于科技查新行业了解自身实力并不断改进提升。

5.4 定期评价，契合需求注重细化发展

近年来，在全国科技查新交流会[66-68]上，科技查新自动化的研究为服务效率的提升带来了技术上的保证，科技查新也正在探索全流程自动化的可能性。定期评价不仅可以起到对一段时间内成果进行检验的效果，也有助于对未来改进及发展提出新的要求。随着中国科技部、教育部不再对科技查新资质进行认定，科技查新已开始走向市场化探索阶段。不同目的的查新，委托人的要求不尽相同，但作为一项以信息检索为基础的专业性极强的服务，科技查新行业应不断契合市场化条件下个性化的用户需求，根据不同目的向不同方向细化发展。