基于用户反馈的查新报告可信度调查研究

●杜 娟（浙江省医学科学院 情报研究所，杭州 310013）

查新咨询报告作为查新工作的最终产物，其可信度不仅反映了一个查新机构本身的查新质量，更在某些程度上影响着整个查新行业的信誉。查新咨询报告要真正做到在科研成果鉴定，科研项目申请、立项及管理与决策中起到重要的鉴证作用，其查新报告的高信度在其中占有无可置疑的地位。随着查新工作的不断发展，全国众多查新机构出具的查新报告数量也日益增长，这些查新报告的实际信度到底有多少，用其进行科研评价的可靠性到底如何，这是所有查新人员与相关管理部门都想要弄明白的一个问题。笔者通过用户调查法先期进行了查新报告在用户中的可信度调查研究，以明确查新报告在查新用户方的可信性定位。

1 查新报告的可信度及其影响因素

一个高质量高信度的查新报告的出炉，必然是在查新员精准理解与掌握项目研究内容及查新点后，进行最全面的项目相关文献采集，并从中发现准确的密切相关文献或部分创新点密切相关文献，用简洁流畅的、专业的、有针对性与比较性的语言，按照项目研究内容及其创新点，客观准确地表述查新结果及查新结论。在相关文献或密切相关文献为零的状态下，绝对不能有相关文献或密切相关文献的漏检。

但实际操作离理想的标准有不小的距离，各种提高查新质量的措施也只能是努力缩小这个差距，要求查新报告的绝对准确性几乎是不可能的，对查新项目的新颖性评价只能是在有限检索范围内的一个结论。已有一些理论研究对影响查新报告质量的因素进行了探讨，提出了有关查新报告的质量评定标准及其指标体系；［1,2］；也有少量理论性研究文献就查新报告的可靠性、查新报告的失实、查新报告中相关文献漏检的影响因素进行了分析。［3-5］综观我国查新研究方面的文献不难发现，查新机构所能应用的数据源、各种数据源本身的数据收集量及时效性、查新人员的职业道德及知识结构与工作能力等都是影响查新报告可信度的重要因素，这也是各个关注查新报告可信度的查新职界人士所担忧的症结所在。因为一个查新机构不可能拥有世界上所有的文献数据源，也不可能随时能获取查新项目可能相关的最新数据，查新人员处理一个个截然不同的查新项目的素质与能力也千差万别，而经常发生的短时间大量的查新要求又一定程度上迫使查新人员按照“最小努力原则”进行查新工作，再加上一些查新机构的经济杠杆、查新审核及专家咨询制度的不完善、各查新机构各自为政缺乏监管的现状，导致不少查新机构出具的查新报告的可信度令管理部门、评审专家及用户产生诸多质疑。2研究内容及方法

2.1 查新报告可信度指标及其比重的确定

参考国内丁蕴一、马景娣、孙清玉等的查新报告质量评定标准及评价指标体系的有关定性及定量研究，［1,2,6］结合笔者近20年的查新工作实践，确定此次调查研究所采用的查新报告可信度指标及相应比重。其中：

（1）按漏检密切相关文献进行评定，可信度以百分制为单位计算。

① 项目有密切相关文献（包括一篇到多篇） 而查新过程中全部漏检，则查新报告的可信度为零。②项目有2-10篇的密切相关文献而查新过程中部分漏检，按漏检比例除以2确定查新报告的可信度（100-漏检率%/2）。因为项目虽无新颖性，但此时的密切相关文献量可一定程度上反映项目的先进性。③ 项目有密切相关文献但最密切相关文献漏检，则查新报告的可信度低于50%。④ 检出的项目密切相关文献已超过10篇以上，项目已无先进性可言，更绝对否定了其新颖性，漏检文献量对报告的可信度无明显影响。⑤ 对于有多个查新点的项目，因某一查新点漏检密切相关文献而错误评定其为创新点，按其与总查新点的比例确定查新报告的可信度（100-漏检点量/总查新点量%）。其中每个查新点的漏检密切相关文献量对查新报告可信度的影响可按上述评定方式结合查新点量计算。

（2）按查新报告形成过程中的质量主要影响因素进行查新报告可信度的评定，各指标所占比重以百分制为单位计算。见表1。

笔者对丁蕴一、马景娣等提出的相关指标分值作了些修改，认为，在准确掌握与理解项目研究相关知识、研究内容、查新点的前提下，所采用的数据资源的全面性是保证查全的基础条件，不同数据资源检索过程中的检索策略及方法、对相关文献与密切相关文献的查找及判定是整个查新过程中最关键的质控步骤，这也是最难以用标准化、规范化程序控制其质量的工作。只有在查全的基础上查准，密切相关文献的漏检率达到最小程度，才有查新报告的可信度可言，所以这前两部分的工作量也是最重要的。正确做好了这前二步，查新报告的可信度至少已应达到70%以上。准确识别了相关文献与密切相关文献，查新结果的表述可采用标准化、规范化的手段加以控制，包括采用信息优化处理原则、一般相关文献的概括性表述原则、新颖点突出原则等进行表述，所以后两部分的比重控制在30%。

2.2 用户调研

以上述密切相关文献漏检情况及查新报告可信度评价指标表1为主要内容，同时为了解本部门查新报告在用户中的信度，分浙江省医学情报研究所（以下简称医情所）、其他查新机构两个板块进行查新报告可信度评价。基于用户的视角，采用问卷调查法在浙江省随机抽取15家单位的生物医学查新用户进行匿名形式的相关调研，共回收有效调查表204份。为用户评价方便起见，表1中的每个可信度评价指标均以100%为最高标准，并结合每个用户的相应查新频次进行累加统计及核算。

3 结果

3.1 样本基本信息

抽查的查新用户均为地市级及其以上单位的生物医学科研人员，其年龄、学历、职称、查新频次、查新目的构成见表2。

这些查新用户以高学历、高职称居多；委托省医情所的总查新频次为518人次，委托其他查新机构的总查新频次为60人次，平均每人的查新频次为2.83；查新目的系项目申报必须占87.25%，为使项目更有意义或用于项目准备占30.39%，其中有12.75%的用户系主动查新，而不是为了应付项目申报，表明了查新工作正在得到用户的主动响应。

表2 查新用户的基本信息

3.2 用户对查新报告可信度的评价

调研结果表明，用户反馈的省医情所出具的518份查新报告中1份有密切相关文献漏检，漏检率为0.19%，为漏检评定标准的第一种情况，这份查新报告的可信度即为零。其他查新机构的密切相关文献漏检率为8.33%（5/60），其中为漏检评定标准第一种情况的4份（查新报告的可信度为零）、为漏检评定标准第三种情况的1份（查新报告可信度＜50%）。

除去漏检的6人次查新报告评价，将其余572频次的查新报告可信度指标逐一列入Excel表进行汇总统计，结果见表3。

表3 基于用户的查新报告可信度评价统计表

4 讨论

按设置的调查表，此次用户调查反馈认可的查新报告信度较高，除省医情所1份、其他查新机构5份有密切相关文献漏检外，其余572频次的查新报告可信度指标成绩均在优良以上。13个指标中，查新结果与结论表述的简洁性得分最低，分别为86.75与85.23；项目研究内容理解准确性、检索结果表述专业性及准确性得分最高，分别为96.73和96.84，总体可信度达93.49%。由此说明，我省生物医学领域出具的查新报告在用户中已具有较高的可信度，其中省医情所的查新报告可信度达94.19%，其他查新机构的查新报告可信度达86.89%。

从调查结果可以看出，人的因素是查新报告可信度中最重要的影响因素。浙江省所作为卫生部定点的专业性医学科技项目查新机构，查新人员均具有医学专业或医药信息学专业的知识，对专业性较强的医学科研项目的研究内容理解与查新点把握的能力较强，与用户沟通较顺畅，在这方面的可信度得分较高。而数据库稍有欠缺，尤其是国外文献资源，所以在数据资源上相对分值低些。在实际操作中我们已通过网络资源进行了弥补，最后的查新结果除一些查新员的能力因素导致结果稍有偏差外，密切相关文献尤其是项目最密切相关文献漏检的发生并不多见（此次调查显示的漏检率为0.19%）。而用户反馈的查新结果与结论的简洁性得分偏低，表明我们在这方面的工作尤其需要加强。

其他查新机构的查新报告可信度稍低可能与这次的样本主要为省医情所用户有关，他们在其他机构进行的查新频次仅占了10.38%。当然相对较高的密切相关文献漏检率还是与其中一些查新机构专业人员配置不合理、非专业人员从事生物医学查新有关。尽管这些查新机构的数据库全面性分值高于省医情所，但其查新人员对相关知识的缺乏必然导致目标文献查找与判定困难，并最终导致查新结果与结论的不知所云以及相关文献与密切相关文献的漏检。

国内以前有关查新用户的相关调查或理论研究多限于用户满意度的调查，并将其应用于查新质量评估体系中，这是有失偏颇的。不同的查新用户对其项目的查新结果有不同的期望与满意标准，他们主观所需要的查新结果，有时甚至与查新报告的高信度背道而驰，特别是那些纯粹为了应付项目申报要求的用户，他们期望的查新结果是相关文献或者是密切相关文献越少越好，而新颖点是越多越好。此次调研的样本基本信息显示，多数用户的查新目的还是因项目申报的必备要求，但也有30.39%用户的查新是为了使项目更有意义或是为了项目准备，对于这些用户来说，他们希望查新报告的可信度越高越好。随着网络普及以及网络资源可获取程度的增高，很多查新用户往往在其课题申报或成果鉴定前做了大量的文献检索工作，他们已有更多的能力和标准来评判查新报告的可信度，所以基于用户的查新报告可信度调查也一定程度上确切反映了我们的查新报告质量。

查新工作主要还是要靠人来完成的，查新所用的各种数据资源的缺陷也需要人去加以修正，提高查新报告可信度的最好方法还是提高查新人员的素质，包括道德水准、敬业精神、知识面及工作能力。查新员及查新机构不能为了单纯的经济效益盲目接收非本专业的查新申请。查新报告只有在用户、评审专家、管理部门都具有高信度，我们的查新工作才能拥有持久的旺盛的生命力，而这需要我们全体查新人员兢兢业业的工作来证明。

［1］丁蕴一，等.查新报告质量评定标准［J］.情报科学，2004，22（10）：1223-1225.

［2］马景娣，缪家鼎.关于查新报告质量评定标准的探讨 ［J］.情报科学，2005，23（11）：1681-1684，1707.

［3］杜津萍，党亚茹.科技查新可靠度分析［J］.图书馆工作与研究，2008（6）：79-82.

［4］杨杰.科技查新结论不实的原因及对策［J］.图书馆学刊，2006（1）：80-81.

［5］马小燕.浅析漏检率对查新报告结论的不确定性影响 ［J］.现代情报，2004（9）：180-181，183.

［6］孙清玉.科技查新质量评价指标体系探讨［J］.情报科学，2009，27（5）：743-746.