林琳辽宁省科学技术情报研究所 110168
关于检索系统测度科研成果的问题探究
林琳
辽宁省科学技术情报研究所 110168
在海量文献环境下测度科研成果信息,已经成为文献检索系统的重要组成部分。检索系统测度科研成果是在信息检索、文献计量学与电子商务推荐系统研究成果综合演变下发展起来。文章充分结合国内外实际使用情况,分析了过度使用检索系统测度学术成果的原因,进一步指出了在使用检索刊物的过程中,在做学术成果评价和判断时一定要结合当前系统给予合理客观的表述。
协同过滤;检索系统;科研成果
利用检索系统测度学术成果由于受到诸多因素的影响,难以充分保证评价结果的准确性和公正性,科研管理活动中过度的依赖某些测度指标如被引率、影响因子、被收录指标等可能会使测评结果有失偏颇,严重时可能会导致学术不公。因此,利用检索系统评价学术成果和制定科研政策时要十分慎重,还需要对此方法进行更深入的研究,找出合理的使用范围和恰当的使用对象,并注意与专家评议等其他方法进行有效的结合,只有这样才能获得客观的评价结果。
我国目前评价学术成果的方法一般有两条途径:一是同行专家评议;二是利用检索系统进行评价。两种方法各有长处和弊端。同行专家评议通常采用鉴定会、评审会、论证会、网评的方式进行,由于评价的主体是人,因此易受人为因素影响;利用检索系统进行评价,评价的主体是物即检索系统,考虑到学术成果评价是一个复杂的智力劳动,没有人参与的评价其可靠性令人怀疑。近年来国内有人建议将两种方法结合使用,发挥各自的长处,但是,具体有效的办法还鲜见应用。学术成果的评价受到了来自方方面面的干扰,利用检索系统评价学术成果,在一定程度上排除了人为因素,因此,在目前的环境下管理部门运用此方法进行学术成果评价有一定的合理性。但是无论如何学术成果评定中最积极、最活跃、最有效的因素是人,缺乏了人的参与,学术成果评定的权威性就要打折扣。从某种意义上说,仅仅依靠检索系统测度学术成果是见物不见人,从一个极端走到了另一个极端。科研管理部门不需要组织耗时费力的专家鉴定会、成果评审会,科研管理者也不需要与科研成果相关的专业知识,只须要求承担学术研究的部门和个人提供相应的收录与引用证明,接下来的工作就是进行论文核对和数量对比,看是否达到了规定的要求。
2.1 检索评价过程
评价学术成果的步骤为,科研管理部门规定某种检索系统为评价平台,确定该检索系统所收录期刊的范围(核心期刊),核对被评价论文是否发表在来源期刊之上,确认学术成果。评价学术成果的步骤为,科研或教学管理部门确定某种引文刊物为评价期刊,利用该检索刊物统计该论文被引用的次数或被该检索刊物收录的情况,确认学术成果。利用上述两种方式测度学术成果都是间接性的,利用检索系统评价学术成果基于这样的假设,检索系统收录的来源期刊必须是高质量的(核心期刊)且来源期刊刊载的论文是高质量的,实际上无论是检索系统收录来源期刊的标准还是核心期刊选用学术论文的标准,都与学术成果评价的标准是不一样的。学术成果和学术论文有非常密切的联系,但并非等同,学术论文是学术成果的表现形式之一,学术成果的本质是对科研、生产和社会进步产生的推动力,这是评价学术成果的最根本的标准。从另一角度讲,一项学术成果即便没有形成任何论文乃至文字,也不应因此埋没它的真正价值。因此,仅利用检索刊物来评价学术成果,实际上是一种间接的评价过程,难以保证评价结果的准确性和公正性。这样的评价方法实际上是科研管理部门把自己的将评价权交给了检索系统的编辑部门和学术期刊的编辑部门。
2.2 评价检索标准
我们知道,衡量检索系统的主要标准是系统的查全率和查准率,查全率是指检索系统能否把相关专业文献收全,也就是指检索系统所报道文献的覆盖范围。像化学文摘(CA)、工程索引(Ⅱ)这类大型检索系统都以极高的文献覆盖率而著称,只是由于近年来文献量增长太快,受人力物力制约,才不得不对收录的来源期刊进行筛选,但无论如何,收录范围和覆盖率始终是衡量检索系统的重要标准。衡量检索系统还有一些其他方面的标准.如能否为使用者提供尽可能多的检索途径,使用是否方便,报道文献是否及时等,但所有这些都不构成对所收录期刊乃至论文质量的评价。
2.3 检索系统编制目的
检索系统的编制目的就是把分散在不同形式的出版物、不同载体的文献信息按照一定规则组织起来并予以集中揭示,其主要的功能就是为科研工作者查找和利用文献提供便利。检索系统用于测度学术研究成果只是近年来的事情,充其量只是一个派生功能,而不是检索系统的本质属性。某些期刊类的工具书如由北京大学图书馆牵头研究编辑的《中文核心期刊要目总览》初衷是为文献、情报工作者,为各类图书馆、情报信息机构选刊订刊提供依据。另外,从事图书馆、情报工作的学者都知道检索系统在评价学术成果时其主要功能是提供新颖性的说明,也就是通常所说的某项科研成果是否见诸于公开报道的文献,至于学术成果的价值并非是检索系统本身能够说明的。
2.4 检索系统编制技术
题录、文摘类检索系统通常都是通过刊载学术论文的期刊是否被选做题录或文摘的来源期刊作为评价依据。题录、文摘类检索系统的选刊标准往往是以来源期刊的学科范围以及来源期刊所载文献数量与检索系统所规定学科的相关性比例为主要依据,而来源期刊的质量并不一定是主要入选标准。例如,工程索引(EI)编辑部在其选刊标准中明确提出两条:一是期刊的学科范围;二是期刊的质量H1,而期刊的质量从其选刊的说明中我们只能理解为期刊编辑的版面质量。因此,仅从检索系统收录来源期刊的范围来确定学术期刊乃至学术论文的质量具有很大的局限性。引文类检索系统通常是通过被评价论文是否刊登在来源期刊之上或论文的被引用频次来测度学术成果的。来源期刊的选用以及具体的测度指标如影响因子、被引频次等受学科、语种、国家、地域的影响很大。基本假设不够严密的缺陷导致了引用文献的动机复杂性和多样性,自引、反引(批评式引用)、转引(直接把别人的参考文献列出)、友情互引、伪引(为哗众取宠,虚列引用文献)、漏引(有意)等使得评价结果产生很大的差异。
人类进入加世纪以后,科学技术飞速发展,作为反映科学技术成果的文献信息激增,有人称之为“信息爆炸”,如何能从如此海量信息中快速、准确的找到所需要的信息成为科学研究工作者的迫切希望,很多检索刊物就是在这种环境下诞生的。综上所述,滥用检索系统测度学术成果则在一定程度上成为学术不端行为、造假抄袭的诱因,不仅发生在普通科技人员身上,有的还涉及到大学的教授、博士生导师、校长、长江学者、甚至两院院士,很多人开口必言谈SCI、影响因子,以检索系统为统计基础的各类排行榜满天飞。我国科学家十分关心建立科学合理的学术成果评价体系,对于如何正确使用检索系统测度学术研究成果提出了很多的真知灼见。科研管理的模式偏重于定量化,过分强调SCI影响因素,但是这可以作为某一因素,而不是决定性因素。
[1]张蓓.浅谈模糊检索在信息检索中的应用与优化[J].现代教育,2013,015.69-71
[2]何卫华.高校科研成果网络化服务平台的设计与研究[J].图书馆学刊,2014(1)62-64