文献计量在科研评估中的问题与校正探讨

董岳珂

(上海对外经贸大学图书馆，上海 201620)

·业务研究·

文献计量在科研评估中的问题与校正探讨

董岳珂

(上海对外经贸大学图书馆，上海 201620)

基于文献计量在成果产出源、成果统计和个人影响力方面评测存在的问题，通过引入数学方法，情报搜索以及比值计算来校正文献计量在科研评估中的片面性、局限性以及数据统计上的不公正。将前置条件、评测背景等因素纳入评测范畴，使文献计量在科研评估中更公平、公允并切合实际的反映出评估对象的科研实力。

文献计量；科研评估；学术影响力

科研评估的量化评测是大数据时代发展的必然趋势。文献计量已成为科研评估量化评测的重要组成部分。文献作为科研产出的主要成果或实体除承载的科研成果外，还包括了重要的科研产出要素，即人或所属机构。同时，文献的相互引用或相互关联从一定意义上描述了学科之间的相互影响或相互作用。通过对文献各个组成要素的计量或统计客观反应了科研的整体发展趋势以及所具有的影响力效应。

文献计量现已成为科研评估的主要方法和手段。随着大数据时代的到来，运用文献计量法更能从量上体现科研成果的产出情况。目前图书馆常用的科研产出检索数据库包括：SCI、SSCI、SCOPUS等。科研评估离不开科学的分析，仅单凭绝对的科研产出数据无法定位一所高校在相对的环境中的科研实力。

为了科学实现文献计量的公允性，需要考虑到科研产出的前置条件来公正评测机构或个人的产出成果，通过运用数理统计、情报搜索等方法对前置条件下的产出评测进行校正处理，希冀在评测文献、作者或某个机构的科研产出或影响力方面将更加公平、公允。

1 文献计量在科研评估中存在的问题

各权威检索平台的数据析出并未具备一定意义上的准确性，这些问题的产生来自于数据的起始著录，在数据来源这一项的标注中缺乏对机构的详细描述，而且在成果归类上，外文检索平台对文献的学科归属划定与国内的标准划分存在某些方面的不一致。检索平台在对文献本身的揭示、关联方面实现了很多技术上的突破，然在对文献产出源的描述中缺乏系统性、统一性的描述规范或标准，导致在对成果出处的统计中存在一些问题。而且数据库对字段的著录也存在一些显著性的错误。譬如由于机构更名会使一些学术成果无法检出。如Scopus数据库中，并未对更名后的上海对外经贸大学名称进行机构标引，导致该校更名后的学术成果无法通过机构名检索获取。类似数据原始著录方面的问题在各个权威检索平台中已是屡见不鲜。

从文献计量的角度来看，由于数据库起始著录存在的问题，导致科研成果在数据统计中存在诸多弊端，除字段著录错误或字段缺省外，成果产出源描述的单一性，如仅有作者姓名和所属单位的描述，对于作者的详细描述存在数据不完善、数据滞后、数据描述标准不统一等问题，如上所述问题将导致通过文献计量无法评测成果产出源对成果产出的贡献程度，无法准确定位科研实力的构成因素。

1.1 计量科研成果产出源及影响力存在的问题

1.1.1 计量科研成果产出源存在的问题

1)科研成果与院系无法对应

对于高校一定时间内科研成果的统计，数据的主要获取方式还是使用检索平台。而数据库对成果的标引项中一般仅有作者所属机构的一级机构标注，部分数据并未精确到作者机构的二级机构，譬如学院或院系等等。这样就很难通过检索准确获取本机构各个二级机构(院系)的科研产出情况。例如检索清华同方平台发现在对同一位作者的成果收集中，部分文献的详细页面著录有作者所属机构的二级机构，如×××大学×××学院。部分文献仅有一级机构的描述，未有详尽的二级机构描述，如仅有×××大学。且详尽的作者著录页面也仅有作者所属一级机构的描述，未有所属二级机构的描述。这样从某种程度上造成了二级教研机构成果统计的困难和数据的不完整。很多情况下，在高校或者科研院所，学科建设是以院系为单位进行的。科研成果的产出情况应该从院系层面进行揭示，这样对高校的学科评估以及学科建设才更有借鉴价值[1]。

2) 国内外学科对应关系的不明确

科研评估中高校还是比较注重外文成果的产生情况，外文成果在一定程度上更能表征高校在国际上的科研实力。对于外文成果的获取均来自于外文数据库，譬如常用的WOS平台数据库，以及SCOPUS、EI等。但这些数据库的学科划分与国内学科之间的对应关系并不精确，一些成果的学科归属就会存在误差。例如在对一位从事金融市场研究的作者成果收集中发现SSCI平台将其外文成果归为“数学”大类下的“统计及概率学”，中国知网将其中文成果归为“经济学”下的“金融管理”。两个学科之间的跨度还是很大的，中外文文献分类的角度还是存在一定的差异性。基于国外数据库的检索平台来进行科研评估，还是需要慎重考虑到数据库的学科划分与高校自身学科的统一性或一致性。如何能够在国内外学科间建立更为精准的映射，将成为加强科研评估的准确性和说服力、增强校际间横向可比性的重要因素之一[2]。

3)科研成果选择的局限性

科研成果的主要数据来源于作者公开发表的学术成果，包括期刊论文、学位论文等。2017年“中国好大学排名”中仅以期刊论文和综述作为评判依据，其它文献类型如会议论文并未纳入评价体系。同时，中外文数据库收录的学术成果资源也主要以期刊论文为主。若仅从期刊论文的产出定夺科研水平还是存在一些片面性的。教研机构的学术专著、专利标准、国家级及省部级课题项目的承担等，都可以成为科研评估的主要依据。但从文献计量的角度来讲，非数据库收录的资源在统计中需要更多的人工干预，并在一定层面降低了精确度。若从全方位统计科研机构的科研产出成果，需要投入大量的时间和人力。

大数据时代，科研评估中其核心部分主要来自于成果发表的多维统计，人工干预及主观判断的部分在不断缩减，即重大项目的承担、重要国际会议的参与、以及无法量化的科研产出的统计与计算因其自身呈现的不规范性，从严格意义上来讲很难纳入标准统计范畴。然而对科研贡献度的普遍认可，并不仅仅包括公开发表的科研成果，其它不规则数据形式的科研实力表征也应通过合理的计量给予一个数字上的科学诠释[3]。

1.1.2 计量科研成果影响力存在的问题

期刊影响因子是核心期刊评测的主要指标，期刊影响因子是以一定时间内期刊中所有文章的被引量与期刊内发表文章量的比值得出的。期刊影响因子计算的是一个均值，即篇均被引的次数。期刊影响因子表征的是期刊本身的篇均被引次数，并不代表单篇文章的影响力。科研机构在评测作者成果影响力时，往往以是否出自于核心期刊来进行评定，倘若这篇文章并没有达到该刊影响因子的数值，是否也认定该篇文章具有与该刊中达到或超过其影响因子数值的文章具有同等程度的影响力？例如，2017年9月4日通过清华同方数据库检索到刊载在《图书馆论坛》2014年9月的两篇论文，其被引量具有显著差异，题名为“英美高校科学数据管理与共享政策的调查分析”被引量为11次，题名为“一号多刊”出版乱象下的采编工作——以国家图书馆期刊采编工作为例”被引量为0次。据清华同方平台统计显示《图书馆论坛》的综合影响因子为1.35(2016版)，可见被引量为0次的论文显然没有达到该刊影响因子的水平。从目前来看，对文章的评定都是基于期刊的级别，鉴于此，文章出自于哪本刊的重要性高于该篇文章自身的影响力。以期刊整体的被引情况来定夺单篇文章的影响力，在某种程度上是走量化的程序，加大评测的统一化管理，其说服力还有待深究。

文章被引量的统计与学科归属也存在密切关系，通常而言，生物医药类的文章被引量要大于人文社会科学类的文章。这也是由学科自身的研究发展性质所决定，从宏观层面来看，生物医药类的科研数据可成为不同文章研究内容的参考源。人文社会科学的研究在某种程度上对客观数据的实证借鉴并不擅长。仅就单一文章被引量来考证其影响力，脱离文章的学科背景也是不符合实际情况的。

文章的被引不仅包括本学科内的文章引用，也可能是其它学科对本学科的引用，譬如计算机方面的文章也会被情报学方面的文章所引用。图书馆学方面的文章也会被教育学方面的文章所应用，从以上普遍存在的学科之间交叉引用来看，若某学科的文章被引量高，并不一定表明该学科在自身发展中取得了丰硕的成果，或具有相关研究层面的优势或潜质。亦或是学科自身的交叉性所导致的引用范围的不断扩散。

1.2 科研成果评测的单一性问题

科学研究成果是在一定的科研环境中，包括物质条件和智力条件，依据当前研究储备通过可操作途径完成智力资源到研究成果的转化。科研评估从一定层面上实现对成果数量和质量上的评测，同时也是文献计量学在科研评估中的主要应用。科学研究是一个有机生态圈，仅从研究成果定位科学研究的实力或成效并不具有合理的参考价值。科研评估不可忽视对科研产出源的考虑，即哪些因素对科研成果的产出是至关重要的，重要程度如何权衡。

1.2.1 缺乏科研产出源的量化评估

科研产出源是与科研成果产出直接相关的重要因素。这些重要要素包括成果产出机构所从事的学科研究；机构所处的地域位置；国家或行政机关的政策资金支持；成果产出人的学历、职称等级；学科背景；研究时间；海外学习经历等等。客观上来讲，构成科研产出的各项有利因素都可以纳入科研产出源的范畴。各项科研产出源对科研成果的贡献程度很难从量上进行定夺，且当前的科研评估的重点是放在对成果的统计与评测上，对于科研成果是如何产出的，在怎样的条件下产生的并未纳入评估的范畴。科研成果在数量上的差距除科研实力上的差距所导致外，科研产出源的各项因素也是导致科研成果数量上差距的客观原因。科研评估是从一定层面对科研实力的评测，只有在合理掌握科研产出源对科研成果的贡献度基础上，才能从本质上把握科研实力上的优势和劣势所在，从而定位科研实力提升的突破点。

科研产出源头来自于高级人才以及多元的学科专业等。学科覆盖的全面性和高级人才的高密集度都与科研的高产出量是正相关的。如何在科研评估中将科研产出源与科研产出量结合起来考虑，并从计量的角度统计在一定规模的产出源下有多少数量的科研产出成果分布是更科学的一种科研评估校正。

1.2.2 缺乏计量数据的多维比较

科研产出数据的分析多以文献构成要素展开计量角度。譬如通过检索平台获取某年的成果数量、某人的历年成果产出数量、某学科的历年成果产出数量、某学科的历年成果被引数量等等。这些数据表征了被评测对象科研成果的静态数量，但并不能揭示该评测对象在科研方面的行进状态，其进步或倒退的程度有多少，也不能揭示在同类对象对比中科研的相对实力或影响力。如何将科研数据置于一定的环境中去考究，如何使科研数据体现出一定层面的现实意义才是科研评估不可获取的情报素材。

2 从情报搜索层面探讨文献计量的校正

数据库检索平台在成果的数量统计上是具有优越性的，但在成果出处方面的描述还存在一些问题。 为使对成果的出处统计更详实准确，且学科对应和机构对应更贴近于机构的实际情况，需要运用数据库检索平台以外的途径获取情报数据支撑。

2.1 计量科研成果产出源的校正分析

科研教学机构的官方网站是获取情报资源的主要渠道。通过登录机构官网获取各级教研机构所属人员的情报信息，依据人员名称的一致性。将检索平台获取的该机构的某人员的科研成果对应到机构官网的各级教研机构的所属人员，从而实现科研成果与教研分属机构的直接对应，再有依据官网获取的人员学科研究情报信息，可以对应到检索平台文献所属学科，建立检索平台学科与官网情报获取人员学科之间的映射关系。考虑到机构官网情报资源获取的非顺畅性，在某种程度获取各个分属教研机构的人员教研信息还是存在一定困难的。徜若需要完善通过外文数据库检索获取的成果资源，建立文献与包含教研信息的机构人员之间的映射关系还是很有必要的。

例如在收集本校各学院教师的成果时，首先登陆本校官网，进入各个二级教研机构的师资页面，将各个二级机构的所属教师姓名、研究方向、职称、学历、科研成果等项逐一列出，然后利用数据库平台，通过本校名称与作者姓名两项，检索获取该位作者的科研成果。最终实现各个二级教研机构科研成果的完整统计。

除通过数据库检索平台获取机构的科研成果之外，通过情报搜索，譬如机构官网可以获取到对科研成果其它方面的描述，包括承担的国家、省部级重大项目；精品课程的建设；国际性学术会议的承办；专利标准的授予权等等。可以将情报获取的科研成果信息归于个人或分属教研机构，充实完善科研评估中的遗漏或仅以数据库检索获取成果的不完善性。做到百分百科研成果收集无遗漏是一种理想状态，只有在原有的基础上通过合理的情报获取途径来不断完善科研成果的收集。

2.2 计量科研成果影响力的校正分析

考察学科或个人的影响力，引文分析是主要的数据评估方法。因各个学科的引用偏好不一样，各个学科的纵向引用应从历年的数据中计算出一个基数，学科间的影响力对比应基于基数去考察。譬如各个学科的半衰期的数值是不一样的，同理各个学科的被引量也可以通过大样本统计计算得出一个数值，在评测学科影响力时将该被引量基数作为评测依据来弱化学科自身引用偏好所导致的数量上的巨大差异。另外，个人影响力的评测需要考虑个人的职业年龄、所属学科等等，可以通过不同学科、不同职称、不同学位的人员分别考察其被引情况，从而体现对个人科研能力评测的公平性。

学科评估中，交叉学科的被引量从普遍意义上来讲要高于单一学科。学科的引文分析囊括了学科内与学科间的引用关系。在统计出的被引总量中，计算出学科内与学科外之间的被引比例。通过学科内外的引文分析可以明确本学科的发展趋势，也从某种程度上认识到学科与其它学科之间的关联性。在通过引文分析考察学科影响力方面需要对学科的交叉性建立客观认识，仅通过引文分析单一定夺学科的影响程度存在片面性，学科的交叉性是需要慎重考虑的因素。

3 从数理统计层面探讨文献计量的校正

在众多数字资源的检索输出中，分析的单元都是基于文献的。通过对文献各项要素的著录形成了分析的不同维面。大数据思维使越来越多的受众考虑这些数据产生的结果而很少考虑到这些数据是如何产生的。越来越多的人士依赖检索系统来评价科研上的进展态势，而甚少思考这些数据的产生是否基于标准的、完整的、统一的数据计量。

3.1 科研产出源的校正评测

在目前的各类科研成果仓储中，一般意义上来讲产出源的描述缺乏细致性、规范性、准确性。仅就成果出处机构的著录都会出现明显的错误，而科研评估不仅仅只是成果的评测，各类科研产出源的优势条件也应纳入评测体系，例如，被评测对象的职称、学历、学科背景等。从目前检索平台的数据构成来看，由于数据提供的不完善性，实难完成整个科研生态体系的计量统计，为了弥补在文献计量方面无法避免的倾向与错误，很有必要引入一些科学的方法来合理的校正单一成果统计上存在的弊端。

考虑到科研产出源的非规范化，以及计量上的困难，可以通过条件概率的数理统计进行弱化。将科研产出源分为软资源和硬资源，软资源包括人才、学科、博硕点等支撑科研产出的软环境，硬资源包括资金、机构级别、地域等支撑科研产出的硬环境。通过大样本统计或者专家主观评测给定每项科研产出源在科研产出上的贡献度数值。将被评测对象具备的各项科研产出源贡献度数值作为前置条件计算出在该条件满足下的科研产出概率。通常情况下，前置条件满足量越多，其科研产出的概率值越高，相反前置条件极少具备，其科研产出的概率值较低[4]。

另外，通过检索平台获取被评测对象的科研成果，将检索获取的被评测机构的科研产出量与起先计算出的概率数值进行对比分析，来客观的评定被评测对象的科研产出实力。首先设定被对比的目标机构，通常情况下与被评测机构具有同质性。利用比值比较被评测对象与对标机构科研产出的概率，将概率比值与检索平台获取的科研成果的数量比值进行对比，若概率比值小于成果数量比值，则说明与对标机构相比，被评测对象在相对少的科研产出源下产出了更多的科研成果。既被评测对象在科研产出实力上与对标机构相比具有优势。相反，若概率比值大于成果数量比值，则说明与对标机构相比，被评测机构在相对多的科研产出源下产出的科研成果相对少于对标机构，既被评测对象在实际科研产出实力上与对标机构相比处于劣势。通过引入科研产出源参照系的分析，会使科研实力的评测更接近于实际和合理性[5]。

设定两个财经类高校进行对比分析，财经高校A具有较多的高级人才、博硕点专业分布，承担重大课题研究项目等，在科研产出源上比财经高校B具有更多的资源优势，经合理量化后评测财经高校A的科研产出概率为90%，财经高校B的科研产出概率为20%。通过检索平台获取到财经高校A的科研产出成果为850条，财经类高校B的科研产出成果为200条，通过财经高校A与财经高校B的比值对比，概率比值为9/2，成果产出量比值为8.5/2，既概率比值大于成果产出量比值，说明与财经高校B对比下，财经高校A在相对多的科研产出源下，并没有产出相对多的科研成果。

在实际的科研产出源贡献度和科研产出概率计算上还是存在很多不可确定的因素，难于实现数量上的驾驭。为了实现科研评测的公允性，着实需要全面探讨科研计量方面的诸多因素。

3.2 相对环境中比较科研成果

3.2.1 数据产出的纵向对比

对于机构或个人的科研评估往往是基于绝对数值的，即一定时间限度内某一学科下的成果产出量。绝对数值只是表明了科研的最终状态，而并未能明确科研产出的效率或速度。在考察某个时间段内机构的科研情况，除一般获取的成果数据之外，更需以同样的方式获取以往的科研数据，通过不同时间段的成果产出对比计算，明确科研产出量随着时间推移的增进速率。在考察学科的科研情况时，除一般获取的成果数据外，也需要获取该学科下各个研究方向的成果产出情况，通过不同研究方向的产出成果量对比分析，明确学科研究的倾向性。在评价学者的科研实力时，除获取其所产出的科研成果外，更需根据该学者的职业生涯，肩负的科研任务，自身的职业发展情况来分时间、分学科的评测其科研产出情况，据此判断其科研产出潜质或贡献度。纵向评测的关键是不可忽略历史的存在，评测一个机构、学科、学者的科研发展态势，需要基于一个历史的测评点，通过对比分析和计算，来科学定位其发展所达到的程度以及所具有的潜质。

3.2.2 数据产出的横向对比

机构或个人的科研评估不仅需要与自身的发展进行对比，更需要预设同质机构或个人进行对比，通过同类对比，可以客观认识到相对于同类机构或个人科研状况是处于强势或弱势。若科研产出量不及同类机构或个人，则被评测的对象暂处于科研发展的弱势。若科研产出量高于同类高校或个人，则被评测的对象暂处于科研发展的强势。在通过横向对比评测机构的科研情况时，挑选对标机构在师资职称、机构级别、博硕点、学科分布等方面要与评测机构的实际情况基本一致，这样通过同质机构的对比分析，数值上的差距与科研实力上的差距才会在某种程度上趋于吻合。个人科研情况的评测也需要与同质个人进行比较，对标对象在职业年龄、职称、学科研究方向等方面要与评测个人的实际情况基本相符，通过对比分析明确在同等境况下的个人产出实力。

确定对标评测模板，所有同质机构或个人通过与对标模板的比较，来确定自身在整个科研评测环境中的位置也是横向对比的一种客观评测方法。例如将某个学科某个时间段的被引次数作为该学科影响力的评测指标，通过不同机构相同学科与评测指标的对比，来客观定位不同机构该学科的影响力差异。

4 结 语

文献计量方法本身是大数据时代活跃的运用手段。将该方法运用到科研评估更能从客观层面反应科研成果的水准。然而在运用此方法前，需要对学科性质、科研产出源、机构的组成等建立科学的认识，不能脱离实际去考察计量数据，本文通过数学方法、情报搜索以及比值计算等将一些科研评估中的前置因素或前提条件纳入评测体系。希望通过更加公平的参照系来具有前提的评判机构、个人或学科的实际科研贡献度。相信随着文献计量方法的不断校正，我们将越来越接近于科学评价的本来面目[6]。

[1]赵飞,艾春艳,李峰,等.院系与学科角度相结合的高校科研评估探析[J].大学图书馆学报,2016，(1):76-82.

[2]赵飞，艾春艳，游越，等.基于文献计量开展高校科研评估的探索与思考 ——以北京大学科研竞争力评估为例[J].大学图书馆学报,2014,(1):97-101.

[3]许海云,刘春江,雷炳旭,等.学科交叉的测度、可视化研究及应用——一个情报学文献计量研究案例[J].图书情报工作,2014,58(12):95-101.

[4]Jasleen Kaur,Emilio Ferrara,Filippo Menczer,Alessandro Flammini,Filippo Radicchi.Quality versus quantity in scientific impact[J].Journal of Informetrics.2015,(9):800-808.

[5]Péter Jacso.Pragmatic issues in calculating and comparing the quantity and quality of research through rating and ranking of researchers based on peer reviews and bibliometric indicators from Web of Science,Scopus and Google Scholar[J].Online Information Review.2010,34(6):972-982.

[6]宋丽萍,王建芳,王树义.科学评价视角下F1000、Mendeley与传统文献计量指标的比较[J].中国图书馆学报,2014,40(4):48-54.

TheProblemsandCorrectionofBibliometricinScientificResearchEvaluation

Dong Yueke

(Library,Shanghai University of International Business and Economics,Shanghai,201620,China)

Based on bibliometric,considring the assessment problems exists in the source of research achievements,achievements statistics and personal influence,the paper used mathematical method,information search and ratio calculation to correct one-sidedness,limitations and in statistics.The precondition,the evaluation background and other factors were included in the evaluation category,so that the bibliometric was more fair,and realistic in the research evaluation and reflected the scientific research strength of the evaluation object.

bibliometric;research assessment;academic influence

10.3969/j.issn.1008-0821.2018.01.018

G250.2

A

1008-0821(2018)01-0127-04

2017-08-23

董岳珂(1977-)，女，馆员，研究方向：信息素养教育。

郭沫含)