我国图书情报领域个人学术评价指标的应用情况研究

2020-12-17 03:31刘中兴杨建林
现代情报 2020年12期
关键词:内容分析法

刘中兴 杨建林

收稿日期:2020-06-01

基金项目:国家社会科学基金重点项目 “面向国家发展与安全决策的情报服务创新研究”(项目编号:NO.18ATQ003)。

作者简介:刘中兴(1996-),男,硕士研究生,研究方向:数据挖掘。

通讯作者:杨建林(1970-),男,教授,博士,博士生导师,研究方向:数据挖掘,信息检索,学术评价。

摘  要:[目的/意义]考察我国图书情报领域内个人学术评价指标的应用情况,为后续的个人学术评价指标研究提供参考,推动构建更加科学、合理的个人学术评价指标体系。[方法/过程]收集9种CSSCI图书情报学代表期刊2014—2018年有关个人学术评价指标的文献数据,运用内容分析法,从使用范围、使用环境、使用动机、使用情感4个方面考察指标应用情况。[结果/结论]分析显示,我国图书情报领域个人学术评价指标使用处于主要研究h类指数的指标发展阶段,较多使用传统简便的文献计量指标,如h指数、发文量与被引频次;个人学术综合评价的多元指标融合途径研究较少,仍有必要继续加强包括多指标融合比较、进一步完善个人学术评价指标体系在内的学术评价研究。

关键词:个人学术评价指标;使用评估;学术评价;内容分析法

DOI:10.3969/j.issn.1008-0821.2020.12.014

〔中图分类号〕G250.252  〔文献标识码〕A  〔文章编号〕1008-0821(2020)12-0140-10

Research on The Use of Individual Academic Evaluation

Index in Library and Information Field in China

Liu Zhongxing1,2  Yang Jianli1,2*

(1.School of Information management,Nanjing University,Nanjing 210023,China;

2.Jiangsu Key Laboratory of Data Engineering and Knowledge Service,Nanjing 210023,China)

Abstract:[Purpose/Significance]To investigate the use of individual academic evaluation indicators in the field of picture situation in China,to provide reference for academic evaluation researchers,and to promote the improvement of individual academic evaluation system.[Methods/Process]Literature data on individual academic evaluation indexes of 9 CSSCI representative journals from 2014 to 2018 were collected,and content analysis method was used to investigate the application of indexes from four aspects:use scope,use environment,use motivation and use emotion.[Results/Conclusions]The analysis showed that the personal academic evaluation indicators in the field of picture and situation in China were in the development stage of the indicators mainly studied in category h index,while the traditional and simple bibliometric indicators,such as h index,publication volume and citation frequency,were mostly used.There are few studies on the integration of multiple indicators in individual academic comprehensive evaluation,so it is still necessary to continue to strengthen the research on academic evaluation,including the integration of multiple individual academic evaluation indicators and the further improvement of individual academic evaluation index system.

Key words:individual academic evaluation index;usage assessment;academic evaluation;content analysis

学术评价是指针对学术成果的学术贡献、学术创新、学术价值、学术影响以及社会影响、应用价值、经济效益等方面的评估[1]。学术评价指标是对学术评价对象某个或某些属性的概括,可以从质和量两方面為学术成就评价提供数据,如发文量、引文量等。期刊影响因子[2]是反映期刊重要性的一种宏观测度,是指期刊论文获得的客观响应,可以用来计算期刊在一个学科领域的学术影响[3],它不属于个人学术评价指标,但对个人学术评价方法的发展有推动作用。目前常见的被评价对象有学术期刊、研究论文、学者个人、研究机构、学科或专业等。过去20年里,使用指标来评估研究成果的现象增多,科研管理的效率与科学性得到显著提高,但是,评价工作中存在复杂而混乱的现象,对评价指标的研究与应用产生一定的负面影响。以学者个人学术评价为例,评价活动中存在个体与期刊的学术影响力挂钩、以刊评人、指标混用等现象,在职称晋升、成果评奖等工作中经常引起争议。

学术评价可分为宏观层面(国家、大学、期刊等)与微观层面(个人)两个方面。相较之下,使用学术指标对宏观层面的评价研究成果较多,并且更易于人们接受[4];微观层面研究更具争议性并且研究较少[5],仍有大量可探索空间。学界非常关注面向个体的学术评价,包括评价过程中应该尽量避免的事项。著名文献计量学家Van等[6]指出:“用刊物的影响因子来评价1篇论文或1个学者的学术表现是不可饶恕的”。2012年,多家机构和多位知名科学家联合签署《旧金山宣言》(San Francisco Declaration on Research Assessment,DORA)[7],不提倡使用影响因子去评价个体的学术成就。学术评价应针对特定客体用特定的指标,模糊客体差别混合使用指标是不合适的,评价学者个人学术水平的指标应体现在个人的学术成果中。

为了进一步完善个人学术评价指标的研究与应用,有必要全面认识个人学术评价指标的应用情况,如学者们主要使用哪些指标去评价学者个人,哪些环境下使用哪些指标,使用指标的动机、情感如何,等等。图书情报领域的学者是学术评价研究的主要力量。此背景下,本文尝试聚焦使用范围、使用环境、使用动机、使用情感4个维度,更全面、透彻地概括我国图书情报领域个人学术评价指标的应用情况,为后续的个人学术评价指标研究提供参考,也有助于构建更加科学、合理的个人学术评价指标体系。

1  相关研究

与本文相关的研究工作主要包括面向个体的学术评价指标研究、特定类型命名实体使用情况研究以及基于引用情感分析的评价研究3个方面。

1.1  面向个体的学术评价指标研究

现有的个人学术评价指标较多,常用的有发文量、引文量、篇均被引数、h指数和h型指数、百分位数指标、学术迹等。这些评价指标各具特色,不同程度地推动着个人学术评价工作的发展。部分学者对它们进行了分类讨论。如叶鹰[8]将学术评价指标分为均值测度、高影响特征测度和整体综合测度3类指标;徐佳宁等[9]按照指标计算方法和特性将文献、数据库和官方机构使用的个人学术成就评价指标归为传统指标、相对指标、h类指标、百分位指标4类;高志等[10]认为目前评价个人学术影响力常用的方法有4类,即基于传统文献计量学的评价方法、h指数及其衍生指数、基于社会网络的评价方法和基于Altmetrics的评价方法。迟培娟等[13]通过比较分析学术迹与F1000评分、影响因子、被引次数等指标,探讨了不同评价指标的差异性和相关性。

每种个人学术评价指标均有其优缺点,多数学者认为没有完美的指标。如邱均平等[14]认为h指数是一个计算简单并且易于理解的复合指标,评价研究层次广泛,但不能反映科学家研究活动的衰退状况而且有区分度不高的缺陷,使用时应考虑它的局限性;Egghe L等[15]指出h指数对高被引论文不敏感这一缺点,并在修订h指数的基础上提出了G指数;金碧辉[16]提出新的R指数和AR指数作为h指数的补充;杜建等[4]指出,目前所有的基于引证分析的个人学术评价指标,如总被引次数、篇均被引次数、h指数等都有缺点。Costas R等[17]指出,单独依靠一种指标进行评价是不科学的,不能相互替代的指标应互为补充。

部分学者建议在利用指标开展个人学术评价时应综合考虑同行评议[18],或联合使用指标综合评价[19],或定量指标多维化使用。我国目前联合应用若干指标进行个人学术评价的具体方法和相关实证较少。

1.2  特定类型命名实体使用情况研究

特定类型命名实体包括关键字、主题、数据集、关键方法、关键理论等实体。实体可以用于评估学术影响,也可以进行挖掘,转化为知识发现[21]。

章成志等[22]、徐庶睿等[23]、王玉琢等[24]采集学术论文全文,结合所构建的词典,用基于字典匹配的方法识别并抽取文献中符合要求的算法,在此基础上依据提及频次、提及位置等考察评估十大算法的使用情况和影响力;Belter C W[25]对3个海洋学领域数据集的文献计量和引用情况进行了评估;丁楠等[26]以内容分析法为主要研究方法,对我国图书情报领域权威期刊2003—2013年间的数据引用行为进行等距抽样调查分析;崔明等[27]采用内容分析法对图书情报领域的软件使用情况进行了统计分析;杨波等[28]采用已有研究的元数据规范,人工摘录数据并提出一系列用来表示软件影响力和质量的指标,量化研究了生物信息学中的软件利用行为;赵蓉英等[29]利用Altmetrics(译为补充计量学或替代计量学),从下载量、被引次数以及软件间复用次数3方面对开源软件的学术影响力进行评价和分析;任增元等[30]利用CNKI库,规定检索词检索并筛选数据样本,利用Excel、CiteSpace软件进行文献计量,分析了我国学术论文评价一段时间内的研究状况。

1.3  基于引用情感分析的评价研究

使用某个指标的情感表明作者对该指标的态度。持肯定态度或否定态度明显对该指标的评价具有不同的作用。分析作者对指标的态度或情感极性,可以归纳出学者在不同引用情感下的引用行为特征。

耿树青等[31]提出一种基于“被引次数—引用情感”指标的引用情感评价方法去研究论文学术影响力,实验结果表明,加入引用情感后,对论文学术影响力的评价更全面,区分能力更强。刘盛博等[32]基于引用内容分析角度进行引文評价的性质研究,将引用情感分为正面引用、负面引用和中性引用3种类型,并认为研究引文动机的方法有两种,分别是作者访谈和基于引文内容进行推测分析,但第一种方法往往费时费力;Athar A等[34]认为,如果仅从引文句子本身识别情感是不可靠的,尤其是如果引文句子在同一段落不同地方进行了情感转折,那么情感检测是缺失的,这使得从引文上下文中明确情感显得更加重要。Abu-Jbara A等[35]基于NLP文献计量学对引文的目的(即作者意图)与极性(即作者情感)进行了增加引文上下文识别的研究,研究表明,使用引用上下文可以提高分类精度,增加情感被检出的文章数量。

使用个人学术指标亦属于引用的一种形式,参考上述文献可以看出,基于上下文及引文内容对使用情感、使用动机等进行标注,可以帮助确定个人学术评价指标的使用动机和使用情感。

2  研究方法

2.1  基本思路

参考综述中针对算法、数据集、软件、論文评价等特定类型命名实体研究文献的方法,本文采用词典匹配与CNKI关键词检索相结合的方法,筛选出使用个人学术指标的文献的元数据(标题、摘要、关键词)和全文,采用内容分析法对数据进行编码标注,再以文献全文内容辅助分析,获取指标使用范围、环境、动机、情感4个维度的标注数据。具体研究流程如图1所示。

首先,本文以9种图书情报领域期刊2014—2018年文献为研究对象,将文献与个人学术评价词典进行匹配筛选,得出相关文献元数据;其次,获取相关文献元数据对应的文献全文内容,便于后续辅助分析;然后,采取内容分析法,结合文献全文内容,对相关文献元数据进行使用范围、使用环境、使用动机、使用情感4个方面的编码标注;最后,对编码数据进行分析,得到我国图书情报领域内个人学术评价指标的应用情况。

2.2  数据获取与处理

2.2.1  数据获取与词典构建

为揭示我国图书情报领域个人学术指标的使用情况,本文咨询专家意见,根据刘宇等[36]对CSSCI图书情报学来源期刊的分层结构,剔除两种与图书馆学、情报学交叉较少的档案学期刊(《档案学研究》和《档案学通讯》),选取中国社会科学引文索引(CSSCI2017—2018版,http://cssci.nju.edu.cn/)收录的图书馆、情报与文献学18种来源期刊中的9种,获取2014—2018年论文元数据(标题、摘要、关键词)与全文文献,具体期刊如表1所示。

根据文献[9]搜集评价数据库和官方机构使用的个人研究表现评价指标,在Google Scholar中以每种个人学术评价指标名称作为检索词进行检索,通过检索出的文献以及介绍内容,得到每种评价指标的别名(简称、缩略词等),将指标及其别名整理为个人学术评价指标词典集,如表2所示。

此外,为了防止从科研文献中抽取的术语具有偏倚性、误差性以及词典构建时存在的指标遗漏问题,本文同时构建了一个个人学术评价指标辅助主题关键词集,用于构造检索条件表达式进行辅助筛选,最大化确保筛选文献主题与本文研究相关,具体内容如表3所示。

2.2.2  文本匹配筛选分析

中国知网(CNKI)是中国最大的学术电子资源集成商,收录95%以上正式出版的中文学术资源。CNKI文献检索中的跨库专业检索功能,可用于图书情报专业人员查新、信息分析等工作。本文使用逻辑运算符和关键词构造检索式进行检索,具体数据检索、收集、筛选清洗处理如下:

利用上文构造的个人学术指标词典集与辅助主题关键词集,根据CNKI的检索语法,SU=‘主题、TI=‘题名、KY=‘关键词、AB=‘摘要、FT=‘全文等,令主题、题名、关键词、摘要限定为词典集的内容进行“或”搜索,构造专业检索表达式,并选择时间跨度为2014—2018年,再进一步限定9种CSSCI图书情报代表期刊条件筛选(检索时间2019年8月),收集到学术性文献743篇。

接着,论文数据清洗分为3轮,第一轮筛选根据题名、摘要、关键词判定文献是否相关,第二轮根据全文内容辅助分析判读是否符合标准,第三轮对前两轮筛选后的最终数据进行分析维度的人工标注。论文数据筛选清洗避免了期刊、学术机构、学科、论文成果的学术评价指标文献,只选取关于学者个人学术评价的文章;此外,本文认为高校科研团队是介于学术机构和科研人员个人之间的学者团体,纳入学者学术评价范围;若评价论文的文章中涉及学者个人影响力评价等,本文也纳入符合标准数据范围。

最终利用人工标注、相关信息技术以及文献全文内容辅助分析,最大化剔除非相关论文后,得到有关个人学术评价指标的论文96篇为编码数据的标注结果。

3  结果分析

本文研究问题是探究个人学术评价指标在我国图书情报领域的应用情况,本文采用内容分析法抽取文献样本,以个人学术评价指标为分析单元,制定4个分析维度:使用范围、使用环境、使用动机、使用情感,对分析维度进行内容编码与统计。

3.1  基于使用范围维度的分析

使用范围即个人学术评价指标使用的普遍程度,本文认为提及的指标数量越多,表明该指标被更大范围的学者熟知,关注度越大。本文根据全文内容辅助分析,按1篇论文中出现该指标则统计频次1次的规则,在文献数据中收集到提及指标共398条。考虑到评价指标在实际研究时会存在诸多变种指标,若将变种指标与原始指标简单归为一类去统计频次则过于笼统,所以本文在指标统计分类时,将部分原始指标与改进指标按研究需要分类统计(如h指数、h型指数分开统计),并仅分类统计出现频次大于等于5次的指标实体,统计结果如图2所示。

图2显示,h指数(59次)、被引频次(50次)、发文量(45次)分别是文献数据中出现频率前3位的指标,h型指数出现次数较多,为26次。本文发现,传统指标发文量与被引频次作为最直观的计量指标,主要用于背景提及、直接使用和结合其他指标进行分析,受到我国学者重视;h指数与h型指数是当前我国学者最为关注的个人学术评价指标;h指数、被引频次和发文量是目前我国个人学术评价领域范围内提及使用广泛的前3项指标。

此外,在统计标注结果中出现频率大于等于5次的指标还有篇均被引频次(19次)、g指数(16次)、相关的3类指标A指数、R指数和AR指数(共15次)、引文量(13次)、p指数及其改进指数(12次)、e指数(7次)、中心性指标(7次)、AuthorRank(6次)。总体来看,出现频率靠前的大多数是传统指标与h型指数指标,规范化指标、百分位与整体综合测度指标出现频率甚至没有进入统计结果,总体大大少于传统指标与h指数这两类指标,这表明目前我国在个人学术评价层面仍处于广泛研究、使用传统指标和h型指数指标的阶段。对比来看,规范化指标、百分位与整体综合测度类的指标虽然反映信息更多,但计算难度更大,出现频率更少,表明学者在考量指标简单性和计算复杂性方面偏好直观、简单的指标。在统计频次小于5的指标里,学术迹、皇冠指数、I3指标、w指数、f指数、合作网络关系研究频次高于剩余其他指标,提及次数为1次的指标大多是文献作者根据原有指标改进并自命名的指标。

3.2  基于使用环境维度的分析

使用环境即使用个人学术评价指标的文献上下文内容环境,本维度用于判别文献将指标应用于何种环境中。本文根据关键词、论文主题和全文内容,将指标使用环境分为指标研究、指标运用、学术评价思考和其他,如表4所示。

將文献按照指标使用环境进行分类标注,结果如表5所示。数据集包含96篇文献,统计文献指标398个。其中,指标研究文献51篇,占比53%,此类文献中出现指标265个,占比67%;指标运用文献24篇,占比25%,出现指标61个,占比15%,大多该类文献仅涉及运用指标达成评价目的,并未对指标进行评判或研究;学术评价思考文

本文分析发现,指标研究类文献占多数,大多探讨现有指标的缺陷或改进,个人学术评价指标在该类环境下被提及的个数更多,平均每篇文献提及指标5.2个,高于平均水平,表明在进行指标研究时存在比其他3类研究任务更多的指标提及。

指标运用类文献中,大多数学者对指标的使用行为是将某个指标作为判断核心作者的工具去使用,例如利用发文量、被引频次、h指数等统计评出核心高影响力作者,便于文献问题的研究。虽然文献所占比例25%,排在第2位,但平均每篇文献提及指标仅有2.5个,表明学者们在单纯运用指标时,一般不超过3个指标。

学术评价思考类文献不局限于研究或使用指标,而是将指标放入整个学术评价环境中进行探讨,指标的篇均提及数量属于平均水平。其他类文献使用环境上,同行评议和学术评价思考两者占大多数,学者们对于同行评议这一主题的单一研究以及学术评价大环境思考方面有所关注,但该类文献平均提及指标数最少。

此外,本文分别统计出在4类环境里,哪些指标出现频次较高,选取出现较高的指标进行统计,如图3所示。

根据图3可知,指标研究类文献中,提及h指数的频次明显多于其他指标,表明h指数与h型指数受到我国学者重视,是我国的主要研究指标。指标运用类文献中,前3项指标分别是发文量、被引量和h指数,且前3项指标明显多于其他指标,它们的共同特征是统计方便和计算简单,评价效果直观易懂,表明学者们在单纯运用指标时,倾向于使用较为直观、简单的指标,这与基于使用范围角度分析的观点一致。学术评价思考类文献和其他类文献中,没有明显高频的指标出现,这也与两类文献研究主题宽泛有关,但出现频次相对较多的指标仍是h指数、被引频次和发文量。

3.3  基于使用动机维度的分析

使用动机即涉及个人学术评价指标的原因。考虑到指标的使用与算法的使用有共通之处,本文参考章成志等[22]对算法实体使用动机的分类思想,分类并判断作者提及相应指标的使用动机,分类标准如表6所示。

动机类型二级分类说明具体实例

背景提及a——介绍指标的背景信息、解释指标的原理、他人工作中使用“在情报学领域对学科领域核心作者的选取主要是依据作者的发文量、被引频次、h指数等来度量。”

实际使用b

单一使用b1在文献中使用了指标,且没有改进,也没有与其他指标比较“本文根据作者相关文献的被引频次来选择核心作者。”

单一使用并比较b2在文献中使用了指标,且与其他指标进行了比较“对h指数和g指数进行比较和研究,重点分析了科研人员h指数逐年变化的态势。”

结合改进使用b3在文献中结合改进并使用了指标,且没有与其他指标进行对比“结合集成影响指标(I3)和h指数构成I3型多变量指标框架,获得……等多变量指标。”

结合改进使用并比较b4在文献中结合改进使用了指标,且与其他指标进行对比“设计了反映作者自身科研价值的指标V……将评价结果分别与传统指标和单一指标进行对比,进一步验证了方法的有效性。”

根据分类,对文献数据进行标注,得到指标使用动机的整体分布,如图4所示。就指标整体使用动机而言,背景提及的占比略高于实际使用,这表明,我国个人学术评价研究领域的学者在背景介绍和提及指标方面较为重视,他们在使用、研究某一指标时习惯将与该指标发展脉络相关的其他指标进行背景提及,使得指标的背景提及动机数量增多。

本文进一步统计了出现频次前5项指标的使用动机分布,如图5所示。统计显示,就单个指标而言,出现频率最高的5种指标,除了h型指数,其余指标使用动机均是实际使用明显多于背景提及。本文认为学者们实际使用指标,尤其是进行指标研究时,习惯将其他相关指标作为背景提及,使得指标整体使用动机分布中的背景提及频次多于实际使用频次。总体上看,提及次数多的指标一般实际使用动机占比更高,相应地,提及次数少的指标一般背景提及动机占比更高。

在指标的实际使用二级分类方面,指标实际使用整体分布情况统计结果如图6所示。结果显示,指标的实际使用主要集中在单一使用并比较方面,占比46%,这说明多数情况下学者们使用指标的习惯倾向于在使用指标的同时与其他指标使用做比较,体现分析的全面性和优越性;指标的单一使用情况占比64%,多于指标的结合改进使用情况的36%占比,表明学者们在指标实际使用方面较多是直接使用现有指标进行研究比较,说明较为认可现有指标;但指标结合改进情况仍有近4成的占比,表示学界处于较多使用现有指标,却又不满足于现有指标,仍处于探索研究完善指标性能的阶段。

频次前5的单指标使用动机二级分类分布如表7所示。可以看出,h指数与篇均被引频次常用于单一使用并比较和结合改进使用,单一使用和结合改进使用并比较的比例不多;被引频次和发文量常用于单一使用和单一使用并比较,主要原因是这两种统计指标计算简单,表达简洁,利于直接使用;h型指数作为h指数的衍生发展,一般不单一使用,文献作者一般会将其与h指数等指标做比较,或是继续进行改良,故单一使用的比例最少。

另外,频次靠后的其他指标,使用动机则多聚集于背景提及和结合改进使用并比较两种。结合全文辅助分析可以看出,低频指标一般被作为文献背景简要提及,或是经过作者改良提出的新命名指标,未取得更多关注。

3.4  基于使用情感维度的分析

作者对指标的使用情感在某种程度上显示出对该指标的认可程度,本文通过全文辅助分析,将作者对于指标的使用情感进行正面、中性和负面的标注,考察学者在不同引用情感下的引用行为特征。标注说明如表8所示。通过全文内容及上下文判断使用情感,最终得到使用情感标注的指标数据。

情感分类标注的结果如表9所示。分析发现,学者们中性使用指标的行为占比62.06%,远高于正负情感;正面使用占比次之,为26.38%,多于负面使用的占比11.56%。根据统计结果和全文辅助分析显示,多数学者对指标的使用情感持客观中立的态度,中性评价的行为多伴随背景提及类型出现,即学者们对这类指标表示有所了解,但并不深入评价,将其多运用于背景提及,丰富文章综述;中性指标还有一种使用行为是学者们使用这些指标作为研究数值上的比较,但并不予以评价。

在正面的情感使用方面,学者们多倾向于使用指标去判定一个研究领域的核心作者,这代表着文章作者对这类指标是相信和认可的正面态度;学者们负面评价指标的使用行为大多是指出这类指标的缺陷,借此引出更好的指标或引出研究提出的新指标,经比较之后认可新指标的优势。

4  讨  论

加菲尔德曾在中国明确表示,不能以SCI论文数量评价科学水平,应该运用更科学的评价标准体系[37]。图书情报学界内以苏新宁、叶继元等为代表的学者们认为体系的构建应受到格外的重视,同时也表示评价制度的建设并非一蹴而就,需要在丰富的评价实践基础上加以总结、抽象和概括,形成文字性的规范[38]。在科学、合理的学术评价指标体系中,应有专用的指标对不同客体进行评价,避免指标混用,希望在不断地探索进步中明确形成更加规范、有效的个人评价指标体系。

本文分析发现,在学者研究行为方面,根据已有指标改进提出一个新指标后,再与其他指标比较效果的行为不多,指标研究习惯有待优化。仍有部分学者对指标使用客体区分不清,例如混淆个人、期刊、文献3类评价客体的指标去提出新指标,使用影响因子去评价个体等。学术评价研究、模型研究的文献,虽提及指标,但不具体深入研究,指标引用情感以中性居多,重点放在方法、模型、框架角度去思考如何形成一个更好的学术评价体系。简单运用指标的文献,大多数行为是将某些指标用于确定该领域的核心、高影响力作者,且大多数使用单一指标如发文量、h指数,简单向读者展示核心作者的排名与筛选的过程,传递出对这类指标的正向认可的情感。在指标使用上,有学者提出观点,认为指标在不断改进,越来越成熟,指标本身是合理的,但学者实际使用的计算方式不准确、不科学,在学者使用指标的行为规范性上存在研究空间。对指标融合研究有贡献文献仍十分稀少。指标融合研究较多的代表学者是叶鹰,也有部分学者尝试结合多指标去探究更好的综合评价方法,例如运用多个指标逐步筛选作者,或分配指标一定权重去筛选作者,但采用的方法较简单,没有实质创新。

另外,本文发现,传统的科研人员评价方法还包括同行评议法、文献计量法、社会网络分析法等。目前研究较为新兴的评价方法是Altmetrics,但由于语言差异以及政策限制,国内学者对国外网络平台使用较少,Altmetrics评价在我国的实际适用程度有所欠缺,而且现有Altmetrics评价主要偏向期刊、文献评价,较少用于个人学术评价。

5  结  语

通过分析评价,预测未来学术发展的趋向,是学术评价的最高境界,作为学术评价,不仅要看到过去,知晓现在,更要能够预测未来,真正将评价当作一种学术引领来做[1]。我国图书情报学目前正处于快速发展时期,学术评价恰恰是关乎图书情报学发展的关键部分之一,个人学术评价作为学术评价的重要组成部分,应予以重视。

本文运用内容分析法,从4个维度分析个人学术评价指标在我国图书情报领域的应用情况。通过分析,笔者认为:我国图书情报领域h指数、发文量与被引频次指标出现次数最多,个人学术评价指标应用依旧传统,主要使用传统简便的指标,仍处于主要研究h指数与h型指数的阶段;个人学术综合评价的多指标融合途径研究较少,新兴的Altmetrics评价方法在我国还未适用;仍有必要继续加强包括多指标融合比较、进一步构建个人學术指标体系在内的个人学术评价指标研究。

本文的贡献在于:筛选数据后加之全文内容辅助分析,指标数据收集精准,不仅考虑指标的使用范围频次,还考虑了指标使用的环境、动机和情感,分析结果较为深入、全面。本文的局限性在于:情况研究仅限于我国图书情报领域代表期刊,数据量偏少;在分析各项指标使用时,没有考虑使用指标学者的年龄、从业经历等影响方面;没有对数据进行多维度关联解读。今后可尝试对更全的数据进行相关性分析,加强分类标准与信度和效度检验。

参考文献

[1]苏新宁,王东波.学术评价相关问题与思考[J].信息资源管理学报,2018,8(3):4-11.

[2]Garfield E.Citation Indexes for Science.A New Dimension in Documentation Through Association of Ideas[J].International Journal of Epidemiology,2006,35(5):1123-1127.

[3]苏新宁.构建人文社会科学学术期刊评价体系[J].东岳论丛,2008,(1):35-42.

[4]杜建,张玢,李阳,等.学者学术影响力评价指标的优选与学术行为特点的国内外比较[J].图书情报工作,2011,55(10):98-102,143.

[5]Costas R,Bordons M.Bibliometric Indicators at the Micro-level:Some Results in the Area of Natural Resources at the Spanish CSIC[J].Research evaluation,2005,14(2):110-120.

[6]Van,Noorden R.Metrics:A Profusion of Measures[J].Nature News,2010,465(7300):864-866.

[7]Hoppeler H.The San Francisco Declaration on Research Assessment[J].2013:2163-2164.

[8]叶鹰.国际学术评价指标研究现状及发展综述[J].情报学报,2014,33(2):215-224.

[9]徐佳宁,孙婧.学者个人学术成就评价指标研究述评[J].情报探索,2018,(11):122-128.

[10]高志,张志强.个人学术影响力定量评价方法研究综述[J].情报理论与实践,2016,39(1):133-138.

[11]高志,张志强.个人学术影响力的动态评价方法研究综述[J].情报杂志,2015,34(11):40-43,78.

[12]高志,张志强.个人学术影响力与年龄的变化规律研究进展——基于自然科学领域[J].情报杂志,2016,35(2):105-109,156.

[13]迟培娟,宋秀芳.个人学术影响力评价方法比较分析——学术迹与F1000评分、影响因子、被引次数等指标的比较分析[J].情报科学,2018,36(12):9-12.

[14]邱均平,缪雯婷.h指数在人才评价中的应用——以图书情报学领域中国学者为例[J].科学观察,2007,(3):17-22.

[15]Egghe L,Rousseau R.An Informetric Model for the Hirsch-index[J].Scientometrics,2006,69(1):121-129.

[16]金碧辉.R 指数,AR 指数:h 指数功能扩展的补充指标[J].科学观察,2007,2(3):1-8.

[17]Costas R,Bordons Maria Bordons.Is G-index Better than H-index?An Exploratory Study at the Individual Level[J].Scientometrics,2008,77(2):267-288.

[18]孙亦樑,徐克敏.合理利用SCI对个人做学术评价[J].图书馆论坛,2002,(5):24-26,53.

[19]Leeuwen T N V,Visser M S,Moed H F,et al.The Holy Grail of Science Policy:Exploring and Combining Bibliometric Tools in Search of Scientific Excellence[J].Scientometrics,2003,57(2):257-280.

[20]王菲菲,王筱涵,刘扬.三维引文关联融合视角下的学者学术影响力评价研究——以基因编辑领域为例[J].情报学报,2018,37(6):610-620.

[21]Ding Y,Song M,Han J,et al.Entitymetrics:Measuring the Impact of Entities[J].PloS one,2013,8(8):e71416.

[22]章成志,丁睿祎,王玉琢.基于学术论文全文内容的算法使用行为及其影响力研究[J].情报学报,2018,37(12):1175-1187.

[23]徐庶睿,章成志,卢超.利用引文内容进行主题级学科交叉类型分析[J].图书情报工作,2017,61(23):15-24.

[24]王玉琢,章成志.考虑全文本内容的算法学术影响力分析研究[J].图书情报工作,2017,61(23):6-14.

[25]Belter C W.Measuring the Value of Research Data:A Citation Analysis of Oceanographic Data Sets[J].PLoS One,2014,9(3):e92590.

[26]丁楠,丁莹,杨柳,等.我国图书情报领域数据引用行为分析[J].中国图书馆学报,2014,40(6):105-114.

[27]崔明,潘雪莲,华薇娜.我国图书情报领域的软件使用和引用研究[J].中国图书馆学报,2018,44(3):66-78.

[28]杨波,王雪,佘曾溧.生物信息学文献中的科学软件利用行为研究[J].情报学报,2016,35(11):1140-1147.

[29]赵蓉英,魏明坤,汪少震.基于Altmetrics的开源软件学术影响力评价研究[J].中国图书馆学报,2017,43(2):80-95.

[30]任增元,徐婧,姜春林.我国学术评价研究述评与趋势展望——基于1998—2015年1 429篇文献的计量分析[J].情报杂志,2016,35(12):139-144,154.

[31]耿樹青,杨建林.基于引用情感的论文学术影响力评价方法研究[J].情报理论与实践,2018,41(12):93-98.

[32]刘盛博,丁堃.基于引用内容的引文评价分析[J].第九届中国科技政策与管理学术年会论文集,2013.

[33]刘盛博,丁堃,张春博.基于引用内容性质的引文评价研究[J].情报理论与实践,2015,38(3):77-81.

[34]Athar A,Teufel S.Context-enhanced Citation Sentiment Detection[C]//Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.Association for Computational Linguistics,2012:597-601.

[35]Abu-Jbara A,Ezra J,Radev D.Purpose and Polarity of Citation:Towards Nlp-based Bibliometrics[C]//Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics:Human Language Technologies.2013:596-606.

[36]刘宇,叶继元,袁曦临.图书情报学期刊的分层结构:基于同行评议的实证研究[J].中国图书馆学报,2011,37(2):105-114.

[37]叶继元.人文社会科学评价体系探讨[J].南京大学学报:哲学·人文科学·社会科学版,2010,47(1):97-110,160.

[38]叶继元.近年来国内外学术评价的难点、对策与走向[J].甘肃社会科学,2019,(3):61-67.

(责任编辑:孙国雷)

猜你喜欢
内容分析法
近五年我国移动学习研究综述
教师工作坊中促进知识建构的磨课活动研究
非正式学习研究现状及趋势分析
社交媒体平台医患关系报道特点研究
基于Blackboard 网络教学平台学生应用状况的调查分析