●王 凡(潍坊学院 图书馆,山东 潍坊 261061)
学术成果评价是科技管理活动,特别是科学评价活动的重要组成部分,也是评价方和被评价方特别关注的问题。学术界传统的学术成果评价一般采用“同行评议”、文献计量指标定量评价或者将二者结合起来进行评价。但这些评价方法都还存在着一些不尽人意的地方。为此,人们不断探索更科学、公正、合理的学术成果评价方式。2005年,美国加州大学圣地亚哥分校物理系Hirsch J.E.教授提出一种新的科学计量评价指标——h指数,为提高评价结果的公正性探索了一条新路。h指数一提出便受到了广泛关注,迅速成为了计算机科学、信息计量等众多学科领域的研究焦点。
为了解5年来h指数①如未做说明,本文中的h指数包括h指数以及g指数等类h指数。研究的进展,笔者选择国际最为权威的引文数据库WebofSciencewithConference Proceedings(SCI-EXPANDED,SSCI,A&HCI,CPCI-S,CPCI-SSH),从文献量、文献类型与语种、核心作者、期刊、文献被引和主题角度等方面进行定量分析。
因h指数的概念于2005年提出,因此检索年限确定为2005年—2009年。笔者通过多次试检发现检索词“h(2)index”、“r(2)index”以及 TI=((gOR r OR ar ORkgORkh ORhm)ANDtypeANDindex))并不影响检索结果,最终确定检索式1为TI=(("h index"OR"g index"OR"r index"OR"k index"OR"ar index"OR"ah index"OR"kg index"OR"kh index"OR"hm index")OR(hirsch*ANDindex)OR(hANDtypeANDindex)),得到检索结果178篇;检索式2为TI=(("h indices"OR"gindices"OR"r indices"OR"kindices"OR"arindices"OR"ahindices"OR"kg indices"OR"kh indices"OR"hm indices")OR(hirsch*AND indices)OR(hANDtypeANDindices)),得到检索结果26篇;利用Web ofScience的组配功能,得到检索式3=(检索式1+检索式2),最终得到检索结果194篇,去除误检结果,同时通过文献引文关系,增加部分漏检的相关文献,最终得到文献158篇。具体如下图所示。
图 2005年—2009年h指数研究文献数量分布
从图中可以看出:① h指数在其5年的历史中受到了广泛的关注,5年期间紧密相关的论文超过150篇,并且呈现快速上涨的趋势,2009年仅1—5月份就达到了38篇。相信在今后一段时间,h指数的相关问题还将是计算机科学、信息管理等领域关注的热点。② 信息检索犹如“大海捞针”,而评价检索效果的两大主要指标查准率和查全率一般呈反比关系。笔者在检索时试图采用主题(TS)途径检索,但发现误检率太高,之后改成了题名(TI)途径进行检索,在查全率和查准率之间取得一个平衡,对于误检的结果采取人工排除,同时抽取一些被引次数较高的经典文献,通过引文关系,增加部分跟h指数相关的漏检文献。即使采取这样的措施,笔者也只能保证绝大部分论文已被检出,实际的论文数应该略高于此,这也进一步说明h指数确实是一个为广大学者所关注的焦点问题。
文献类型一定程度上能够反映某一主题研究的广度,即关注度。统计表明,158篇文献共有论文、编辑材料、会议文摘等7种文献类型。具体如表1所示。
表1 h指数研究文献类型分布情况
从表1可以看出,h指数研究以论文为主,这是学术表达的主要形式。此外还出现了编辑材料、评论等文体表达,尤其是新闻报道,既能增强影响力,又反映了社会的关注。h指数涉及7种文献题材,说明该研究已经达到阶段性的成熟。笔者认为国内后续研究需要对这些题材给予适当的关注,作为获取或表达信息的主要渠道。语种方面,由于WebofScience以收录英文文献为主,因此158篇文献中有146篇英文文献也就不足为奇了,其他语种包括捷克语、法语、德语、罗马尼亚语、西班牙语等,再一次说明h指数引起的关注范围之广。
统计表明,158篇文献共涉及到93位第一作者,其中有71位作者发表1篇文献,占总数的76.34%,高于洛特卡定律经验值60%,究其原因,应该是与h指数研究历史不到5年有关,相信随着时间的推移,发表1篇文献的作者数的比重会逐步下降,最后稳定在洛特卡定律经验值附近。具体情况如表2所示。
表2 h指数研究作者发文数量情况
从表2可以看出,有1位作者发表了14篇文献,发表8篇文献的作者有2人,发表5篇文献的作者有4人,这说明在5年的h指数研究过程中,还是出现了核心作者,只是作者数比较少而已,故无法用普赖斯定律来计算核心作者数。在这里,笔者将发文5篇及以上的作者称为h指数研究的初步核心作者。具体如表3所示。
表3 h指数研究的初步核心作者
从表3可以看出:① 7位核心作者分别来自于5个国家,其中有3位作者来自于比利时,这说明关于h指数的研究在比利时开展得相当普遍,尤其是Egghe,Leo和Rousseau,Ronald,均是在h指数领域非常有影响力的学者,他们的研究也提升了比利时学者对h指数的关注度;② 5个国家中除了美国之外,均来自欧洲大陆,说明欧美国家是研究h指数的主要阵地。我国国内也在广泛开展对h指数的研究,也出现了金碧辉、邱均平等该领域的知名学者,但整体来说国际影响力还有待提高;③ 排在首位的作者Egghe,Leo来自比利时的哈塞尔特大学(HasseltUniversity),其研究重点主要是相关理论研究,Eggle,Leo在h指数的基础之上于2006年提出了g指数,引起了广泛关注,3年来在WebofScience中被引次数达87次。
根据文献的集中分散规律,某一研究领域大部分文献相对集中在少数期刊上,而剩余的文献则依次分散在其他大量的相关期刊上。因此,分析论文的来源期刊是了解本领域文献的空间分布特点和掌握本领域核心期刊的最有效方法,同时也有助于人们集中注意力,了解掌握该领域的主要研究成果。[1]据统计,158篇文献分布在57种期刊和5份会议录上,其中41种只刊载了1篇文献,刊载2篇文献的有8种,有5种期刊刊载3篇文献,刊载4篇文献的有2种期刊,有一份会议录刊载了5篇文献。
刊载文献最多的是《Scientometrics》,刊载文献30篇,占总数的18.99%。《Scientometrics》于1978年在匈牙利正式创办,该刊的发行为全世界科学家发表科学学和科学政策的定量研究成果,探讨有关科学计量研究中的热点问题提供了国际论坛。排在第2、第3的是《JournaloftheAmericanSocietyforInformationScienceandTechnology》和《JournalofInformetrics》,分别刊载文献23篇和17篇。因此可以说:《Scientometrics》,《Journal ofthe American Societyfor Information Science and Technology》 和《Journal of Informetrics》 是 h指数研究领域当之无愧的核心期刊。
文献被引频次是评价论文影响力的一个重要指标,一般来说,被引次数越高,说明影响力越大。统计表明:① 158篇文献中,被引频次最高的为Hirsch J.E.于2005年发表的《Anindextoquantifyanindividual's scientificresearch output》,被引总次数达到惊人的377次,平均每年被引75.40次;② 研究h指数的158篇论文的h指数为19,也就是说,在这158篇文献中,有19篇文献的被引次数超过了19次,这19篇文献总被引次数为1228次,中数为46次;③ 19篇文献刊载在5份期刊和1份会议录上,其中刊载最多的是《Scientometrics》,刊载9篇,其次是《JournaloftheAmericanSocietyforInformationScienceandTechnology》,刊载5篇。这2种期刊均为上文分析所得的核心期刊;④19篇文献中有1篇发表在2007年《Chinese Science Bulletin》第6期,第一作者为金碧辉,3年来被引46次,说明国内少数学者的研究已经具备了较高水平;⑤ 19篇文献中有6篇被引次数超过60次,7篇被引次数超过50次,在此,笔者将被引次数超过50次的文献称为该领域的经典文献,具体如表4所示。
表4 h指数研究领域经典文献
分析论文的主题,可对本研究领域中研究重点和研究方向有一个较为准确和全面的把握。通过对158篇文献题名、文摘以及部分全文进行阅读发现,研究的重点主要集中在基础理论研究、h指数与其他评价指标的比较、h指数及类h指数的应用等方面。其中基础理论研究主要包括h指数以及类h指数的理论的提出、对h指数及类h指数优缺点的探讨、数据来源对h指数的影响;h指数与其他评价指标的比较主要包括h指数与各种类h指数之间的比较、h指数与影响因子的比较、h指数与引文数量的比较等;应用方面则包括测评科学家个人学术绩效、测评科研集体学术绩效、测评学术期刊影响力以及其他方面的应用。整体来说,h指数的研究呈现出理论创新与实践应用齐头并进的状况,具体如表5所示。
表5 h指数研究论文主题分析
h指数的基础理论研究受到了不少学者的关注,这些研究主要集中在对h指数进行改进、提出多种类h指数,对h指数优缺点的探讨以及分析h指数的影响因素等。HirschJ.E.定义h指数为:当且仅当某科学家发表的Np篇论文中有h篇论文每篇至少获得了h次的引文数,其余的Np-1篇论文中各篇论文的引文数都≤h时,此值就是该科学家的h指数。[2]Egghe,Leo认为在评价科学家的整体学术水平时,度量指标应反映出这些高被引论文,于是Egghe,Leo于2006年提出g指数,[3]定义g指数为:前g篇高被引论文的引文数的总和高于或等于g2。与Egghe,Leo的初衷相同,为了体现高被引论文的价值,金碧辉等提出了A指数和R 指数。[4]A指数被定义为纳入h指数的论文的引文数的平均数,R指数被定义为纳入h指数的论文的引文数的和的平方根。在Egghe,Leo g指数的基础上,Woeginger,GerhardJ.提出了一种普适性的g指数 (generalizedEgghe-indices)。[5]对于 h 指数的影响因素,Jacso,Peter分别讨论了 Web of Science,Google Scholar,Scopus等数据库对计算h指数的影响,并认为Web ofScience和Scopus比较适合计算h指数,而GoogleScholar则并不适合。当然,也有学者指出了h指数所存在的不足,如h指数评价科研成就平平者并不太合适;不太适合用于评价从事科学研究时间较短、累积的论文数和被引数都不多的科研人员;h指数也可以做假等。[6]
作为新出现的一个评价学术影响力的指标,将h指数与其他评价指标进行比较自然而然就成为了本领域中的一个研究重点。Burrell,Quentin L针对Egghe,Leo所提出的g指数,运用随机出版/引用模型(stochasticpublication/citationmodel)对h指数和g指数进行比较,发现g指数确实在时间等性能方面优于h指数。[7]与此类似,Costas,Rodrigo等也对g指数和h指数进行了比较分析,结果发现g指数和h指数用于评价处于中间位置的科学家差异不大,而评价处于两端(表现最好的和最差的)的科学家则存在着明显差异,并认为两个指数需要结合使用。[8]Bornmann,Lutz等则比较了h指数与3个传统评价指标发表论文数、被引总次数和平均期刊影响因子,认为h指数在微观和宏观方面都可以用于评价学者学术影响力,但对年轻学者的评价不够准确。[9]
由于h指数易于理解和计算,在科学界及计量学界赢得了良好的反响,因此关于h指数以及类h指数的应用研究开展得非常广泛,有63篇文献主要探讨h指数及类h指数在应用中的相关问题,占总数的39.87%。
(1)测评科学家个人学术绩效。将h指数作为衡量科学家个人成绩的计量指标,是Hirsch设计该指标的最初出发点。Hirsch在论文中列出了物理学和生命科学领域中h指数最高的科学家名单及其h指数,物理学家中h指数最高的是普林斯顿大学的理论物理学家E.Witten,h指数为110,Hirsch本人的h指数则为49,生命科学领域中h指数最高的是约翰斯·霍普金斯大学神经生物学家 S.H.Snyder,h 指数为 191;[2]Oppenheim,Charles对当代英国的74位图书馆学和情报学研究者进行了统计,认为在图书情报领域,h指数为5的研究者可被认为是成功的研究者;若h指数超过13,就可被认为是一位相当成功的研究者。[10]Jacso,Peter则利用 GoogleScholar,Scopus和WebofScience来计算著名学者兰开斯特(F.W.Lancaster)的实际h指数。[11]
(2) 测评科研集体学术绩效。2007年Csajbok,Edit等采用美国《基本科学指标》(ESI) 数据库为主要数据来源,对欧洲国家及澳大利亚、加拿大、印度、日本、中国和美国6个非欧洲的世界大国或地区,于1996年1月1日到2006年8月8日科研论文的h指数及发表论文数量和篇均引用率两种传统计量指标进行了测量比较,得到了40个国家或地区科研指数排序表。[12]Van Raan A F J统计了荷兰147个化学研究小组在1991年—2000年期间产出论文的h指数。[13]
(3) 测评学术期刊影响力。2006年Braun,Tibor等人将h指数的应用扩展到期刊评价上,他们利用Web ofScience对2001年度期刊的h指数进行了计算,并与Thomson公司的JCR数据库中的期刊影响因子进行了对比分析。[14]由于h指数不可能高于发文量,因此2001年JCR中影响因子最高的《AnnualReviewofImmunology》 和《AnnualReviewofBiochemistry》两种期刊因发文量小,其h指数排名远远落后于其他期刊。这也在一定程度上表明h指数尚存在有待改进的问题。
(4)其他应用。h指数及类h指数还可以用于对未来成果进行预测、分析热点问题、测定特色研究专题,此外还可以应用于数据库以及个人宣传材料等多个方面。
作为一种新的评价思想,在5年时间里,h指数研究迅速开展,一批类h指数相继出现,应用领域也从最初的个人绩效评价扩展到学术集体绩效评价、期刊评价等多个方面。相信随着时间的推移,h指数族群将会有更多的用武之地。
[1]袁顺波,董文鸳.新世纪图书情报界图像检索研究总况探析——LISA数据库收录文献计量分析[J].图书情报工作,2005,49 (9):40-43.
[2]HirschJE.Anindextoquantifyan individual’sscientific output[C].Proceedings ofthe National Academy of SciencesoftheUnitedStatesAmerica,2005,102(46):16569-16572.
[3]EggheLeo.Theoryandpractise of theg-index[J].Scientometrics,2006,69 (1):131-152.
[4]JinBH,etc.The R-and AR-indices:Complementing theh-index[J].ChineseScienceBulletin,2007,52(6):855-863.
[5]Woeginger Gerhard J.Generalizations ofegghe's g-index[J].Journal ofthe American Society for InformationScienceandTechnology,2009,60 (6):1267-1273.
[6]Meyer Veronika R.The h index-help or hype?[J].Chimia,2009,63 (1-2):66-68.
[7]Burrell Quentin L.Hirsch's h-indexand Egghe's g-index[C].Proceedings ofISSI 2007:11th International ConferenceoftheInternationalSocietyforScientometrics andInformetrics,2007 (1-2):162-169.
[8]CostasRodrigo,BordonsMaria.Isg-indexbetter than h-index?An exploratory study at the individual level[J].Scientometrics,2008,77 (2):267-288.
[9]Bornmann Lutz,etc.Is the h index related to(standard)bibliometric measures and to the assessments by peers?An investigation ofthe h indexbyusingmolecular lifesciencesdata[J].ResearchEvaluation,2008,17(2):149-156.
[10]OppenheimCharles.Usingtheh-indextorankinfluential British researchers in information science and librarianship [J].Journal of the American Society for InformationScienceandTechnology,2007,58 (2):297-301.
[11]JacsoPeter.Testingthecalculation ofarealistich-index in Google Scholar,Scopus, and Web of Science for F.W.Lancaster[J].LibraryTrends,2008,56(4):784-815.
[12]CsajbokEdit,etc.Hirsch-indexforcountriesbasedon essential science indicatorsdata[J].Scientometrics,2007,73 (1):91-117.
[13]Van Raan AF J.Comparison ofthe Hirsch indexwith Standard Bibliometric Indicators and with Peer Judgmentfor147ChemistryResearchGroups[J].Scientometrics,2006,67 (3):491-502.
[14]Braun Tibor,etc.A Hirsch-type index for journals[J].Scientometrics,2006,69 (1):169-173.