周春雷 孟丽慧 李彦博 曾庆坤
摘 要:学术授信分析是一种根据评价视域内全体学术社区成员的相互授信情况对评价对象的学术声望进行量化测度的学术评价理念和信息分析方法,系统介绍这种新型信息分析理念有助于丰富我们对学术评价、信息分析等工作的认识。通过对相关成果的系统梳理,展示学术授信分析的理论基础、系列分析方法及应用场景。学术授信分析能根据学者们在学术网络中释放出的评价信息将同行评价与量化分析方法有效地结合起来,为研究者提供来自“内行”群体的佐证信息,有效支持其开展各种评估与预测。这种新型信息分析方法可广泛应用于成果影响力评价、人才评价及评奖预测、研究主题预测、同行探测、期刊评价、图书评价等方面。
关键词:学术评价;学术授信;学术授信评价;学术授信分析
Abstract: Academic credit analysis is an academic evaluation concept and information analysis method that quantifies the academic reputation of the evaluation object according to the mutual credit granting of all members of the academic community within the evaluation horizon. Publicity of this new information analysis concept helps to enrich our understanding of academic evaluation and information analysis. Through a systematic review of relevant achievements, the theoretical basis, series of analysis methods and application scenarios of academic credit analysis are displayed. Academic credit analysis can effectively combine peer evaluation and quantitative analysis methods according to the evaluation information released by scholars in the academic network, provide researchers with evidence information from the expert groups, and effectively support them to carry out various evaluation and prediction. This new information analysis method can be widely used in the impact evaluation of results, journal evaluation, book evaluation, personnel evaluation, award prediction, research topic prediction, peer detection, etc.
Keywords: Academic evaluation; Academic credit; Academic credit evaluation; Academic credit analysis
1引言
长期以来,引文在正式学术交流系统中不可或缺,其学术评价功能一向在学术界广受认可。因引文而衍生的学术声誉在塑造学者、期刊、机构的学术地位,形成学术界的各种规范和秩序的过程中均发挥着至关重要的作用。传统的引文分析理论认为,所有科学共同体成员的行为模式遵循默顿范式,尽管有引用动机等因素的影响,文献引用行为从总体上看是审慎而严谨的,很少发生“失范”“越轨”现象。该理论还认为引文数据库中所有引文的地位完全相同,只具有数量层面的意义,而追查施引者及引用形成过程并没有太大价值,我们可以出于简化认知并降低统计成本的目的,对其进行“匿名化”处理并封装成影响力分析的基本单元。
但是,在各种评价指挥棒的引导下,“SCI论文”崇拜、“核心期刊”崇拜、“以数字论英雄”等现象屡见不鲜。近年来,国内舆论普遍认为现行学术评价体系过于倚重各种不尽合理的量化指标,在诱发评价对象产生种种有悖于学术理想的博弈行为方面难辞其咎。当前,我国大力推进的“破四唯”“破五唯”行动从侧面佐证了前些年学术浮躁现象的严重性和危害性。
通过深入研究现行学术评价体系的弊端并寻找破解之道,周春雷于2010年提出了学术授信评价理论[1],后又在专著《学术授信评价及其应用》中对有关概念和方法进行完善[2]。基于学术授信评价理念,笔者团队提出了一系列信息分析方法,不仅能应用于学术评价场景,也可应用于广义的信息挖掘研究。本文将对笔者团队关于学术授信分析的研究成果进行系统梳理和总结,希望能为学界同行开展相关研究提供一定的启发。
2 學术授信分析模型
学术授信评价理论是一种根据评价视域内全体成员的互相授信情况对评价对象的学术声望进行量化测度的学术评价理念。该理论所称的“学术授信”是指学术共同体的成员用自身的学术声誉、学术判断为保证向其他成员推介某学术成果或成员的行为。社会公众可从专业群体的学术授信行为中受益,获得可信度较高的学术判断信息或专业意见。
学术授信分析方法是一系列基于学术授信评价理论的信息分析方法的总称,包括Dh指数分析法、引荐分析法、链接内容分析法、Z指数分析法和群组分析法等,这些不断发展的信息分析方法的核心思想均为寻找“内行”并依托其学术判断开展信息挖掘与推理。
图1展示了学术授信分析的相关流程、信息挖掘方法及应用场景。模型中的评价视域是指从评价角度建构的信息空间,是一个内部成员相互作用、动态演化的虚拟世界,是学术交流活动的真实反映。但是,任何学术评价都存在一定的视域限制,这些视域都是选择性建构的,不存在无偏评价,只有视域大小和可信度的差别。
选定评价视域的同时就界定了一个学术社区,学术社区是评价视域内全部学术共同体成员进行各种科学交流活动的学术交流场域。学术社区在某种程度上可以理解为具有弹性的学术共同体,既可以在全球层面使用,也可以在地方、学科、专题等层面使用。
学术授信分析方法在采信学术评价信息时主张根据学术社区内成员间的相互授信情况来鉴别有关信息的可信度,高度重视评价视域构建和授信者分析问题,力图使“外行”也能拥有“内行”的学术见识和判断能力。将学术授信分析方法运用到各种学术评价活动中,是对学术授信评价理论的有力实践。相关实践表明,学术授信分析有助于提升学术评价及信息分析过程的透明度,能帮助用户跟踪相关信息的源流并评估其可信度,实用性较强。运用学术授信分析方法时需先选定评价主体,标记不同学术社区成员的学术地位,然后采用引文分析及Altmetrics等方法挖掘学术群体的学术授信信息,进而开展影响力分析、人才评价等应用研究。从数据角度看,这种分析方法具有内容不可篡改、可追溯、公开透明等特点,可较为客观地反映评价对象给外界留下的稳定印象,并用于测度学术声誉、学术地位等原本难以量化的对象。
3 学术授信分析方法及应用
3.1 Dh指数分析法。2005年,美国物理学家Hirsch提出可用于衡量科学家个人学术影响力的评价指标——h指数[3]。该指标在学术评价方面的有效性很快就在全球范围内得到广泛认可。但是,原初意义上的h指数是基于WoS数据库的,不便于统计,而且不能在领域、主题层面比较不同学者的影响力。为此,周春雷(2010)[4]提出一种适合程序处理的h指数计算方法——h指数批量统计法,两年后将通过该方法计算出的数据正式命名为一种新的h指数衍生指标——领域内h指数(简称Dh指数)[5]。
从表面上看,这种指标的计算方式与h指数相似,仅将来源数据中的数据库调整为用户指定的任意数据集。但是,这种调整非常有实际意义:不仅大大降低了统计成本,使通过程序批量计算大批学者在细分领域的h指数、g指数变得切实可行,而且能更好地反映不同评价对象在特定领域的学术影响力差异。相应地,Dh指数分析法就是在特定数据集上利用Dh指数等指标标记全部评价对象的学术地位,然后根据其相互授信情况开展各种深度信息分析工作的方法。通过使用Dh指数、Dg指数等公信力较强的指标对特定领域内的全部学者进行批量标记,我们可以根据学术影响、学术声望差异将特定群体快速分层,同时也让学者们在领域内的身份更加透明、信息行为更易追踪,可用来研究专家、新手等群体的学术判断能力、预测能力、信息敏感性差异,观察、预测特定学术群体的研究路径等。例如,笔者团队利用这一方法对Price奖得主进行了模拟分析,尝试利用Dh指数、Dg指数识别国际科学计量学领域内的专家群体,然后根据其引文信息预测潜在的Price奖得主[6]。笔者团队在文献中提出了基于领域专家视角的Dh-Dg指数分析法,并于2016年12月预测了表1所列榜单前30名中被引量较高但尚未获奖的学者,如Bornmann、Abramo、Meyer、Burrell、Schreiber、Waltman、Bar-Ilan、Porter、Kostof、Chen、Jacso、Tijssen、VanLeeuwen等,他们都可能是未来竞争Price奖的有力人选,并且年轻学者似乎更有潜力。截至2021年10月,Bar-Ilan、Bornmann、Waltman分别成为2017年、2019年、2021年的Price奖得主,这项研究有效检验了挖掘、利用专家群体学术授信信息的价值。
当我们将Dh指数分析法应用于人才评价时,评价视域的大小非常关键,较大的评价视域有助于降低评估误差并提升人才评价的准确度。基于领域专家视角的Dh-Dg指数分析法将定量评估技术与专家的定性评价有效地结合在一起模拟评价对象在专家群体中的声望。该方法尝试借助内生于学术交流活动的正常引用行为及专家的学术鉴赏力,深入挖掘专家群体的施引信息,为评估不同学者的专业影响力提供客观、准确的依据,既能降低同名者因素的影响,又能提高评价效率。Dh-Dg指数分析法的精髓在于可较为客观地模拟专家群体的学术判断意见,具有操作简便、效果良好等优势,可为各种学术大奖的预测研究提供高价值参考信息。
鉴于h指数无法反映学者在不同时期的学术影响力升降情况,笔者团队还提出了能解决这一问题的TDh指数[7]。若学者的TDh指数持续上升,说明学者学术生命力旺盛,可在未来成为领域内的高影响力学者;反之,当TDh指数呈下降趋势时,意味着该学者的研究不再是领域内关注的热点,或其学术生命已近尾声。TDh指数可客观反映学者在领域内所获关注情况,能让不同学者在相同条件下进行比较。
此外,根据学者的TDh指数变化情况,可有效探测研究主题的冷热趋势。蔡程瑞曾利用TDh指数和群组分析法探讨了图情领域期刊高频编委群体的集体学术授信对领域的影响,发现图情领域高频编委不断发展壮大学科内核进而推动学科发展[8]。
综上所述,TDh指数能有效区分学者之间的影響力差异,对学者的学术生涯变化进行有效预测及分析,并可根据学者学术地位的变化,发现领域内研究主题的变化趋势,若将其与年度Z指数有效结合起来,对研究主题及学者学术生涯的监测将更为方便。
3.2 引荐分析法。在学术评价中,实施同行评议的难点通常在于寻找合适的同行专家。从引文分析角度看,对引文数据进行挖掘有助于寻找同行专家,评价对象的施引者可在一定程度上被视为“同行”。引用认同理论认为,一个作者所参考的全部学者都是其引用认同的对象[9],通过分析某作者的引用认同,可了解其学术视野。但是,这种观点若应用于学术评价则存在明显的瑕疵,会因大量的偶然引用冲淡评价结果的可信度。
从学术授信角度看,引用认同关于学术认可的判断标准过于宽泛。事实上,只有高频引证行为才具有明显的学术认可含义。因此,基于学术授信评价理论的引荐分析法将某一学者对同一评价对象的多次引用行为界定为“引荐”,表示其认可被引者的学术能力和学术观点[10]。《基于引荐分析的国内引用认同领域分析》一文运用引荐分析法研究了国内引用认同领域,发现该方法在识别重要研究者、受关注研究主题方面效果良好[11]。周春雷等研究了CNKI收录的国内档案学博硕士学位论文的施引及被引信息分析,发现学位论文是否开放直接影响到研究生群体对朋辈学术成果的感知和利用[12]。引荐分析法通过从施引作者入手,不断地寻找其领域同行、同行的同行来绘制整个领域的研究结构图,可用于发现领域新秀、高影响力学者。
3.3 链接内容分析法。链接分析的思想最早由Mckiernan[13]提出。网站研究与链接分析法息息相关,是链接分析法的主要应用领域[14],但目前对链接内容的研究较少。链接内容分析法是把链接所指内容作为基本分析单元,将指向同一内容的多个链接进行语义级合并,然后将对链接形式的分析转化为对链接指向内容的分析。基于这种思路,周春雷(2012)[15]以科学网博客为研究对象提出“被好友”指标,以衡量学术博客在博客社区内的影响力。
此外,博文阅读量、评论量等也可用于衡量博文质量。周春雷、王涵墨(2015)以博文阅读量、评论量、推荐数以及博主发文量、好友数、學历及职称等指标分析了科学网博文质量,发现在博文评价当中,博文阅读量、推荐数可以高效合理地筛选出符合一定质量标准的博文,对评论进行语义分析可用于辅助识别质量不高的博文[16]。博客、博文与传统的期刊、论文差别很大,不能直接套用引文环境中发展出来的方法开展研究,需要采用一些新的指标进行的过渡与转换。在分析手段上,需要从引文分析走向链接分析和学术授信分析。
3.4 Z指数分析法。本文所称的Z指数是笔者2010年提出的一个h指数衍生指标,该指标由全体评价对象通过相互授信而产生,可用于揭示个体学者在资深学者群体中的学术影响力和相对学术声望,其应用步骤分为收集数据、赋值、Z变换、数据清理、批量h变换[17]。Z指数分析法可用于图书评价、期刊评价以及博客评价等研究。
3.4.1 图书评价。目前使用类h指数模型及多维视角影响力评价体系等方法虽能在某些方面反映出图书价值,但权重系数划分主观、评价主体模糊,实践性较差。结合上述原因,笔者尝试根据图书获得专家学术授信情况测度其学术影响力和学术价值,提出图书Z指数[17],即某图书被至少Z名学术地位不低于Z的学者引用。图2展示了图书Z指数的计算过程。
图书Z指数可在一定程度上揭示图书的学术价值。例如,出自同一作者的图书A和B的被引次数分别为52和145次,其图书Z指数分别为6、5。从施引者规模、学术地位层次角度看,图书A比B更能得到同行专家的认可,其学术价值自然更大。与被引指标仅能描述学术成果在学术界的知名度相比,图书Z指数在测度影响力深度方面显然更胜一筹。邢变变等(2019)[18]以图书Z指数为量化指标从学术书评角度比较了不同档案学经典著作的价值,认为图书Z指数能在兼顾量化指标的基础上彰显不同学术图书的质量差异。陈艳云(2019)[19]利用图书Z指数构建了图书影响力评价模型。
此外,图书Z指数可以描述高影响力施引群体的规模及学术地位,为评估不同图书的学术影响力以及由此而衍生的作者及机构声誉提供了较为精细的测度工具,故在学者、机构影响力评价方面也有一定的应用价值。
3.4.2 研究主题预测。从学术授信分析角度看,特定研究主题之所以能够快速发展,一个很重要的原因是其获得了足够多的学者的关注及参与。为测度特定研究主题对内行群体的学术吸引力,周春雷等(2019)[20]提出了一个名为“年度Z指数”的量化测度指标,用于反映特定主题每年吸引到的参与者规模及层次。当某年的年度Z指数与之前相比明显下降,或年度Z指数虽有回升但不能超过前高时,该主题很可能在未来一段时间内变冷;反之,当年度Z指数持续增长,说明该主题的研究热度会上升。利用年度Z指数预测研究主题变化趋势的流程如图3所示。
笔者使用年度Z指数对研究主题进行学术授信分析识别“昙花一现”型研究主题,结果显示,可通过考察领域内主要作者的规模及学术地位变化特征和经典论文的年度Z指数变化来观察研究力量的变化并预测研究主题的冷热趋势。值得注意的是,研究主题的冷热程度与其重要程度并无直接关系,故不能将各种学术资源配置工作与研究主题的冷热过度挂钩。
3.5 群组分析法。对群组进行深入分析能够发现其中的内行群体,而揭示、利用他们所看重的信息对开展学术评价研究十分有益。群组分析法是一种从发文或引文角度研究群组学术授信成果、探究学科领域研究热点或引证规律的数据挖掘方法[21]。群组分析法通过分析高水平群体的学术行为来研究、利用其中蕴藏的集体智慧。
3.5.1 期刊评价。在期刊评价方面,群组分析法着重挖掘学者群体以发文或引用形式表达出的学术授信信息,以此评价期刊的学术影响力等方面。笔者结合群组分析法及Dh指数分析法分析了《人大复印报刊资料<图书馆学情报学>》的选文特征[22],发现图情类入选论文的发表载体较为权威,选文作者的学术影响力基本处于中上水平,建议以《资料》为代表的二次文献机构广泛吸纳单篇论文评价成果及学术共同体的意见,为选稿专家提供更加丰富的支持信息,进一步提高选文质量。《引文视角下的<档案管理>学术影响力探讨》[23]一文对期刊的施引群体和作者群体进行了比较,探讨了作者回报率问题,发现该刊部分高产作者的引文回报率较低,建议奖励重要贡献者。作者回报率的计算方式如下:
R_AB=[(G_BA+C_BA)/T_BA ]×100%(1)
其中,R_AB是A期刊的B作者回报率;G_BA为B作者在A期刊所发文章的总被引次数;C_BA是B作者对A期刊的施引次数;T_BA是B作者在A期刊的发文篇数。
通过使用作者回报率指标能够帮助期刊找到对扩大其学术影响力作出贡献的学者,但该文同时指出采用CSSCI引文数据计算作者回报率可能存在的偏颇之处,可能助长某些未必合理的措施,建议各方辩证看待,谨慎使用。另外在该文的研究中发现提升期刊影响力的关键在于获得专业群体的学术授信。总之,利用群组分析法对期刊进行评价,可有效揭示专业群体对特定期刊的真实学术授信情况,避免寻常量化指标易受操控之弊。
3.5.2 成果影响力评价。群组分析法从学者群体的学术授信情况分析学术成果的影响力。周春雷、曹玲静(2017)以2002—2014年的河南省社会科学优秀成果奖的获奖信息为研究对象,并与教育部高校社科优秀成果奖进行了对比(见表2),探讨获奖成果的学术影响力,[24]研究发现河南省优秀成果奖的影响力圈子相对封闭,影响群体集中在河南省内,获奖者的学术影响力有限,获奖机构分布不均衡且存在人才外流现象。
此外,通过深入研究获奖者履历发现,21名获奖者中有7人的所属机构发生了变化,例如丁建定、解志熙和柯平,均转向经济发达地区发展。由于社会科学领域学术人才的成长周期较长,这种高层次学术人才大规模外流现象对河南省哲学社会科学的发展非常不利,相关管理者应予以重视。同时,该研究还发现,原信阳职业技术学院的杨明星是河南省专科院校获得高校社科奖的第一人,但当时未曾获得河南省社科奖二等奖以上奖项并据此认为“此例也许足以警示依出身论学术成果等级的观点不可取”,建议有关部门慎重考虑各种报奖门槛问题,还建议梳理评审标准中是否存在不利于优秀成果脱颖而出的限制。目前,该学者为郑州大学特聘教授、中国外交话语研究院主任。不难看出,学术授信分析在人才识别与管理、评奖管理等方面的潜在价值。
3.5.3 机构评价。科研机构的学术声望,对其知识生产效率和建立合作伙伴关系均有较大的影响。为观察各科研机构获得的合作伙伴学术授信情況并定量评价其在科研朋友圈中的学术声望,评估其学术关系网络中的社会资本丰裕程度,笔者从被引角度提出了机构论文SCAN指数[25]。该指数的计算流程如图4所示。
SCAN指数能体现出评价对象的科研实力、学术声望及其学术合作网络的整体价值。SCAN指数与QS排名相关性很高,与各高校的学科实力排名也较为吻合,可有效揭示各高校学术论文合作网络的社会资本价值。具体而言,SCAN指数在机构评价方面的应用潜力体现在以下方面:①预测高潜力科研机构。可以利用SCAN指数比较不同科研机构的合作价值并发现高潜力科研机构。②学术合作网络分析。利用SCAN指数对某科研机构的学术合作网络进行价值分析,更好地挖掘、利用学术合作网络中蕴藏的社会资本。
4 总结与展望
本文系统总结了笔者团队在学术授信分析方面的研究成果,展示了该方法在成果影响力评价、人才评价及评奖预测、研究主题预测、期刊评价和图书评价等方面的应用潜力。这种新型信息分析方法主张以更加合理的方式使用量化分析技术及其结果,建议优先采信那些经过专业群体学术授信的可靠信息。这种强调证据可验证性的信息分析技术与区块链思想有较多相通之处,有望在纷繁复杂的开放环境下找到更多用武之地。
参考文献:
[1]周春雷.基于h指数的学术授信评价研究[D].武汉大学,2010.
[2]周春雷.学术授信评价及其应用[M].北京:科学出版社,2016.
[3]HIRSCH J.E.An index to quantify an individual’s scientific research output[J].Proceedings of the National Academy of Sciences of the United States of Amercia,2005,102(46):16569-16572.
[4]周春雷.h指数批量统计法及其应用研究.情报学报.2010(01):100-107.
[5]周春雷.领域内h指数及其应用研究[J].图书情报工作,2012,56(10):45-49.
[6]Zhou C L,Kong X Y,Lin Z P.Research on Derek John de Solla Price Medal Prediction Based on Academic Credit Analysis[J].2019,118(01):159-175.
[7]周春雷,蔡程瑞,张坦,等.国内图情学者历时h指数研究[J].图书情报工作,2017,61(19):96-101.
[8]蔡程瑞.国内图情期刊高频编委群体学术影响力研究[D].郑州大学,2018.
[9]White,HD.Authors as Citers Over Time[J].Journal of American Society for Information Science and Technology,2001,52(02):,87-108.
[10]周春雷.引荐分析法:一种新的引文分析法[J].情报学报,2010,29(04):671-678.
[11]周春雷,李冰莹.基于引荐分析的国内引用认同领域分析[J].数字图书馆论坛,2015,(01):26-29.
[12]周春雷,蔡程瑞.基于CNKI的国内档案学博硕士学位论文研究[J].档案管理,2017(01):37-39.
[13]McKiernan G.Automated categorisation of web resources:a profile of selected projects,research,products,and services[J].New review of information networking.1996,2(01):15-40.
[14]卢文辉,叶继元.链接分析法在国内网站实证研究中的应用现状分析[J].图书情报工作,2019,63(18):119-130.
[15]周春雷.链接内容分析视角下的科学网博客评价探索.图书情报知识,2012,(04):11-17.
[16]周春雷,王涵墨.科学网博文质量评价研究[J].图书馆学研究,2015(23):94-101.
[17]周春雷,陈艳云,蔡程瑞.图书Z指数及在其影响力评价研究中的应用[J]图书情报工作,2018,62(14):106-115.
[18]邢变变,各玉杰.档案学经典著作学术授信评价研究——以学术书评为分析样本[J].档案学研究,2019,(03):83-88.
[19]陈艳云.学术授信评价视角下的图书影响力研究[D].郑州大学,2019.
[20]周春雷,师文欣,王小凯.学术授信视角下的“昙花一现”型研究主题识别方法研究[J].情报杂志,2019,38(08):68-74,89.
[21]王涵墨.基于学术授信的群组分析法研究[D].郑州大学,2017.
[22]周春雷,孟丽慧,李正南.人大复印报刊资料《图书馆学情报学》选文特征分析[J].情报杂志,2021,40(08):159-163,封三.
[23]周春雷,陈莹.引文视角下的《档案管理》学术影响力探讨[J].档案管理,2021,(02):97-99.
[24]周春雷,曹玲静.河南省社会科学优秀成果奖学术影响力研究[J].中国科技期刊研究,2017,28(08):748-756.
[25]周春雷,周慧芳.学术网络社会资本视角下的学科评价指标探索[J].现代情报,2018,38(09):79-86.