论文临床影响力评价及预测指标的实证研究
——基于诺贝尔生理学或医学奖获得者成果的分析

2022-03-07 08:29陈斯斯刘春丽
情报学报 2022年2期
关键词:论文集诺贝尔奖均值

陈斯斯,刘春丽

(中国医科大学图书馆,沈阳 110122)

1 引言

科技评价方法的改革与创新是与教师、研究人员、机构、政府等多个利益相关者密切相关的重要课题。2020年,教育部、科技部印发的《关于规范高等学校SCI论文相关指标使用,树立正确评价导向的若干意见》(教科技〔2020〕2号)中就指出,SCI(Science Citation Index)相关指标,如论文数量、被引次数、高被引论文、影响因子、ESI(Es‐sential Science Indicators)排名等,“不是评价学术水平与创新贡献的直接依据”。数十年来,基于论文被引次数的多种计量指标已被广泛应用于科技成果评价与人才遴选。除同行评议外,影响因子与被引次数指标曾是最公认的科技评价指标。然而,科技论文的创新水平、科学价值、应用价值越来越被认为无法通过“被论文引用次数”这种单一类别指标进行充分地测度。科技成果的价值评价不能局限在学术研究领域,还要考虑其对社会、文化、经济、健康与环境等多维度的影响或效益。如何测度科技论文的其他类别影响力或价值,曾有数位学者进行过探索与尝试,如根据科技论文被美国专利的引用次数测度技术影响力;通过科技成果转化的产品经济收入与经费资助金额比来测度科技成果经济影响力;也曾有通过跟踪论文被临床指南引用,来测度论文的临床转化影响力。然而,科技成果的社会影响评价在科技评价中的应用较少,主要原因是缺乏可以跟踪科技成果社会各维度影响力的覆盖范围广、可靠性和可操作性强的评价指标与数据分析平台。

2020年,新冠疫情席卷全球,人民的生命与健康受到严重威胁。面对来势汹汹的疫情,党中央号召科技工作者将科研精力投入最紧迫的抗击疫情工作中,把论文写在抗击疫情第一线,把科研成果应用到战胜疫情中,并要求加快开展疫情防控科研攻关与成果的应用,提升科技应对疫情的能力水平。在重大突发公共卫生事件背景下,科技论文的临床应用价值被提到前所未有的重要位置。例如,科研论文是否对病毒毒株分离、对疫苗研发、对诊疗方案制订、对危重患者救治、对疗效的评价等临床应用产生直接或间接的促进与影响。实际上,这测度的就是临床转化能力。

医学的一个分支学科称为转化医学[1],试图在基础研究与临床医疗之间建立更直接的关联,于20世纪末被美国国立卫生研究院(National Institutes of Health,NIH)提出,旨在追踪NIH每年高达200亿美元的研究经费是否最终对人类健康状况的显著改善发生影响,即追踪基础知识向临床治疗转化的进程,以促进人类健康水平的提升。在中国,十九大报告将健康中国作为国家发展战略,明确提出健康中国就是积极推动疾病医学向健康医学转化。由此可见,科研成果对临床医疗及人民健康的影响力也是体现科学价值的重要检验标准。但如何评价这种类型的影响力及有哪些有效指标仍需要深入挖掘与探索。

2 研究背景

2.1 国内外相关研究

目前,文献计量学领域专家对科研成果临床转化的研究,主要表现在从人工追踪科研成果临床转化的知识流动过程[2-4],发展到基于论文的主题特征以及引文网络演化,模拟论文从基础到临床转化过程。2013年,Wang等[5]在Science杂 志 上 发 表 论 文,发现引文动态及其揭示的不同学科之间的基本知识流遵循基本的数学原理,这表示引文动态能够作为科学转化预测的特征之一。2013年,Weber[6]使用三角形模型建模医学转化特征,使用文献计量方法将PubMed数据库收录的论文按照研究主题映射到三角形模型上。将医学转化建模为论文与施引论文主题与“人类(human)”主题之间的距离。2013年,我国学者杜建等[7-8]提及论文之间的引用与被引用关系形成的引文网络可揭示出具体领域的转化地带(研究领域的交叉地带)、转化路径(不同转化节点的转化途径)和转化时滞(每个节点转化时长),使科研人员把握该领域转化研究的关键内容与路线图,从而促进研究从上游吸收和向下游转化,最终加速转化医学进程。2015年,Williams等[9]在Cell期刊发文,建议利用公共数据库的数据进行挖掘与网络分析,识别和量化科学发现与医学重大进展之间的关系,有助于增进公众对于生命科学研究的经费支出的理解。2019年,情报学专家Ke[10]尝试使用机器学习算法对大规模的生物医学研究的转化潜力进行预测,实现加速临床转化的目标。

2.2 转化潜力近似值指标(APT)简介

2019年,美国国立卫生研究院投资组合分析办公室(Office of Portfolio Analysis,OPA)基于论文主题分类和引文动态构建机器学习系统,计算得出论文转化潜力近似值指标(approximate potential to translate scores,APT),用来评估论文在将来被临床试验或临床指南引用的可能性[11]。APT指标的基本假设是只要临床试验或临床实践指南最终引用了该论文,论文即被标记为“已实现转化目标”,但论文是否直接改善了人类的健康,并不在本算法的预测范围之内[11]。开发者也指出引用网络是动态变化,但是论文发表后2年的引用数据,足以使模型准确预测科研论文被临床类论文引用的可能性。随着引用网络的不断增长,知识流动的信息也不断积累,预测能力会不断增强,直到发表后大约7年达到平稳状态,这显示知识转移在最初的7年期间最为活跃。预测值的置信度与临床论文的最终引用相关,表明该方法可作为转化的早期特征。

为了揭示论文在医学生物学领域的转化潜力,Weber[6]按照医学主题词表(medical subject head‐ings,MeSH)将PubMed论文分为人类(Human)、动 物(Animal)和 分 子/细 胞(Molecular/Cellular,Mol/Cell)大致三个分支(类型),根据论文在三个分支上的特征将其映射到三角形模型图上。APT指标借鉴并改进了Weber[6]的二分类计数方法,采用小数计数方法,不仅提高了论文分类的准确性,也进一步提高了可视化效果。

APT指标的计算整合了每篇论文的特征因子共22个(表1),包括被引论文特征因子(前6个)、施引论文特征因子(后15个)以及论文的年均被引次数。论文特征因子的前6个即6种MeSH术语:人类、动物、分子/细胞、化学/药物、疾病、治疗/诊断方法;施引论文特征因子的后15个即施引论文相应MeSH术语的统计描述特征值。论文的人类(Human)、动物(Animal)、分子/细胞(Mol/Cell)特征被统称为HAMC。首先,将这22个论文特征转换为机器学习系统的向量,对PubMed中每篇论文的信息多维数组定义为其数据配置文件。其次,在训练阶段,将每个数据配置文件的矢量信息与输出变量一起提供给机器学习系统。其中,使用二进制指标表示临床论文是否引用了该论文,若引用,则标志为1;反之,则标志为0。在训练阶段之后,系统会评估测试集的数据配置文件,以确定这些论文被临床引用的概率。最后,计算得出的预测结果即转化潜力的近似值APT,将其分为5个组:<5%、25%、50%、75%和>95%,如图1[11]所示。APT指标的研发者尝试采用不同算法,如随机森林、支持向量机、逻辑回归、MaxEnt、LibLinear和神经网络,发现随机森林算法的准确性最高(84%),相应的F值为0.56[11]。APT指标的机器学习模型中使用的随机森林算法的优点在于,其通过根据训练阶段基尼杂质(Gini impurity)的平均减少来计算各种特征的相对重要性。NIH通过邀请审稿专家预测论文被临床引用的可能性来验证使用机器学习方法预测的准确性[11]。研究结果发现,通过一些措施,机器学习的性能可以达到专家同行评议的水平,并且具有可扩展到整个PubMed数据库所有论文的潜力。NIH对APT计算模型的进一步测试发现,对不同出版年龄的论文,机器学习模型均能够准确预测。

表1 APT计算模型中使用的特征因子及信息来源

2.3 iCite平台及相对引用率指标(RCR)简介

iCite平台是一个由功能强大的网络应用程序支撑,可为一篇论文或者一组论文提供一组文献计量指标,并提供可视化分析结果的检索平台。iCite平台上可提供三大功能模块,分别重点展示“影响力”(Influence)指标、“转化力”(Translation)指标以及“引文”(Citations)指标。这些指标的计算都基于NIH的开放引文数据库(Open Citation Col‐lection,NIH-OCC)的引文数据,而不是Scopus或Web of Science中的引文数据。

相对引用率指标(relative citation ratio,RCR)是论文级别的规范化评价指标之一,于2015年由NIH开发,可通过iCite平台检索[12-13]。有学者将学科领域规范化指标分为两种:一种是沿用之前的分类习惯,使用先验定义方法,按照期刊的学科类别对论文分类(如Web of Science的学科领域归一化影响力指标、Scopus的归一化影响因子等);另一种是根据共引用网络的动态定义方法(如RCR)对论文所属学科进行分类[14]。有研究表明,基于动态定义的学科领域规范化方法比使用基于期刊类别的学科领域规范化方法更有效[12]。有学者发现,RCR指标可避免以往学科领域规范化算法中因多个学科属性归属问题而导致的干扰,RCR指标对于跨学科论文的影响力评价,具有一定的优势[15]。

RCR指标使用论文共引文网络,动态地确定论文的研究领域,以NIH R01资助的文献为基准,当论文RCR值大于1.0时,其影响力高于该年度NIH R01资助论文的平均影响力水准。iCite平台也提供论文的加权RCR指标(weighted RCR),这是一组论文RCR值的总和。如果一组论文的加权RCR值大于这组论文总数,那么表明这组论文的平均水平高于NIH资助论文的平均水平,提示这组论文具有较高影响力;反之则相反。

3 研究问题与研究方法

3.1 研究问题的提出

利用被引次数预测学者学术影响力,早已成为业界共识[16]。19世纪60年代,“SCI之父”加菲尔德曾在Science杂志上发表论文[17],系统阐述了除分类法与主题法外,引文索引可以作为一种文献检索方法。更重要的是,加菲尔德等学者尝试通过论文高被引来预测某一领域的潜在诺贝尔奖获得者。其假设是如果论文被较多引用,即在论文发表后立即或3~6个月受到较高关注,那么就认为该论文具有较高的影响力,可被认为是经典论文;而拥有较多经典论文的学者可能是未来该领域的诺贝尔奖获得者[17]。同时,加菲尔德也指出,这种预测不是精确预测,只是在经济学这一特殊领域预测得相对比较准确[17]。

引文桂冠奖[16]是科睿唯安(Clarivate Analytics)基于Web of Science数据库中科研论文及其引文进行深入分析,对遴选出的可能摘取诺贝尔奖的研究人员所颁发的奖项。自2002年以来,每年发布的引文桂冠奖累计已成功预测了50位诺贝尔奖得主。2002年,科睿唯安首次预测诺贝尔奖,2003—2005年,由于人员调动等问题,并未预测任何人选,2006年预测工作重新开启,一直持续至今。

2006—2019年,共产生35位诺贝尔生理学或医学奖得主,其中引文桂冠奖曾成功预测15位诺贝尔奖得主[16],但也有20位诺贝尔生理学或医学奖得主并未曾被科睿唯安的引文桂冠奖成功预测。那么,未被传统引文指标预测,但最后也同样评为诺贝尔生理学或医学奖得主可能是通过其论文的其他影响力优势获胜;反过来讲,传统引文指标之所以在预测诺贝奖获得者中存在约57.14%的失败案例,部分原因可能是传统引文指标未能测度诺贝尔奖获得者论文的其他类型影响力,如临床转化影响力或临床转化潜力。我们提出如下研究问题。

研究问题1:在已知的35位诺贝尔生理学或医学奖得主中,被科睿唯安成功预测与未被科睿唯安成功预测的两组论文集的临床转化影响力如何,在“人类(Human)”指标、“动物(Animal)”指标、“分子/细胞(Mol/Cell)”指标、临床转化潜力(APT)指标上存在哪些分布特征上的差异?

研究问题2:已知35位诺贝尔生理学或医学奖得主中,被科睿唯安成功预测与未被科睿唯安成功预测的两组论文集的影响力指标、转化力指标、引文指标之间是否存在显著差异?

研究问题3:诺贝尔生理学或医学奖得主论文集的临床转化力和引文等一系列指标之间是否具有相关性?

3.2 研究数据与方法

3.2.1 研究变量及数据

本文选取7个主要研究变量进行统计分析,包括总被引次数、加权相对引用率(weighted RCR)、被临床论文引用次数、临床转化潜力(APT)均值、Human均值、Animal均值、Mol/Cell均值。具体每种指标的英文全称、测度内容及计算方法如表2所示。

表2 变量测度内容及计算方法

本文对35位诺贝尔生理学或医学奖得主,按照作者姓名、单位在PubMed数据库里检索作者发表的全部论文。将每位作者发表的全部论文的PMID(PubMed unique identifier)号列表提交至iCite平台检索,得到每位作者论文集的临床转化APT均值、Human均值、Animal均值、Mol/Cell均值以及总被引次数、加权RCR(weighted RCR)、被临床论文引用次数(cited by Clin.),35位诺贝尔奖获得者及转化力指标、引文指标与数据如表3所示。

表3 35位诺贝尔生理学或医学奖得主论文转化力指标以及引文指标

3.2.2 研究方法

首先,将35位诺贝尔生理学或医学奖得主分成被预测和未被预测两组,分别对诺贝尔奖得主的论文集的临床转化、被引指标进行描述性统计分析,具体包括最大值、最小值、均值±标准差、中位数等;用三角形模型图比较被预测组与未被预测组诺贝尔奖获得者论文的“人类(Human)”指标,“动物(Animal)”指标,“分子/细胞(Mol/Cell)”指标、临床转化潜力(APT)指标的分布特征差异。

其次,利用SPSS软件采用Shapiro-Wilk方法检验研究变量的正态性;并对研究变量进行自然对数、开根号、开立方根、正弦、余弦等数据转换,直到研究变量非常接近正态分布;采用T检验方法验证两组论文集的影响力指标、转化力指标、引文指标之间是否存在显著差异。

最后,利用SPSS软件采用Spearman相关分析方法检验研究变量之间的相关关系及显著性。

4 研究结果

4.1 被预测与未被预测两组论文集影响力、转化力指标的分布特征及差异

4.1.1 两组诺贝尔奖得主论文集引文影响力、临床转化力指标的分布特征比较

被预测(15人)与未被预测(20人)两组论文集的引文影响力、临床转化力情况如表4所示。由表4可见,被预测组的发文数量、加权RCR、总被引次数、APT、被临床论文引用次数均数均大于未被预测组。在三角形模型计分上,Mol/Cell指标均数大于未被预测组,而Human指标均数和Animal指标均数小于未被预测组。被预测组的发文数量、RCR、加权RCR、总被引次数、APT、被临床论文引用次数的中位数均大于未被预测组,在三角形模型计分上,Mol/Cell指标均数的中位数大于未被预测组,而Human指标均数和Animal指标均数的中位数小于未被预测组。

表4 被预测与未被预测两组论文集的引文影响力、临床转化力指标统计分析

总体上来看,被预测组的转化力和影响力指标的均值和中位数均大于未被预测组。从三角形模型指标上来看,被预测组的Mol/Cell指标较高,Hu‐man指标和Animal指标较低;而未被预测组则是Human和Animal指标较高,Mol/Cell指标较低。研究结果显示,未被预测组论文集具有较高的Human和Animal指标,但通过基于Web of Science被引次数的诺贝尔奖预测方法无法显示出其在人类和动物研究方向转化方面的影响力,可能导致未被引文桂冠奖预测。

4.1.2 被预测与未被预测组诺贝尔奖得主论文集的临床转化力的三角形模型比较

在iCite网站上逐一检索每位诺贝尔生理学或医学奖得主的论文集,获得每位诺贝尔奖得主论文集的三角形模型可视化图。按照被预测组与未被预测组分别展示,如表5和表6所示。

表5中的展示顺序是按照论文集的Human均值从小到大排序的。20位作者三角形模型图中,排在前面的诺贝尔奖得主论文集的Human均值最小,研究热点(白色为热点)均在动物研究方向或者分子/细胞研究方向。从第3排第3个开始,Human均值逐渐成为研究热点。

表5 未被预测的20位诺贝尔奖得主论文集三角形模型可视化图

表6中的展示顺序是按照论文集的Mol/Cell均值从小到大排序的。被预测的15位作者分为3排展示。第1排作者的研究热点呈现出仅在人类研究方向或者动物研究方向高热,其他均较暗的现象。Bruce A Beutler的论文集偏向人类研究。从第3幅图开始作者的研究方向便开始从动物方向逐渐转移向分子/细胞研究方向。第2排作者的最后一幅图,其研究热点聚焦在分子/细胞研究方向。第3排作者的研究方向完全呈现为分子/细胞研究方向,其他方向颜色暗黑。从表6中可以观察到,大部分诺贝尔奖获得者的论文集是偏向分子/细胞研究方向的。

表6 被预测的15位诺贝尔奖得主论文集三角形模型可视化图

综上,对比两组三角形模型图可以看出,被预测组研究的主要内容偏向于分子/细胞方向,即基于被引次数的引文桂冠奖预测方法成功预测了在分子/细胞研究方向具有较高影响力的生理学或医学领域有突出贡献的专家。而未被预测组研究的主要内容偏向于人类或动物方向,即在临床转化影响力方面有突出表现的诺贝尔奖获得者未被引文桂冠奖预测方法成功预测到。

在表5与表6中,我们列出了每位诺贝尔生理学或医学奖得主的主要贡献,并与三角形模型图对照显示。例如,屠呦呦的获奖原因是“发现治疗疟疾的新疗法”,其论文集的主要研究是动物实验及临床应用。Robert G Edwards的获奖原因是“在试管授精技术方面的发展”,主要研究内容表现为临床应用。对比以同一原因获奖的作者三角形模型图,如Tu Youyou和SatoshiŌmura,其获奖原因均是“发现治疗丝虫寄生虫新疗法”,未被引文桂冠奖预测,但仍然获得诺贝尔奖。Tu Youyou偏向于动物研究,SatoshiŌmura偏向于分子/细胞方向。Bruce A Beutler和Jules A Hoffmann获奖的原因均是“对于先天免疫机制激活的发现”,均被引文桂冠奖成功预测,但Jules A Hoffmann的研究主要集中在分子/细胞和动物方向,而Bruce A Beutler则涉及人类、动物、分子/细胞3个研究方向。William G Kaelin、Peter J Ratcliffe、Gregg L Semenza获奖的原因均是“发现细胞如何感知和适应氧气供应”,William G Kaelin的研究主要在人类、分子/细胞方向,Peter J Ratcliffe的研究在人类、分子/细胞、动物方向,而Gregg L Semenza则是人类、分子/细胞方向。

这种三角形模型可以清晰地展示每位诺贝尔奖得主论文集在人类研究、动物研究或者分子/细胞研究3个主题上侧重的研究方向,三角形模型具备较强的研究主题与研究方向的展示能力,可以通过颜色渐变的方式反映不同维度的研究热度。

4.2 被预测与未被预测两组论文集在不同指标上的差异

本文利用SPSS软件采用Shapiro-Wilk方法检验7个研究变量的正态性。其中,总被引次数、加权RCR、被临床论文引用次数、Human均值显著性小于0.05,不服从正态分布;而APT均值、Animal均值、Mol/Cell均值显著性大于0.05,服从正态分布(表7)。

表7 Shapiro-Wilk正态性检验

对研究变量进行自然对数转换后,所有研究变量已非常接近正态分布。再采用T检验方法验证两组论文集在不同指标上的差异显著性(表8)。

表8 T检验方法验证被预测与未被预测两组论文集在不同指标上的差异显著性

在被预测获奖和未被预测获奖的两组间,总被引次数、加权RCR、Mol/Cell均值有显著差异;而被临床论文引用次数、APT均值、Human均值、Animal均值无显著差异。这说明以往的基于引文的方法可以区分高低被引次数,预测被引次数,反映论文集在分子/细胞相关影响力上的强弱,但无法评价或预测临床转化方面的影响力。提示基于引文的传统诺贝尔奖预测方法与指标对分子/细胞领域的基础研究成果的影响力测度更为敏感,而对动物实验和临床研究影响力缺乏敏感性。

4.3 引文影响力、临床转化力指标之间的相关关系

对35位诺贝尔生理学或医学奖得主论文集的7种指标进行Spearman相关性检验,结果如表9所示。

表9 引文影响力、临床转化力指标之间相关性的Spearman检验

一般而言,相关系数|r|≥0.8表示高度相关,0.5≤|r|<0.8表示中等相关,0.3≤|r|<0.5表示低相关,|r|<0.3表示不相关。从分析结果可以看出,Mol/Cell均值与总被引次数显著正相关,而Animal均值与总被引次数显著负相关,Human均值与总被引次数相关性不显著。可以推论,诺贝尔奖获得者中,曾经被科睿唯安授予“引文桂冠奖”、预测为诺贝尔奖获得者的候选人,可能具有较高的Mol/Cell均值及较低的Animal均值;反过来,可能一些Mol/Cell均值较低,但Human均值或Animal均值较高的具有较大诺贝尔奖获得潜力的学者通过单一的引文指标未被预测,但最终获得了诺贝尔奖。这种未被成功预测的占比是20/35=57.14%,超过了半数。由此可见,引文指标只能反映一小部分的学术价值,更多的学术价值,特别是临床转化价值是以往文献计量学被忽视的重要指标。在学者学术影响力评价方面,iCite提供了临床转化潜力测度指标,可以补充传统的引文评价指标,实现在“引文+临床”两个或更多维度上,更全面、更准确地预测诺贝尔奖获得者。

加权RCR与总被引次数显著正相关;加权RCR与Mol/Cell均值、Animal均值以及Human均值的相关性和总被引次数与三者的相关性表现一致。加权RCR与被临床论文引用次数,APT均值的相关性较总被引次数与两者之间的相关性较强。被临床引用次数与APT均值显著正相关,与Human均值显著正相关,与Animal均值显著负相关,与Mol/Cell均值相关性不显著。这说明诺贝尔奖获得者论文集的临床影响力高的文章内容更倾向于Human研究方向,而Animal研究方向的论文被临床论文引用的可能性降低。APT均值与Human均值显著正相关,与被临床论文引用次数显著正相关。Human均值、Animal均值以及Mol/Cell均值三者之间,Animal均值与Mol/Cell均值负相关程度最高,为中度负相关;Human均值与Animal均值负相关程度较低,为低度负相关;Human均值与Mol/Cell均值的负相关性不显著。说明偏向Animal研究方向的诺贝尔奖获得者论文集,在其他两个方向较弱;偏向Human研究方向的诺贝尔奖获得者论文集,与Mol/Cell研究方向较为远离。

5 讨论

5.1 与以往诺贝尔奖相关实证研究的比较

以往相关研究通常为基于引文的诺贝尔奖科学家预测、文献计量分析、被引特征与合作网络、引文曲线的研究。例如,王琳等[18]阐释了基于引文分析法遴选“引文桂冠奖”,预测未来诺贝尔奖获得者;李正红等[19]对诺贝尔生理学或医学奖获得者的论文进行了文献计量分析;章娟等[20]分析了中国科学院院士及诺贝尔奖获得者获奖前的SCI论文的被引次数、合作率与合作网络的节点中心度,比较了SCI论文的质量和合作情况;杜建等[21]通过结合使用被引速率和延迟承认指数识别诺贝尔奖获得者论文集中的睡美人文献;鲍玉芳等[22]分析了诺贝尔奖获得者获奖前后的论文数量与被引频次,及两者之间的关系;李江等[23]对诺贝尔奖获得者借助曲线拟合方法构建了引文曲线,如经典引文曲线、指数增长引文曲线,以及3种不规则引文曲线——睡美人引文曲线、双峰引文曲线和波型引文曲线。而诺贝尔奖获得者临床影响力及评价指标的研究极少,特别是基于引文的科睿唯安“引文桂冠奖”未预测到的科学家最终也获得诺贝尔奖的缘由很少进行探索性分析。与上述诺贝尔奖相关实证研究不同,本文经过初步探索和分析,认为未考察临床影响力指标是基于引文的科睿唯安“引文桂冠奖”预测诺贝尔奖失败的可能原因之一。即使引文影响力不够出众,但在临床影响力方面表现出色,也仍然可以被认为在生理学或医学领域做出了杰出贡献。因此,在诺贝尔奖获得者预测模式上,如果结合引文影响力及临床影响力两个维度评价指标,那么将可能提高诺贝尔奖预测的准确率。

5.2 诺贝尔奖获得者论文集主题特征与被引次数的关系

本文利用iCite开发的三角形模型图展示了35位诺贝尔生理学或医学奖获得者论文在Human、Ani‐mal和Mol/Cell这3个主题分支上的热度分布。基于引文的被成功预测诺贝尔奖组论文集的内容集中在Mol/Cell方向,而未被预测的诺贝尔奖组论文集的内容集中在Human或Animal方向。预测组与未被预测组的T检验也发现,基于引文的诺贝尔奖预测方法成功预测了在Mol/Cell研究方向具有较高影响力的生理学或医学领域有突出贡献的专家。相关分析也发现,被引次数与Mol/Cell显著正相关,与Animal显著负相关,与Human相关性不显著。由此可见,重点研究Mol/Cell的基础研究成果在引文上具有较强优势,而Human或Animal研究方向的临床或动物实验论文在引文上处于相对劣势。这从一定程度上反映出引用指标严重偏向基础研究论文的现象。

5.3 iCite平台与APT相关指标将促进论文临床影响力的评价

诺贝尔奖遴选过程被全世界公认为是最公平、最客观的科研评价模式[24-25],其优于传统的基于引文的定量评价模型,可能部分原因在于以往的定量分析仅局限在引文分析视角,忽略了科研成果在学术以外的各个领域的多维度贡献。就生理学或医学而言,临床影响力是不容忽视的重要评价维度。基于引文的学术影响力评价存在数十年之久,其他维度影响力,特别是临床影响力评价的空缺,在很大程度上是因为缺乏可靠的相关指标和数据检索工具。这也阻碍了相关学者与机构从更广的视角、更多的维度进行科研评价。NIH相关机构开发的iCite数据库平台及临床转化潜力及被临床试验引用次数等指标,为从临床影响力维度进行科研评价或学者评价提供了重要数据与查询工具,值得科学计量学领域学者进一步深入挖掘与研究。

5.4 优化论文临床影响力评价及预测指标

在临床转化的测度上,iCite平台上仅有临床转化潜力APT和被临床试验引用次数两个指标,更丰富的临床转化预测指标有待进一步开发与研究。APT指标评价的是一篇论文将来被临床试验或指南引用的可能性,这并不能等价于论文最终导致了人类健康状况的显著改善。临床转化是一个复杂的过程,经历的也绝不是线性路径,因此,对临床影响力的评价和预测均有较大的难度。临床转化一般是从基础生物学研究开始,通过证明干预措施的临床有效性(如新药开发),再到检测临床疗效(如药物对临床结局的影响),最后到评估对提高人民健康水平(如大范围临床研究、成本效益研究)的实际效果。那么,对基础研究成果的临床转化方面的量化就需要借助转化路径上的标记物,如引文里程碑。从科学转化视角来看,临床试验、临床实践指南、临床观察研究等可视为临床转化过程的中间标记物,如果论文被这些特殊类型成果引用,那么可以被认为是到达了一定的临床引文里程碑。综合考虑论文被各个标记物的引用所代表的临床影响力,建立评价或预测模型,可能会实现对论文临床影响力评价及预测指标的优化。

5.5 破除“SCI至上”的负面影响,鼓励将论文发表在祖国大地上

2020年2月,教育部、科技部印发《关于规范高等学校SCI论文相关指标使用,树立正确评价导向的若干意见》(教科技〔2020〕2号),指出SCI指标及排名“不是评价学术水平与创新贡献的直接依据”。诺贝尔奖获得者的代表性论文并不是均被SCI收录,一些发表在普通期刊上的论文对学科研究领域也具有重要创新与科学价值。例如,中国药学家屠呦呦因发现青蒿素治疗疟疾新方法而获得2015年诺贝尔生理学或医学奖。经检索,屠呦呦于1981年在《药学学报》上发表了一篇题为《中药青蒿化学成分的研究》(Studies on the constituents ofArtemisia annuaL.)的中文论文[26],目前被PubMed数据库收录(PMID:7246183)。虽然屠呦呦的代表作未发表在SCI源期刊,但仍然不能否认其在医学和药学领域的杰出贡献。在2020年的新冠肺炎疫情期间,科技部下发通知,要求把论文写在祖国大地上,把研究成果应用到战胜疫情中[27]。2018年以来,开发和编制我国高质量科技期刊分级目录被提到重要日程。2019年8月,中国科协等四个部门联合印发培育世界一流科技期刊的意见,之后发布并多次更新《高质量科技期刊分级目录》。2021年11月,中国科协发布《高质量科技期刊分级目录总汇》[28],覆盖24大领域,5147种中英文期刊,对推动同等水平的国内外期刊等效使用,引导我国科技工作者将优秀成果发表在我国高质量科技期刊具有重要的应用价值。

5.6 研究的不足之处

在iCite数据库中可以用PMID号检索PubMed数据库收录论文的临床转化潜力等指标,但无论是影响力指标还是临床转化指标,均限制在1980年到最新影响因子发表年。这对时间久远以及时间跨度较大的研究成果的检索造成了一定的影响。本文选取的35位诺贝尔奖得主发表的论文如果是在1980年以前或2020年以后,那么这些论文是无法在iCite数据库中检索到的,这导致个别诺贝尔奖得主最初和最新研究的论文未检索得到计量数据。

6 结论

本文较为系统地梳理了NIH开发的临床转化潜力值的基本假设、模型构建、算法与检索平台。通过对已知的35位诺贝尔生理学或医学奖得主论文进行实证分析,发现被科睿唯安成功预测与未被科睿唯安成功预测的两组论文集在被引用次数、加权RCR及Mol/Cell指标上存在显著差异,在临床转化相关指标APT和Cited by Clin.及Animal、Human指标上差异不显著。引文指标在反映分子细胞相关基础研究影响力上具有较强优势,但对临床研究与动物实验研究的影响力测度缺乏敏感性。因此,提高科研评价体系的公信力,必须考虑补充除基于引文指标以外的其他指标[29-32]。未来的科研评价理论将更重视对成果临床转化潜力的评价,我国相关机构与部门也需要借鉴APT的模型构建算法,开发适合我国期刊论文临床转化力的评价与预测指标,建设本土相关数据检索平台,进而推进引文与临床转化相结合的科研产出影响力评价新模式。

猜你喜欢
论文集诺贝尔奖均值
《智慧如海:纪念弘一大师诞辰140周年论文集》评介
诺贝尔奖知多少
均值—方差分析及CAPM模型的运用
均值—方差分析及CAPM模型的运用
陈清泉院士八十寿辰国际学术研讨会暨陈清泉论文集首发式圆满举行
浅谈均值不等式的应用
本刊提示(3)
均值不等式的小应用
诺贝尔奖的由来
本刊提示