基于文献计量学的药学领域国家重点实验室评价

李芙蓉，郝海平，丁佐奇,3

(1.中国药科大学理学院,江苏 南京 210009;2.中国药科大学药学院,江苏 南京 210009；3.中国药科大学《中国天然药物》编辑部，江苏 南京 210009)

国家重点实验室是国家科技创新体系的重要组成部分，是国家组织高水平基础研究和应用基础研究、聚集和培养优秀科学家、开展高层次学术交流的重要基地[1]。我国从 1984 年开始启动国家重点实验室建设项目，以期建成一批在学科发展前沿和在涉及国民经济、社会发展及国家安全的重要科技领域和方向上，开展创新性研究的实验室[2]。

国家重点实验室每五年评估一次，评估结果分为优秀、良好、整改及淘汰四类结果，各领域每次评估均会有一定比例的实验室被淘汰，因此各重点实验室对评估均十分重视。重点实验室评估通常采用客观量化指标与专家主观判断相结合的方式进行，而专家的主观评价也大多依赖于客观量化指标。在总分为100分的评分表中，论文发表情况约占60分。高质量的学术论文是科研水平的重要标志，在科研评价和学术能力分析中被广泛采用[3]。论文可以作为基础类实验室评估材料的重要客观数据支撑[4]。引文是所发表论文中列出的参考文献，用来明确指出他们的研究建立在哪些早期研究工作成果的基础上，因而引文可以表明早期研究成果是如何在他人后续研究工作中被利用的情况[5]。

现行的重点实验室论文评价体系大多局限于影响因子、引用次数等单一文献计量学指标，缺少综合评价依据。InCites 数据库是科睿唯安公司基于 Web of Science 数据库建立的科研评价工具，通过论文数量指标、质量指标、影响力指标、合作指标等一系列基于引文分析的统计指标，反映研究对象的学科特色、科研合作、学术影响力情况[6]。基本科学指标数据库ESI和InCites数据库是目前国内学术机构开展学术评价普遍使用的数据库[7]。有研究表明，在复杂数据条件下评估要特别重视两个方面，一是数据分析，二是体系分析。数据分析的目的是使复杂的数据清晰化、系统化，提高评估的稳健性和识别力；体系分析的目的是研究和发现与评估目标相关的关键因素与模式，确定建模方法和技术，通过降低维度等多种数据处理任务，提高评估工作的效率和目标达成度[8]。

基础研究的直接学术产出形式主要是科学论文，而国家重点实验室的研究以基础研究为主。本研究关注药学领域以高校为主办主体的国家重点实验室(不含企业类重点实验室)，基于ESI和InCites数据库，从文献计量学的角度进行分析，探索重点实验室科研绩效综合性评价指标，评估其科研水平与地位。目前国家新政策明确推行代表作制度，重点考察成果质量，淡化论文数量要求，国重评估应重视代表性成果，因此本研究构建了两个反映实验室代表性论文质量的新指标，并运用主成分分析法，对精选指标进行降维处理，给出直观得分，以期为今后国家重点实验室及其他机构的科研绩效评价提供可借鉴的方法。

1 研究对象与方法

1.1 研究对象

选择了药学领域以高校为主办主体的12个国家重点实验室，具体实验室名称见表1。其中所属于香港中文大学的药物植物应用研究国家重点实验室由于成立年份较短，相关数据不足，不纳入本研究。选择 Web of Science 核心合集下 SCI 数据库进行检索。论文发表时间限定为 2014-2018年[9]，将检索到的论文数据导入 InCites 数据库中，利用相关计量学指标进行科研成果评价。数据采集时间为 2019年10月10日。

表1 药学领域国家重点实验室

1.2 研究方法

本研究选取的评价指标有[10]：论文数、被引频次、论文被引百分比、篇均被引次数、学科规范化的引文影响力(CNCI)、高被引论文、h指数、国际合作论文数、发表论文Q1期刊占比、发表期刊影响因子。有文献[11]指出，为降低国外合作对评估机构真实科研竞争力的影响，进一步分析了科研人员作为通讯作者的论文占总论文数的比重。同时考虑到国家重点实验室评估重视代表性成果，国家有关部委也十分强调科研绩效评估应当从以往的以量取胜向重视质的突破，本研究提出两个新的文献计量学指标。一是代表性论文质量指数(T10QI)，即总引用次数排名前十研究性论文的平均影响因子+平均引用次数；二是引文质量指数(T10CQI)，统计总引用次数排名前十研究性论文其施引文献的CNCI+平均被引次数(只统计实验室为一作共一以及通讯共通讯的研究性论文)。这两个指标排除了合作情况的干扰，同时精选了各实验室一作研究性论文，即核心创新成果，符合目前国重实验室的评估原则，兼具新颖性和实际应用价值。在高校科技创新能力评价中，经常使用的方法是主成分分析法。因为一般选择的评价指标较多且指标间有一定的相关性，因此所得到的统计数据反映的信息有一定程度的重叠，增加了评价的复杂性。PCA在保留了原始变量大部分信息的基础上，减少了计算量，综合评价时更简洁，因此在高校科技创新能力评价中得到了广泛应用[12-13]。利用SPSS软件采取主成分分析法进行分析，选取的指标有：论文数、篇均被引次数、CNCI值、国际合作论文占比、高被引论文占比、T10QI、T10CQI。

2 研究结果与分析

2.1 论文产出

一个机构论文产出的数量和质量是科研产出评价的最根本依据。统计结果显示实验室NM近五年发表论文最多，达2 600篇，大大领先其他实验室，实验室TMC、CMEMR、FAMP由于成立时间较短，不足5年，因此发表论文数较少，依次为305、296和81篇，其他实验室的发文量在1 000到2 000之间。由图1可知，在成立年份较早的前4个老牌国重实验室中，只有实验室DR发文量呈小幅增长，其他实验室发表论文数相对稳定。实验室BSFNM、NM、QRCM、MCB均为2011年成立，发文量增长趋势明显。实验室CMEMR、FAMP为2016年正式批准成立，其中CMEMR在2015年发表一篇论文，FAMP只有近两年数据。

2.2 引用情况

被引频次反映了论文的学术影响力，篇均被引频次和论文被引百分比反映论文的整体平均被引情况。如图2显示，实验室TMC、CMEMR、FAMP由于成立年份较短，因此各指标值均较低，但实验室TMC的篇均被引次数较高。前8个实验室中，除实验室NM外，图2中的各项指标值与发文量排名基本一致。实验室NM论文数和被引频次排名较高，但篇均被引次数相对较低，这与部分近期发表的论文未达到引用高峰有一定关系。实验室PB的被引频次排名第一，在被引方面表现最好，实验室PPRWC和实验室BSFNM的各项指标值相对落后。

图1 2014-2018年各年份发表论文数

图2 各实验室发表论文引用情况

2.3 其他主要评价指标

综合相关研究，精选了文献计量评价的其他主要指标，对各国重实验室进行分析，具体数据见表2。

学科规范化的引文影响力(CNCI)是对不同文献类型、不同出版年、不同学科领域进行归一化后的评价指标。CNCI指标克服了学科领域、出版时间的差异，能更公正地反映引文影响力。11个实验室中有9个CNCI值超过1，实验室QRCM的CNCI值最高，其国际合作论文百分比最高，高效的国际合作可能是其论文CNCI值较高的原因，也体现了澳门作为特区在国际合作中的优势。实验室PB的CNCI值排名第2，其高被引论文占比和国际合作论文占比等均较好，篇均被引次数较高，实验室PB的论文整体水平较好。相反的，实验室PPRWC的CNCI值较低，其高被引论文占比和H指数较低，国际合作论文和基金资助论文的CNCI值均较低。

表2 各实验室主要指标数据

H指数最初用于评估研究人员的学术产出数量与学术产出水平，目前已应用于对学科领域中顶尖机构、卓越学者的体现和衡量。比较各国重实验室的H指数，后3个实验室由于成立年份较短，积累不足，H指数较低，实验室PB和实验室MCB表现优异，实验室PPRWC和BSFNM相对落后。

论文被引用频次的多少，反映了同行对此文献的关注程度[14]。高被引论文是ESI学科中同一出版年、相同学科领域，总被引频次排名全球前1%的论文(含论文和综述)，是评价一个科研机构国际影响力和创新力的重要指标[15]。目前评估趋势更注重顶尖科研能力和顶尖科研成果的指标体现。实验室PB、实验室QRCM和实验室MCB有20篇以上的高被引论文，实验室NBD和实验室NM高被引论文均为20篇。实验室TMC的高被引论文CNCI值高达41.57，但高被引论文数量有待增加。实验室PB、实验室BSFNM、实验室QRCM、实验室TMC参与了全球基因组计划，因此高被引论文中包含一篇共同作者高被引文章，会导致以上实验室高被引论文被引指标值偏高。

国家重点实验室作为我国组织高水平基础研究和应用基础研究、开展高层次学术交流与合作的重要基地，科研合作一直是评价其运行情况的重要指标[16]。分析参与国际合作机构的论文，通过论文被引次数识别遴选高效的国际合作，进而提升国际影响力。在国际合作论文的指标方面，实验室PB的CNCI值表现突出；实验室PPRWC排名相对靠后；实验室BSFNM虽然篇数不多，但是国际合作论文的CNCI值排名第三；实验室TMC成立时间虽短，但其国际合作论文CNCI值排名第一，存在高被引合作论文。本研究中，10个实验室的国际合作论文CNCI值大于实验室自身，1个略低，说明药学领域国家重点实验室的国际合作水平良好。

科学基金制度是当前科学研究和技术开发活动中普遍采用的基本科研资助方式之一。科学基金通过对各研究领域的研究项目和人才的资助，实现对基础研究的保障性激励，它在提高学术水平、完善学科体系、培养优秀人才、推动研究合作等方面发挥着无可替代的作用，成为当今科技创新的重要动力[17-18]。在基金资助方面，实验室NBD、DR表现较稳定；实验室PB表现依旧突出；实验室PPRWC和实验室BSFNM表现较差；实验室NM是基金资助论文最多的，同时基金被引百分比和基金资助论文表现较好。实验室QRCM的基金资助论文CNCI排名第二；实验室MCB表现最好，基金资助论文数排名第三，基金资助论文占比排名第一，基金资助论文CNCI排名第三。目前我国科学基金制度日渐完善，投入的科研经费不断增加，本研究显示，八成国重实验室基金资助论文占论文总数的70%以上，说明重大基金资助在论文发表方面有重要作用。

代表性成果是目前评估的侧重趋势，国重实验室作为学科领域发展的领头羊，其代表性成果更是反映国重科研水平的重要依据。目前的高被引论文指标数据受到合作情况的干扰，未将第一作者发表与其他合作作者发表区分，无法准确反映国重自身主导的优势成果，因此本研究构建了两个新指标。新指标反映了实验室的代表性论文的质量及其引文的质量，表现突出的是实验室NBD和NM；表现较好的是实验室PB和MCB；除TMC、CMEMR以及FAMP 3个新成立的实验室外，实验室PPRWC和BSFNM表现相对落后。

2.4 发文期刊分布

学术期刊对科研成果论文有一定的发表标准，一般来说，论文的发表会先通过前期的同行评审，可以借助权威期刊定位一流的学术研究产出；另外，影响力越大的期刊所刊载的论文也相应地有传播范围更广的优势，利于增强科研成果的影响[19-20]。

学科内所有 SCI 收录期刊按照期刊影响因子降序排列，四等分后依次为 Q1、Q2、Q3、Q4区。11个实验室中有10个实验室的Q1期刊占比最高；只有实验室FAMP的Q2期刊占比为43.04%高于Q1的37.97%；实验室BSFNM的Q1和Q2期刊占比接近。大部分实验室论文发表在Q1期刊上。

对各实验室发表数量前三的期刊进行研究，从图3可以看出，SCIENTIFIC REPORTS、RSC ADVANCES、ORGANIC LETTERS等是实验室比较青睐的期刊。期刊规范化的引文影响力可以衡量论文在所发表期刊上的表现，是按期刊、出版年和文献类型统计的规范化的引文影响力。

前8个实验室中，实验室NBD、实验室DR、实验室MCB发表论文数前三的期刊影响因子较高。但同时可以看到在同一期刊上的发文，不同实验室之间的CNCI值也有一定差距。所以，虽然发表期刊是评估论文的重要依据，但不能仅依靠期刊来评价论文，甚至以期刊影响因子“定”论文。从药学类国重发表论文前三期刊的学术水平来看，SCIENTIFIC REPORTS 及RSC ADVANCES的频率较高，而这两本期刊当前的学术声誉欠佳，各国重实验室应重视这一现象。

注：期刊名称为JCR缩写形式；JNCI为期刊规范化的引文影响力

2.5 研究方向

本研究虽整体评估药学领域的国重实验室，考虑到国重实验室各具特色，对各国重实验室研究方向进行细化分析，同时比较其具体方向的CNCI值与所属机构以及国家值对比，以便发掘国重的优势与潜力，为国重实验室发挥优势提供参考[21]。结果显示，PHARMACOLOGY & PHARMACYCHEMISTRY, CHEMISTRY, MEDICINAL 是所属最多的两个方向。实验室PB在BIOCHEMISTRY & MOLECULAR BIOLOGY方向，实验室QRCM在CHEMISTRY, MULTIDISCIPLINARY方向均有较好表现，形成了发文质量数量双优的强势方向。实验室DR是药学类重点实验室的优秀单位，连续多次评估为优秀，体现了其在基础研究和新药研发中综合实力的国内领先地位，但根据本研究分析结果，其在Pharmacology&Pharmacy领域的CNCI值仅为为1.02，在一定程度上表明该实验室在药学学科布局中尚存在短板。实验室PB依托南京大学生命科学学院、医学院和南京模式动物研究所等建立，在生命科学相关领域具有较高水平，与其他药学类重点实验室相比，其在生物化学和分子生物学学科领域的发文量及CNCI值等均显著占优。除实验室TMC和FAMP，其他实验室高发文量的绝大部分研究方向CNCI大于机构自身CNCI以及中国大陆的CNCI，药学领域国家重点实验室整合了国家和所属机构的优势资源，是药学领域基础研究的重要基地。

3 主成分分析结果

参考相关研究，选取7个指标的数据进行整理。由于后3个实验室成立时间较短，发表论文数较少，为了减少差异，只对前8个实验室做主成分分析，得分情况如表3所示。在本次分析中，F3对第一个变量论文数解释较充分，而F2对引文质量指数解释充分，F1对其他变量解释比较充分。因此F2主要对论文施引文献反映较多，F3对论文数量的解释较充分，而F1对于论文的被引频次等引用指标解释较充分。

表3 实验室主成分分析得分

实验室NM(天然药物活性组分与药效国家重点实验室)总分排名第一，其发表论文数第一，代表性研究论文表现好。实验室PB(医药生物技术国家重点实验室)总分排名第二，其发表论文篇均被引次数高，高被引论文表现突出。实验室NBD(天然药物及仿生药物国家重点实验室)总分排名第三，代表性论文表现好，论文整体表现均衡。

4 讨论

利用InCites数据库的多个文献计量学指标，能更加全面客观地挖掘论文数据背后的内涵，提高科研成果评价的有效性和工作效率，较为全面、客观的反映实验室学术交流合作的情况，为现有国家重点实验室评估提供定量分析依据，可以发现国内潜在优势的研究机构，为国家重点实验室的建设提供决策参考[22]。特别是为了探索以代表作进行科研机构评价的导向，本研究提出了2个新的文献计量学指标，即代表性论文质量指数及引文质量指数(基于总引用次数的研究性论文，综述论文除外)。全国11个药学类国家重点实验室由于学科特长、建立年限、研究特色、所属地域等因素，在各项文献计量学指标中表现不一，但基于学科分布和CNCI等指标可清晰判断各重点实验室的优势方向及发展短板。在此基础上，本研究还探索了基于主成分分析进行的综合评价，评价结果除个别实验室偏差较大外，其余排名与实际评估结果基本吻合，表明通过主成分分析对文献计量学指标进行综合建模，对于客观评价具有重要借鉴意义。结合文献计量学分析结果和专家调研情况，对药学类重点实验室的学术发展提出以下几点建议。

4.1 关注优势方向，切实提高学术水平

一所大学或科研院所的影响力来自于学科和专业的影响力，在建设一流高校或科研院所的过程中，唯有重视优势学科、建成一些具有国际影响力的学科，其整体竞争力才能提高[23]。本研究分析的11个药学领域国重实验室均依托重点高校。CNCI和被引情况较好的实验室均有自己的优势方向，在优势方向发表了高质量的论文。譬如，中国药科大学的药理学与毒理学ESI学科在国内高校排名第一位，中国药科大学的天然药物活性组分与药效国家重点实验室在这个学科的CNCI值超过了学校学科自身的CNCI值。因此高校国重实验室的发展与一流学科发展密不可分，与目前我国坚持高校主体，对接需求，统筹学校整体建设和学科建设一致。实验室应当注重优势方向的发展，与学科建设结合，提高实验室的科研竞争力。

4.1.1 鼓励刊发优秀期刊但不能“以刊评文”

虽然在期刊IF反映论文质量方面存在一些新的争议[24]，但论文在不同的期刊上公开发表，对该领域的学术界或同行影响的确不同。对11个药学领域国家重点实验室的研究中，发表论文期刊IF高，论文Q1期刊占比的实验室整体被引情况较好。因此实验室想要提升自身论文整体实力应当注意发表期刊的选择。但同时也存在期刊IF高但论文CNCI值较低的情况，再次说明“以刊评文”的评价方式是不可取的。多数期刊的影响因子主要由少数作者贡献，发表在高影响因子期刊上的论文不代表都是高水平。同时，关注国内期刊，引导更多的高水平论文发表到国内一流期刊上。

4.1.2 取长补短，加强国际交流与合作

在本研究中，国际合作论文比例对于高被引论文的占比和实验室论文整体水平的提升有着重要作用。良好的国际合作对于高被引论文和论文整体情况都有明显的积极影响。中国科技论文统计与分析年度研究报告指出，约有60%的中国科技论文统计源期刊发表了国际合著论文，且中国已具备参与国际大科学的合作能力。有报道称“学术合作不够是中国学术论文被引用不高的一大原因”[25]。目前，国际学术合作日益广泛，作为国家重点实验室，加强学术交流，特别是高水平的合作，取长补短，不断提升实验室的研究水平至关重要。国家重点实验室在国家宏观管理部门的指导下，结合自身建设和运行经验，形成了“开放、流动、联合、竞争”的运行机制，并已成为我国基础应用研究的主要科技创新基地，是我国科技创新体系的重要力量。从“开放、流动、联合、竞争”的运行机制来看，这四个词均强调国家重点实验室与外部环境的互动，未来要提升国家重点实验室的整体实力，重点在于提升其开放共享和联合协作的水平[26]。

4.2 注重代表作成果评估

科技部《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》(国科发监〔2020〕37号)要求，破除过度看重论文数量多少、影响因子高低，忽视标志性成果的质量、贡献和影响等“唯论文”不良导向。基础研究的成果主要是学术论文，而论文的质量和数量与其他几项可量化的参考指标相比，在绩效评价中可比性好、涉及面广。国家重点实验室作为基础研究的重要基地，药学领域研究的领头羊，科学地评价国重实验室的科研产出，挖掘实验室的优势学科与发展潜力，有利于实现科研资源优化配置。因此，评价国重实验室应当关注代表作评估。本研究尝试构建代表性成果指标来衡量代表性论文的质量及其引文的质量，接下来的重点将继续完善代表性论文质量的定性与定量评估。综合专家评审与完善的指标体系，定性与定量结合，多维度、多层次地进行代表作评估。