文献计量在科研团队学术影响力分析中的实践与思考——以冻土工程国家重点实验室为例

李 娜，贾筱景，毛文梁，马建霞

（1.中国科学院西北生态环境资源研究院文献情报中心，兰州730000；2.华南理工大学图书馆，广州510000）

0 引 言

学术影响通常是指在学术方面产生的影响，包括对人和对相关学术专业的理论和实践等的影响［1］。加拿大人文与社会科学联合会于2017年发布报告《评估人文与社会科学影响力的途径》中强调，对学者或科研团队影响力的评价研究，一直以来都是科研管理和科研学术评价领域研究热点，也是科技评估实践中的难点。我国的科研评估工作始于20世纪70年代末期，随着奖励政策、晋升制度与其挂钩，SCI量化评估指标逐渐成为衡量国家级科研机构（如国内的大学和中国科学院）、科研团队（国家级科研机构下属的各研究单元）和科学工作者学术水平最重要的、甚至唯一的标尺［2］。现阶段我国科学研究的规模和专业性与日俱增；与此同时，国内“不唯SCI”的呼声不断。在这种形势下，对于已经完成和正在进行的各种纷繁复杂的科研工作及其大量科研产出，单靠组织专家评审方式开展定性考量很难达到公正而高效的评估效果。

在过去的10多年内，国内外有不少相关研究从发展评估指数、构建评估模型等角度出发，探索更为精准的评估和预测学术影响力的新方法［3-11］。然而，在这些工作中多偏重指标计算与评价体系的理论研究［12-13］，应用时存在执行困难、效果欠佳等缺点［14］。2016年5月习近平总书记在“科技三会”上明确指出，要改革科技评价制度、建立分类评价体系［15］。2018年6月中国科技部发布“关于加强国家重点实验室建设发展的若干意见”中指出，要大幅提升国家重点实验室的原始创新能力、国际学术影响力等［16］。合理评判一个国家重点实验室科研团队的学术影响力，在团队自我诊断与管理导向方面均具有实际意义。当然，任何一个评估体系的建立需要经历一个较长期的实践与反复修正过程。文献计量作为一种相对客观、操作性强的方法，被广泛地应用于科研绩效评估领域。实际应用中，通常是采用文献计量学指标来量化并分析某一科研团体的发文质量与影响力［17-18］。在评价科研工作者及科研团队的工作中，尽管文献计量学指标的适用性会因评价对象和评价尺度的不同而有差别［19］，但是从现实条件出发，文献计量指标和方法在定量评估中仍具有其独特的客观、明确、可对比性高等优势［20］。

每个科研团队均有其自己的学科与研究特点，尤其是基础研究，作为高新技术发展的源头，其高水平的论文一向是他们最主要的研究成果产出，也是文献计量统计的主要数据源。国家重点实验室评估是基础研究同行评议中最为复杂的一类评价工作，所遵循的评估主要原则是定性与定量指标有机结合［21］。本文以国内冻土研究领域最为著名的团队——中国冻土工程国家重点实验室为例，通过细分可覆盖整个冻土领域的4个研究分支（冻土工程、冻土力学、冻土环境和冻土物理），并利用文献计量的方法，从学科领域和研究分支的角度对比分析了该科研团队的学术影响力及其随年份的演化趋势。研究与实践的尝试可为评估工作的定量信息分析提供具体数据支持，也可作为科研团队未来学科发展与建设的参考依据。

1 数据来源与研究方法

分析数据均来自Web of Science数据库核心合集，利用DDA（Derwent Data Analyzer）文献计量专业分析软件以及office Excel进行数据处理。整个数据集中的文献类型限制为ARTICLE、REVIEW、LETTER和MEETING （proceedings paper/Article： proceedings paper）四种且均为SCIE/CPCI收录论文的题录信息。

根据《冻土学辞典》中表达冻土研究的关键词进行检索，将检索到的冻土学研究领域研究论文的题录信息作为基础数据集。合并Abstract（Phrases）、Keywords （author＇s）和Title （Phrases）这3 个字段并咨询领域权威专家，将整个冻土研究数据集按照关键词控制检索，划分为如表1所示的4个研究方向，最终形成用来分类分析的子数据集。

表1 冻土领域4个研究分支控制关键词表

2 应用实践与分析

冻土工程国家重点实验室是冻土领域知名的科研团队，研究中利用以上收集并分类的整个冻土领域的发文数据，采用文献计量的方法从不同角度挖掘整个团队在该领域的学术表现，从整体（学科领域）到局部（研究分支）的角度全面分析团队的学术影响力。

2.1 从学科领域看科研团队的学术影响力

文献计量学常用数据源通常来自多学科的大型数据库，从数据库中提取的常规指标最合适的评价对象是宏观层面上的国家级科研机构（例如国内的大学和中国科学院）［19］。然而，冻土工程国家重点实验室是以其所依托上级机构中国科学院在大型数据库中进行分类统计。对于评价如此一个“小”的科研团队来说，从宏观层面获取的分析结果的分辨率显然无法精确地反映出“小”团队在相应的学科领域的真实学术影响力。为了呈现“小”团队在“大”领域中的研究实力，首先以“相似规模且研究领域相对集中”的原则将国际上的科研机构细分成相对独立的科研团队（或研究单元，即每个国家级科研机构下属的某个实验室、研究所、研究中心或者院系等），然后将这些具有类似规模的科研团队作对比分析，最终获得我国冻土工程国家重点实验室在这个科研团队群中所处的具体位置。

某一时间段内科研团队在相关学科领域发表的论文数量，在一定程度上可以作为一个指标来量化该团队对本学科领域所产生的学术影响力。因此，在表2中首先列出了2013～2017年5年间我国冻土工程国家重点实验室以及与国际上其具有类似规模的科研团队在冻土领域发文量TOP10的排名情况。

表2 冻土研究领域发文量TOP10科研机构（2013～2017）

数据显示最近的5年间中国冻土工程国家重点实验室在本领域的发文量（251篇）最多，且远远超出排名第2的亥姆霍兹极地海洋研究中心（169篇），说明了冻土工程国家重点实验室的研究实力在冻土领域占有绝对优势地位；通过细分科研团队后，属于阿拉斯加费尔班克斯分校的3个团队（国际北极研究中心、地球物理研究所、生物学及野生动物系）从宏观层面的分析中成功剥离出来，以独立的个体呈现出了各自在该学科领域的学术地位。然而，仅从发文量这一指标来描述一个科研团队的学术影响力具有明显的局限性，主要原因是发文量参数无法提供发文质量的信息。科研团队发表的论文质量可用论文的被引次数（可表征被本学科领域其他团队对其的关注度）这一指标来量化。因此，进一步分析了发文量TOP10的各科研团队的篇均被引频次和被引频数大于10的发文数量占总发文量的比例（以下称为“高被引论文比例”），并将这两个参数同样呈现在表2中。需要注意的是，尽管冻土工程国家重点实验室的发文量在冻土领域占有绝对优势地位，该团队对应的篇均被引频次和高被引论文比例这两个表征发文质量的指标在这10个团队中却处于最低水平；相反，发文量排名靠后的阿拉斯加费尔班克斯分校生物学及野生动物系（排名第8）和美国橡树岭国家实验室（排名第9）的被引频次和高被引论文比例均处于较高水平。由此可见，若想精确把握诸如冻土工程国家重点实验室的科研团队在其学科领域的影响力，首先要将研究相对集中的科研团队单独从国家级科研机构中提取出来，然后与类似规模的团队群进行比较。这种分析方法有效地避免了不对等科研机构间的不公平对比。除此之外，在分析可表征学术影响力的指标时，单一指标往往具有很大的局限性和不确定性，再一次强调了今后的分析工作中研究成果的质和量之间的权衡考虑在获得精准评估结果的重要性。

2.2 从研究分支看科研团队的学术影响力

在学术影响力的评价中，不同学科领域及其分支方向都有其独特之处，“大同行”与“小同行”不可同日而语的现象比比皆是；把不同的研究分支放在一起用同一个尺度去衡量更不科学；非同一研究分支的团队通过传统的文献计量指标的统计计算当然也无法准确地反映其在“大”学科领域的学术影响力。虽然WOS数据库中已经对期刊学科类别做了细致的区分，但考虑到期刊的综合性以及学科的特点与交叉的纷繁，在实际执行当中却很难利用。为了恪守文献计量学评价中“同类相比”的基本原则［22］，本工作尝试性的将涵盖冻土研究领域的4大分支——冻土工程、冻土力学、冻土环境（灾害）、冻土物理（热力学、构造等），分别进行统计分析，分析结果如表3所示。

表3 冻土研究领域4大分支方向发文量优势科研机构（2013～2017）

在对分析结果进行描述之前，需要强调的是，对于特定的一个科研团队，4个研究分支的发文量之和远远大于其在“大”学科领域分析的总的发文量（例如2013～2017年间我国冻土工程国家重点实验室在4个研究分支的发文量之和为589篇，而在冻土领域的总发文量为251篇［见表2］）。导致两者不同的主要原因是在研究分支层面进行分析时，有些论文同时被划分在不同的研究分支中。仅从2013～2017年间年的发文量来看，最近5年我国冻土工程国家重点实验室和俄罗斯莫斯科罗蒙诺索夫国立大学地质与地理系在4个研究分支的学术影响力均处于明显优势地位（这一结果与在“大”领域分析的结果类似，见表2），且在这4个分支投入的研究力量相对均衡；需要指出的是，从大领域分析层面发文量排名第2的阿尔弗雷德魏格纳研究所暨亥姆霍兹极地海洋研究中心（AWI）、排名第5的阿拉斯加费尔班克斯分校地球物理研究所和排名第6的加州大学伯克利分校劳伦斯伯克利国家实验室，研究方向主要分布在冻土力学、冻土环境和冻土物理这3个分支，而对于冻土工程（几乎）没有涉及；排名分别为第4的阿拉斯加费尔班克斯分校国际北极研究中心和第8的生物学及野生动物系、排名第7的瑞典斯德哥尔摩大学Bolin气候研究中心，研究方向（几乎）没有涉及到冻土工程和冻土物理；排名第9的美国橡树岭国家实验室和第10的美国科罗拉多大学环境科学联合研究院国家雪冰数据中心，研究方向主要分布在冻土环境这一分支。除此之外，4个分支在总体发文量方面差异也相对明显：冻土环境分支的论文产出最多，排名前10的团队发文量都在50篇以上且有2个团队过100篇；其余3个分支的发文相对较少，尤其是冻土物理方向，发文量在10篇以上的科研团队只有6家。通过引文分析所呈现的不同分支的研究成果被同行的关注程度（均篇被引频次和高被引论文比例，见表3）可以发现：我国冻土工程国家重点实验室在4个研究分支中，具有相对较好学术影响力的是冻土工程分支，其次为冻土物理分支。从整体上来看，冻土工程领域的整体发文量、被引频次以及高被引论文比例都低于其他3个研究分支。这一结果揭示了在国际冻土领域中冻土工程是相对较弱的一个分支，当前推进该分支的中坚力量来自我国冻土工程国家重点实验室团队。

综上所述，研究分支的细分可以让不同的科研团队在自身相对优势的研究方向内进行对比，一定程度上削弱了研究方向差别带来的干扰，更准确地展现研究团队之间的真实差异，客观公平地呈现团队在对应研究方向的学术影响力。

2.3 从发文期刊看科研团队学术影响力的演化趋势

期刊影响因子（IF）是美国SCI创始人加菲尔德（E.Garfield）率先提出并且已经得到广泛应用的一项期刊定量评价的重要指标［23］，虽然在评价领域存在很多争议，但它依然是评价论文质量的一种直接有效的定量指标。实践中，人们无法完全利用定量的方法来衡量某篇论文或某些论文的学术成就，但是如果分析在特定时期内某一科研团队发文期刊的IF随年份的演化规律，是可以在一定程度上反映该团队在学科领域的学术影响力的动态演化。

图1 冻土工程国家重点实验室在2013～2017年间发文质量变化趋势

3 结论与讨论

对科研团队学术影响力的客观评估必须结合同行评议和定量分析两种方式。文献计量分析可以作为同行评议的一种补充，只要分析尺度把握合理，专业学科方向精确细分，分析呈现角度灵活处理，就可以将文献计量方法有效地利用起来，为学术影响力评估提供可靠的数据支撑。

本研究以我国冻土工程国家重点实验室以基础研究为主的“小”科研团队为例，用传统的文献计量方法从不同角度尝试了如何展现一个科研团队的学术影响力：从全球大学科领域全面把握一个科研团队的总体发文情况以及在具有类似体量研究单元群之间的国际位置；再通过关键词控制进行具体学科分支方向的划分，细致对比分析出科研团队在大学科领域中不同研究分支的优势；从团队整体发文期刊水平的变化，动态地评估了其学术水平在特定时期内的发展演变趋势。

在科研评价领域，学者们都在探讨如何更好地展现学术影响力，但对于“学术影响力”尚无清晰且被广泛接受的定义。学术工作本身形式多样且领域交叉频繁，定量评价中无法通过某个单一指标或某组特定指标反映其多样性的学术影响力。虽然文献计量的评估方法存在一定的局限性，但在现有的条件下，利用发文数据进行评价无疑是一种相对客观公平且易执行的方法。如何更合理地利用这种方法来展现一个科研机构或者科研团队的学术影响力，应该根据其自身长期从事研究工作的学科特点来“量身定做”。

科研机构和科研团队的学术影响力评估是一项非常具有挑战性且支撑科研创新和科研管理的工作。在本文涉及的实践中，领域专家在分析角度的确定以及数据检索的过程中都扮演着不可或缺的角色。从第三方评估的角度出发，在坚持公平公正原则的基础上，根据评价对象的特点，充分利用现有的、易获取且客观的数据资源，探索操作性强且具灵活性和适应性的评估方法，是该研究领域需要充分思考、共同努力的方向。