基于文献计量的高校学科竞争力评估方法与体系

吴爱芝 肖珑 张春红 刘姝

摘要 引导和支持高校优化学科结构、凝练学科发展方向、突出学科建设重点，是加快学校走向世界“双一流”的重要战略与策略。借助图书馆丰富的数字资源和分析工具优势，以文献计量方法为基础，将多角度、多渠道数据进行整合分析和综合解读，并以北京大学为例，开展学科竞争力评价方法的研究，形成一套合理的可供推廣和复用的系统性评价方法和报告模式。

关键词 文献计量 学科竞争力 评价指标

分类号 G25

DOI 10.16603/j.issn-1002-1027.2018.01.009

在深入实施创新驱动发展战略和国务院《统筹推进世界一流大学和一流学科建设总体方案》的大背景下，围绕国家战略需求和国内外学科建设发展，为引导和支持高校优化学科结构，凝练学科发展方向，突出学科建设重点，带动学校加快走向世界一流进行战略研究，是高等院校“十三五”乃至更长时期发展规划中的重要内容。

以图书馆的数字资源为基础，利用文献计量等分析工具从多角度和多渠道对数据进行整合分析，并将之应用于学科竞争力评估。一方面可以为国家和高校学科的优先支持方向提供数据依据和理论支持，推动形成多元化投入机制；另一方面可以为高校学科发展支持方向、资金投入和人力资源配置等方面提供决策支持。在分析研究基础上，总结开展高校学科竞争力评价研究的方法，形成一套合理的可供推广和复用的系统性评价方法和报告模式。

l 国内外研究现状

关于“学科竞争力”的国内外研究，既有国内外教育组织对各大高校的总体竞争力和学科排名，也有学者和高校图书馆使用特定数据库对特定机构的研究；既涉及数据来源和评价指标，也有对研究方法的特定讨论。

从国内外教育组织的排名研究来看，“QS世界大学排名”的每个学科排名由4个来源的数据组成：（1）学术声誉；（2）雇主声誉；（3）研究论文篇均被引；（4）H指数。ARWU选择获诺贝尔奖和菲尔兹奖的校友的折合数（简称“Alumni”）、获诺贝尔奖和菲尔兹奖的教师的折合数（简称“Award”）、各学科领域被引用率最高的教师数（简称“HiCi”）、在Nature和Science杂志上发表的论文折合数（简称“N&LS;”）、被科学引文索引（SCIE）和社会科学引文索引（SS-CI）收录的论文数（简称“SCI”）五项指标得分的师均数量等指标对世界大学的学术表现进行排名。北京大学信息管理系王继民老师基于北京大学一级学科数据分析平台（http：//scie. pku. edu. cn）的规范数据，对近10年来我国高校人文社科类17个一级学科的相关评估数据进行了定量分析，包括国内外学科排名、国家社会科学基金项目、国际论文、国内中文核心期刊论文、全国优秀博士论文、高校优秀成果奖、重点学科、教育部重点研究基地、优秀人才等10种评估数据。武汉大学中国科学评价研究中心按照投入、产出、效益的思路来构建评价指标体系。

从对高校学科竞争力研究来看，朱前东以暨南大学为例，分析了暨南大学18个学科科研产出发展态势、与区域内其他4所高校相比的竞争优势，从而得出各学科科研竞争力所属类别。数据来源仅限于SCIE，且以SCIE收录论文数作为唯一指标。周海花等利用文献计量学方法，对科学引文数据库（Web of Science，WOS）中Nature和Science刊载的中国学者主持或参与的论文从各年文献量、文献类型、核心作者、合作国家与机构、被引频次等多方面进行分析。李桂影等以西安交通大学为例，以WOS的InCites和基本科学指标数据库（EssentialScience Indicators，ESI）为数据来源，统计分析其论文产出、影响力、ESI优势学科、高被引论文等科研竞争力指标。徐志玮以中山大学的光电材料与技术国家重点实验室的SCI论文为例，对实验室论文数量和质量、研究方向、国际合作和国际影响力等进行评估，并与其他高校材料科学领域的国家重点实验室进行比较。刘月雷等基于ESI数据库，针对地球科学领域，从ESI排名前1%学科、ESI高被引论文、ESI热点论文、ESI论文数量增长趋势、ESI论文被引用数增长趋势以及单被引次数增长趋势等方面，对世界排名前五的大学与国内排名前五的大学以及亚洲排名第一的东京大学共计11所国内外一流大学进行科研绩效分析。周静采用ScivalSpotlight分析了南开大学的竞争优势。翟燕等基于SCI、ESI数据库，以2010 - 2014年四川省36所本科院校SCI论文和ESI论文作为研究对象，从论文数量、被引频次、H指数、高被引论文、热点论文以及进入ESI学科数目等方面对各个高校的SCI论文的量和质进行详细客观的分析。赵飞等选取WOS数据库的SCI、SSCI、A&HCI;数据库与中国知网（CNKI）中的北京大学2003 -2012年论文作为主要数据来源，借助文献计量的方法进行了科研竞争力分析。

从学科竞争力研究来看，北京大学图书馆在2011年开始对北京大学学术论文的科研实力进行量化评估，完成《北京大学科研实力分析报告》。在首届全国高校图书馆服务创新案例大赛暨研讨会中，有多个参赛作品与学科竞争力分析内容相关，如复旦大学图书馆在2013年对数学、物理等学科进行了学科竞争力分析，以及研究热点分析等；华中师范大学从启动对全校文科教师中文期刊论文产出被引测定，到建立全校教师教学科研绩效数据库，取得了许多成绩。

从数据来源来看，以ESI为主要来源的比较多，优点是数据规范、完整，包含各种计量指标和各学科各年度的国际标杆数据，缺点是依赖的数据库比较单一，尤其是对人文社会科学的评价意义不够，无法全面显示中国科研机构的研究实力。

从评价指标来看，不仅要有科研产出的绝对衡量指标，还应包括相对影响力指标来衡量全球影响力；科研竞争力应由科研生产力、科研影响力、科研创新力、科研发展力构成。王一涛等基于课题、论文、发明专利和科研成果奖励四个维度，对我国141所独立设置的民办本科高校和275所独立学院科研竞争力进行评价；邓雪鹏对哲学、社会科学高校科研竞争力的评价体系也以此为基准，增加了专著和提交有关部门的研究报告数两个指标。

从研究方法来看，大多数研究侧重于对InCites与其他文献计量工具的比较分析和与Fl000、ESI、Spotlight、引用动机分析、同行评议及其他文献计量相结合的评价研究，也有研究使用层次分析法和数据包络法对高校科研竞争力进行绩效评价。

总体来看，学科竞争力评价体系越来越完善，数据来源越来越多样化，并产生了众多版本的高校排名。高校图书馆应以自身的资源优势，加强与学校决策部门、院系机构的沟通合作，结合本校学科发展特点，综合运用多种数据来源，更加全面、多样化的评价指标体系和方法，以及更加丰富的可视化手段，最终完成一个综合、全面、结构化和体系化的学科竞争力评价报告。

2 研究目的与数据来源

2.1 研究目的

本研究的主要目的在于利用图书馆的信息资源和情报分析优势，探索北京大学各学科的建设发展与国内外兄弟院校的差距与优势，体现和提升图书馆对高校学科发展决策与战略定位的重要价值。通过对北京大学五个学部（即：理学部、信息与工程科学部、人文学部、社会科学学部、经济与管理学部）的44个国家一级博士点学科进行文献调研与计量分析研究，结合这些学科在国内外的发展现状、趋势，对其发展的优势和劣势给予评价，以及学校如何支持与发展提供数据支撑。同时，为北京大学的学科发展与建设、经费投入、建设世界一流学科的目标提供依据。

2.2 数据来源

在大数据环境下，学科竞争力分析不能局限于对数据库的简单数据分析，应利用图书馆的信息资源优势，综合运用多数据源、多样化指标体系。本文对学科竞争力的评价研究，不仅汇集了2011-2015年CNKI（只包含CSSCI和《中文核心期刊要目总览》收录的论文）、WOS（只包含SCI、SSCI、A&HCI;收录的论文）、SCOPUS论文数据和Innog-raphy的专利数据，而且使用了国家自然科学基金委、全国哲学社会科学规划办公室、各部委、各奖项以及各高校官方网站数据，同时将数据进行了去重和清洗处理，数据下载时间为2016年7月。

使用了InCites、Scival、ESI、TDA、Innography等多个分析数据库和分析软件，进行综合解读，数据客观全面且可信度高；针对北京大学需要重点支持和发展的多个特色学科而不是大学科，研究对象更具体，分析结论更具可操作性。

3 评估指标体系与机构

3.1 指标体系

学科竞争力指标的选择，不仅要能够展现科研机构的科研表现，还要揭示这些机构的科研发展趋势。由于对各校科研投入情况的数据采集比较困难，研究着重收集了各高校各学科的科研产出，并进行评价。科研产出中，除了考虑发表论文情况，还包括专著获奖、创新表现、国际影响、专著表现、学科建设、基金申请、科研基础、科研获奖等方面，并下设三级指标，理工科与人文社科的评价指标稍有差别。

如表1所示，发表论文情况来自WOS、ESI、SCOPUS和CNKI，不仅包括发文数量、篇均被引次数，还包括高被引论文数量、热门论文数量、H指数，以及论文所在的期刊表现、基金资助、国际合作表现等。创新表现由高强度专利数量来衡量。国际影响则由英国教育升学组织Quacquarelli Symonds（简称“QS”）的世界大学排名及各学科排名，以及上海交通大学世界一流大学研究中心研究发布的“世界大学学术排名”（Academic Ranking of World Uni-versities，ARWU）来衡量。著作是人文社会科学的重要科研成果之一，研究将以教育部颁发的高等学校科学研究优秀成果奖（人文社会科学）的获奖著作来度量。学科建设成就则由进入ESI排名前1%、O.l%的学科数、教育部国家一级重点学科数来反映。

国家及教育部基金项目的立项数量，在一定程度上反映了高校机构开展基础研究和应用研究的科研实力。不仅将基金按照重大、重点、面上、一般、青年等类型进行分类，还考虑学科专业的教职人员数量和基金立项金额。专家团队及实验室或研究基地是学科建设、发展和人才培养的重要保障，反映了一个机构的研究实力和核心竞争力。研究采集了中国科学院院士、中国工程院院士、教育部“长江学者奖励计划”、杰出青年科学基金获得者等专家信息，以及国家级重点实验室数量、教育部人文社会科学重点研究基地作为科研基础的度量指标。同时，在每个学科有本领域的专业奖项，也是科研竞争力的重要表现。

3.2 研究机构选择

在进行机构的综合竞争力分析比较时，根据ARWU（世界大学学术排名）、QS、US News世界大学排名、泰晤士高等教育世界大学排名的最新排行榜，进行排名的加总平均，得出高校的综合排名。为了照顾到区域属性，分别在美国、英国、中国香港、中国大陆、亚洲其他国家各选择前2名、加拿大选择第1名。同时，为了突显和强调北京大学在人文社科发展方向的竞争力，参考教育部《2012年学科评估结果》、艾瑞深中国校友会网发布的《2016中国大学评价研究报告》、邱均平的《世界一流大学及学科竞争力评价研究报告》等，选取复旦大学、中国人民大学、武汉大学、浙江大学、中山大学、南京大学共计6所高校进行对标分析。因此，研究对象共计18所高校，除上述6所外，还包括哈佛大学、麻省理工学院、斯坦福大学、剑桥大学、牛津大学、多伦多大学、东京大学、新加坡国立大学、香港大学、香港中文大学、北京大学和清华大学。

在进行各学科競争力分析比较时，需要先参考所有高校在教育部学科排名中的位置，再进行数据分析与比较，以此发现北京大学与排名较靠前机构之间的差距。

4 评估内容选择与评价重点

4.1 机构综合科研竞争力评价

北京大学与其他高校之间的综合科研竞争力评价，主要依据表1中的指标，对13个二级指标所包含的三级指标进行了分析与比较。其中在英文发表论文表现、创新表现、国际影响和学科建设方面，北京大学与所选择的国外8所高校进行对比分析；与所选择的国内大陆的7所高校则进行所有指标的对比分析，同时进行多指标综合评价，得出综合得分。

多指标综合评价的基本模式如下：

（1）首先构成原始统计数据矩阵V：其中i为机构编号（i=1.2，3…I），i为指标编号（j=1，2，3…J）。

（2）再将统计数据转换成隶属度矩阵Cij第i个机构第j个指标的隶属度定义为：cij=uij/y，（uij），其中分母V（vij）表示在J指标统计数据中，取最大值为分母。

换算后得到评价矩阵C：

（3）征求专家意见，确定各指标权重，构成权重向量。

（4）对评价矩阵作加权平均：

得到综合评价隶属度表，将评价机构按隶属度降序排列，得到定量统计的综合竞争力评价得分表。

4.2 各学科科研竞争力评价

不同机构之间各学科的发展水平存在显著差异，在各学科科研竞争力评价的开始，应先结合各机构的学科排名进行对标机构的选择，而不是不同的学科采用相同的对标机构。国外高校的选择参照每个学科的国际排名.国内高校的选择参照教育部的学科评估。

不同学科各自的发展特色与重点不同，在进行不同学科的指标权重赋值时，应结合专家建议进行而不是赋予同样的值。比如将人文社科类，尤其是人文学科，被CSSCI和《中文核心期刊要目总览》收录的论文赋予较高的权重，理工科则是将被SCI收录的论文赋予更高的权重。同时，各学科科研竞争力评价的指标体系与机构的综合竞争力评价存在一定的差异，适度的倾斜或删除某些指标更有助于反映各学科的发展特色。

学科竞争力评价不仅要对学科发展过去的成就进行比较与鉴定，而且应对学科未来建设的潜力和趋势进行预测和规划。为此，本研究的学科竞争力分析还将评价指标的年度变化，借助系统动力学等工具进行趋势预测分析。

4.3 北京大学内部的学科深度分析要点

除了进行北京大学与其他机构的对标分析外，对北京大学自身进行深度的内部分析也是极其重要的，有助于揭示北京大学内部的学科发展动力，为北京大学的“双一流”建设路径提供易于操作与实施的具体措施。

每一个学科的发展，并不完全依赖于某一个学院的贡献，而是多个学院的共同努力。比如，北京大学的化学进入ESI前0.1%的排名，不仅来自化学与分子工程学院科研工作者的努力，还有工学院、物理学院、医学部以及其他学院的科研人员的贡献。研究将对2011- 2015年北京大学化学学科所发表文章信息中的作者单位进行分析。由于论文数量较少的院系受单篇论文的影响较为显著，故选择收录和被引较高的院系进行分析。

通过高被引论文、热点论文和权威期刊文章来识别各学科中成果突出的科研人员，定位高影响力人才和一流的学术研究产出。在已有研究方向的基础上识别有潜力的前沿研究方向，了解北京大学在某些前沿领域的科研地位，以及与国际前沿研究的相似度。分析北京大学2011- 2015年参与国际合作机构的论文，通过论文被引次数识别遴选高效的国际合作，进而提升国际影响力。

针对每一学科的重点实验室，借助WOS进行重点实验室论文信息的识别，分析其科研表现与国际影响力，并与该领域的其他实验室进行对比分析。

5 评估中可能出现的问题及解决方案

在整个报告完成的过程中，会出现各种各样的问题，有可能导致分析报告难以完成。为此，下面就可能出现的问题进行详细解读，并给出可行的解决方案。

5.1 数据下载与清洗处理

从WOS数据库下载数据时，要保证研究机构的无误，应该使用机构扩展去检索；由于某些文章会出现几百位的合作者，所以在Excel或者Access中打开都会出现信息缺失的现象，而使用WPS打开后能够保证信息的完整。同时，WOS的数据中存在学科匹配不完整的情况，需要针对学科信息缺失的数据进行研读，给出所属学科归类。

从Scopus数据库下载数据时，需要使用归属机构进行检索，同时在检索结果中筛选隶属机构，以保证能够涵盖该机构下属的所有单位。

从CNKI数据库下载数据时，需要将被引次数、下载次数与文章的基金资助、作者所在机构等信息进行匹配、合并；以机构为单位进行数据下载时，需去除题名里的优先出版数据；删除通知、通告、奖励、讣告、招生简章、庆典通报、启事、展览广告等数据。

5.2 跨库数据的学科匹配与归属

众多数据库来源的数据，在进行学科划分时存在诸多问题。每个数据库有自己独立的学科分类体系，同时国内外高校在学科建设与专业设置上存在诸多差异，放在同一个学科体系下进行对比分析，建立精准的映射关系，是学科竞争力分析具备准确性和说服力的关键。从文章的研究内容出发，借助教育部的学科分类体系，辅之以文章的关键词检索，我们建立了各数据库与所分析学科的一一映射关系。

5.3 复杂数据信息及可视化呈现

由于涉及的学科多、评价指标多，简单的柱状图、折线图、散点图、气泡图、雷达图等无法满足研究需求，复杂的数据信息难以有秩序和规律地展现。除了进行分门别类的整理，还进行了多指标的融合分析，将多个指标融入一个图，进行巧妙的可视化呈现，如指标值图形化、指标图形化、指标关系图形化、时间和空间可视化、数据概念化转换、动态化图表展示等。

6 結语

学科竞争力分析报告目的并不是为了给各个机构之间进行等级的划分，不应使用他校的弱势学科来夸大本校的优势学科，参照他校的优势学科来提升本校的弱势学科才是最高宗旨，以便于加快推进高校建设世界一流大学和一流学科。因此，学科竞争力分析报告不仅要从文献数量等方面进行年度变化与横向对比分析，从宏观层面了解各学科科研发展状况及与其他高校机构的发展差距，而且还要基于文献内容进行分析，比如从关键词人手，探寻本机构的研究与国际前沿研究的相似度；帮助科研机构遴选高效的国际合作伙伴，找到快速提高国际影响力的新途径。