科研成果社会影响力评价研究

陈芳 杨建林

关键词：社会影响力评价;科研成果评价;评价方法;评价方案

科研成果是指某一科学研究课题通过观察试验或思辨活动取得并经过鉴定具有一定学术意义或实用意义的结果。科研成果包含期刊论文、学术专著、专利发明、应用技术等多种类型。领域前沿科研成果的理论研究、研发、落地、推广将对人类社会生产力发展与生活方式变革产生重大社会影响。长期以来，科研成果评价大多停留在以指標数据为主导的学术评价上。习总书记在2018年两院院士大会上强调：“要改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的科学价值、技术价值、经济价值、社会价值、文化价值”。在此背景下，正确认识科研成果的“五种价值”，开发多维度、综合性的科研成果影响力评价方案对促进科研成果转化、实现国家创新驱动发展具有重要意义。

传统的科研成果影响力评价侧重于探索科研成果在学术层面产生的价值。在新的评价阶段，需要跳出单纯以文献计量、同行评议视角考察科研成果学术影响的桎梏。近年来，国家实施“破四唯”的学术成果评价体系改革，说明仅仅依靠定量化的指标数据完成成果评价、遴选存在价值偏颇，阻碍着科技工作的健康发展。在此环境下，开发新型多维度、综合性科研成果影响力评价方案成为科技工作者关注的焦点问题。2020年10月，江苏省教育厅出台《关于深化高等学校科研评价改革的指导意见》，《意见》中提出对科研人员、科研成果、科研项目进行分类评价的改革目标：建立健全分类评价和多元长效评价机制，重点考核科研成果质量及其社会贡献。

当前国内对科研成果社会影响力的研究处于理论和实践的双重探索阶段。本文将从情报学常用评价方法出发，对量化研究、质性研究和计算社会学在科研成果影响力评价中的应用进行对比分析;探索科研成果从学术影响力评价到社会影响力评价的转变;综合比较当前国际主流的科研成果社会影响力评价方案，为开发符合中国国情的科研成果社会影响力评价方案提供理论和方法支持。

1科研成果社会影响力评价

1.1概念及内涵

科研成果质量评价是科研管理中的一项重要内容，对科研成果后续发展走向起到关键作用。科研成果质量评价是一项复杂的系统工程，英国研究卓越框架（TheResearchExcellenceFramework，简称REF）是一项英国政府评价本国高等院校科学研究项目质量的行动计划，该计划以产出、影响力和环境三要素评价科研成果的总体质量。因此，科研成果影响力评价是科研成果质量评价的重要方面。

科研成果影响力通常被理解为科研成果对学术活动、经济以及整个社会产生的多方面影响及影响程度。RealeE等[1]将其划分为科学影响力、政治影响力和社会影响力。英国国家经济和社会研究委员会（ESRC[2]）将科研成果影响力定义为优异的研究对社会和经济所做出的可证明贡献，并将科研成果影响力划分为学术影响力和社会经济影响力两个方面：学术影响指优秀的科学研究在跨学科和学科内部转变理解和推进科学方法、理论和应用方面的贡献;经济和社会影响则指科学研究对经济、社会产生的贡献，以及对个人、组织、国家的好处。近年来，国家提倡改革科研成果评价制度，依据科研成果的“五种价值”，科研成果影响力评价可分为学术、技术、经济、社会和文化5个维度的分面评价。

科研成果社会影响力产生于科研成果传播后，其结果可转变为政策或非政府组织领导下的行动，促使社会既定目标的改进[3]。目前，科研成果社会影响力缺乏普遍接受的定义，广义上的社会影响力包括对人权、社会经济凝聚力、就业与社会保障、消费者权益、国家安全治理等方面的改变;狭义上仅指科研成果对人产生的作用，即在生活方式、社区结构、文化等诸方面产生的变化。科研成果社会影响力评价一般是指广义上的科研成果对环境、健康、福利事业、政治治理、公共服务等领域产生影响的评价。

1.2研究现状

国外在科研成果社会影响力评价上拥有较为丰富的实践经验。英国、法国、新西兰、澳大利亚等国家（地区）建立有国家科研成果评价系统并制定了相应的影响力评价方案。英国是较早开展科研成果社会影响力评价的国家，开发了用于评价科学研究项目产出、影响力和科研环境的REF[4]评价方案。当下，英国科研成果评价方案面临新的调整，新的REF2021评价体系缩减了评估单元、增加科研影响权重并更加重视科研成果的社会影响。此外，在衡量高等院校科研成果社会影响力上，荷兰开发了评价高校、科研机构成果对社会经济影响的SEP[5]评价方案，美国正在建立基于数据挖掘技术评价科研成果社会影响的数据挖掘评价框架[6]。ChamsN等[7]采用ASIRPA框架和面向影响的监测模型（IOM）的混合方法评估农业和粮食部门研究和创新的社会影响。ASIRPA是法国开发的用于评价科学研究社会经济影响力的方法，侧重于通过标准化的案例研究解释影响力的发生机制。这些评价方案通常采用Altmetrics或案例研究方法[8]评价科研成果的社会影响。BornmannL等[9]就REF数据集探索了Altmetrics指标的收敛有效性以及对Altmet？rics是否能够捕捉社会影响作以实证分析。

当前，国内开展的评价工作仍集中于科研成果的学术影响力评价。研究通常采用同行评议、文献计量方法对期刊论文、学术专著、专利等进行统计分析以评价科研成果的学术影响。有学者在此基础上探索了大数据时代下哲学社会科学领域学术成果的评价策略[10]，或采用替代计量指标进行学术评价创新[11]。在科技评价制度改革过程中，评价方向正在逐步从学术领域向社会领域扩展。在现行科研成果评价制度下，科研成果的技术价值和创新质量鉴定依赖于各省情报所提供的评价服务，缺乏对科研成果社会影响力的深入研究。教育部第四轮学科评估中设置了“社会服务和学科声誉”的指标，但与科研成果学术影响之外的社会影响评价仍存在一定距离。运用评价领域相关方法对科研成果社会影响力进行综合评价、开发符合中国国情的科研成果社会影响力评价方案，可为科技管理部门和政策制定者提供成果管理、转化、应用方面的决策参考，是学术界一项重要的评价工作，也是情报学界提供信息服务的价值体现。

2评价方法及范式概述

范式一词由托马斯·库恩提出，是科学研究的理论基础和实践规范。在解读科研成果社会影响力的评价方法前，需要理解不同方法的范式基础，为后续探索科研成果社会影响力的评价方法与评价方案提供范式层面理论支撑，具体关联如图1所示。AntonioAT等[12]将社会影响力评价（SocietalImpactAssessment，简称SIA）作为一种范式理解，从技术主义和建构主义角度解释价值、本体论、认识论、方法论、理论领域问题和SIA的治理问题。技术主义认为技术是影响社会变迁的外部独立变量并影响社会系统的演进;建构主义则认为影响是一种社会建构，强调技术背后的社会情境、文化与人的心理活动。评价方法的范式基础包含实证主义、解释主义、批判主义、建构主义、行为主义、后现代主义等。本节阐述量化研究、质性研究、计算社会学3类评价中使用的方法的范式基础。依据哲学上本体论和认识论的不同假设，量化研究通常被看作实证主义指导下的研究方法，质性研究的哲学基础则更为丰富多元。

2.1量化研究及其范式基础

量化研究依托调查、实验、归纳等方法获取资料并运用统计、数学和计算机工具对社会现象进行系统分析，给出结果解释。量化研究通常以数据形态呈现结果，具有表达规范、直观、准确的特点。以量化研究为代表的评价方法普遍遵循实证主义范式原则。实证主义采用类比方法将自然科学领域的研究方法，譬如观察法、实验法、比较法等应用到社会现象的探索中，可以用于检验理论、证明假设、描述变量间关系和预测推演。

2.2质性研究及其范式基础

质性研究对研究现象进行归纳分析，侧重于对现实问题的细节描述，可通过参与式观察、深度访谈、档案分析、资料编码方式获取资料。质性研究主要依靠文字型数据支持研究结论，以文字、图表方式呈现研究结果。以质性研究为代表的评价方法具有多元化的哲学基础，遵循解释主义、建构主义或后实证主义中的一种。通常，解释主义带有浓厚的人文色彩，其认识论主张理论是对社会现象和社会对象的主观认识;建构主义主张世界是客观存在的，现实和知识在社会互动中不断重构。此外，后实证主义与孔德所创立的实证主义哲学有所区别，后实证主义承认客观真理的存在，其认为人类所了解的事实只是客观真理的部分表象，需要通过生活情境中收集的资料对表象展开真伪分析，从而不断接近客观真理。总体看，量化研究通过数学工具分析事物，理解客观事实;质性研究则以研究者本人为工具，强调人在情境中的资料意义理解。

2.3计算社会学

大数据的发展为社会科学研究带来深刻变革。2009年，LazerD等[13]在《Science》上正式提出“计算社会学”的概念。计算社会学采用信息技术手段对社会现象进行建模与分析，通过复杂网络、媒体分析、系统动力学方法观察社会现象或人的社会行为。计算社会学强调“数据、模型和计算”，用于描述复杂社会现象和人类行为、阐释现象或行为背后的原因及发展过程。计算社会学运用大数据技术从网络媒体中获取第一手调查资料，以海量数据获取、复杂网络分析和人文计算为主要特征[14]，以数据驱动知识发现。其中，既包含量化模型计算，又有描述社会系统内部主体行为特征、心理、行为活动等解释主义内容。计算社会学关注现实问题，强调数据挖掘工具在社会问题中的应用，在公共政策、网络舆情、应急管理、社会影响力分析等方面具备广阔的应用价值。

2.43类方法对比分析

3类方法建立在不同的范式基础上。实证主义作为理解社会现象外在联系的常用方法，具有逻辑实证的科学性和经验性，其一般流程为：①定义研究问题;②确定研究假设;③收集分析数据;④得出结论。基于实证主义的量化研究以数理统计为工具，但存在以样本数据推断总体是否具有普遍适用性[15]以及缺乏对社会现象及其本质规律深入思考的问题。质性研究需要考量情境和问题的关联，基于解释主义或建构主义的质性研究具备深度剖析研究对象、揭示对象内在特征的能力。实证主义和后实证主义都以实证原则为指导，有所区别的是，量化研究遵循提出假设———设计实验进行验证的模式，后实证主义则是通过收集资料不断证伪以达到接近客观真理的目的，案例研究从属于后实证主义指导下的具体研究方法。具体分析如表1所示。

传统量化、质性研究方法存在数据收集成本过大，信息处理效率偏低的问题。计算社会学为复杂性社会问题的解决提供新的方法指导。与传统分析策略不同的是，计算社会学可直接处理海量数据当中的所有构成，挖掘数据背后蕴含的社会意义，在社会关系、社会传播中发挥重要作用。要解决科研成果社会影响力评价这一复杂性问题，需要多种评价方法的支持配合。

3从学术影响力评价到社会影响力评价的转变

科研成果影响力评价是当前科技评价领域的热点前沿问题。与科研成果学术影响力评价不同的是，社会影响力评价关注科研成果在学术领域之外产生的多维度社会影响，譬如在医疗、卫生、教育、环境、农业领域产生的改变。长期以来，科研成果影响力评价存在重论文数量、重引用次数、轻转化应用的现象。对于应用型科研成果而言，学术影响力评價难以衡量科研成果知识产权的转化情况、对产业的经济贡献以及对社会产生的多维度影响。本节在第3节范式基础上，从评价方法角度分析学术影响力评价到社会影响力评价的转变。

3.1学术影响力评价

学术影响力评价通常使用文献计量学和基于指标体系构建的量化评价方法。文献计量学通过论文发表量、引用/被引用次数、影响因子等传统量化指标评价科研成果的学术质量、传播能力以及产生的学术影响。用户生成内容（UGC）的发展使计量学迈入新的发展阶段———替代计量学（Altmetrics）阶段。基于社交网络数据评价科学研究的学术影响力[16-17]，同时Altmetrics也为科研成果社会影响力评价提供新的思考方向。

人文学科以评价指标体系构建的方式测度人文社科期刊、学术专著的学术影响力[18]。基于指标体系构建的评价方法的一般流程为：①界定研究问题;②确定研究对象;③收集数据;④建立指标体系;⑤选择评价方法;⑥应用评价结果。该方法在范式上属实证主义研究，核心步骤包含评价指标选取、指标权重确定和体系构建。

在评价指标选取上，包含初选—征询—确定步骤。初选指标可参照文献梳理、理论分析、词频统计等原则。在征询过程中，参考德尔菲法、访谈法、观察法确定量化指标，同时需要考虑数据的相关性和可获取性。在权重确定[19]上，分为主观赋权法、客观赋权法和综合赋权法。主观赋权法利用专家知识经验给出权重;客观赋权法利用指标提供的信息量或指标间关系确定权值，可采用主成分分析、变异系数法、熵权法、向量相似度法、灰色关联分析、关联分析方法;综合赋权法兼顾了专家经验和客观数据的统计特征。在评价指标确定、评价体系构建基础上，选择某一科研成果作为待评价对象，通过层次分析法或模糊综合评价法完成实证。

3.2社会影响力评价

目前，科研成果社会影响力的评价方法尚未形成被广泛接受和认可的标准。DonovanC[20]将社会影响力评价方法划分为3个阶段：技术计量阶段、社会计量阶段和案例研究阶段。常用的社会影响力评价方法主要有专家评议、计量学方法、调查法、案例研究、内容分析法、社会网络分析法[21]。

Altmetrics是一种非传统的度量标准[22]，不仅涵盖引文引用数量，还拥有丰富的网络计量数据，这些数据来源于社交网站并且可以由计算机程序自动收集。在科研成果社会影响力评价中[23-24]采用社会化媒体分析捕捉公众声音，能够反映科研成果的社会化媒体关注程度，成为科研成果结项评价的成果反映。相比传统计量学方法，Altmetrics的优势体现在社会影响评价的实时性和新颖性上。但MoedHF[25]指出，Altmetrics主要反映对社交媒体内容的关注程度（即注意力）而非影响力。因此，单纯采用Altmetrics指标数据衡量科研成果社会影响力的做法仍然值得商榷。

内容分析法是一种拆解研究对象内容的细致性分析方法，属于定性定量相结合的研究。有学者采用内容分析法，通过Twitter、Facebook等社交平台上用户评论的信息确定研究实施效果。内容分析法通过内容编码判断社交媒体文本是否存在社会影响力，并以科恩系数检验一致性。具体步骤如下：①收集数据，阅读编码表，确定待识别对象;②由研究员判断是否存在社会影响力;③检验Cohen.sKap？pa系数;④逐一分析被认定为提供了社会影响的信息链接帖;⑤分析帖子内用户的交互过程，以点赞、分享、转发数判断社会影响程度;⑥可进一步考虑分享帖子、参与互动的用户个人资料的描述。

案例研究是获取和衡量研究成果社會价值的最常用方法[26]，可以使用多种方法收集数据。英国REF评价框架是案例研究的典型应用，包含有各种记录社会价值的方法，如知识协作、理念发展、咨询、媒体存在和其他知识传播的案例描述。

社会网络分析是影响力建模和评价的常用方法，通过网络结构中节点间的社会关系进行社区发现、传播预测与社会推荐。社会网络分析可以用于科研成果学术影响力评价，如国家/机构合作分析、专利分析，也可迁移到社会影响力评价上。在社会网络图中，节点间包含大量联结关系，表现为一个人的行为在受到他人影响后产生改变和扩散。社会网络分析以统计指标、话题相关变量等可测内容为度量单位，可用于网络传播的动力学分析、重要节点社会影响力测度以及传播效果评价。目前，社会网络分析在科研团队发现[27]、科研评价[28]、科研成果转化政策[29]研究中应用较多，分析对象多为论文、科技项目、政策和专利，未来可探索社交媒体的文本信息，挖掘科研成果在网络用户群体中产生的社会影响。

3.3小结

从方法层面讲，科研成果影响力评价大体可以归纳为质性研究和量化研究。在学术影响力评价方法的使用上，仍以同行评议、文献计量学为主流。在指标体系构建上，指标选取、权重确定易受人为因素干扰从而无法客观反映评价问题。学术影响力评价通常以计量指标衡量科研成果的学术影响。对社会影响力评价而言，其产生的是分面式多维度综合影响，难以通过单一量化指标数据完成评价，且存在数据获取难的问题。社会影响力更加关注文本内容的解读，社会网络分析、Altmetrics分析、案例研究、内容分析成为架起学术影响力评价和社会影响力评价的方法桥梁。

现有方法中尚未涉及计算社会学在社会影响力评价中的应用。信息技术的发展可能给科研成果评价带来突破性变革。基于海量数据挖掘的社会影响力评价成为科技评价领域学者关注的前沿性课题。美国数据挖掘评价框架STARMETRICS代表了这一前沿性评价思路和评价方向。下节将对目前国际主流的社会影响力评价方案展开具体介绍。

4社会影响力评价方案

现行国际主流的社会影响力评价方案[30]有澳大利亚研究质量框架（RQF）、英国卓越研究框架（REF）、荷兰标准评价协议（SEP）和美国数据挖掘评价框架（STARMETRICS）。上述4种评价方案在评价科研成果的学术影响之余，探讨了科研成果在学术领域之外产生的更广泛性社会影响，对我国开展科研成果社会影响力评价工作具有借鉴作用。

4.1评价方案对比与分析

通过上述评价方案的对比分析，可以发现科研成果社会影响力评价需要定性定量相结合的多种评价方法的配合支持。科研成果社会影响力评价的最新动向是朝着更丰富的定性化、情境化方向发展，同时需要关注数据挖掘技术在评价中的应用价值。

澳大利亚研究质量框架（RQF）、英国卓越研究框架（REF）和荷兰标准评价协议（SEP）均采用了量化研究和质性研究相结合的评价方法。RQF采用社会计量和案例研究方法完成评价任务。社会计量指标是反映社会现象数量化特征的量化指标，用于衡量社会进步、参与主体发展以及政策的实施效果。社会计量指标从宏观层面反映待测量对象的发展水平。譬如通过国家级科学技术奖、优秀成果奖项数量反映科研成果的社会效力。案例研究并不属于独立的研究方法，其依托于调查研究、历史研究收集资料。英国卓越研究框架以一份4页纸的案例描述模板为资料框架，交由参评单元填写其科研成果所产生的社会影响。在得到科研成果社会影响力的案例资料（摘要、前人研究、影响力细节描述）后，结合文本挖掘技术探究科研成果的社会影响力。

4.2方法间共性与差异

1）指标体系构建、计量学方法的共性与差异

上述评价方案中的量化研究主要包括指标体系构建和计量学方法。在范式上，两者都隶属于实证主义研究，具有相同的本体论、认识论和方法论。实证研究基于观察试验取得数据并利用统计知识对社会现象进行数量分析。但是，指标体系构建和计量学方法在数据收集和应用场景上存在差异。

指标体系构建方法需要找指标、定指标、判断权值和综合计算，通常与德尔菲法、专家会议法、层次分析法结合使用，在指标选取上依赖专家经验，具有经验性和主观性。计量学方法则包含信息计量学、Altmetrics、社会计量学。信息计量学以Hindex、引用/被引量等文献计量指标为依据，应用于学术领域的科研成果评价;Altmetrics则是社交网络环境下的一种补充计量指标，用于衡量社交网络节点的影响力;社会计量学提供对社会现象的客观性描述指标，将反应社会现象的抽象化概念转换成可测度的指标，对社会现象进行分析描述。

2）案例研究、叙事分析的共性与差异

作为质性研究中的常用方法，案例研究、叙事分析具有相同的方法论并反映了后现代主义的范式思想，但在使用中存在差异。对科研成果社会影响力进行评价，需要明确划分影响的时间范围和空间范围。叙事分析偏重于探究一段时间内的事物发展变化，案例研究则侧重于分析具体情境中事物间的关联。RQF方案采用案例研究方法分析科研成果在具体情境中展现的社会变化，关注科研成果在公共政策、健康、生活环境等场景中的应用和影响。SEP评价方案用于评价荷兰高校和科研机构的科研成果对社会经济的影响，更注重叙事分析方法的应用。因此，需要分析相对长一段时间内事物的发展变化时，可采用叙事分析方法呈现科研成果的社会影响力。

3）数据挖掘与量化、质性研究方法的差异

量化研究通过量化的指标数据认识世界，强调世界的客观规律性和实证经验。质性研究则偏向于寻找复杂社会问题的解释性理解，强调社会建构和人对世界的认知。计算社会学是在计算机技术发展过程中衍生出的新兴研究方法，有学者将其定义为社会科学研究的“第四范式”。美国数据挖掘评价框架STARMETRICS是数据挖掘方法在社会影响力评价中的典型应用，其目的在于评价联邦政府科研投资的社会效益。STARMETRICS运用科学计量和数据挖掘方法完成科研投资的社会效益评价，该方案的核心是多平台化数据集成和社会影响力测算。在实际测量中，科研成果影响力被划分为经济影响力、学术影响力与社会影响力。通过专利数、经济学指标进行经济增长评价;应用科学计量指标测算研究的学术影响力;通过长期生活、环境影响评价科研投资的社会影响力[31]。STARMETRICS所使用的大数据关联分析、语义挖掘技术有助于文本内在特征的理解，其本质是数据驱动下的社会影响力评价，利用数学建模、算法、数据可视化方式探索相关信息资源。

5总结与思考

通过上述方案的对比分析，本文认为未来我国科研成果社会影响力评价将更关注：①从数据分析到情报分析。科研成果社会影响力评价可以看作一个具体的情报分析任务，其涉及评价领域众多、分析要素多元、对国家科技政策制定具有重要情报价值。具体问题中，单一数据源的分析结果难以满足社会影响力评价的要求，故而需要从不同数据源中提取、融合更丰富的信息用于评价。情报分析通过对全源数据进行综合、评估、分析和解读，将处理过的信息转化为情报来满足已知或预期用户需求;②大数据计算替代传统量化分析。科研成果社会影响力评价所需数据具有体量大、种类多、价值密度低的特点，适宜采用大数据分析技术挖掘数据内部关联模式，完成计算和评价任务;③质性研究的回归。在对科研成果社会影响力进行评价时，单纯从量化角度选取指标、建立评价体系可能缺乏对数据背后“生活世界”的洞察。质性研究通过案例研究、叙事分析对文本深层意义进行探究，有助于社会影响的真实呈现。

在方案制定和技术实现上，需要在以下方面做出努力：①分面评价体系的构建。划分科研成果所属领域、所属类型（基础研究型/应用技术型/社会公益型），为不同类别科研成果设立分面式的影響力评价模板;②科研成果影响力分析数据库的建立。为每一类别下具体科研成果提供有关其部门、标题、主题、描述创新、内容、优势、合作伙伴、产品/产出、专利、前景和长期影响的详细信息;③文本挖掘技术的应用。英国REF框架对高校提交的社会影响力案例进行文本挖掘，但当前研究多停留在主题词分析、统计计量分析层面，难以直观具体展示出科研成果的社会影响力。文本挖掘技术的发展使得全文本关键句、关键词抽取[32]成为可能，可帮助研究人员快速获取关键性的影响句和影响词。

笔者计划在社会影响力评价方法的解读基础上，融合用户生成内容（UGC）和案例文本信息探索科研成果的社会影响力;基于文本挖掘技术识别科研成果的社会影响力并挖掘案例背后的知识内涵，譬如科研成果在商业、福利事业、健康医疗、农业领域产生了何种切实具体的社会影响;抽取影响的作用实体及实体间关系，以知识图谱形式呈现科研成果的多维度社会影响。