文献计量法在科研管理性评估中的作用辨析

(广东海洋大学图书馆，广东 湛江 524088)

科研评估作为科研管理的重要手段之一，担负着管理、监督和引导科研活动、维护根本科学主旨和原则的使命。科研评估的结果具有较强的导向性，通常作为政府制定科技规划和配置科研资源的重要依据，直接影响科学研究未来的发展、经济社会的发展以及研究人员的积极性。同行评议和文献计量是科研评估中运用最广泛的两种方法，分别从内容属性和外部属性两个角度对科学研究进行评估。因评估角度各有侧重，评估方法各有利弊，同行评议和文献计量在科研评估中的作用孰优孰劣，学界一直存在争议。近年来，我国科研评估实践中文献计量指标及方法运用失当，导致重数量、轻质量评估失衡现象的发生，文献计量一度遭遇是否还有存在必要的质疑。本文拟从科研评估性质分类的角度，探讨学术性评估和管理性评估的特点及其方法契合，辨析文献计量法在管理性评估中的独特作用，揭示文献计量法应用于科研管理性评估的现存问题并提出对策与建议。

1 科研评估的性质分类及其方法契合

分类评估是当今科研评估改革的共识，在评估实践中理清评估的分类逻辑并进行契合方法的选择是改革的关键。从科研评估涉及的依据、指标、过程和结论形式等方面去分析，可以看到科研评估存在着性质上的差别。按照评估性质的不同，科研评估可以分为学术性评估和管理性评估。学术性评估主要是针对某一项具体的研究项目的内容属性所做的评估，得出关于这一项目的学术质量或学术价值的分析与判断。管理性评估则是对某一范围内的一批研究项目的外部属性(如论文数量、引用量等)所做的定量评估，以从中探寻科学活动的规律。

学术性评估具有小样本的特点，属于针对单一研究成果的微观评估。这类评估较多采用同行评议方法，利用同行评审专家的学科背景和专业修养对成果的学术水准和科学价值进行独立评估。由于学术性评估在小范围内进行，规模不大，所需专家数量不多，评估行为相对较易控制。与之相比，管理性评估则具有大样本的特点，通常适用于宏观层面的评估。随着评估范围的扩大、评估项目数量的增加、评估涉及学科领域的增多，同行评审专家可以发挥的作用越来越小，这为以定量评估为特征的文献计量方法在管理性评估中的运用赢得了存在的合理性。尤其是在科研成果按指数增长的今天，要想从国家、地区、机构等宏观层面了解科学活动的产出效率和发展规律，文献计量无疑是管理性评估最契合的方法选择。

2 文献计量法在科研管理性评估中的作用辨析

从以上科研评估的性质分类及契合方法选择的分析视角来看，学界由来已久的、关于同行评议与文献计量的优劣之争是立足于科研评估的微观层面，即从学术性评估层面开展的争论。不可否认，采用同行评议对单一研究成果的学术性评估更符合科学研究的本质规定性，与学术共同体追求自治的目标相一致，但对于学科种类和研究项目繁多、时间范围和地域范围宽泛、规模巨大的管理性评估而言，文献计量的评估结果无疑更具有说服力。

文献计量法作为科学学中定量分析研究的有力工具，可以解释许多分布机制相似的科学研究现象，可以从宏观层面对科学系统的运行机制以及科学活动的产出和过程进行评估和观测。管理性评估与科技决策密切相连，国家对科学研究的投入力度逐渐加大，对投入效益的评估日益重视，对学术共同体之外的第三方评估需求越来越多，这为文献计量方法在管理性评估中的作用发挥提供了现实土壤。文献计量对大量科研数据进行的分析与评估，是立足于学术共同体之外对科研工作的一种宏观审视，可以让管理者有一个量的判断、多一些思维空间、多一个观察的视角。从这个角度看，文献计量方法在科研管理性评估中所起的作用非同行评议或其他方法所能够替代。

文献计量学自情报学、数学和统计学三门学科交叉融合而来。作为一门交叉学科，文献计量学具有与生俱来的学科兼容性和延展性，容易与相关学科及其方法相互共生、有效融合，最终为拓展文献计量在管理性评估中的应用领域提供理论和方法基础。在近几年的评估实践中，文献计量不断突破传统方法的局限，有效融合新技术或方法，较好地适应了管理性评估升级的需求。比如，在数据统计和分析阶段，与定标比超方法结合进行科研竞争力评估，通过横向比较寻找区域和研究机构间的优势与差距，最终为科研决策提供参考。在科学合作研究评估中，引入社会网络分析法，能够挖掘出传统文献计量法所不能发现的各种合作关系。在数据分析结果呈现方面，结合知识图谱、雷达图等数据可视化技术，用图形、图像、动画等方式直观呈现数据分析结果。实践表明，文献计量学的这种明显的多学科知识结构特征，能够不断地实现理论和方法上的自我改进和创新，从容应对管理性评估工作的新需求和新挑战。

3 利用文献计量法开展管理性评估的现存问题

3.1 评估实施主体不确定

利用文献计量法进行科研管理性评估的活动虽然已经普遍开展，但科研管理部门对评估实施主体进行遴选并形成制度的不多。从当前的评估实践来看，多由图书馆主动为科研管理部门提供科研评估服务，科研管理部门较少对评估实施主体进行遴选与评估能力判断。诚然，图书馆员开展此类工作有其得天独厚的优势，他们掌握文献计量知识，拥有信息和数据的搜集与分析能力，积累通过文献计量应用研究开展信息服务的丰富经验，主动服务科研管理部门的意愿强烈。但是这种合作关系如果不以制度的形式加以明确，仅靠图书馆单方面主动服务，评估过程中难免存在问题，比如：图书馆员对科研管理部门的评估需求和评估意图识别不充分；在评估方案的确定、评估指标体系的构建等环节中，科研管理部门的参与度不高；评估工作没有定期开展，评估缺乏规划性和连续性；图书馆员对各类项目成果材料难于判断、对各个学科特点难以把握；评估过程缺乏监控等。可以说，没有严格的制度约束，就没有人对评估的效果和结果承担责任，从而导致评估的权威性与严肃性受到影响。

3.2 评估结果的实际作用未得到发挥

科研评估工作能否持续开展并真正取得实效，评估结果的有效运用极为关键。从目前管理性评估实践来看，缺乏评估结果应用的研究及其对促进科学研究发展作用的专门讨论。部分管理性评估工作为了评估而评估，评估仅限于得出评估结论，对评估中发现的问题和得出的建议没有真正重视和运用，没有真正将评估结论与科研管理结合起来，以切实发挥评估工作价值导向、衡量绩效、支撑决策的作用。此外，管理性评估结果及其运用情况不够公开透明，学界对相关情况的知情权实现不充分，导致评估的实效性、公信力以及学界对此的满意度大打折扣。

3.3 缺乏科研资源投入与成果产出关系的评估

科学研究也是一个生态系统，科研产出的数量与规模除了受研究能力和水平影响外，经费、人力等主要科研资源的投入也会直接影响科研的产出。在当前各类科研指标的文献计量分析中，只注重对科研成果即科研产出进行统计分析，缺乏对科研资源投入与成果产出关系的分析，这显然有失偏颇。管理性评估在某种程度上被视为是对科研实力的评估，只有在考量科研资源对成果产出贡献度的前提下，进行科研产出能力和水平的比较分析，评估结果才更为客观、合理。如何将科研资源的投入与成果产出关系作为指标纳入评估体系，弥补评估现有的缺陷，是管理性评估有待解决的问题。

3.4 评估指标体系欠合理

从当前的评估实践来看，评估指标设置不合理、甚至误用的问题是直接导致管理性评估结果难以获得学术共同体广泛认同的主要原因。评估指标存在的主要问题有：1)规模指标偏多，人均指标、比例指标等相对指标偏少。规模指标反映的是某个时间范围内的绝对数值，如发表论文总数等。规模指标的单一运用被指存在负面导向，如引导被评估对象走规模扩张之路，不利于培养被评估对象的质量发展意识。2)缺乏表征行进状态的指标。现有评估中多采用静态数值指标，无法表征科研产出的行进状态，即成果产出随着时间变化的速度。3)缺乏内容层面的分析指标。目前，管理性评估对科研发展态势的分析大多基于文献外部特征数据的统计视角，缺乏对文献内容的揭示指标。基于文献数量的分析有助于科研管理者从宏观层面把握科学系统的运行机制，但对于研究人员来说，他们更希望获得基于文献内容的分析结果(如关键词统计等)，以从内容文本的信息统计中找出学科的发展规律和内在联系，为其研究工作提供参考。

3.5 评估数据的数量和质量存在不足

评估工作普遍遇到的困难是数据失准和来源不充分，这些问题影响了评估的客观性和科学性。目前，评估所采用的数据主要源自中外文检索系统，这种单一的数据来源方式导致了评估数据存在局限性。中外文检索系统以收录学术论文为主，而论文只是众多学术成果类型中的一种，忽视非论文形式的成果产出类型显然无法如实反映科学研究活动实际。电子出版、开放获取等网络出版模式日趋成熟，但这一部分数据尚未纳入评估的数据来源，也令数据的完整性受到质疑。不同检索系统收录的来源期刊在数量和学科归属划分上存在差异，导致从不同系统中获得的评估数据不一致，难以进行数据归并。来源数据存在的问题影响了评估结果的客观性和准确性。

4 利用文献计量法开展管理性评估的建议

4.1 明确评估实施主体，逐渐规范评估组织工作

从评估组织看，评估工作要逐渐走向评估过程的程序化、规范化和公开化。科研管理部门应对评估实施主体及其评估能力进行遴选和识别，确定相对固定的评估实施主体及其职责。把评估工作作为目标管理的一部分，将其作为制定战略规划的有机整体，加强对评估目的、实施程序和监督程序等方面的研究，以制度形式加以确定，使评估工作落到实处，避免空泛、流于表面。提升评估过程的透明度，公开评估数据、方法与过程，以便于学界对评估工作进行检验和质疑。

4.2 开展评估结果应用研究，切实发挥评估作用

科研管理性评估是科技管理的重要手段和工具，开展评估结果应用研究，重视发挥管理性评估的作用，可以为科研管理部门提供改进的方向与路径。管理性评估结果的用途具有多样性。从科研管理部门的角度来看，评估结果有助于他们从宏观层面了解科研整体发展态势，为制定科研战略规划、政策分析、树立标杆、分配资源和经费、进行项目和质量监控、绩效问责等提供依据。对于研究机构而言，评估结果有助于促进研究机构之间的竞争，提高科研整体水平，这是科研管理部门所乐见的，同时还有利于研究机构客观评价自身在行业内或区域内的位置。从研究人员的角度来看，评估结果有助于他们了解所属学科领域的整体发展水平，是下一步确定研究方向的重要参考。同时，向被评估对象和学界公开评估结果，开展评估结果的应用研究，让评估工作的效用得到最大程度的发挥。

4.3 量化科研资源投入对成果产出的影响，提升评估的公正性

量化科研资源投入对成果产出的影响有其现实难度。有学者将论文数量等指标根据科研人员数量或经费投入数量等进行标准化，得出描述生产率的相关指标，再进行后续的分析比较。有学者提出通过大样本分析或专家主观评定给出每项科研资源投入在成果产出上的贡献度值。将被评估对象具有的各项科研资源投入贡献度值作为前置条件计算出在该条件满足下的成果产出概率。一般地，前置条件满足量越多，其成果产出概率值越高。上述科研资源投入参照系的分析，是进行科研资源投入与成果产出关系评估的有益尝试。如何在评估中增加科研资源投入贡献度和成果产出概率的计量，尽可能公正合理地开展评估，需要学者们持续关注并寻找合理解决方案。

4.4 加强对评估指标的研究，合理设置评估指标体系

随着文献计量学理论和方法研究的逐步推进，越来越多的新指标被创建并引入评估实践。我们需要用一种关联的视角、结构的视角和发展的视角来对新旧指标进行综合，尽可能采用国际通用的指标，设置系统的、合理的评估指标体系。针对上文提出的评估指标存在的问题，有以下解决思路：1)从规模指标向人均指标和比例指标等相对指标转变，对于一些不适合直接比对的数据，计算其人均数值或比例数值，采用数量与占比相结合的方式来进行比对，为原来不能直接比较的两个绝对数值找到可以比较的基础，从而使评估结论更为客观、合理，减少评估中的规模导向。2)增加表征行进状态的指标，通过计算不同时间段成果产出数量的变化，找出成果产出随着时间推移的效率或速度。3)增加基于内容层面的分析，可以对科学研究未来的发展趋势进行预测和规划，进而推动和引导科学研究朝着一定方向发展。

4.5 拓宽来源数据范围，提高来源数据质量

系统、准确地采集原始数据是评估的基础，来源数据越完备，评估结论越可靠。评估人员要制定一套来源数据的标准和规范，为来源数据的采集和使用提供依据。拓宽数据来源范围，重视学术专著、统计报告、专利、标准等非论文形式的成果以及通过网络传播和扩散的研究成果。重视数据清洗和归并工作，将人工判别方式与借助数据清洗工具相结合，以确保来源数据的可靠性和准确性。建立国内外学科间的映射关系，尽可能降低学科归属的误差。有条件的区域或机构还可以根据评估的个性化需求，逐步建立起内部共享科研成果数据平台，确保来源数据的质量和完整性。

5 结 语

科研评估是促进并引导科学研究发展的重要管理手段。在大数据时代背景下，科研管理信息化手段不断丰富，中外文数字资源的使用趋于便利，加之文献计量方法自身的同步发展，促使管理性评估的量化趋势日益显化。文献计量方法固然有其自身的局限性和片面性，但无疑也是管理性评估最契合的方法选择。加强对管理性评估本身的研究，努力发现和发挥文献计量方法的优势和积极作用，不断规范与完善评估组织工作，促使评估工作回归其科学之本真，将会是未来科研管理改革无法回避的研究课题。