高校图书馆科研数据管理服务能力评价指标体系研究

胡 媛，邹小敏，谢守美 （.南昌大学公共政策与管理学院；.黄冈职业技术学院图书馆；.中南民族大学图书馆）

大科学时代，科研数据管理与共享成为大势所趋。然而，密集而繁杂的科研数据是十分脆弱的，极易损坏甚至消失。因此，对科研数据进行有效的管理和共享，不仅可以保存和检验数据，还极有可能促进数据重用，发挥其更大的研究价值。图书馆作为文献管理和信息组织机构，在科研数据管理服务领域具有不可替代的优势。自2011 年“数据监护”概念进入图书馆界后，图书馆开始涉足科研数据管理与服务，当前阶段科研数据管理服务已广泛开展，因此，构建高校图书馆科研数据管理服务能力评价指标体系有助于明确高校科研数据管理服务的整体发展水平，促进高校科研数据管理服务能力提升，完善高校数据安全治理体系［1］。本文通过分析和梳理相关文献，构建高校科研数据管理服务能力评价指标体系，以期为我国高校科研数据管理服务能力评价的开展提供更多的选择，促进高校科研数据管理服务向着更加规范、更加科学的研究方向发展。

1 高校科研数据管理服务能力评价研究现状

科研数据管理服务评价对象涵盖科研数据、科研数据基础设施、科研数据管理服务。科研数据指高校数据中心存储的科研数据质量、元数据质量等是否达到相关标准，数据引用、使用、存储等是否符合相关规范。科研数据基础设施指高校是否具备能够开展科研数据管理的基础设施，是否具备专业的平台、工具和软件等。科研数据管理服务指高校图书馆是否具备开展科研数据管理服务的制度、组织、技术保障能力，是否开展数据管理计划、数据咨询、数据素养教育、数据分析、数据生命周期管理、数据安全管理等服务内容。

高校科研数据管理服务能力评价主要围绕服务内容评价、指标体系构建、服务能力成熟度评级等方面展开。服务内容评价大多与实践调查相结合，从调查和比较分析的角度，对高校开展的具体服务内容进行统计和整理，总结发展经验与问题。王晓鹏以剑桥大学为研究对象，从政策、服务模式与内容等角度分析其科研数据服务实践情况，总结其服务模式与发展经验［2］。周雷等以德国8 所高校为研究对象，从数据政策、运营组织、服务内容等角度进行对比分析，揭示其数据服务的特点与经验［3］。王丹丹等以国外8 个主要科学数据管理平台为研究对象，对其服务内容、合作交流等方面进行研究，为我国数据管理服务平台建设总结经验［4］。在评价指标体系构建研究方面，陈媛媛从科研数据管理教育、科研数据保存、科研数据服务过程、科研数据专业服务四个方面，构建科研数据管理服务能力分级评价指标体系［5］；司莉等从管理、资源、平台和服务四个角度构建科研数据共享平台绩效评估指标体系［6］；丁楠等从文献发布量、引用频次、h 指数等角度构建数据引用评价指标体系［7］。在能力成熟度研究方面，适用于高校数据管理的有秦健教授团队的研究数据管理能力成熟度模型和澳大利亚研究数据管理能力成熟度模型［8］。盛小平等结合能力、活动、等级三个维度，构建科学数据开放共享成熟度评价标准［9］。在构建成熟度评价模型之后，部分学者进行了相应的实证研究。Cox 等在构建覆盖服务、结构与技能的研究数据管理成熟度模型的基础上，对多家高校和研究机构的科研数据管理服务开展调查，对其服务成熟度进行实证评价［10］。

综上所述，虽然已有学者致力于构建具有较强普适性和可操作性的评价体系，但是现阶段国内科研数据管理服务领域尚未出现业内一致认可的评价体系，相关评价研究缺乏统一的标准。因此，构建具有普适性和可操作性的高校图书馆科研数据管理服务能力评价指标体系具有重要意义。

2 高校图书馆科研数据管理服务能力评价指标体系构建

2.1 相关指标筛选与确定

在指标维度与框架研究方面，叶继元等从国内高校图书馆的具体实践情况出发，结合“全评价”理论中的“三维”评价框架，从形式评价角度设置办馆支撑力（Support）指标，从内容评价角度设置管理服务力（Management）指标，从效用评价角度设置社会效应力（Effect）指标，构建图书馆质量评价SME 指标框架［11］。SME 指标框架不仅考虑国内高校图书馆服务开展程度的差异性和独特性，而且兼顾智慧图书馆的未来发展趋势，对于不同类型和层次的图书馆服务能力评价具有较好的适应性和包容性。由此可见，SME 指标框架可以为本文评价指标框架的构建提供良好的思路。

在数据管理服务能力成熟度模型研究方面，秦健教授团队的研究数据管理能力成熟度模型［12］和陈媛媛提出的科研数据管理服务能力分级评价指标体系［5］颇具代表性，可为本文的形式评价与内容评价指标构建提供参考。

结合国内科研数据管理服务发展实际，发现数据管理服务大多依托于平台展开，因此平台绩效评估相关指标可作为形式评价和内容评价的适当补充。其中，涂志芳等提出科研数据管理评价模型［13］，司莉等提出科学数据共享平台绩效评估指标体系［6］，还有国家发布的《国家科技基础条件平台运行服务绩效考核指标》［14］，三者从不同的角度丰富了平台绩效评估指标，为本文指标构建提供了良好的基础。

数据传播过程中产生的影响和效益是数据管理服务的有效反馈，因此，科研数据管理服务效用评价至关重要。其中，丁楠等构建的数据引用评价指标体系［7］和王毅平等构建的影响力评价指标［15］，为本文效用评价指标构建奠定了基础。

本文以上述指标体系中的科研数据管理相关指标为重要参照，去除其中重复或不适用于我国高校图书馆科研数据管理服务能力评价的指标，将剩余指标进行归纳整理，得到高校科研数据管理服务指标池（见表1）。

表1 高校科研数据管理服务指标池

2.2 指标体系的初步拟定

笔者梳理科研数据管理服务能力评价指标池，从形式、内容和效用三个维度初步拟定指标体系，并以北京大学图书馆开放数据管理平台为案例对指标体系进行试评价，检验评价指标的可操作性和数据的可获取性。

2.2.1 指标体系初选

笔者从国内高校图书馆科研数据管理服务实践出发，梳理指标池中的各大指标，选取办馆支撑力、管理服务力、社会效应力搭建指标体系框架，经过适当调整得到服务支撑力、管理服务力和社会效应力三个一级指标。在此基础上，从政策、组织、技术、经费、人员等角度，为一级指标“服务支撑力”选取政策制定、运行管理、制度落实、技术支持、基础设施建设、成本效益、投资使用价值、条件价值、投资回报率、人员队伍等指标，经过归纳和整理，得到政策支撑、组织管理支撑、技术设备支撑、经费资源支撑、人员智力支撑五个二级指标。从数据、教育、服务等角度，为一级指标“管理服务力”选取服务对象数量、资源增量与质量、数字素养培养、资源维护与更新、数据管理计划服务、数据存储与备份、元数据服务、资源服务量、数据保存服务、专题服务量、数据共享传播服务、数据咨询服务等指标，经过讨论，得到数据标准与规范、数据资源管理、用户素养教育、管理服务过程四个二级指标。从用户、学术、社会、经济等角度，为一级指标“社会效应力”选取学术影响力、用户满意度、社会影响力、经济效益等指标，经过梳理和调整，得到学术影响力、用户满意度、社会影响力、经济影响力四个二级指标。

明确二级指标后，立足科研数据生命周期管理，从指标池中筛选出细化的三级指标，经过小组讨论、补充与调整后，得到高校图书馆科研数据管理服务能力评价指标体系（见表2）。

表2 高校图书馆科研数据管理服务能力评价指标体系

本指标体系共有3 个一级指标、13 个二级指标和38 个三级指标。其中，服务支撑力（形式评价指标）主要体现为政策、组织管理、技术设备、经费资源、人员智力；管理服务力（内容评价指标）主要体现为数据标准与规范、数据资源管理、用户素养教育、管理服务过程；社会效应力（效用评价指标）主要体现为用户满意度、学术影响力、社会影响力、经济影响力。

2.2.2 指标体系试评价

在正式发布专家调查问卷前，研究团队选用北京大学开放数据管理平台对指标体系进行试评价，通过检索高校图工委网站、北京大学图书馆网站和开放数据管理平台，对指标数据可获取性进行检验，发现大部分指标数据可从图工委网站、图书馆网站和数据管理平台直接获得，少数指标可以通过案例分析进行评价，只有极少数与用户相关的指标数据需要通过问卷的方式获取（见表2）。

3 运用德尔菲法修正指标体系

初步拟定指标体系后，利用德尔菲法修正指标体系，综合本领域各位专家意见反馈，对各级体系进行修改，进而最终确定高校图书馆科研数据管理服务能力评价指标体系。

3.1 第一轮德尔菲法对指标体系的修正

为方便专家打分和提出意见，本文根据初步拟定的指标体系设计专家调查问卷，通过邮件向本研究领域的专家发送问卷，对回收的问卷进行统计分析。

3.1.1 问卷设计与收集

问卷由基本信息、指标重要性评价、自评表三部分组成。指标重要性评价部分采用李克特五级量表，分别赋予1-5 分的分值。专家自评表部分由判断依据和熟悉程度构成，按照表3 对判断依据进行赋值，按照表4 对熟悉程度进行赋值。

表3 专家判断依据量化值

表4 专家熟悉程度量化值

对于本次拟调研专家的选择，经过小组讨论之后，决定以在本研究领域发表优质期刊论文为标准，在CNKI 中以“篇名and 关键词= 科研数据管理+研究数据管理+科学数据管理”进行检索，按被引排序收集相关论文通信作者的邮箱。收集到有效邮箱的通信作者，则成为本次专家调查对象。本次问卷调查历时两个月，从2021 年6月22 日开始通过邮件的形式向110 位专家发放问卷，截至2021 年9 月20 日回收专家问卷22 份，有效问卷22 份，问卷有效率100%。

3.1.2 问卷结果统计分析

由于某些外在因素影响，无法保证参与第一轮德尔菲专家调查的专家都继续参与第二轮德尔菲专家调查，因此专家基本信息统计结果将在德尔菲专家调查结束后进行分析。此次只从专家自评表、指标重要性评价、专家修改意见及指标选择等方面进行结果统计分析。

（1）专家自评表的结果分析。专家自评表主要反映参与本次调查的专家的权威程度，根据专家的判断依据和专家对调查对象的熟悉程度进行衡量，其计算公式如下。

式中的CR为专家权威程度、Ca为专家判断依据、Cb为专家熟悉程度。一般情况下，专家权威系数CR≥0.7，则认为调查结果可靠。针对参与本次专家调查的22 位专家，统计结果显示21 位专家的权威系数大于等于0.7，整体权威系数均值为0.81，表明本次专家调查权威程度较高。

（2）专家指标重要性程度打分的结果分析。指标重要性程度反映专家集中程度和协调程度，用于衡量专家对于指标体系的态度和观点的一致性程度，主要通过满分频率、重要性均值、标准差和变异系数等指标进行分析，计算公式如下

式中的Mi为满分频率，m'i为指标评分给出满分的专家人数。

式中的Cj为重要性均值，Xij为专家i 对指标j 的评分值。

式中的Vj为变异系数，Sj为指标得分标准差，Cj为重要性均值。

专家集中程度取决于重要性均值和满分频率得分情况，一般情况下，指标的重要性均值大于等于3，则可以进入第二轮专家调查。本次统计结果显示，所有指标的重要性均值大于3.36，且满分频率结果尚可，由此表明指标体系的集中程度较高。专家协调程度取决于标准差和变异系数得分情况，一般情况下，指标的变异系数大于等于0.25，则说明其协调程度不够，需要修改或删除。本次调查结果中，几乎所有指标的变异系数均小于0.22，只有E4 经济影响力的变异系数为0.28，而所有指标的标准差小于0.94，表明指标体系的协调程度较好。

虽然E4 经济影响力的变异系数超过0.25，但是其重要性均值超过3，因此不宜直接删除。经过小组讨论后，决定对其指标内容进行修改，丰富其下属三级指标，参与第二轮专家调查。

（3）专家意见及评价指标的修改。由于部分指标的表述不够准确和明晰，因此在本次回收的22 份问卷中，有10 位专家给出指标修改意见。针对一级指标的修改意见“服务支撑力更多指服务软实力，不能完全覆盖其下所有二级指标”，因此在经过小组内部讨论之后，将“服务支撑力”修改为“机构支撑力”。针对二级指标的修改意见，“政策支撑可以修改为政策制度支撑”“人员智力支撑可以修改为专职人员支撑”“服务管理过程可以修改为过程管理服务”，经过小组充分讨论之后，决定采纳上述专家的修改建议。此外，部分专家提出“组织管理支撑表意不够清楚”“数据标准与规范和数据资源管理可能存在从属关系”，经过小组充分讨论后，决定将组织管理支撑并入政策制度支撑，将数据标准与规范并入数据资源管理。修改后的高校图书馆科研数据管理服务能力评价指标体系见图1。

3.2 第二轮德尔菲法对指标体系的修正

3.2.1 问卷设计与收集

依据第一轮德尔菲法修正后的指标体系设计第二轮专家调查问卷，问卷设计过程与第一轮问卷设计类似。

以邮件的形式将问卷发送给参与第一轮德尔菲调查的22 位专家，进行第二轮德尔菲专家调查。本次问卷收集从2021 年10 月19 日开始，截至2021 年12 月30 日共回收有效专家问卷20 份，问卷回收率90.91%。

3.2.2 问卷结果统计分析

笔者根据本轮20 位专家调查数据，从专家基本信息、专家自评表、指标重要性评价等方面进行结果统计分析。

（1）专家基本信息结果分析。对20 位专家的年龄、工作单位性质、受教育程度、职称和工作年限等基本信息进行统计分析，结果显示，专家年龄分布较为平均，30 岁以下占比20%，31～40岁占比40%，41～50 岁占比30%，51～60 岁占比10%。绝大多数专家都在高等院校工作，包括北京大学、中国人民大学、南开大学、西南交通大学、武汉大学、中国农业大学、北京师范大学、河南大学、吉林大学、深圳大学、江苏大学、湘潭大学等高校，少数专家在中国科学院等科研机构工作。从受教育程度分析，15 位专家是博士研究生学历，3 位专家是硕士研究生学历，2 位专家是本科学历。从职称角度分析，正高级专家有7位，副高级专家有6 位，中级专家有4 位。从工作年限的角度分析，总体工作年限均值达11.5年，工作20 年及以上的专家有5 位。从上述分析结果可以看出，本次调研专家的受教育程度较高且长期从事科研工作，具有较高的专业水平和较长的相关领域工作年限，调研结果能够一定程度上确保研究结果的权威性和可靠性。

（2）专家自评表结果分析。专家自评表能够反映专家的权威程度。笔者对本轮20 位专家的判断依据和熟悉程度进行赋值和计算，结果显示本轮有18 位专家的权威系数大于0.7，整体权威系数均值为0.83，由此得出本次调查专家权威程度较高。

（3） 专家指标重要性程度打分结果分析。指标重要性程度主要反映专家集中程度和协调程度。笔者对本轮20 位专家的指标重要性打分数据进行分析发现，所有指标的重要性均值大于3.5，且满分频率尚可，由此得出指标体系的集中程度较高。所有指标的变异系数小于0.25，且标准差小于0.9，由此得出指标体系的协调程度较好。综合分析得出，专家对本轮构建的指标体系框架与内容认可程度较高，且并未提出指标修改意见，因此相关指标均可保留，不再进行第三轮专家调查。

4 指标体系权重的计算与确定

采用主观和客观相结合的方式计算指标权重，主观权重采用专家权威系数结合秩和比法确定，客观权重采用熵值法计算。最后，归一化得出综合权重。

4.1 主观权重的计算与确定

在综合考虑专家权威系数和指标重要性评分结果的基础上，利用秩和比法对专家打分数据进行编秩［16］，以专家权威系数为权重进行赋权，计算得出主观权重。

（1）对专家指标重要性评分结果进行编秩，得到相应秩次Zij。将同一专家对不同指标的打分结果按照由低至高的顺序进行排序，其序号成为相应的秩次，相同序号则取其均值作为秩次。

（2）综合秩次和专家权威系数，计算专家i对指标j 打分数值加权秩次。根据公式5，将第二轮德尔菲专家调查结果计算得到的专家权威系数CR 作为权重，给专家指标重要性评分编秩结果赋权。

式中的Z'ij为专家i 对指标j 打分数值的加权秩次，Zij为专家i 对指标j 打分数值的秩次，CR为各专家权威系数。

表5 加权秩次和、加权秩次均值及主观权重

式中的Gj为指标体系主观权重，为加权秩次均值，m 为参加问卷调查专家人数。

4.2 客观权重的计算与确定

以20 位专家的指标重要性均值打分为原始数据，根据熵值法公式计算得到客观权重。

（1）采用均值法进行数据标准化处理。

式中的X'ij为标准化指标数据，Xij为专家i 对指标j 的评分值，为指标评分均值。

（2）根据标准化数据处理结果，计算二级指标的特征比重。

式中的Pij为指标特征比重，X'ij为标准化指标数据，m 为参与指标评分的专家人数。

（3）利用指标特征比重，计算二级指标熵值、差异性系数和客观权重，计算结果见表6。

表6 二级指标熵值、变异系数和客观权重

式中的ej为指标熵值，Pij为指标特征比重。

式中的gj为差异性系数，ej为指标熵值。

式中的Hj为指标客观权重，gj为差异性系数，n 为评价指标数量。

4.3 综合权重的计算与确定

对指标体系的主观权重与客观权重进行归一化处理，计算得到二级指标综合权重，通过逆向顺序加权法，计算得到一级指标综合权重。由于三级指标过多，因此笔者综合专家及小组内部意见，决定采用等权法确定三级指标综合权重，最终指标体系及其权重计算结果（见图2）。

图2 高校图书馆科研数据管理服务能力评价指标体系及其权重

5 研究结论

本研究在梳理相关文献和主流模型的基础上，筛选高校科研数据管理服务相关指标，从形式、内容、效用三个维度构建评价指标体系，最终得到由机构支撑力、管理服务力、社会效应力3 个一级指标，经费资源支撑、数据资源管理、用户素养教育等11 个二级指标，成本效益分析、数据使用规范、科研成果产出等35 个三级指标构成的高校图书馆科研数据管理服务能力评价指标体系。为明确各指标的具体含义，提高指标体系的可操作性，本文将对指标体系内涵及特点进行详细阐述。

5.1 重视指标体系逻辑关系

在指标体系构建过程中，重视各个指标之间的逻辑关系。应用SME 指标框架，从形式、内容、效用维度设置一级指标。从形式评价角度设置机构支撑力（38.97%）指标，对图书馆开展科研数据管理服务的基础能力进行评价，通过政策制度、技术设备、经费资源、专职人员等指标进行衡量。从内容评价角度设置管理服务力（29.10%）指标，对图书馆开展科研数据管理服务的过程能力进行评价，通过数据资源管理、过程管理服务以及用户素养教育等指标进行衡量。从效用评价角度设置社会效应力（31.93%）指标，对科研数据管理服务所产生的影响和效益进行评价，通过学术影响力、用户满意度、社会影响力、经济影响力等指标进行衡量。在此基础上，梳理各个指标之间的逻辑关系，去除其中重复及含义不清的指标，最终得到逻辑清晰、含义明确的指标体系。

5.2 强调指标体系赋权合理性

各个指标的相对重要程度不同，指标赋权有利于提高科研数据管理服务评价的准确性和合理性。以指标重要性打分数据为基础，采用秩和比法并结合专家权威系数计算主观权重。秩和比法的优势在于将专家打分数据转化为相应秩次，能够有效降低极端值的影响，而以专家权威系数为权重，为指标秩次赋权，可以适当增加权威专家对指标权重的影响力，由此得到主观权重。为避免单一权重计算方法产生的局限性，采取熵值法确定指标体系客观权重。熵值法的优点在于根据数据本身的固有信息计算权重，可以尽可能降低人为主观因素的影响，得出客观、真实、可复现的客观权重。最后，对主观权重与客观权重进行归一化处理，得到科学且合理的综合权重。

5.3 注重指标体系的可操作性

对指标体系进行试评价，发现大部分数据可通过高校图工委网站、图书馆网站以及科研数据管理服务平台获得，少部分与用户相关的数据则可通过问卷获取，整体而言指标数据具有较强的可获取性。此外，指标体系中定性指标与定量指标设置相对均衡。定性指标包括政策制度支撑、技术设备支撑、数据资源管理、过程管理服务、用户素养教育、社会影响力，可通过是否存在相关政策制度文件、是否具备科研数据管理服务平台、是否存在数据资源管理规范、是否开展相关过程服务、是否开展用户素养教育、是否存在产生社会影响的实际案例等进行衡量，对抽象评价内容具有较强的适应性。定量指标包括经费资源支撑、专职人员支撑、用户满意度、学术影响力、经济影响力，可通过经费资源占比、成本效益分析、专职人员占比、用户满意度问卷数据统计、学术成果数量等进行衡量，评价结果准确且客观。综合定性评价与定量评价的优势，进一步增强指标体系的可操作性。

5.4 突出经费资源支撑和用户素养教育评价指标

对二级指标权重进行降序排列，权重最高的指标为经费资源支撑，占比11.55%，下设经费使用分析和成本效益分析两个三级指标。经费资源支撑主要用于衡量机构经费来源是否稳定，用于科研数据管理服务的经费占比以及成本效益相关情况。经费资源是科研数据管理服务正常开展的先行条件，也是购置相关设备和建设技术平台的基础，因此经费资源支撑权重占比较为突出。权重位列第二的指标是管理服务力下用户素养教育，占比10.97%，下设用户素养教育内容与用户素养教育方式两个三级指标。素养教育作为高校学生教育的重要内容，图书馆能否提供用户素养教育服务，能否通过丰富的教育方式与内容提升用户数字素养水平是科研数据管理服务能力的重要评价内容。

5.5 不足与展望

在指标体系的构建过程中，笔者尽可能地保证了指标体系普适性和数据客观性，然而本文仍然存在以下不足之处：不同学者在构建指标体系的过程中，都有各自的研究视角和侧重点，因此本文构建的指标体系还有可供完善的空间。此外，本文构建的指标体系中的诸多指标与平台密切相关，因此在评价不具备相关平台的高校时，具有较大的局限性。未来，笔者将通过更加深入的研究，进一步扩展和完善指标体系，使其更具普适性和可操作性。