我国科学数据共享平台绩效评估实证研究

●司莉，李月婷，邢文明，华小琴，李鑫，辛娟娟

（武汉大学信息管理学院，武汉430072）

我国科学数据共享平台绩效评估实证研究

●司莉，李月婷，邢文明，华小琴，李鑫，辛娟娟

（武汉大学信息管理学院，武汉430072）

科学数据共享平台；绩效评估；层次分析法

文章选取8个共享平台进行绩效评估，首先构建了科学数据共享平台绩效评估指标体系，其次采用层次分析法设置指标权重，然后进行评分，并计算出科学数据共享平台绩效评估分值结果，最后对结果进行分析，发现我国科学数据共享平台建设存在政策法规尚不完善、缺少数据描述与组织的标准或规范、数据可获取性低、平台提供的服务形式较少、各个平台的科研效能差距较大等问题。

表1 8个科学数据共享平台一览表

科学数据是指在科技活动（实验、观测、探测、调查等）中或通过其他方式所获取的原始基本数据，以及根据不同科技活动需要，进行系统加工整理的各类数据集。［1］科学数据机构是指拥有这些科学数据，并以数据服务和使用为重要任务的机构。

2003年至今，我国对国家科技基础条件平台建设投入资金近20亿元。目前，该平台已在大型科学仪器、自然科技资源、科学数据和科技文献等科技资源整合与共享上取得明显成效。2011年，科技部、财政部通过组织专家评审，完成了首批国家科技基础条件平台的认定评审工作，其中涉及科学数据共享的有8个。笔者选取这8个平台以及基础科学数据共享网作为评估对象（详见表1），主要通过访问科学数据共享中心网站、咨询网站服务人员及阅读平台相关文献来获取评估所需要的数据，对其绩效评估进行实证研究。

1 评估指标的构建

随着我国科学数据共享工程的启动，有关共享绩效评估的研究与实践已引起了学者与业界的高度重视与关注。2011年，科技部与财政部制定了《国家科技基础条件平台运行服务绩效考核指标》，重点考察科技平台的服务数量与服务成效。该指标包括服务数量、服务成效、运行管理、资源整合4个一级指标和12个二级指标。［2］基础科学数据共享网的《共享服务评价指标体系》设计了6个包括数据资源建设能力、技术能力、组织管理、共享服务、效果、特色在内的一级指标以及20个二级指标。［3］上海研发的公共服务平台科学数据共享系统，其共享服务考核指标体系包括资源指标、管理指标、服务指标3个一级指标及6个二级指标。［4］董诚等从机构的保障能力、科学数据自身条件、对外服务能力和综合效能4个方面构建了我国科学数据机构共享绩效评估指标体系，该指标体系包括18个二级指标。［5］

在借鉴以上研究成果的基础上，笔者提出了科学数据共享平台绩效评估指标体系，其指标体系由4个一级指标、11个二级指标、26个三级指标构成（详见表2）。

表2 科学数据共享平台绩效评估指标体系

2 评估方法与评估步骤

2.1 评估方法

笔者采用层次分析法（Analytic Hierarchy Process，简称AHP）设置评估指标的权重。AHP是美国运筹学家Saaty教授于20世纪70年代初期提出的，是对定性问题进行定量分析的一种简便、灵活而又实用的多准则决策方法。所用工具是目前较为成熟的层次分析法软件yaaph0.5.2。评估的具体方法是：首先，根据层次分析法设置一、二级指标权重，并计算二级指标的综合权重；其次，对三级指标评分，满分10分，其后依次为9分、8分、7分……分数递减直到最低分0分；然后，对每个二级指标下的三级指标的评分求和再与三级指标的个数相除，得出平均值，即为二级指标分数；最后，将每个二级指标的分数与其综合权重相乘，可得到每个二级指标的加权值，并将所有二级指标加权值相加，即可计算出科学数据共享平台绩效评估的总得分。

2.2 评估步骤

（1）根据判断标度为指标体系中的所有一级指标及二级指标构建判断矩阵，邀请专家对判断矩阵中各评价指标进行两两比较，判断其相对重要性程度。判断准则标度是引入Saaty教授的9分位相对重要比例标度（见表3），应用“1-9标度”对分布在不同矩阵中的各级指标通过两两比较确定其相对重要性。设测评指标i相对测评指标j的比较得分为ij，则指标j相对i的比较得分为ji=1/ij。如一个测评指标A相对另一个测评指标B较强重要，则测评指标A相对测评指标B的比较得分为5，测评指标B相对测评指标A的比较得分为1/5。笔者先后向科学数据共享平台的相关专家共发放《我国科学数据共享平台绩效评估权重调查问卷》11份，回收11份，回收率为100%。

表3 比例尺度表

（2）根据专家问卷调查结果，利用层次分析法软件yaaph0.5.3进行矩阵判断和群决策计算，得到各一级指标的权重W 1i，判断矩阵一致性比例为0.0093，通过一致性检验，4个一级指标按其权重由高往低依次排列为服务效能及影响（0.3688）、平台功能（0.3264）、数据资源（0.1871）、运行管理（0.1177）（见表4）。

表4 科学数据共享平台绩效评估一级指标权重

（3）利用层次分析法软件yaaph0.5.3进行矩阵判断和群决策计算同样可以得到各二级指标的权重W 2ij。根据一级指标权重W 1i及其二级指标权重W 2ij，可得出各二级指标的综合权重Wij。计算公式为：W ij=W 2ij×W 1i。利用此计算公式，得出的结果如表5所示。11个二级指标中，综合权重排名前三位的分别是科研效能（0.1501）、平台服务（0.1460）、用户满意度（0.1341）。

3 科学数据共享平台绩效评估的结果

3.1 评估结果的计算

采用本文中“2.1评估方法”可计算出每个科学数据共享平台绩效评估的评分结果。设各项二级指标评分分值为Pij，二级指标的综合权重Wij，评分加权值为Fij，加权求和评估得分为F。Fij与F的计算公式分别为：

表5 科学数据共享平台绩效评估二级指标综合权重

其中4表示一级指标的个数，j（i）表示第i个一级指标内包含的二级指标个数。

运用以上公式所计算的结果如表6所示。考虑到篇幅，表6只列出评分加权值Fij及加权求和评估得分F，省略了各项二级指标评分分值Pij。

3.2 评估结果分析

3.2.1 运行管理

运行管理一级指标下设有人才队伍和管理制度2个二级指标。

（1）人才队伍。人才队伍是科学数据共享平台的关键因素之一，其下设有服务团队规模及人员素质两个三级指标。8个平台的加权值在0.3～0.8之间（详见表6）。加权值最高的是地球系统科学数据共享平台（0.7280），40多家国内地学领域知名高校、世界数据中心和国际山地中心、美国马里兰大学等国际组织和机构参与了该平台的建设与运行服务，显示了其人才队伍素质、规模以及构成的国际化。其次是林业科学数据中心（0.6552），该中心有项目人员143人，包括研究员、高校教师和工程师；基础科学数据共享网（0.6188）拥有50名服务专员，并能提供邮件及电话进行实时咨询和表单咨询。加权值最低的是国家农业科学数据共享中心（0.3640），其在服务团队的规模和素质方面还有待改善。

（2）管理制度。管理制度是科学数据共享平台高效运行的重要支撑，其下包括政策法规和机构设置2个三级指标。加权值最高的是国家人口与健康科学数据共享平台（0.4732）（详见表6），该平台制定了包括科学数据资源、任务监督与验收、科学数据汇交管理及信息安全管理办法等，从制度上保证平台的建设和运行，并成立了领导组、专家组、工作组、项目办公室，建立了多部门联合、分层管理、协同工作的运行服务组织管理体系。其他共享平台，如国家材料环境腐蚀（老化）科学数据共享平台（0.3592）、国家农业科学数据共享中心（0.3143）也制定了相应的管理制度。林业科学数据中心加权值最低（0.1796），需要进一步加强政策法规建设。

表6 科学数据共享平台绩效评估分值结果

3.2.2 数据资源

数据资源主要是考察8个科学数据共享平台数据数量、数据的描述与组织等情况，包括2个二级指标：数据产品、数据描述与组织。

（1）数据产品。该指标加权值在0.9184及以上（即三级指标评分在8分及以上）的共有4个平台；加权值在0.6888～0.9184（即三级指标在6～8分之间）的共3个平台；低于0.6888（即三级指标低于6分）的平台只有1个（详见表6）。其中，基础科学数据共享网的数据资源建设最为完备，其二级指标数据产品的加权值是1.1480，该平台建有448个数据库（集），数据总量达到了102.62TB（调查时间为2013年4月3日）。加权值最低的是国家材料环境腐蚀（老化）科学数据共享服务网，为0.4592，该平台仅有11个数据集。

（2）数据描述与组织。该指标共有2个三级指标：数据描述、数据组织与集成。平台中是否有元数据描述、元数据标准或规范、元数据专栏以及数据的组织与集成方式、分类标准或规范是此项指标考察的主要内容。该指标加权值在0.5784及以上（即三级指标平均分在8分及以上）共有5个；其余三个平台加权值均为0.4338（即三级指标平均分是6分）（详见表6）。其中加权值最高的是林业科学数据平台。该平台有元数据描述、元数据标准、元数据专栏和分类标准，元数据专栏下提供了两种数据的访问和获取的方式，但其只有1种数据组织方式。加权值较低的3个平台分别是国家材料环境腐蚀（老化）科学数据共享服务网、国家农业科学数据共享中心和中国气象科学数据共享服务网，这三个平台均缺乏数据描述与组织的标准或规范。

3.2.3 平台功能

该指标主要考察共享平台的数据检索与服务功能，包括3个二级指标：检索与浏览、数据服务、平台服务。

（1）检索与浏览。该指标下设4个三级指标：检索方式、浏览方式、检索结果和响应速度。笔者对平台提供的检索方式与浏览方式数量、检索结果的排序、二次检索及平台的响应速度进行了调查。其中，响应速度是通过“114la工具箱”［6］进行测试的（测试时间为2013年4月6日上午9:30－9:40）。评估的结果是：中国气象科学数据共享服务网加权值最高（见表6），该平台在其主页共提供了4种检索方式（分别是简单检索、数据分类检索、专题检索、数据定位检索）；1种浏览方式（分类浏览）；其检索结果可按最近更新优先、主节点数据优先、相关度优先3种方式进行排序；其响应速度测试为0.083秒，居于中等速度。国家人口与健康科学数据共享平台和地震科学数据共享中心加权值较低（见表6）。国家人口与健康科学数据共享平台在检索方式评估中得分最低，且未在主页上提供任何数据检索方式，而是在点击进入的各数据库界面上提供不同的检索方式。地震科学数据共享中心在响应速度评估中得分最低，为0.154秒。

（2）数据服务。该指标下设3个三级指标：可获取性、易用性和数据更新。该指标主要考察数据浏览下载是否方便、是否方便利用、是否持续更新等。其中，数据更新的调查时间为2013年4月6日。8个平台在此项调查中的得分差距较大（详见表6），其中加权值最高的是地震科学数据共享中心。该平台无需注册登录，即可浏览数据，并可下载部分数据和元数据，可获取性较高；数据按照分类法组织，有分类标准规范，易于利用；地震目录每日更新，更新频率高。加权值最低的是国家农业科学数据共享中心。该平台只有一部分数据是可以直接浏览的，注册登录后才能够浏览其余数据，可获取性低；而其最新的数据更新时间为2011年，在8个平台中排在倒数第二位。

（3）平台服务。该指标下设5个三级指标：数据下载、数据汇交、定制服务、链接有效性和信息发布频率。链接有效性是通过“SEOWHY在线死链接检测”［7］进行检测（测试时间为2013年3月25日），信息发布频率调查日期为2013年3月26日。国家人口与健康科学数据共享平台加权值最高（见表6），虽然该平台提供数据下载服务，但登录后仍有19个数据集（约占总数量的7%）需要向数据拥有单位申请方可下载，此项服务在8个平台中得分较低。该平台提供数据汇交服务，一些专题数据库内提供定制服务，其83个链接全部有效，半年内发布了24条信息（在8个平台中排在第二位）。国家材料环境腐蚀（老化）科学数据共享服务网加权值最低（见表6），该平台数据下载服务仅限高级用户，且未提供数据汇交服务和定制服务，因此其在此项调查中得分最低。

3.2.4 服务效能及影响

服务效能及影响是对科学数据共享平台服务的科研效能、社会效能等进行调查，也是4个一级指标中权重最高的一项。包括4个二级指标：科研效能、引用情况、服务统计、用户满意度。

（1）科研效能。科研效能的综合权重在所有二级指标综合权重中排名第一，说明数据共享中心的建设旨在为科学事业提供支撑，科研效能的高低很大程度上反映了平台的运作效率和运行价值。笔者采用网站调查方法，对2008～2012年间平台支持科研的情况进行调研，统计各自对国家重大科技计划项目及对科技成果、专利、论文的支持情况（见表7）。

表7 2008－2012年8个科学数据共享平台的科研效能

科研绩效加权值较高的是地球系统科学数据共享平台和国家人口与健康科学数据共享平台（见表6）。国家人口与健康科学数据共享平台在对国家重大科技计划项目上体现出较大的优势，提升了该平台的服务效能及影响。该平台还开发了用于科研项目和科研成果查询的工具软件，便于用户使用。此外，地球系统科学数据共享平台在“973”项目、“863”项目、环境保护、铁路建设、载人航天工程、气候考察、民生工程等项目中贡献较大，在平台数据资源的支持下，发表科技论文与专著达到611篇，申请专利12项。

（2）引用情况。引用情况主要指平台名称的被引用次数。在进行检索时，考虑到各共享平台先后经历过“xx共享试点”、“xx共享中心”、“xx共享服务网”以及“xx共享平台”等不同的阶段，为防漏检，检索时采用多个检索词，检索词之间通过逻辑“或”的方法进行全文检索。检索数据库为中国知网，检索时间为2013年3月26日。检索结果按数量排名前三的分别为：中国气象科学数据共享服务网（1242条）、地球系统科学数据共享平台（240条）、地震科学数据共享中心（203条）。

（3）服务统计。注册用户数量是科学数据共享平台价值的重要指标之一，平台的访问量与被链接次数也在一定程度上反映了平台受关注度以及平台的潜在价值。笔者分别统计了平台的注册数量、访问量和被链接次数，截止日期为2013年3月23日（见表8）。其中，被链接次数利用网站“站长工具”［8］进行检测。

在服务绩效加权值方面，基础科学数据共享网和地球系统科学数据共享平台分别排在第一位和第二位（见表6）。在注册人数和访问量指标上，地球系统科学数据共享平台、中国气象科学数据共享服务网及基础科学数据共享网显示出较高的用户参与度。此外，基础科学数据共享网的被链接次数居于第一位，林业科学数据平台和国家农业科学数据共享中心在这项指标上则没有突破（见表8）。

表8 8个科学数据共享平台的服务统计调查表

（4）用户满意度。服务对象满意度是平台绩效评估中十分重要的一个指标。这项指标共设置了5个打分标准：十分满意（10分）、满意（9分）、比较满意（8分）、一般（6分）、不满意（5分）。加权值高于1的4个平台分别为：基础科学数据共享网、地球系统科学数据共享平台、地震科学数据共享中心、中国气象科学数据共享服务网（详见表6）。

8个科学数据共享平台绩效评估的最终结果按照加权求和评估得分F从高到低排列依次为（详见表6）：地球系统科学数据共享平台、基础科学数据共享网、国家人口与健康科学数据共享平台、地震科学数据共享中心、中国气象科学数据共享服务网、林业科学数据中心、国家农业科学数据共享中心、国家材料环境腐蚀（老化）科学数据共享服务网。

3.3 对评估结果揭示问题的分析

通过调查发现我国科学数据共享平台建设中存在以下主要问题。

（1）政策法规尚不完善。由调查得知，8个科学数据共享平台中，除国家人口与健康科学数据共享平台制定了14条法律法规及12条平台政策法规外，其余7个平台中，有的平台只制定了涉及数据资源共享及分类的政策法规或管理制度。如国家材料环境腐蚀科学数据共享服务网只有网站的管理制度，林业科学数据共享平台没有提供相关的政策法规。完善的政策法规应包括数据从生产到共享全过程相关的数据汇交、质量控制、运行、维护管理、客户管理、安全和应急措施等方面的规章制度，政策法规建设是保障科学数据共享平台可持续运行与服务的前提，需要引起足够的重视与实际投入。

（2）缺少数据描述与组织的标准或规范。标准和规范的制定是数据共享的前提，然而调查发现，国家农业科学数据共享中心和中国气象科学数据共享服务网没有元数据描述规范；国家材料环境腐蚀（老化）科学数据共享服务网、地球系统科学数据共享平台及国家农业科学数据共享中心没有数据分类标准或规范。科学数据共享平台的数据建设既应遵循元数据描述规范，也应制定数据分类标准规范。具体包括元数据标准化基本原则和方法、元数据的XML/XSD置标规则、科学数据共享工程数据分类编码方案、元数据检索和提取协议等科学数据共享领域的标准规范等。

（3）数据可获取性较低。8个科学数据共享平台中，仅有地震科学数据共享中心无需注册登录即可浏览数据，并可下载部分数据和元数据。其余7个平台，用户如不登录只可以浏览部分数据，其中国家材料环境腐蚀（老化）科学数据共享服务网更是严格，若想浏览全部数据，还需填写申请表，待审批通过后方可浏览。对于数据下载，各平台的规定则更为严格，有的平台必须要提交下载申请，有的只有高级用户或核心用户才可下载部分数据。对于普通用户来说，若想浏览一些公开数据，还需注册登录，甚至填写申请表等待审核，这无疑会降低平台的使用率，使其共享程度大打折扣。

（4）平台提供的服务形式较少。调查发现，提供下载服务的有8个，提供数据定制服务的有5个（占62.5%），提供汇交服务的有3个（占37.5%），只有地球系统科学数据共享平台和国家人口与健康科学数据共享平台提供了全部的服务，但其所提供的定制服务仅为数据预定。这说明我国科学数据共享平台所提供的服务形式单一、种类较少。服务是科学数据共享平台建立的目的，提供多种多样的服务才能使用户熟悉平台，从而提高平台的社会影响力。

（5）各个平台的科研效能差距较大。科研效能综合权重在所有二级指标的综合权重中排在首位，但其加权值普遍低于排在第二位的平台服务和第三位的用户满意度（见表6）。由此可见，目前我国科学数据共享平台的科研效能还较低。对科技成果、专利、论文产出的影响及对国家重大科技计划项目的支持作用亟待加强。而同一项科研效能指标相比，只有2个平台的加权值高于1，有5个平台的加权值在0.4～0.7之间。科学数据共享中心建立的目的是服务于国家科研项目及重大科技计划项目，各个科学数据共享平台在科学研究、社会与经济的可持续发展等方面应发挥不可替代的作用，为国家重大工程建设、重要科技专项和计划提供科学依据。我国科学数据共享中心应该使数据价值最大化，发挥更高的科研效能。

［1］李娟，等．国际科学数据共享现状研究［J］.图书馆建设，2009（2）：19－21，25.

［2］科技部.国家科技基础条件平台运行服务绩效考核指标［EB/OL］.［2013－03－20］．http://www. most.gov.cn/tztg/201108/t20110805_88849.htm.

［3］基础科学数据共享网.共享服务评价指标体系［EB/OL］.［2013－03－20］．http://www.nsdc.cn/upload/110526/1105261356291350.pdf.

［4］陆晓春，等．激活创新之源成就创业之梦：上海研发公共服务平台建设纪实［M］.北京：化学工业出版社，2010：65.

［5］董诚，等．我国科学数据机构共享绩效评估研究［J］.中国科技论坛，2007（8）：74－78.

［6］114la工具箱．网站反应速度测试［EB/OL］.［2013－04－06］．http://tool.114la.com/sitespeed.

［7］SEOWHY.SEOWHY在线死链接检测工具［EB/OL］.［2013－03－25］．http://tool.seowhy.com/linkdetection/.

［8］站长之家.站长工具［EB/OL］.［2013－03－23］. http://tool.chinaz.com/.

G250.73；G252.4

A

1005－8214（2014）09－0030－06

司莉（1965－），女，武汉大学信息管理学院教授，博士生导师；李月婷（1990－），女，武汉大学信息管理学院图书馆学2012级硕士研究生；邢文明（1985－），男，武汉大学信息管理学院图书馆学2011级博士研究生；华小琴（1989－），女，武汉大学信息管理学院图书馆学2012级硕士研究生；李鑫（1990－），女，武汉大学信息管理学院图书馆学2012级硕士研究生；辛娟娟（1990－），女，武汉大学信息管理学院图书馆学2012级硕士研究生。

2013－11－12［责任编辑］王钧梅

本文系教育部人文社科研究项目“我国科学数据集成与共享的保障研究”（项目编号：13YJA870016）研究成果之一。