网络环境下科技文献开放共享评价研究

屈宝强 王 艳屈丽娟

（1．中国科学技术信息研究所，北京 100038；2．中国专利信息中心，北京 100088）

网络环境下科技文献开放共享评价研究

屈宝强1王 艳1屈丽娟2

（1．中国科学技术信息研究所，北京 100038；2．中国专利信息中心，北京 100088）

为了解科技文献共享平台的运行状况，本研究基于用户的视角提出“可见、可得、可用”评价模型，选取了省、市、自治区以及区域科技文献共享平台为评估对象，通过网络信息搜集、信息检索、定期监测、软件测试以及专家打分等方法，进行我国省级科技文献共享平台资源开放共享的评价，期望为科技文献共享平台的改进以及政府在科技文献共享平台规划、投入等方面的决策提供依据。

网络环境；科技文献共享平台；开放共享；评价；BP神经网络

1 引言

科技文献资源共享是指通过共建和（或）共用的方式使资源稀缺方获得了所需资源，其内涵核心主要体现在必须以资源稀缺方的需求为起点，以满足资源稀缺方的需求为归宿点，资源共享的实现要求资源需求方与资源提供方之间能够达成资源的有效匹配[1]。为实现科技文献资源共享，在全国搭建了许多科技文献共享平台。

科技文献共享平台建设是涵盖科技文献信息资源、网络资源、信息加工与服务、信息与网络技术进行总体整合、规划的一个系统工程，是跨行业、跨系统的科技文献资源建设资金、技术和知识产权等各个方面的合作和共享。科技文献共享平台主要是通过两个方面发挥作用：一方面，在网络环境中，通过元数据、联合目录等对科技文献资源进行描述，进而集成、整合到统一的联合检索平台，方便用户一站式、多类型检索，完成科技文献导航（可能导航到网络中的数字资源，也可能是线下的纸质或者其他载体的资源）的方式促进科技文献共享；另一方面，通过国家专项经费的支持，解决部分科技文献资源的知识产权问题，以数字形式或者其他形式提供给用户，实现科技文献的共享。

为了解我国科技文献共享平台的建设和运行情况，发现我国科技文献共享平台运行中存在的主要问题，改善科技文献资源共享方式、方法，提高科技文献资源的利用效率和水平，有必要对科技文献共享平台促进资源开放共享的水平进行分析评价。同时，开展以科技文献共享平台为对象的科技文献开放共享评价是落实《科技进步法》《政府信息公开条例》《2004-2010年国家科技基础条件平台建设纲要》等相关法律和规章制度的要求，是监督和评价公共财政资金投入效果的要求，是科技文献共享平台依托机构管理绩效评价的要求。

2 研究进展

在科技文献共享平台的绩效评估方面，已经开展了不少研究，例如在文献资源共享评估方面，陈洁设计了文献信息资源共建共享绩效评估体系，包括相关法律法规与政策、基本评估制度、评估的指标体系、评估的模式、责权利、实施方法和手段以及经费、社会服务体系、信息化条件、社会观念和氛围等支撑条件和环境[2]；任勇旗对信息资源共享平台的总体功能、技术水平、资源开放水平和服务水平进行综合测试、分析和评价，以确定是否达到预期的目[3]。在科技文献共享平台评估指标方面，吴晓丹制定包括平台形象、用户期望、质量感知、价值感知在内的科技文献共享平台用户满意度的测评模型[4]；金相龙建立了包括建设规模、服务能力、用户满意度为核心的评价指标体系[5]；孙琳针对平台宣传案启动后可能出现的问题，提出了包括资源、服务效率和增值服务在内的平台运行评价体系[6]。在科技文献共享平台评估实践方面，李磊提出陕西省科技图书文献资源共享平台绩效评价体系，包括服务态度、服务能力、服务业绩三层指标体系[7]。李辉根据浙江省科技文献共建共享平台的实践，提出了针对数据加工、平台软件系统的评价指标体系[8]；章昌平以桂林工程技术文献信息中心为例，基于AHP-模糊综合评价法，建立了包括读者满意度、敏捷度、总体环境、信息获取等在内的指标体系[9]；黄红华构建了天津高等教育文献保障中心绩效评估指标体系，包括实体资源建设、电子资源建设、技术、服务、人员、财务等各个方面[10]。在科技文献共享平台评估体系方面，吴敏从评估原则、评估要素、如何实施等方面探讨如何建立合理的评估机制，提出了文献资源的可知晓性、可获得性和获取便利性应作为评价资源共享水平的关键[11]。

可以说，当前我国科技文献共享平台建设已经取得初步成效，对平台评价的研究和实践也逐步开展，相关评价较多的是从科技文献资源共享平台管理者和建设者的视角开展的全方位评价或自评价；评价数据多来源于资源建设方，缺少相对客观的第三方评价；对资源用户终端需求的满足程度重视不够，公众了解和参与监督程度较低。

3 评价目的和对象选择

3.1 评价目的

本次评价主要目的是为了解我国科技文献共享平台的建设和运行情况，发现我国科技文献共享平台运行中存在的主要问题，改善科技文献资源共享方式、方法，提高科技文献资源的利用效率和水平。本次评价从资源共享的本质入手[1]，科技文献共享意味着参与共享的主体达到共有、共用、共承受、分担的状态，科技文献共享平台是促进共享的重要手段，评价的目的就是看他们采用了什么方法和手段，达成资源拥有方（科技文献机构）与用户需求之间资源匹配的程度如何。本次评价从用户视角出发，尽可能以普通用户的身份使用相关科技文献共享平台，通过实际体验和感知对科技文献共享平台资源共享水平进行反馈、考察和评价。本次评价主要在互联网环境下从网络中获取公开数据，将网络看作是对科技文献资源共享中介联盟的信息化基础设施，也可以看作是资源共享的中介，认为只要是通过网络将科技文献资源相关信息传递给用户的过程就是开放共享的过程。

3.2 评价对象

在本次评价中，本着同类可比的原则，选取我国省级科技文献共享平台为评价对象，具体如表1所示。

4 评价指标体系

4.1 指标构建原理

对于科技文献资源，科技文献共享过程中涉及科技文献资源的描述性元数据、科技文献资源以及经过加工、集成后的知识资源或文献资源，多种信息资源混合在一起，加大了评价的难度。在整个科技文献共享过程中，既有科技文献资源共享本身，也有科技文献资源共享促进工作（元数据的共享），二者共同作用从而满足用户的需求。科技文献共享平台可以通过文献资源的属性信息和元数据直接揭示科技文献资源的属性和特征，从而使这些文献资源通过共享平台可以被看见和了解；通过对资源的数字化信息进行检索和下载等，可以实现信息资源本身被直接获得，或者根据提供的线索和信息，通过平台的一些相关服务或者其他文献提供机构的服务获得资源，即通过平台，文献可以被用户获得；通过文献资源利用效果的反馈、用户评价等功能的设置和维护，可以发现资源共享中可能存在的问题，并给予适当改进并增强平台功能，以提高用户对资源的共享利用效率，这样就能保证科技文献资源资源能为用户所用，能被用户用好。

基于上述分析，文献[12]提出科技资源开放共享评价的理论模型，具体到科技文献资源的开放共享评价，也将其分为“可见”“可得”“可用”3个层次。资源可见性主要考察科技文献共享平台在运行过程中其所拥有的资源能够为用户所见、所知道的程度。资源可得性主要考察用户从科技文献共享平台得到所需要科技文献资源的状况。资源可用性主要考察用户得到的科技文献资源是否可以使用，是否适合用户需求，主要通过用户感知到的科技文献资源质量、服务保障、服务方式等来测度，也可以借助于用户使用的效果评论、满意度等作为替代指标间接评判，通过获取用户对文献资源利用结果的满意程度间接反映是否真正“用得好”。

（2）指标制定过程

依据上述原理，指标体系构建过程中，认真分析我国科技文献共享的发展现状和发展趋势上，结合用户对科技文献共享的需求，在多次征求专家意见的基础上，对科技文献共享评价指标体系的设计思路、总体框架、初步指标体系等进行初步构建，根据文献调研、专家访谈、调研等，删去了一些不是非常重要的指标，形成最终的指标体系，如表2所示。

在指标体系权重确定方面，主要采用BP神经网络方法，由相关研究人员对各指标打分来计算，最后确定合适的权重分配，具体计算过程如下。

评价指标体系U中含有u1，u2，…，un个指标，请有关专家（m≥30人组成）根据权数分配表，对U中的各项指标，提出自己认为最合适的权数。再根据专家估测的资料，进行单因素的权数统计，主要步骤如下：

（1）对于指标ui（i=1,2,…,n），在专家所赋予的权数aij中找出最大值Mi和最小值mi。Mi=Max{aij}，mi=Min{aij}（i=1,2,…,n；j=1,2,…,m）

（3）计算各组的权数的频率与频数。

（4）根据频数与频率分布情况，取最大频率所在组的组中值为指标ui的权数ai（i=1,2,…,n），从而得出权重向量。

经过计算得到表2中的指标权重。

4.2 评价数据采集与评价标准

（1）数据采集方式

数据采集主要以网站主页数据采集为主，数据采集时间从2013年5-8月。

第一，本次评价主要针对科技文献共享平台网站采集相应数据，根据期刊论文和现有调研报告进行补充；第二，部分指标通过软件公司自动、定期监测获得，如首屏时间、总下载时间、可访问性等；第三，部分指标通过开源/免费的网站或者软件测得，例如在评测各个网站的影响力方面，采用了外链数这个指标，主要是通过免费搜索引擎opensiteexplorer（http://www. opensiteexplorer.org/）测得；第四，部分数据通过试用的方式得到，例如在测度平台的元数据质量时，通过咨询相关专家，选取了10个检索词，分别对每个平台进行检索（没有考虑各平台中外文资源的拥有情况），比较其最终结果进行评分；第五，一些无法从公开渠道获得的数据采用专家和用户打分相结合的方式，例如在对指标“科技文献资源质量”进行评测时，考虑到直接对平台所有的文献资源进行质量检查不太可行，于是采取了相关文献阅读软件提供情况这一替代指标，同时忽略了扫描不清晰、字迹模糊、错页、漏页等情况，但是加入了专家和用户打分作为参考。

为了保证调查的顺利开展和调查的质量，对调查的每一个环节都实行严格的质量控制，包括方案设计研讨、数据采集人员的培训、调查实施阶段的多人互相检查控制和调查数据整理控制等。本次调查筛选在校研究生和课题组研究人员进行前期数据收集工作，对进行了严格挑选与培训，细化明确各个调查项目的内容和把握尺度。建立了调查数据质量检查制度，包括人工审核、计算机审核、数据评估检查等。

（2）数据误差

在评价过程中，需要到网站上进行验证和查看相应数据，发现一些不稳定的网站（例如安徽省科技文献信息资源共享服务平台），如果在其不能访问的情况下，会导致相关指标的分值偏低，但平台的实际运作情况比这个结果要好得多，因此影响整体的结果，导致有些指标的分值有随机性。

（3）评价标准

本次评价主要是采用相对性评分标准，各个指标的得分以评价结果最好的平台为标杆，各指标对应字段采集到的数据类型有一定的差异。对于可以进行量化的数据，在打分过程中可以直接采用N/MaxN方式进行比较，对于难以进行量化的数据，需要根据采集到的数据进行初步估计和专家判断已经行无量纲转化，随后计算打分。

有些评价指标在数据采集中会出现一些奇异值，数据值特别大，例如网站检测数据、外链等，按照N/MaxN方式计算得到的指标得分会出现失真的现象，平台之间得分差值较大，这种奇异值则主要按照区间分布的方法进行初步估计，再进行打分，消除计算过程中分母过大导致的数据分差。例如：针对外链这一指标，将区间划分为“〉15000”“1000～3000”“500～1000”“100～500”“〈100”“0”，在同一区间的不同平台给予同样的分数，能够相对准确合理地体现不同平台各指标的排名情况。采用同种方法的指标还包括阅读软件提供、获取速度、网站栏目设置等。

另外，由于不同省市的科技水平和投入力度不同，通过网站上所得到的信息量也不相同，有些平台在相关数据采集项上并没有明确的信息，导致某一指标得分为空，例如“更新周期”，只有两个平台提供了比较准确的信息，其余平台都无法获取到有意义的数据，针对这类现象，主要是结合网站的其他信息、专家意见、最新文献试检等手段进行综合估计，各种方法赋予不同权重，进而计算最终得分。

5 评价结果

根据“可见”“可得”“可用”3个一级指标的得分情况，计算得到网络环境下用户视角科技文献共享平台的整体开放共享情况，根据评价结果可以发现，得分在80分以上的平台1个，得分在70～80分的平台12个，得分在60～70分的平台10个，得分在60分以下的平台7个，与其他类型的科技资源开放共享平台相比，得分的整体水平较高，这些平台在促进文献的利用方面发挥越来越重要的作用，大部分平台的服务已经将科技文献目录信息服务提升到资源集成开发、咨询、统计等高层次服务，功能不断拓展。得分不足20分的平台有3个，分别为安徽省科技文献信息资源共享服务平台、贵州省科技文献共享平台、内蒙古科技创新共享服务平台，主要原因是平台网站在本研究监测时段内不可访问，无法获取相关信息。排名前10的文献共享平台如表3所示。

对科技文献资源开放共享总得分中各一级指标的构成情况进行分析，如图1所示。可以发现：可得性和可用性的得分对科技文献资源开放共享总得分中的比重较大，说明科技文献共享平台在可得、可用这两个方面已经取得了较大的进展，能够将用户需要的资源及时、准确地送交用户，资源的能用性和适用性都比较好。进而，将各个指标换算为百分制，对3个一级指标进行了比较，结果如图2所示。

通过比较发现，各个科技文献共享平台的可用性得分基本都在80分左右，说明科技文献资源从资源质量方面得到认可，资源的可用性较强。可见性的总体得分偏低，基本都在60分以下。由此可以得出，虽然科技文献共享的平台已经初步搭建，软硬件资源的建设也以取得了初步成效，但是科学组织和揭示科技文献共享平台所拥有的资源是目前平台建设方面所欠缺的地方，也是下一阶段工作的重要任务。

从各个指标对科技文献共享平台开放共享得分的影响程度来讲，各个平台总体水平差异不是十分明显，评价结果排名靠前的平台在资源一致性、资源更新及时性等可用性指标方面得分较高，评价结果排名靠前的平台在资源覆盖程度、资源规模、访问量等资源可见性指标方面的得分较高。可得性指标以及可用性指标中的服务互动和服务方式等方面对整体得分的影响较小，表明各个平台在这些内容上建设模式、方法和工具基本相同。

各个科技文献共享平台在网络基础设施建设方面表现不佳，外链、获取速度、网络稳定性等指标得分总体偏低。同时可以发现科技文献共享平台这几项指标的得分与最终得分的相关性非常大，表面科技文献共享平台在资源揭示、组织和服务方面已经相对成熟，而各个省市的科技投入特别是在平台建设方面的投入多少决定了基础设施升级换代的状况，与评价结果呈现较强的正相关。

6 结语

本次评价依托网络环境对科技文献共享平台的资源开放共享状况进行分析。该评价方法简单实用、易于操作，且评价数据可以通过公开的渠道获得，评价结果比较准确。今后还需要根据科技文献共享平台网站的建设目的、管理模式、资源范围、服务方式和服务对象等分类进行评估，并继续加强在评价方法、指标、数据获取等科学性和有效性，适当增加用户体验、用户利用资源行为分析等，以进一步提升评价的科学性和准确性。

[1]彭洁,白晨,赵伟. 资源共享的本质问题研究.中国科技资源导刊,2013(1):2-7,11.

[2]陈洁,章昌平,周力青,等.试论文献信息资源共建共享绩效评估体系的设计[J].科技信息,2009(13):397-398.

[3]任勇旗,唐毅,刘召栋.信息资源共享平台评价分析[J].科技情报开发与经济,2008,18(19):69-71.

[4]吴晓丹,吉久明.科技文献共享平台用户满意度测评研究[J].科技情报开发与经济,2008,18(25):58-60.

[5]金相龙.科技文献共享平台绩效评价研究[J].现代情报,2009,29(12):52-54.

[6]孙琳,贾志雷.吉林省科技文献信息服务平台宣传工作研究[J].现代情报,2008,28(9):50-52.

[7]李磊,党寒东.陕西省科技图书文献资源共享平台绩效评价体系构想与设计[J].内蒙古科技与经济,2007(8):150-151.

[8]李辉.浙江省科技文献共建共享平台研究与实践[J].情报科学,2008,26(7):1040-1045.

[9]周力青, 章昌平, 陈洁. 桂林地区工程技术文献信息共建共享模式研究[J]. 情报杂志, 2007, 26(1): 139-140.

[10]黄红华,韩海涛,李秋实,等.天津高等教育文献保障中心绩效评估指标体系初探[J].新世纪图书馆, 2009 (6):33-37.

[11]吴敏,周德明.论文献资源共享评估机制——以上海科技文献共享服务为例[J].图书馆,2007(5):24-28.

[12]彭洁,赵伟,屈宝强.基于用户视角的科技资源开放共享评价理论模型研究[J].中国科技资源导刊, 2013 (2):1-5.

Open-sharing Assessment of Scientific &Technical Literature Sharing Platform Based on Website Environment

Qu Baoqiang1, Wang Yan1, Qu Lijuan2
(1.Institute of Scientific & Technical Information of China, Beijing 100038;2. China Patent Information Center, Beijing 100088)

In order to know the situation of scientific literature sharing platform, the paper taking the province, autonomous region, city and regional scienti fi c literature sharing platform as the objects, it carries out the assessment based on the "visible, available, usable" evaluation model. The results can not only help to improvement the performance of sharing platform, but also as the reference for scientific literature sharing planning, investing etc..

network environment, science & technology literature, open access and resources sharing, assessment, BP neural network

G203

A

10.3772/j.issn.1674-1544.2014.06.009

屈宝强*（1980- ），男，中国科学技术信息研究所副研究员，研究方向：文献共享、数据共享；王艳（1975- ），女，中国科学技术信息研究所副教授，研究方向：科技信息共享；屈丽娟（1988- ），女，中国专刊信息中心工程师，研究方向：信息资源管理。

2014年3月31日。