国家科技报告服务系统用户满意度评价体系研究

何文珍　赵 捷

（中国科学技术信息研究所，北京　100038）

国家科技报告服务系统用户满意度评价体系研究

何文珍赵 捷

（中国科学技术信息研究所，北京100038）

结合国内外学者对用户满意度的研究，利用层次分析法设计国家科技报告服务系统用户满意度评价指标体系，利用Expert Choice 软件科学计算各指标相对于总目标的权重，并利用问卷调查法调查判断用户对国家科技报告服务系统的满意度。在此基础上，对提高国家科技报告服务系统的用户满意度提出改进建议。

国家科技报告服务系统；层次分析法；用户满意度；评价指标体系

1　引言

科技报告是描述科研活动的过程、进展和结果，并按照规定格式撰写的特种文献，包括科研活动的过程管理报告和描述科研细节的专题研究报告。世界上许多国家建立了比较完善的科技报告制度，尤其是美国最为完善，已经建立包括国防部的AD报告、商务部的PB报告、国家航空航天局的NASA报告和能源部的DE报告在内的四大科技报告体系的国家科技报告制度，有利于加强各类科技计划协调衔接、避免科技项目重复部署，有利于广大科研人员共享科研成果、提高国家科技投入效益，有利于社会公众了解科技进展，促进科技成果转化应用［1］。

我国在1984年就初步建立国防科技报告体系，近年来我国在民口也正在建立统一的科技报告制度，已经积累国家和地方两个层面的科技报告。受国家科技部的委托，中国科学技术信息研究所承担建设了国家科技报告服务系统，并于2014年3月1日正式上线运行，目前共有4万多份科技报告对外服务，受到社会各界的广泛关注。但是，用户对该系统是否满意？满意度如何？所谓“用户满意度”是由经济学上的顾客满意度衍生而来，已被应用于各行各业对产品、服务和工作绩效的质量评价中，成为衡量服务质量好坏的重要指标，也是相关行业发现问题、改进服务的重要手段［2］。自20世纪70年代开展用户满意度研究以来，国外学者对用户满意度的研究主要集中在传统服务行业、互联网网站质量、信息服务质量等方面［3］。

国内学者在用户满意度的研究上主要集中在图书馆［4-6］、电子商务网站［7］、学术网站［8］、政府门户网站［9］、科技文献平台［10］等领域。

目前，最具代表性的用户满意度理论是由Fornell等人提出的”美国顾客满意度指数”模型（ACSI），很多学者在该模型的基础上建立了相应的用户满意度评价指标体系。例如：甘利人等从顾客期望、顾客对质量的感知、顾客对价值的感知、顾客满意度、顾客抱怨、顾客忠诚等6个方面构建的我国四大数据库网站用户满意度评价指标体系［11］；武京安设计的评价武汉市政府门户网站的评价指标体系［9］。本文设计了国家科技报告服务系统用户满意度评价指标体系，并对其实用性和有效性进行了问卷调查，从而确定了用户对该服务系统的总体满意度评价，并在此基础上提出了改进建议。

2　评价目标

本文本着科学性、实用性、客观性和可操作性的原则来确定对国家科技报告服务系统进行评价的目标。

对注册用户的电话访问表明，用户除了比较关注系统整体性能外，更加重视系统提供科技报告的质量，关注系统的检索、浏览、全文推送、服务方式、易用性等。因此，结合系统自身的特点，从系统整体性能、检索功能、网站易用性和资源4个方面来实现以下目标。

（1）提高系统性能。系统的性能包括系统的稳定性、系统的运行速度等，系统的性能直接关系到用户使用系统的直接感受。对系统整体性能进行评价，有助于发现系统性能存在的问题。

（2）改进检索功能。用户浏览科技报告必须在系统上进行相关检索，检索功能的完备性、可靠性及检索结果的全面性等与国家科技报告服务系统提供科技报告开放共享服务的质量息息相关。对系统的检索功能进行评价，有助于发现目前系统检索功能存在的不足。

（3）改善网站易用性。网站易用性是指用户在使用系统时的方便性，包括网站的帮助服务、用户注册、登录、界面友好性等。从用户的角度对网站的易用性进行评价，能及时了解当前系统的界面设计是否合理。

（4）充分发挥特色服务。科技报告的开放共享是国家科技报告服务系统提供的特色服务，调查用户对资源的权威性、更新的时效性及内容的完整性等的评价，有利于发现不足，及时做出调整，从而充分发挥系统的特色服务。

3　评价指标与权重

根据层次分析法，评价指标体系共分3个层次：目标层、准则层和指标层。评价指标集的设计则主要包括：准则层指标和指标层指标的设计。根据评价目标，结合用户对系统关注的重点与系统的实际情况，选取系统整体性能、检索功能、网站易用性和资源内容质量4个维度作为评价指标体系的准则层。然后，细化各准则层的指标，选取指标层各指标：系统的整体性能从稳定性和运行速度来评价，检索功能从检索页面易用性、检索方式完备性、检索结果全面性和可靠性来评价，网站易用性从界面、注册、反馈处理、网站帮助以及全文推送5个方面进行评价，资源内容质量从权威性、更新时效性、分类合理性和内容完整性4个方面进行评价。指标体系的各级具体评价指标及指标含义如表1所示。

评价指标体系3个层次的具体涵义如下。

（1）目标层是用户对国家科技报告服务系统的满意度评价，表示实施评价的总目标。

（2）准则层是为了实现目标而建立的一套判断准则。本文将从国家科技报告服务系统的4个维度进行评价，即系统整体性能、检索功能、网站易用性、资源内容质量，从不同角度概括了系统的各个方面。

（3）指标层也称为措施层，是实现目标、解决问题可供选择的各种决策、措施、方案等，即对国家科技报告服务系统进行评价的具体评价指标。本文共设有15个三级评价指标。

评价指标权重的确定系借鉴层次分析法中指标权重的确定方法，对于国家科技报告服务系统用户满意度的总目标（A），采用问卷方式调查用户对评价指标体系中准则层和指标层各指标重要程度的感知，对感知度进行量化，要求用户对每个指标重要程度从1-9进行感知评价，共分为5个等级，其中，9表示极其重要，7-8表示非常重要，5-6表示一般重要，3-4表示不太重要，1-2表示不重要。对收集数据进行必要处理后，对准则层（B）中各指标的相对重要性进行两两比较，构造该级别判断矩阵A-B（表2）。判断矩阵中的元素bij，表示指标Bi对指标Bj的相对重要性值，这里采用T.L.Satty提出的1-9级比例标度法（表3）来衡量指标间的相对重要性。根据建立的判断矩阵，利用Expert Choice软件计算出准则层B1、B2、B3、B4相对于总目标A的权重为V=｛V1，V2，V3，V4｝。

同样，对准则层的4个指标B1、B2、B3、B4的下一级（C层）各指标，采用同样的方法分别构造判断矩阵B1-C、B2-C、B3-C、B4-C、同样计算出指标层各指标相对于各自准则层指标的权重Ci。然后通过公式

计算得出指标层各因素相对于总目标的相对权重的总的排序W。

4　实证研究

基于已设计的调查问卷，对用户进行问卷调查来验证设计的评价指标体系的实用性和有效性。

表1　国家科技报告服务系统用户满意度评价指标体系

表2　准则层各指标的判断矩阵

表3　1-9级比例标度及其含义

4.1问卷调查

选取国家科技报告服务系统的注册用户作为调查对象，调查用户对评价指标体系中准则层和指标层各指标相对重要性的感知程度。同时，调查用户对指标层各指标的满意度评分，这里采用5级评分标准（5分为最高分，1分为最低分），其测试评语集为：S=｛5，4，3，2，1｝=｛非常满意，比较满意，一般满意，不太满意，非常不满意｝。

本研究采用邮件的方式随机向注册用户发放调查问卷100份，共回收有效问卷80份，回收率为80%。通过对回收的调查问卷进行统计分析发现，本科学历用户占32.5%，硕士学历用户占50%，博士及以上学历用户占17.5%。其中管理学占61.25%，工科占27.5%，理科占5%，其他专业占6.25%。选取注册用户为调查对象，使分析结果更具有说服力。随机选取不同学历层次、不同专业用户填写调查问卷，有效确保了调查得到的数据的可靠性与随机性。

4.2评价指标权重的确定

利用回收的调查问卷中各个指标的调查数据，求出各指标重要度均值，然后对指标层相对于同一准则的各指标进行两两比较，得出其相对重要性的比值，分别构造判断矩阵，并利用Expert Choice 软件计算各指标相对于上一层准则的权重。最后利用公式计算得出指标层（C）各评价指标相对于总目标（A）的相对重要性之总排序W（表4）。

表4　指标相对于评价总指标的权重总排序

4.3一致性检验

为了保证指标的合理性，在使用软件Expert Choice 进行特征值的计算时对指标进行一致性检验，检验结果是所有判断矩阵的一致性指标C.I均≤0.1，所有指标判断矩阵均通过了一致性检验，说明研究结果具有统计学意义，同时表明该评价指标体系是可行的。

4.4问卷结果

对回收问卷数据进行整理后，以柱形图显示各指标重要度感知等级评价人数占总人数的百分比（图1）。从图1可以看出，约80%用户认为界面友好性、系统稳定性以及系统运行速度都是非常重要的，50%以上的用户认为检索结果可靠性和资源权威性是极其重要的，认为系统检索功能是非常重要和极其重要的用户占80%以上；绝大多数人认为注册是否方便和网站对用户反馈处理是否及时不是很重要，对这2个指标的重要度感知评价在6及其以下的用户占40%以上。

对回收的问卷按照不同学科的用户进行划分，分别计算各学科用户对评价指标满意度评分的平均值，以柱形图展现（图2）。从图2可以看出，各学科用户对系统性能和资源内容质量相对比较满意，对系统网站帮助服务相对不太满意。其中，用户对系统检索页面的易用性、网站对用户反馈处理的时效性以及科技报告全文传递的便捷性不太满意，评价平均分都在3分以下。

图1　各指标重要度感知等级评价人数占全部人数的百分比

图2　不同学科及全部用户对各指标的满意度评分平均值

将回收的调查问卷中各指标满意度评分的平均值，记为Si；总体满意度评分记为S。利用公式求出用户对国家科技报告服务系统的总体满意度评分为4.12，处于一般满意与比较满意之间。如果按照100分制来计算，则总满意度评价得分为82.4分。说明用户对国家科技报告服务系统比较满意。

5　结论与建议

（1）用户大都比较关注国家科技报告服务系统的整体性能。其中，界面友好性、系统稳定性、系统运行速度直接关系到用户使用系统的心情以及用户是否会继续使用系统的忠诚度，直接影响到用户对服务系统的满意度。因而需要进一步提高系统整体性能。

（2）很多用户反应找不到国家科技报告服务系统的检索窗口。系统对用户设有3种访问身份：社会公众、专业人员、管理人员，用户必须选择一种身份点击进去才能看到检索窗口，导致用户对检索页面易用性评分比较低。虽然，国家科技报告服务系统网站上的“帮助服务”对系统各种操作都有详细说明，但是很少有用户在使用系统前会仔细了解这些帮助信息。因此，有必要将检索窗口置于明显位置，提高检索页面易用性。

（3）目前，服务系统还不能像其他购物网站那样可以在线询问，很多用户不愿意打电话或者认为发邮件太过麻烦，系统需要进一步完善反馈机制，建议建立国家科技报告服务系统的交流平台，及时接收用户反馈的意见，使用户及时了解系统最新发展动态。

（4）科技报告作为一种科技文献，侧重描述整个研究过程中的技术环节，有严格的密级划分和限制使用范围。因为要确保科技报告的安全使用，所以用户不能像其他相关网站那样随便下载全文，只能通过向作者本人发送请求或者获取阅点才能获取到全文。系统应尽可能完善科技报告全文传递的收费服务功能。

此外，本文提出的国家科技报告服务系统运行状况的评价指标体系尚不够完善，问卷调查的对象不够全面，样本量不够大，收集的数据也不够充分。因此，对国家科技报告服务系统的总体评价，有待在今后的研究中进一步探讨强化。

［1］关于加快建立国家科技报告制度的指导意见［EB/OL］. ［2014-09-11］.http://www.nstrs.org.cn/Admin/Content/ArtileDetails.aspx？arid=4685&type=1.

［2］李浩凌，肖珑，徐成，等.用户满意度调查法在数字资源评估中的运用［J］.大学图书馆学报，2007，25（1）:41-46.

［3］莫祖英，马费成.数据库信息资源内容质量用户满意度模型及实证研究［J］.中国图书馆学报， 2013，39（2）:85-97.

［4］任红娟，赵伯兴.论图书馆用户满意度评价体系的建构［J］.图书馆理论与实践，2006（3）:4-6.

［5］李雪萍，冯凯.基于神经网络的图书馆服务用户满意度评价体系［J］.情报杂志，2006，25（3）:87-88.

［6］杜湘.基于模糊综合评价模型的图书馆用户满意度评估方法研究［J］.情报探索，2011（5）:26-28.

［7］顾立培，邢宝君.团购导航网站用户满意度研究［J］.现代情报，2014，34（6）:160-165.

［8］刘友华，戚爱华，杜佳，等.学术网站评价指标体系的构建与应用［J］.情报科学，2008，26（1）:64-68.

［9］武京安.武汉市政府门户网站用户满意度研究［D］.武汉:华中科技大学，2012.

［10］吴晓丹，吉久明.科技文献平台用户满意度灰色模糊综合评价研究［J］.数字图书馆论坛，2009（5）:45-49.

［11］甘利人，马彪，李岳蒙，等.我国四大数据库网站用户满意度评价研究［J］.情报学报，2004，23（5）:524-530.

Research of Customer Satisfaction Evaluation System to the National Science and Technology Reporting Services System

He Wenzhen， Zhao Jie
（Institute of Scientifc and Technical Information of China， Beijing 100038）

On the basis of the combination of foreign and domestic scholars research on customer satisfaction，using AHP design an evaluation indicator system about customer satisfaction to the National Science and Technology Reporting Service System. Using software Expert Choice calculate the weight of every index to the overall goal. Using questionnaire survey customer satisfaction to the National Science and Technology Reporting Service System and then determine customer's overall satisfaction evaluation to the current service system. Finally， putting forward several suggestions for improving customer satisfaction to the National Science and Technology Reporting Service System.

National Science and Technology Reporting Service System， AHP， customer satisfaction， evaluation indicator system

G203

A DOI：10.3772/j.issn.1674-1544.2015.05.003

何文珍（1990-），女，中国科学技术信息研究所硕士研究生，研究方向：数据分析与挖掘；赵捷（1959-）；男，中国科学技术信息研究所信息资源中心副主任，研究馆员，硕士生导师，研究方向：数据挖掘与知识服务。

中国科学技术信息研究所承担项目“科技报告试点工作和服务系统建设”（2014KJBG-01）。

2015年6月19日。