基于用户导向的公共科技服务平台绩效评价指标体系构建

赵建强，刘 梅

(河北经贸大学 公共管理学院，河北 石家庄 050061)

基于用户导向的公共科技服务平台绩效评价指标体系构建

赵建强，刘 梅

(河北经贸大学 公共管理学院，河北 石家庄 050061)

随着我国创新驱动发展战略的实施，自主创新水平已成为影响国家和区域发展的主导因素，而公共科技服务平台建设则是提升自主创新能力的重要载体和支撑。从用户需求角度出发，对平台服务绩效的形成机制进行分析，针对公共科技服务平台发展与管理的实际需要，运用德尔菲法和层次分析法，从科技资源、服务能力和服务成效三个方面构建了指标体系，旨在为公共科技服务平台绩效评价提供科学依据和理论支持，同时也为相关平台建设提供借鉴。

用户导向；服务平台；指标体系

公共科技服务平台作为一种新兴的经济社会组织形式，对促进区域科技资源共享，提高其配置和综合利用效率，提升区域科技创新能力具有重大战略意义。中央政府对此高度重视，先后出台一系列文件，如《2004—2010年国家科技基础条件平台建设纲要》和《国家中长期科学和技术发展规划纲要(2006—2020年)》等，大力推动科技服务平台建设。在中央政策引导下，各省市纷纷加快了公共科技服务平台的建设步伐，科技服务平台建设已经成为各地落实“十三五”规划发展理念的重要抓手。为推动科技服务平台建设工作，需要对其建设与运行开展科学评价，为此科学合理的评价指标体系的设计和开发就尤为必要和迫切了。因此，本文在前人研究基础上探索基于用户导向的公共科技服务平台的评价指标体系的优化。

一、文献回顾

鉴于公共科技服务平台建设与运行对于国家和地方发展的战略意义，近年来部分学者对公共科技服务平台评估指标设计以及评价方法进行了探索。李磊和党寒东(2007)[1]构建了由服务态度、服务能力和业绩三部分构成的绩效评价指标体系对陕西省科技文献资源共享平台绩效进行评价。任勇旗等(2008)[2]设计了包括总体功能评价、技术水平评价、资源共享评价和服务水平评价这四方面的绩效评价指标体系对信息资源共享平台进行综合评价。刘英杰(2009)[3]选取项目目标完成指标、项目实施效果指标、项目资金控制指标,初步构建了国家自然科技资源共享平台项目绩效评价指标体系。王琼辉(2009)[4]提出了上海研发公共服务平台综合评价指标体系，涉及服务能力指标、服务内容指标、资源集聚能力指标3个二级指标以及12个三级指标，对上海研发公共服务平台这一复杂的系统进行绩效评价。史敏(2010)[5]从服务价值的角度对科技信息公共服务进行绩效评价研究。兰文燕(2011)[6]对浙江省新药创制科技服务平台进行了分析评价，设计的评价指标体系包括科技创新能力、科技创新服务、管理水平和平台共建单位促进等 4 个一级指标。王斌(2014)[7]运用平衡计分卡的方法设计出一套由6个子系统52个指标组成的评价指标体系，对黑龙江科技创新创业共享服务平台的绩效进行评估。沈国际、王新峰(2008)[8]等运用集对分析的方法对高校科研公共服务平台绩效进行评价研究。王嘉鋆(2009)[9]选择目前学术界较为先进科学的评价工具——支持向量机作为评价工具，对科技公共服务平台的满意度进行评价。

现有评估指标体系多侧重通过对公共科技服务平台资源占有水平测量，反映其公共科技服务供给能力大小，忽视了对需求方服务效果的关注。因此将从用户需求的角度分析公共科技服务平台绩效产生机制，并以此为基础设计公共科技服务平台的评估指标体系，为公共科技服务平台以及管理部门提供借鉴和参考。

二、公共科技服务平台绩效形成机制

(一)科技资源是公共科技服务平台的基础

科技服务平台运行必须依托充足的科技资源，科技资源是服务平台竞争力的重要保障，是服务平台能力建设的基本前提和条件。平台只有不断扩大科技资源规模，提高科技资源质量才能持续满足用户多样化的需求。在科技资源的构成要素中人力资源、物力资源、财力资源都是必不可少的因素。人力资源是公共科技服务平台提供服务的主体，各职位人员配备比例、学历以及职称的高低都属于人力资源的范畴；物力资源主要是指数据库的数量、数据库信息涉及的领域、信息资源更新频率等；财力资源主要指平台硬件设施的资金投入、购买数据库的资金投入和人员培训费用等。

(二)服务能力是公共科技服务平台的核心

服务能力指的是公共科技服务平台提供各种服务的能力和程度，一般被看作是平台为社会提供服务的最大产出率。服务能力是衡量一个平台为社会创造价值大小的能力，如果平台能够最大限度的满足企业、科研院所、产业所需要的服务条件，那么平台就具有较强的服务能力，相反则服务能力较弱。衡量一个平台服务能力的大小主要看它提供服务的便捷性、有效性和影响力等，这是公共科技服务平台运行的核心。

(三)服务成效是公共科技服务平台的目的

服务成效是指公共科技服务平台通过提供各种科技服务对企业、科研院所、高校等组织单位产生的影响和结果。公共科技服务平台的服务绩效更多的是关注公共部门与社会、公众的关系。服务成效的一个重要标准就是客户满意度，它是指客户期望值与客户体验的匹配程度，反映了公共科技服务平台的服务效果。通过对客户满意度进行了解可以清楚的知道用户的需求以及客户对平台的意见或建议，为平台改进提供重要参考。用户访问量作为服务成效的评价指标，也是重要的考虑因素，它从侧面反映出用户对平台的关注度以及对信息的需求程度。客户满意度和用户访问量都是平台运行的结果指标，为平台的建设和运行提供重要参考。平台的绩效形成机制可用图1表示。

图1 绩效形成机制

三、平台绩效评价指标体系设计

(一)评价指标体系设计原则

1.围绕平台绩效形成机制原则

平台绩效形成机制是指标体系设计的重要依据，根据绩效形成机制中各个因素之间的相互作用来设计指标体系，把平台绩效形成机制与指标体系联系起来，形成一个密不可分的体系。

2.理论性与实用性相结合原则

平台绩效评价指标体系的设计从理论上考虑，应该能够对公共科技服务平台绩效评价指标体系进行丰富和完善；从实用性考虑，应该结合平台具体运作情况对指标体系进行设计，指标能够对平台评价具有实用性。

3.通用性与特殊性相结合原则

在对评价指标进行选取时既要考虑到指标的通用性，又要考虑到所研究平台的特殊性，根据平台运行机制设计评价指标，以求保证指标的合理性和客观性。

4.用户导向性原则

公共科技服务平台建设应以用户需求为导向，根据用户的实际需求设计平台指标体系。

(二)评价指标筛选

1.指标初选

对平台绩效评估指标体系进行初选时二级指标和三级指标参考了张日鹏、王斌、赵萌等人设计的指标体系，并对这些指标进行整合，在此基础上又增加了部分指标。具体内容详见表1、表2。

表1 借鉴指标和新增指标表

姓名年份借鉴指标新增指标张日鹏2011人力资源、物力资源、财力资源科技资源、服务能力、服务成效王嘉鋆2009拥有足够数量的专业人员、拥有高素质人才、使用者能够简单、快捷进行在线申请、提供所需表格、政策文件的下载路径、提供服务指南高级职称人员所占比重、数据库数量、数据库信息涉及领域、信息更新频率、平台硬件设施的资金投入、购买数据库的资金投入、人员培训和管理费用、提供文献检索、查新服务、网页中包含平台信息数量王斌,赵萌2014硕士以上学历员工比重在线服务、服务影响力、服务效果王宏起,王雪2015用户需求满足率网站访问量、页面感知度

表2 公共科技服务平台绩效评价指标体系

一级指标二级指标三级指标科技资源人力资源拥有足够数量的专业人员硕士以上学历员工比重高级职称人员所占比重服务人员具备较高的专业素质物力资源数据库数量数据库信息涉及领域信息更新频率财力资源平台硬件设施的资金投入购买数据库的资金投入人员培训和管理费用服务能力在线服务文献检索、查新服务所需时间在线申请所需时间提供政策文件下载途径提供服务指南服务影响力网页中包含平台信息数量服务成效服务效果用户满意度网站访问量页面感知度

2.指标筛选

(1)指标评价。在按照科技资源、服务能力、服务成效三个一级指标初步确立评价指标的内容后，建构专家意见咨询问卷，依靠专家的专业知识与丰富的实务经验,予以意见指导。在专家意见咨询问卷中,对每项初步确立的指标内容设置“得分”项，采用德尔菲法邀请专家进行评分。本次调查对12位专家发放了调查问卷(其中：高等院校从事科技管理相关专业教学与科研的教授6名、公共科技服务平台管理者6名)。经过三轮打分，专家基本形成一致意见，将12位专家的评分求平均值后得到表3的结果。

(2)最终确定的指标。本次调查问卷将剔除或修正得分小于7分的指标。在充分吸取专家所提出的书面意见和建议的基础上，经过三轮打分对初选指标体系进行修订:第一，将三级指标中“拥有足够数量的专业人员”改为“各职位人员比例相对均衡”(因“足够”这一程度无法衡量)；第二，根据专家意见删除“服务人员具备较高的专业素质”；第三，将三级指标中的“人员培训和管理费用”改为“人员培训费用”(因管理费用的多少无法判别服务的好坏)；第四，将“在线服务”这一指标改为“服务的时效性”“服务的便捷性”和“服务的影响力”(因在线服务不能完整准确地概括所有的服务能力)；第五，将三级指标中“页面感知度”去掉(因页面感知度太具主观性，不容易判断)。

(三)指标权重的确定

采用层次分析法对指标进行赋权，根据同一层次两指标的重要程度进行打分，指标的重要程度分9个等级，其中标度1、3、5、7、9分别对应同等重要、稍重要、明显重要、强烈重要、极端重要，2、4、6、8介于上述两个相邻等级之间，1/2,1/3，1/5，…,1/9表示两因素之间重要性地位互换。本次调查对15位专家发放了调查问卷(其中：公共科技服务平台管理者5名，平台使用企业和公众5名，从事科技公共服务平台研究相关学者5名)，问卷全部收回，其中有效问卷12份，无效问卷3份。

12份有效问卷的总体判断矩阵一致性比率如表4所示，各级指标CR值都小于0.10，通过一致性检验，因此保留问卷。3份无效问卷判断矩阵一致性比率如表5所示，除二级指标判断矩阵服务成效CR值小于0.10外，其他指标判断矩阵CR值全部大于0.10，未能通过一致性检验，因此将问卷剔除。

表3 公共科技服务平台各级指标得分

一级指标得分二级指标得分三级指标得分科技资源8.0000人力资源7.7500拥有足够数量的专业人员6.9167硕士以上学历员工比重7.2500高级职称人员所占比重7.3330服务人员具备较高的专业素质6.8833物力资源8.1667数据库数量8.1667数据库信息涉及领域8.2500信息更新频率8.2500财力资源7.6667平台硬件设施的资金投入7.7500购买数据库的资金投入7.8333人员培训和管理费用6.7500服务能力8.2500在线服务8.1667文献检索、查新所需时间8.6667在线申请所需时间8.1667提供政策文件下载途径8.2500提供服务指南7.3333服务影响力8.0000网页中包含平台信息数量8.4167服务成效8.1667服务效果8.0000用户满意度8.4167网站访问量7.6667页面感知度6.9667

表4 有效问卷判断矩阵的一致性比率

最大特征值CRCI一级指标判断矩阵3.0150.0280.000科技资源二级指标判断矩阵3.0220.0140.000服务能力二级指标判断矩阵3.2610.0010.000服务成效二级指标判断矩阵0.0000.0000.000

将保留的12份有效问卷结果进行平均得到一级指标和二级指标的权重，通过同一层次指标进行平均得到三级指标权重，详见表6。

表5 无效问卷判断矩阵的一致性比率

第一份CR值第二份CR值第三份CR值一级指标判断矩阵0.1890.2601.990科技资源二级指标判断矩阵1.1422.1350.538服务能力二级指标判断矩阵0.1170.1191.841服务成效二级指标判断矩阵0.0000.0000.000

用户满意度、网站访问量、网页中包含平台信息数量、数据库数量、数据库信息涉及领域、信息资源更新频率的权重分别为0.13、0.13、0.084、0.066、0.066、0.066，其中用户满意度和网站访问量权重最高，说明用户满意度和网站访问量对公共科技服务平台的绩效影响最大，其次是网页中包含平台信息数量。

四、结论

之前学者设计的公共科技服务平台绩效评价指标体系多基于过程或结果导向，忽略了用户需求，使评价不够客观。从用户需求的角度分析了公共科技服务平台绩效产生机制，构建了以用户需求为导向的公共科技服务平台指标体系，不仅为指标体系的设计提供了一个新的视角，增加评价的合理性和客观性，而且有利于科技管理部门掌握平台服务状态，为平台发展战略的制定与选择提供科学依据。

表6 公共科技服务平台各级指标权重表

一级指标权重二级指标权重三级指标权重总合成权重科技资源0.517人力资源0.331各职位人员比例相对均衡0.3330.057硕士以上学历员工比重0.3330.057高级职称人员所占比重0.3330.057物力资源0.382数据库数量0.3330.066数据库信息涉及领域0.3330.066信息资源更新频率0.3330.066财力资源0.286平台硬件设施的资金投入0.3330.046购买数据库的资金投入0.3330.046人员培训费用0.3330.046服务能力0.225服务的时效性0.278文献检索、查新所需时间0.5000.031进行在线申请所需时间0.5000.031服务的便捷性0.343提供政策文件下载途径0.5000.039提供服务指南0.5000.039服务的影响力0.372网页中包含平台信息数量1.0000.084服务成效0.259服务效果1.000用户满意度0.5000.130网站访问量0.5000.130

〔1〕 李磊,党寒冬.陕西省科技图书文献资源共享平台绩效评估体系的构想与设计[J].图书馆论丛,2007(2):42-44.

〔2〕 任勇旗,唐毅,刘召栋.信息资源共享平台评价分析[J].科技情报开发与经济,2008(19):69-71.

〔3〕 刘英杰,方平.国家自然科技资源共享平台项目绩效评价指标体系构建研究[J].中国科技资源导刊,2009(3):58-61.

〔4〕 王琼辉,刘杰.上海研发公共服务平台绩效AHP评价指标体系研究[J].上海商学院学报,2009(1): 87-89.

〔5〕 史敏,肖雪葵.科技信息公共服务绩效评价研究[J].中国科技论坛,2010(2):21-22.

〔6〕 兰文燕.浙江省公共科技创新服务平台的绩效评估研究[J]. 经济与管理科学辑,2011(S1):36-39.

〔7〕 王斌.基于平衡计分卡的黑龙江科技创新创业共享服务平台绩效评价指标体系研究[J].哲学与管理学研究,2014(1):24-26.

〔8〕 沈国际,王新峰,孙智信,等.基于集对分析的高校科研公共服务平台绩效评价研究[J].科技管理研究,2008(12):225-227.

〔9〕 王嘉鋆.基于支持向量机的科技公共服务平台满意度评价研究——以青岛市10家科技创新公共服务平台为例[D].青岛：青岛科技大学,2009:34-58.

(责任编辑 吴 星)

Construction of Performance Evaluation Index System of Public Scientific and Technological Service Platform Based on User Oriented

ZHAO Jian-qiang, LIU Mei

(Hebei University of Economics and Business, Shijiazhuang, Hebei 050061)

Along with the implementation of the strategy of developing China's innovation drive, independent innovation has become the dominant factor affecting the development of countries and regions, and public service platform construction of science and technology is the important carrier of the capability of independent innovation and support ascension. From the perspective of user needs, this article analyzes the formation mechanism of platform service performance. In view of the development and management of the actual need of public service platform of science and technology, using the Delphi method and analytic hierarchy process (AHP) to measure the screening and empowerment, this article constructs an evaluation index system including scientific and technological resources, service ability and service effectiveness, in order to provide theoretical support and reference for the performance evaluation of public service platform of science and technology and construction.

user oriented; service platform; index system

10.13937/j.cnki.sjzjjxyxb.2016.06.011

2016-11-05

http://www.cnki.net/kcms/doi/10.13937/j.cnki.sjzjjxyxb.2016.06.011.html < class="emphasis_bold">网络出版时间

时间：2016-12-20 15：30

河北省软科学项目“河北省创新支持政策驱动效应与优化路径”(14456233D)。

赵建强(1970—)，男，河北唐县人，河北经贸大学公共管理学院教授，硕士生导师，主要研究方向为区域创新与发展。

C93

A

1007-6875(2016)06-0067-05