科技创新平台绩效评估系统设计——基于熵值约束平衡计分卡模型

路文杰， 许 娜

(河北科技大学 经济管理学院，河北 石家庄 050018)

一、引言

科技创新平台对于提升区域科技创新能力和水平、加速各类科技成果转化、提高科技对经济与社会的贡献率等做出了很大的贡献。近年来，中国科技创新平台建设突飞猛进，但仍然存在着亟待解决的突出问题，如重复建设、布局不合理、运行机制不完善等。科技评估是促进科技创新平台规范和提高其管理水平的重要手段，可以更大程度地发挥科研资源的效用。因此，为提高科技创新平台运行绩效，提高创新活动效率，对科技创新平台绩效评估方法进行研究具有较强的理论和实践意义。

国外关于科技创新平台及其运行机制的研究较多，Edward B .Acworth以知识整合团体模式(Knowledge Integration Community, KIC)为例，详细剖析了这一可容纳政府、产业与大学各方合作机构的平台运行机制。[1]William H. A. Johnson对于由产业、政府机构和大学组成的合作组织促进新技术成功商业化的作用进行了探讨。[2]关于科技创新平台评价方法，国外常用的评估方法主要有定性和定量两种，其中定性方法主要包括同行评议法、德尔菲法[3]、成本—效益分析法[4]以及面访与问卷法[5]等；定量方法主要包括数据包络分析法[6]、模糊综合评价法等。[7][8]但不管是定性的评估还是定量的评估，评估过程都更侧重于评估结果的比较，而很少从科技创新企业战略管理和绩效管理的角度进行衡量。

与先进国家相比，中国现有的科技平台评估尚有较大的完善空间，评议制度和评价体系有待进一步规范。实践方面，目前国内对科技创新平台的评估主要采用专家评价法，由专家依据固定的评估指标体系及一些量化指标的完成情况进行打分，各个专家分值加总或加权排出优劣次序。理论方面，大部分学者提出了更丰富的评价指标。如田雅娟等在常用的论文数量基础上，提出了被引次数、h指数、发文期刊等质量指标并进行了深入分析。[9]许晚晴(2014)按照分类评价的原则，提出了基础研究类、应用基础研究类和政策支持类不同职责和类别的实验室两级评估指标。[10]李升泽(2014)基于利益相关者理论，使用绩效棱柱模型，选取政府、 委托管理方、中小型企业和平台技术服务人员几个关联方，建立平台绩效指标评价体系和绩效执行进度的数学计算模型。[11]李小妹(2011)指出可以借鉴公共部门平衡计分卡模型评估平台绩效，同时还分别对平衡计分卡四个维度上的具体指标体系设计进行了初步探讨。[12]有少数学者确定了层次分析法、模糊评价法等确定权重的方法。如王乾磊(2015)结合平台功能定位及其作用机制，构建了适合平台的27个绩效指标[13]，并用层次分析法确定其权重。张帆(2015)结合层次分析法(AHP)，设计制定出一套符合国家重点实验室发展战略的绩效评估指标评价体系。[14]李佳等(2018)将影响区域共享平台综合绩效的因素分为资源集成、共享服务、运行管理与合作支持等四类，基于影响因素分析构建了区域科技资源共享平台综合绩效评价指标体系,将熵权与层析分析法结合起来进行权重确定。[15]王婉娟(2016)所构建的国家重点实验室协同创新能力评价指标中，除论文、专利、获奖等常用指标外，增加了创新成果市场转化率、创新产品产值两项科研成果的市场化指标，采用模糊层次分析法确定了各级指标权重。[16]

上述文献大多数局限于利用平衡计分卡的思想或绩效的含义，仅构建出科技创新平台绩效评估指标，虽有少数提出了确定指标权重的方法，如专家评定法、层次分析法和德尔菲法等，但使用这些方法确定权重主要靠人的主观判断，除客观性稍差之外，当评价指标较多时，每个评价指标的权重差别会很小，因此按这些方法所确定的权重会不太准确。此外，由主观因素确定的权重相对稳定，无法随情况变化而灵活变动。因此，本文在国内外文献和实践基础上，首先基于平衡计分卡的理论构建了科技创新平台评估指标；其次，针对传统的专家评定法等确定权重方法造成的客观性不足的缺点，构建了基于熵值约束平衡计分卡的科技创新平台评估模型。该模型能够对四类评价维度权重做到动态赋权，不仅能够得到综合评价结果，而且可以对四个维度运算得分进行横向比较分析，以找出被评估单位的优势和劣势，并有针对性的给出建议和指导；最后设计科技创新平台评估系统，实现系统自动运算，尽最大可能为科技创新平台各级使用者提供方便。

二、模型构建

(一)评估指标体系构建

从体系结构上来讲，科技创新平台包括公共服务平台(包括科技文献信息共享平台、科学数据共享平台、大型科学仪器设备共享平台和实验动物等生物种质资源共享公共服务平台、科技投入融资平台、公共检测平台等)、科技研发平台(包括重点实验室、工程技术研究中心和产业技术研究院)、科技成果产业化平台(包括科技企业孵化器、生产力促进中心、产业基地、产权交易平台等)。不同类别科技创新平台运行管理特征不同。基于数据易得性和准确性考虑，本文以重点实验室这一典型科技创新平台为例，探讨其绩效评估实践。目前科技部开展国家及各省重点实验室的评估是根据《国家重点实验室建设与运行管理办法》和《国家重点实验室评估规则》(国科发基〔2014〕124号)所确实的指标体系和评估程序进行。该评估指标体系包括研究水平与贡献、队伍建设与人才培养，以及开放交流与运行管理三大类，每类指标皆有若干评估要点，各类指标权重分别为50%、30%、20%，见表1。

表1 国家重点实验室评估指标体系

本文在此评估指标体系及要点基础上，考虑平衡计分卡理论和目前的评估实践以及数据的可获得性，筛选出上述评估指标体系中容易定量评估且各被评估单位差异较大的部分，建立表2所示的基于平衡计分卡的科技创新平台绩效评估指标。

表2 基于平衡计分卡的科技创新平台绩效评估指标

从财务的维度来看，科技创新平台虽然不像企业一样单纯地追求经济利润的增长，但为了维护平台的正常运转，其又必须拥有可运转的资本，也要尽可能获得更多的经济效益，所以本文选择了平台所获得的各级经费资助，具体包括国家、省、市级及以下项目经费，以及依托单位拨付经费、共建单位投入经费，基本涵盖了平台的所有项目经费来源。该类指标主要从国家重点实验室评估指标体系中“开放交流与运行管理”类指标中选择其中与经费有关的指标。

从内部流程维度讲，为使国家和社会公众这些目标顾客满意，科技创新平台应当着力改进工作流程，所以本文除选择科技创新平台的支持保障因素，如固定工作人数、对外开放水平，如设置的开放课题数量、所验收鉴定的课题数量，以及学术交流等指标。该类指标主要从国家重点实验室评估指标体系中“队伍建设与人才培养”类指标中获得思路。

从顾客维度来看，科技创新平台的服务对象是国家和社会公众，其目标是如何向国家和社会公众提供他们所需的科技成果和创新服务，所以本文选择了不同形式的科技成果作为指标，如论文、专著、知识产权等，还选择平台所提供的创新服务指标，如专有技术合同转让、专利转让等。该类指标与国家重点实验室评估指标体系中“研究水平与贡献”类指标有所重合。

从学习与成长维度来看，此指标是促进科技创新平台可持续健康发展的重大推动力。只有不断培育平台科研人员良好的科研能力和科学素养，搭建好人才梯队，打下坚实的智力基础，才可以为其他维度，尤其是顾客维度，即向国家和社会公众提供更多代表性科技成果和创新服务，所以本文选择了科技创新平台所培养的博士后、博士、硕士作为代表性指标。该类指标与国家重点实验室评估指标体系中“队伍建设与人才培养”类评估要点有一致性。

(二)基于熵值约束的平衡计分卡模型

“熵”是在信息论中代表对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也就越大[17]，进一步说明该指标在综合评价中所起的作用越大，则该指标的权重越大；反之，如果信息熵值越小，则该指标的权重应该越小。

信息熵的表达式为

(1)

(1)式中，xi为第i个状态值，p(xi)为出现第i个状态的概率。

本文将熵值赋权法与平衡计分卡相结合，构建基于熵值约束的平衡计分卡模型，此模型不仅能够动态地反映评价维度之间的权重关系，而且使得基于平衡计分卡的科技创新平台绩效评估具有更强的可行性、适用性和可操作性。具体评价步骤如下。

1.计算指标值xij在第j个指标下的权重p(xij) 。

(2)

2.计算第j个指标的熵值ej。

(3)

3.计算第j个指标的差异性因数gj。对于给定的指标j，xij的差异性越小，说明指标j对于评价结果几乎不起作用，此时ej的值越大，而当xij的差异越大，ej的值越小，该指标对于最后的评价结果所起的作用越大，因此需要定义差异性因数向量。

G=(g1,g2,…,gm)，

(4)

其中，

gj=1-ej，

(5)

则当gj越大，指标越重要。

4.原始权重的调整。首先还是需要专家给出所有评价维度的初始权重，设bj为专家给出的指标原始权重，用差异性因数gj对专家组给出的权重进行调整为

aj=bi×gj,j=1,2,…,m。

(6)

经过归一化处理后，得到熵值法调整后的权重值W=(ω1,ω2,…,ωm)，其中，ωj为

(7)

5.计算平衡计分卡四个维度权重。

(8)

对平衡计分卡的四个维度：财务维度、客户维度、内部流程维度、创新学习维度按照公式(8)计算得分。四个维度的得分计算出来之后，将所有样本数据按熵值法进行统一计算，得出的综合得分即为评估结果。将评估结果和四维度运算得分进行比较分析，找出被评估单位的优势和劣势并有针对性地给出建议和指导，从而达到以评估建、以评创优的目的。

三、实证研究

选择河北省8个信息技术领域的科技创新平台的年报数据进行相关计算。按照上述数据采集说明，将河北省8个信息技术领域的科技创新平台2016年年报统计数据整理带入模型计算。在本模型中先用熵值法对河北省科技创新平台按平衡计分卡中的四个维度进行分析计算，即将所有样本从四个角度进行权重计算及比较，然后对所有样本全面进行权重计算和评估。由样本原始数据通过熵值法即公式(2)至公式(8)计算得到的四个维度的权重为(0.28,0.11，0.46,0.15)。

为了体现出熵值确定平衡计分模型权重的优势，本文将专家打分法确定权重的评价结果也同时计算出来，与本文构建的基于熵值法确定权重的平衡计分卡模型的评估结果做出比较。专家打分法确定平衡计分卡维度权重的具体过程如下：首先选取河北省内信息技术领域的15名实务专家与研究学者，以及省科技厅5名相关管理人员组成权重评估专家组,然后由评估专家给平衡计分卡的每个维度的重要性赋予一个评价分值，采取10分制评分法，最小为1分，最大为10分，分值越大维度越重要。通过专家组每位专家打分，统计得到每个维度的总得分，最后再进行归一化处理，即可确定各维度的权重，综合得到的四个维度的专家打分法的权重为(0.20,0.25,0.30,0.25)。

两种权重确定法得到的平衡计分卡评估对比结果见表3。其中每个实验室的各维度评估结果和总评估结果都有两个，第一行为熵值法确定权重得到的评估结果，第二行斜体字体的为专家打分法得到的评估结果。

表3 科技创新平台绩效评估结果

由表3的结果可以看出，两种模型得到的综合评价结果和各维度的评价结果都不同。由于专家评价法给定的四个维度的权重差别不大，因此，每个实验室的综合评价结果与各实验室在各维度上的评价结果的排序是一致的，体现不出维度的重要性的不同。而由熵值法确定维度权重的模型，由于权重的大小完全依赖于指标数据的差异，而没有任何主观因素的参与，充分体现出了各实验室在不同维度上的表现，其综合评价结果更为客观。

通过比较分析可以看出，总评估结果排名第一的单位河北省数字医疗工程重点实验室，其财务维度、客户维度均排名第一，内部流程维度排名第二， 因此对该单位的指导建议是总体运行良好，适当加强学习成长方面的建设。总排名最后一名的河北省科技信息处理实验室，其财务维度排名为最后第八、客户维度排名第五、学习与成长维度排在第三位，其内部流程维度排名靠前，为第一名，因此对该单位的指导建议是总体运行和其他单位相比较差，应加强财务维度、客户维度的建设和发展，具体指标包括项目经费的引入、高级别论文的发表及知识产权、专利的申请，但该单位内部流程维度建设较好，即其学历构成合理，验收或鉴定的科技成果及主办大型学术会议较多。

四、科技创新平台绩效评估系统设计

科技创新平台的评估工作持续时间长、任务量重，单纯依靠传统的人工统计、专家打分，费时费力而且主观因素相对较多。信息技术的发展使得开发以计算机技术、互联网技术为基础的智能化评估系统成为可能，该系统可以为科技创新平台及时有效便利地提交资料提供平台，同时也为主管部门及时高效收集信息、统计数据、智能评估提供帮助。开发智能化的评估系统可以促进管理信息化，它的应用对于科技创新平台的发展来说具有重要意义。该系统采用B/S软件体系结构，可以再根据需要进一步开发，满足后续的发展需求。系统将完全采用计算机设计系统，努力做到界面简洁、操作易懂、便于管理等。尽可能为使用者提供方便，提高使用效率。

(一)系统功能结构设计

本系统的功能从应用角度分为前台管理模块和后台管理模块两大部分。用户按照权限访问使用相应的功能模块。在权限处理上，共划分成三级权限：系统管理权限、依托单位权限、用户级权限。其中，前台管理模块主要提供注册和登陆功能，科技创新平台相关人员以用户的身份进行注册和登录，并具有查看公告、下载相应文件、数据填报(录入数据、修改数据、随时保存数据)、提交附件资料等基本的用户级权限；依托单位具有附件下载、数据审核等权限；后台管理模块供科技创新平台的主管单位使用，其功能主要是收集并存储科技创新平台所提交的资料，提取相关平衡计分所需指标卡数据，对这些资料进行分析统计，给出审核意见，将熵值法嵌入，并根据平衡计分卡和熵值法原理建立评估模型，给出评估结果。

在数据库设计中，以分布式数据库为核心，前台管理模块收集信息，后台审核通过后存入数据库，评估模块从数据库中提取数据并进行整理，为用户提供检索、更新、模型运行等。在系统实施时选用PHP进行页面开发，同时辅助采用其他前端脚本语言进行页面布局与控制。功能模块结构如图1所示。

图1 前台管理功能模块结构图和后台管理功能模块结构图

(二)前台管理功能模块设计和数据库设计

前台的功能模块中的注册登录功能可以用PHP实现，也可以采用其他页面前端开发工具，如JQuery实现。

其中用户注册主要功能有：一是注册信息表单填写界面 JavaScript 脚本初步检测用户输入的注册信息。二是注册处理模块检测注册信息是否符合要求，检测用户名是否已存在。三是将注册信息写入数据表，注册成功。

用户注册程序流程图如图2所示。

建表 SQL如图3所示。

图2 注册功能程序流程图

图3 SQL 参考图

(三)后台管理功能模块设计与实施

智能评估平台的关键功能是数据运算与评估，在该模块中，首先提取数据库中的指标数据，采用平衡计分卡方法对指标数据进行四维度分类，对每一类指标数据采用熵值法计算权重，并自动计算出各维度的评估结果和系统评价结果，使得管理者和被评估单位清晰地看出综合评价排名及各维度评估排名，进而明确自己的优势与劣势。

(四)系统仿真与测试

选取本文第四部分实证分析中的信息类重点实验室2016年提交的8组评估数据进行仿真测试，并对测试结果进行分析。各维评估结果系统测试均可直接按照从大到小的顺序给出，如图4的学习与成长维度结果，其他维度结果不再一一列出。综合评估结果如图5所示，与表3中的结果一致。据此，该智能评估平台既对所有参与评估的单位作出有效排名，同时也可以指出每个单位的相对优势及相对劣势，从而为其长远发展提供指导和建议。

图4 学习与成长维度评估结果

图5 总评估结果

五、研究结论

本文采取平衡计分卡的方法确定了科技创新平台的评价指标体系，并构建了基于熵值约束平衡计分卡的科技创新平台系统评估模型，对河北省信息领域的重点实验室进行了实证研究。该评价系统能够对平衡计分卡的四个评价维度指标权重做到动态赋权，提高了评价结果的可靠性和真实性，而且具有可操作性。从实证分析结果可以看出，将熵值法引入平衡计分卡的权重计算过程中，使得四个维度的权重值可以随实测数据而动态改变，降低了权重的主观性，提高了综合评价结果的客观性。基于B/S软件体系建立的创新平台评估信息系统，实现了评估过程的自动运算。