科研仪器平台的运行效率评价:两阶段数据包络分析视角

2021-07-19 07:21王肖波
科技管理研究 2021年12期
关键词:仪器样本效率

王肖波,汪 健,赵 莉

(1.中国科学院西北生态环境资源研究院,甘肃兰州 730000;2.中国科学院地质与地球物理研究所,北京 100029;3.中国科学院新疆生态与地理研究所公共技术服务中心,新疆乌鲁木齐 830011)

1 研究背景

科研仪器设备是科技创新的前提[1],科技创新活动离不开稳定运行科研仪器设备的支撑平台[2]。近年来,科研仪器平台的运行管理不仅是科技人员和相关用户关心的热点,也是国家和相关管理部门关注的重点[3]。一方面科研仪器设备的购置资金大多来自政府财政经费支持,另一方面科研仪器设备也是科学研究、技术研发以及信息时代所需信息和数据的来源[1]。国家和相关部门要求科研仪器平台的运行管理,在专业性之外体现公共科技资源的社会性和经济性,有利于提升科研仪器的综合效益[3]。在科研仪器设备运行和管理的过程之中,一个通常被忽略的重要环节是科研仪器设备支撑科技创新的运行效率,因此,开展科研仪器平台运行效率评价的研究对国家和科研仪器平台都至关重要。

通行的科研仪器平台评价框架大多基于层次分析法(AHP)设计,即以仪器设备机时利用为基础,兼顾人才培养、科研成果、服务收入和功能开发等方面的情况,如张学成等[4]对科研仪器利用情况进行综合评价;此外,通过建立有针对性的指标体系开展绩效评价也较为流行,如Daraio 等[5]对高校排名开展研究,桑伟泉等[6]对科研机构科技创新能力、吴斌等[7]对大型科研仪器共享服务绩效等开展评价研究。上述两类评价方法操作灵活度高、导向性明显。为避免评价过程中主观因素的作用,有学者采用数据包络分析(data envelopment analysis,DEA)开展评价研究,如王宏达等[8]评价高校仪器利用效率,梅洪常等[9]评价装备制造业的技术创新效率。自Charnes 等[10]之后,DEA 作为一种非参数有效前沿估算法,被广泛用于相同投入产出组织机构之间转换效率的比较,如Fan 等[11]通过对40 个国家级工业园区的生态效率进行评价,介绍了DEA 方法应用对促进工业园区可持续发展的作用;关忠诚等[12]以中科院40 个研究所的科研人员数、总经费支出和科研仪器设备总额对应的“人财物”作为投入,以科研创新产出、竞争能力和毕业研究生数为产出,验证了DEA 方法在科研组织管理工作中的效用;而王晓珍等[13]指出效率评价受到研究对象时空和类型异质性的显著影响。这说明开展DEA 研究应同时注重研究对象的动态性过程和对象之间的可比性。为满足研究需要,两阶段DEA 方法将整个生产过程效率健全地分解为两个子过程效率的乘积,令一个复杂生产过程得以简化为两个串联系统[14],如商业银行运行过程包括吸收存款的经营过程和发放贷款的营销过程[15],或酒店管理中常规营运的生产服务过程和以实现利润为目的的服务消费过程[16]。科研仪器平台的运行过程也可分为日常运行和支撑服务两个阶段。此时,由不同时期DEA 效率计算的Malmquist 生产效率指数(MI)可用于测度全要素生产率的增长率[17],以实现效率评价中动态性过程的诊断。

但开展DEA 效率评价的关键是指标设置,如若在科研仪器设备利用效率评价中将培训的人数和服务的项目数作为产出,可能满足不了评价预期;同样,将一组可比性低的组织机构作为评价对象,也可能无法得到预期结果;进而,直接采用以往研究通行的投入产出指标,而不将一些特定的过程要素纳入核算框架,实证分析结果大多只能给出研究对象是否DEA 有效的结论,而无法进一步为异质性要素的过程作用提供解释。也即,在DEA 评价中低估评价指标、泛化研究对象以及忽略过程要素,可能削弱科技评价的意义。对此,当前开展科研仪器平台效率评价存在如下顾虑:(1)科研仪器设备多样化以及分布地域广,平台之间的可比性较差;(2)对科研仪器平台的综合评价仍然更多关注仪器设备本身的体量规模和利用问题,未能充分考虑平台作为整体的支撑作用与产出情况;(3)忽视在科研仪器平台运行过程中技术人员作为平台核心组成的主观能动作用;(4)评价内容受限于研究对象数据的可得性和可用性,通常采用折中的措施,回避或替换某些特征要素;(5)对科研仪器平台多维度、多指标的客观评价大多在单位内部(第一方)和主管部门层面(第二方)开展,而第三方评价工作正处于起步阶段。

综上,考虑到在效率评价中采用DEA 方法得出的是评价单元之间的相对效率,本研究尝试以运行水平较高的同质单元作为研究对象,分析有益于科研仪器平台可持续管理的关键指标以及在特定时期被评价对象的表现水平,为当前国内科研仪器平台的建设与发展提供一定的参考。就可能的创新性而言:本研究对科研仪器平台的实际运行效果进行动态刻画,对平台为科研组织提供支撑的运行效率演化过程开展实证研究,在一定程度上改进现有研究的不足;此外,拓展了科研仪器平台运行效率影响因素的研究视角,从不同阶段区分不同利益相关者对同一问题的不同看法,并基于此提出弥合和共赢的解决措施,有助于保障科研仪器平台的良性发展。

2 方法和材料

2.1 模型简介

2.1.1 DEA 模型

假设参与效率评价的有n个决策单元(decision making units,DMU)。在最早由Kao 等[14]提出的关系型两阶段DEA 模型中,对于每个决策单元DMUi(i=1,2,…,n),第一阶段有p个投入要素xij(j=1,2,…,p)和m个产出要素zik(k=1,2,…,m),同时这一阶段的m个产出要素又作为下一阶段的投入要素,因此也成为中间要素;第二个阶段的q个产出要素为yir(r=1,2,…,q)。则,对应的两阶段DEA 模型如式(1)所示:

式(1)中:αi、βi分别为投入要素xij和yij线性优化的估计参数;θ为DMUi的目标函数最优值。

2.1.2 Malmquist 指数

常用的Malmquist 生产效率指数定义如下:

式(2)中:Et-1(xt,yt)是DMU 在DEA CCR 模型下相对于第t-1 期的前沿面效率;Et(xt,yt)是第t期效率;以此类推。

Malmquist 全要素生产率指数是效率变化值(efficiency change,EC)与技术进步(technological change,TC)的乘积,也即:

2.2 数据来源

本研究以中国科学院所属研究院所建设的75 家公共技术中心(以下简称“所级中心”)为研究对象(以下简称“样本平台”)。早在“十一五”期间,中国科学院以“科研装备水平最高、综合技术能力最强、区域创新活动最重要”为目标,开展建设以区域中心为框架、所级中心为基础单元的“院所两级中心”技术支撑体系。这些所级中心大多代表或牵头组织依托单位参与科技部组织的,对中央级高等学校和科研院所等单位重大基础设施和大型科研仪器开放共享水平的考评工作。例如在科技部[18]网站发布的2018 年对21 个部门共373 家平台进行的评价考核结果,其中中国科学院所属102 家单位参与,评为优的有26 家,优秀比例为25.49%,远超10.99%的全国优秀率,占全部41 家优秀单位的63.41%。而通过考核进入择优建设技术支撑体系的所级中心,每年向主管部门递交平台年度工作报告,总结当年度的平台运行效果。本研究所用数据即来源于样本平台2015 年和2017 年的共150 份年度工作报告;评价指标所需数据如有缺失的,由笔者从对应平台的官方网站搜索,或向平台主要负责人问询补充。

2.3 投入产出指标选取

在开展所级中心建设运行评价工作中,中国科学院建立有一套指标评价体系,分别从建设情况(25%)、运行贡献(35%)、技术队伍(25%)和体制机制(15%)等4 个方面开展评估,基于此指标体系,结合现有研究提及的评价指标,本研究构建了包含20 个产出指标和7 个投入指标的遴选问卷,并邀请有关所级中心的20 位主任分别对指标的重要性评分。20 位专家的男女比例为3∶1,岗位性质分布为科研∶技术∶管理=12∶5∶3。也即,他们之中有从事科学研究的,有从事技术研发或服务工作的,也有专职从事行政管理工作的,这样的分布较好地覆盖了来自不同视角的意见。

在评分过程中,虽然允许专家增加新的投入和产出指标,但在回收的问卷之中并没有新增条目。计算每个指标的打分,统计结果如表1 所示。为深入区分指标的差异性,评分过程参照Likert 量表设置0~10 分的评定级别:0 分为完全无效;1~3 分为并不需要;4~6 分为可要可不要;7~9 分为比较重要;10 分为完全必要。在专家评价结果中,未出现0 分,出现161 次10 分,占总频次的29.8%,其中达到10 次及以上10 分的指标包括C3、C4、C10、C21、C22和C23等6 个,C23的出现频次最高,达15次。在产出指标中,首先列出C1,是因为进入大数据时代,让用户在海量数据信息之中找到所需平台非常重要;C5是借鉴科技部的科研仪器开放共享考核评价做法;C10至C14等体现了中国科学院对科研仪器平台的综合研究定位和建设目标;C16至C18等则强调科研仪器平台的技术服务与推广属性。在投入指标中,参考关忠诚等[12]的研究,选取在职人数(C22)、依托单位是否有用于日常运行所需的固定预算(有=1,无=0.001;C24)以及仪器总资产价值(C27)等人财物指标,其中人才方面增加考虑质的问题(C23),以职级的分布比例接近理想比例2∶4∶4 的程度进行1~5 分赋值,经费方面考虑平台的年度经费支出(C25),仪器方面增加纳入集约化管理的仪器数量(C26);此外,C21是现有研究甚少提及但在实际运行管理中不可或缺的投入要素,从其获得9.300 分的评分以及1.081 的标准差值可见专家对这个指标打分的认可度及一致性,根据样本平台年报中领导的工作量及参与度进行1~5分赋值。

表1 所级中心科研仪器平台关键绩效指标遴选

将各指标的评分结果纳入IBM SPSS Statistics 22 软件进行单样本K-S 检验,可得如表2 所示结果。

表2 所级中心科研仪器平台投入产出指标的单一样本K-S 检验

以0.01 显著性水平为指标选取标准,可提炼所级中心科研仪器平台运行的8 个投入产出指标及关系,如图1 所示,可见在当前阶段,投入的重点在于人的作用,其中科研仪器平台技术人才队伍结构、在岗人数以及平台负责人的行为是关键投入要素,而科研仪器平台自身的仪器设备数量和价值及其在运行过程中的预决算是内化的附带条件;在产出方面,以往对科研仪器平台共享的比率过于重视,而忽视了仪器运行、工作和完成工作量的作用,忽视了平台运行结果对科研人员创新产出和国家层面开放服务工作的贡献。

图1 所级中心运行的两阶段DEA 投入产出指标关系

3 实证分析

3.1 描述性统计

从样本平台的年度工作报告中检索选定8 个指标的信息,结果如表3 所示。其中截至2017 年,平台队伍结构指标符合理想比例的无,大多平台队伍中正高级职称人员的比例有待提升。本研究并未考虑平台依托单位决策者层级的作用,而聚焦平台负责人层面,评价平台负责人在平台日常运行管理中的作为,因此领导作为指标的赋值以定期组织内部例会(2 分)、组织对外培训与宣讲(1 分)、组织内部人员参加技术交流和学习培训(2 分)等活动的频次为依据。实际中,领导作为指标最低为4 分,最高为5 分,平均为4.7 分,可见样本平台负责人为科研仪器平台的运行管理大多不遗余力。

表3 样本科研仪器平台投入产出指标的描述性统计

3.2 平台运行效率评价

表4 显示了2015 年和2017 年样本平台运行的平均效率计算结果,按照综合得分,整体的运行效率并不乐观,但运行效率在第一阶段提升了6.33%,在第二阶段提升了8.96%,这表明平台负责人在重视提升平台运行效率的同时也充分满足平台相关主管部门的期望,以实现平台的科技支撑和开放服务作用。通过SPSS 软件分析得到样本平台运行的第一阶段效率值与第二阶段效率值之间的Pearson 相关性为-0.371,在0.01 水平上显著,也即,平台运行的第一阶段和第二阶段呈现明显的负相关。这说明在当前的样本平台运行管理之中,大多平台仍未调和自身层面运行与相关主管部门期望之间的矛盾。

表4 样本科研仪器平台运行效率计算结果

表4(续)

结合图2,2015 年,样本平台在第一阶段的运行效率有高有低,整体水平较高,均值达0.758,其中有13 家平台处于DEA 有效状态,而第二阶段平台整体的支撑效率一般,仅有3 家平台为DEA 有效,综合效率则处于较低水平,没有1 家平台达到DEA有效;到2017 年,样本平台的整体运行效率有所提升,第一阶段DEA 有效平台仍为13 家,而第二阶段DEA 有效平台增加为4 家,且效率分布区间紧缩,整体之间差异减小,综合效率的均值水平上升了18.73%,且中位数水平反超均值,样本分布呈现左偏态,说明大多平台仍存在上升空间。

图2 样本科研仪器平台运行效率分布

3.3 平台效率的Malmquist 指数分析

虽然通过2015 年和2017 年两个年度的效率值已知样本平台运行效率的变化趋势,但通过Malmquist 指数可以更好地衡量其年际效率的变化情况。如表5 所示,平台整体的综合效率处于上升趋势,但不同平台之间存在较大的差异,其中只有31家平台的Malmquist 指数值大于1;平台运行两个阶段的Malmquist 指数值都有所提升,其中第一阶段内有41 家平台的Malmquist 指数值超过1,第二阶段内Malmquist 指数值超过1 的为33 家,表明样本平台的运行管理仍需加强在支撑创新产出和开放服务方面的工作。

表5 样本平台的Malmquist 指数及分解

从Malmquist 指数的两个分解指标来看,整体上样本平台的运行效率水平在上升,但技术进步的程度却在下降。出现这种结果的可能原因包括:部分平台发展较快,导致其他平台的相对效率降低;大多数平台过于重视运行过程,而在运行的产出和服务方面出现疏忽;平台人员的总数变化不大,但在新老更替过程中产生技术传承的遗落,或技术创新方面有待加强。从Malmquist 指数分解指标的均值上看,样本平台现有的效率提升是运行管理方面的作用,而技术进步在平台运行管理中的作用并未充分体现。这也意味着依靠制度以及主观因素的激励作用来提升科研仪器平台运行管理水平的作用已越来越有限,科研仪器平台应更加注重技术进步的作用,以及应向支撑科研产出和开放服务方向转型升级。

4 讨论与结论

本研究采用专家评价的方式,从科研仪器平台被广泛关注的27 个投入产出指标中遴选了8 个关键指标,其中,队伍结构、人力投入和领导作用是主要的投入指标,运行状态、仪器效率和工作总量是中间产出指标,而科研服务和开放程度是最终产出指标;采用两阶段DEA 模型,从科研仪器平台的日常运行和支撑服务两个阶段,以中国科学院75 家科研仪器平台为对象开展实证,计算结果表明样本平台在2015 年和2017 年的运行效率处于有待提升的状态,但两个阶段的关系有待梳理和调和,且平台运行效率提升的驱动作用主要来自运行效率水平的变化,而技术水平效率处于下降趋势,这在当前科研仪器平台运行管理工作中应予以足够重视。

通常,管理者和决策者追求事件的效益,做正确的事,而执行者和维护者优先讲究效率,不得不正确地做事,这种矛盾在两阶段DEA 评价中可以被较好地缓和。将科研仪器平台运行服务的功能链展开,如图1 所示,即可发现执行者层级的产出是平台运行的中间产出,而决策者层级关注的投入和产出也是平台不可或缺的要素。因此,在科研仪器平台往后的建设和管理中,应强化执行者与决策者理念的共情,推动不同角色价值观的融合和互补,尽量避免其意志与利益的冲突。中科院模式下的科研仪器平台运行管理效率,已在2018 至2020 年科技部组织的中央级高等学校和科研院所等单位重大基础设施和大型科研仪器开放共享考核工作中被证明是有效且相对高效的。若参考以往研究选取的评价指标,样本平台的运行效率则基本处于DEA 有效的状态,这不利于发现、诊断和改正问题,而中科院模式是不走寻常路:(1)创新设计,稳定发展,制度先行。中科院将所属科研仪器平台统一命名为“所级中心”,定位为综合研究中心,要求每个平台的目标和职责都有章可循、有据可依。(2)创新务实,和谐发展,以人为本。中科院率先意识到在科研仪器共享平台的建设中,仪器设备是基础,技术人员是核心,广大创新主体是关键,为此,平台运行旨在推动技术人员和广大创新主体之间的协作互进,实现技术支撑体系与技术人才队伍的同步建设。(3)创新跨越,持续发展,良性循环。通过本研究的实证分析可诊断出,截止2017 年,部分被评价的平台在技术管理方面仍存在不足,这些方面是所有平台始终要努力的方向,因为不同于行政管理,有效的技术管理将驱动技术能力和技术市场呈现螺旋上升的发展态势[19]。

本研究也存在若干方面的不足:首先,数据来源为各平台的年度工作报告,鉴于统计方式和关注点的不同,同一指标的统计口径存在差异,比如科技服务指标,虽然本研究主要考察各平台支撑本单位发表论文的数量,但大多数平台同时统计了其支撑外部单位发表论文的数量,或者仅统计自身人员署名的论文,而以论文的数量作为科技服务的产出指标也存在一定的片面性;其次,对所选取指标的效率计算并未进一步计算变量的松弛状况;再次,样本平台分布在全国各个省份,平台之间显然也存在一定的区域性差异,若考虑这种差异,效率评价的模型可能还有待修正;此外,只考虑一个普通的两阶段DEA 模型,而科研仪器平台效率的评价可能并非仅此就能充分体现;未来仍应开展更多的科技评价,以保障科技组织的良性发展。总之,本研究着重展示当前时期中科院模式下科研仪器平台运行管理的关注要点和运行状态,以期为国内其他科研仪器平台的运行管理提供参考。

猜你喜欢
仪器样本效率
《现代仪器与医疗》2022年征订回执
《现代仪器与医疗》约稿函
《现代仪器与医疗》2022年征订回执
用样本估计总体复习点拨
提升朗读教学效率的几点思考
注意实验拓展,提高复习效率
规划·样本
我国古代的天文仪器
随机微分方程的样本Lyapunov二次型估计
跟踪导练(一)2