上海地铁创新成果与科研管理评价指标体系优化研究

文：张 敏丨上海申通地铁集团有限公司技术中心

创新是推动高质量发展、建设现代化经济体系的战略支撑，本文针对目前上海地铁在创新研究工作中的难点，结合科技创新评价和科研管理的实际需求，对创新策源、创新合作方、创新成果和评审专家建立综合性的、科学的评价指标体系。

创新是引领发展的第一动力，上海地铁从2005年开展科研工作至今，经过多年努力，集团科研整体水平大幅提升，一些重要领域已经处于行业先进水平。但是上海地铁科技创新在创新策源、创新成果评估、合作伙伴评估、评审专家评估方面仍然存一些亟待解决的问题。为了改变以往对创新研究要素采用定性评价为主的评价方式，本文围绕创新要素的评价研究，建立一个能够对上海地铁的创新能力、成果质量、合作方能力以及专家综合情况进行定量描述的综合评价指标体系。

一、创新策源评价指标体系的设计和权重

国内轨道交通技术原先以跟跑为主，更多的是学习和借鉴一些发达国家的技术，随着近年来行业的迅速发展，目前上海地铁在智慧化、绿色化等诸多领域，已走在世界前列。从跟跑到领跑，需要进一步强化集团在前瞻性、引领性、原创性研究中的突破。

通过梳理分析相关政策文件与文献，并结合专家访谈结果，在严格遵循全面性、客观性与可行性指标选取原则的基础上，本文结合上海地铁的科研需求和特性，对前瞻性项目和先进性项目分别建立了不同侧重点的评价指标（表1、表2）。

表1 创新策源评价指标体系（适用于前瞻性项目0-1）

表2 创新策源评价指标体系（适用于先进性项目1-N）

对于前瞻性项目，建立了以前瞻性为决策性指标，以可行性为参考性指标的评价体系。上海地铁的策源前瞻性指标从原创颠覆引领、卡脖子技术等维度进行了定量判断，主要为了评价对未来发展趋势的预见性和透彻把握的能力，对目标市场需求的准确预估和洞察能力。

对于先进性项目，建立了以先进性为决策性指标，以可行性为参考性指标的评价体系。先进性主要评价所形成的适配创新想法或理念的关键技术是否具有国际国内的领先性和先进性。

可行性主要用来评价创新想法和理念在经济效益、社会效益、技术和时间等维度上是否具备可研究性与可实施性。可行性作为评价项目的参考性指标，起到辅助决策的作用。

二、创新合作方评价指标体系的设计和权重

本文通过对上海地铁的技术人员、管理人员等相关方进行访谈和调查，建立了包含三项符合性评价的创新合作方资信初步评价和包含二项一级指标，七项二级指标的创新合作方评价指标体系。

对创新合作方的资信初步评价是符合性评价，具备良好资信的企业或团队是成为创新合作方的准入门槛。符合性检查包括：（1）评价当日查询得企业或项目组中有人员处于黑名单公示期的；（2）企业或项目组存有串通投标、弄虚作假、行贿等违法行为；（3）信用分＜60分的；（各单位的信用得分以评价当日在上海地铁采购电子商务平台查询为准。）凡其中一项不合格视为符合性评价不合格，符合性评价不合格的合作方不再进入后续的详细评价。

对创新合作方的详细评价见创新合作方评价指标体系（表3），在一级指标中，合作态度的权重值最大，它是选择合作方时最重要的因素。因为项目合作研究需要双方保持高频率的需求探讨和技术方案交流，如果对方沟通效率低下或理解能力和执行能力不够，将直接影响项目的顺利开展。

表3 创新合作方评价指标体系

科研能力的权重值位列第二，这是因为创新合作是以课题研究为目标，通过理论、方法、机制、技术研究等手段形成研究成果。因此，合作方的人员资质、相关领域的研究情况、平台资质等对项目的成果水平影响较大。如果合作方的项目负责人及团队人员长期从事该领域研究，且在该领域已获得一定的研究基础和成就，将更有利于课题研究工作的开展。

从二级指标分析出的权重结果来看，成果水平较其他因素而言是衡量合作方更重要的因素。而人员资质、沟通效率等是创新合作方能够完成高水平成果的保障措施。人员资质主要考察合作参与人员的综合实力，合作方负责人作为整个项目的核心人员对项目的统筹、把控直接影响项目的进展情况，同时项目研究主要依靠团队成员的智慧及群策力，因此合作方团队人员的配置、学历、资历也非常关键。沟通效率和执行能力也很重要，因为合作创新必定会有多次的交流沟通过程，且每次沟通都应形成一个一致性意见并高效执行。

创新合作方评价指标体系运用层次分析法和专家评议法，构造以科研能力、合作态度为一级指标并含七项二级指标因子的递阶层次结构模型。并对创新合作方的评价因素进行了权重分析计算，为项目组选择项目合作伙伴提供了参考。然而项目因自身特点和研究内容差异，不能一概而论，因此针对具体项目，其各项指标的权重有可能存在差异，必要时应进行修正计算。

三、创新成果评价指标体系的设计和权重

科技创新成果是能够直观反映科技创新能力的重要指标。本文对创新成果的创新性、实效性、先进性、自主化四个主要维度进行评价，形成可量化的创新成果评价指标体系。

创新成果评价指标体系的研究内容包括以下几个方面：创新性主要考察成果的突破引领能力，用来评价设计是否新颖并性能可靠，是否能从系统角度提出解决方案的问题等；实效性主要考察成果的转化应用能力，是否产生效益，起到提质增效的作用，以及是否有良好的应用前景和广大的应用范围；先进性主要考察成果在国际、国内、行业的水平；自主化主要考察项目的自主化程度，关键核心内容是否自研。

基于以上认识，本文结合上海地铁科研创新活动的实际情况和需求导向，建立了适用于上海地铁创新成果的评价指标体系。选用创新性、实效性、先进性和自主化四项指标作为一级指标，选用突破引领、应用效益、业内水平等五项作为二级指标（表4）。

表4 创新成果评价指标体系

从表4可以看出，在一级指标中，创新性和实效性的权重值最大，这是因为创新即技术或者理论的突破性成就，无疑是科学研究最重要的成果。而成果产生的综合效益以及能够实施的范围是衡量科研成效非常重要的指标。同时科研成果的先进性即其在国际国内、行业内外造成的影响，也是侧面衡量成果水平的重要因素。而随着技术革新带动产业升级发展，也对核心关键技术、“卡脖子”技术的自主可控提出了新的要求。

从二级指标看，突破引领、应用效益、应用范围、业内水平和自主创新是评价创新成果的重要因素。设计新颖性、性能可靠性、技术先进性、方案系统性是对突破引领各维度的定量衡量，对上海地铁来说，应用效益体现在直接经济效益、社会效益、绿色效益和综合提质效益几个方面。实际/预期应用范围是指科研成果在全国/行业应用情况以及在单位/线路应用情况。业内水平主要考量研究成果在攻克关键核心技术难点，填补行业空白等方面的成就，以及技术性能指标对标国际、国内标准的水平。自主创新则考量核心关键部件的自研能力，主要包括算法、模型、工艺、材料、编程以及需求策源、顶层设计等方面的自主创新，不包括通用性的硬件装备产品和软件工具平台等。

为保证评价的客观公正性，项目负责人应提供相关的资质证明，如查新报告、应用证明、专家论证意见等，并结合项目合同、考核指标和关键技术等材料，作为评判依据。

四、评审专家评价指标体系的设计和权重

目前，专家评审制度是集团用来评判和判定创新研究情况、创新资源分配的重要依据。由于专家评审制度具有一定的主观色彩，其结果不仅受到评审专家自身研究领域、评审能力等内部因素干扰，也受到多重外界环境因素干扰，因此，针对评审专家的评价指标体系应是一个多维度、全方面的评价指标体系。

参考既有的指标体系与度量方法，结合影响评议公正性的主观因素以及评价指标体系的构建思路和原则，使用层次分析法和专家评议法，最终确定了包含三级指标的评价指标体系。

对评审专家的职业道德评价（表5）是符合性评价，具备良好的职业道德是成为评审专家的准入门槛。凡是评价不合格的（即C1＜0.7或C2＞0）专家视为符合性评价不合格，将不予以推荐。符合性评价不合格的专家不再进入后续的详细评价。

表5 评审专家职业道德评价（符合性评价）

职业道德评价包括工作态度和信用记录两部分。由于项目评审是一项具有主观性色彩的工作，因此专家的行为规范应作为重点内容来考察。其中，工作态度以参加评审工作的准时性作为指标，主要考察专家对评审会议的响应性和准时性。信用记录通过考察是否有被投诉、徇私舞弊或其他不良记录等指标来评定。

评审专家评价指标体系含三级指标，其中一级指标两项、二级指标五项、三级指标十项。专家最终评价得分取两项一级指标值的累加值，即专家评价得分=D2+D3，得分越高表示评价结果越优。本文取资质能力和评审表现作为一级指标，选用学术成就、资质特长、评审质量等五项指标作为二级指标，选用职称、承担项目情况、奖励情况等十项指标作为三级指标（表6）。

表6 评审专家评价指标体系

资质能力包括基本信息、学术成就、资质特长三部分。科研项目支持创新，鼓励创新，不仅要求专家具有一定的专业知识可以对项目的技术水平作出判断，更需要专家对项目的创新性、产业化以及发展潜力作出评价。因此，对专家资质能力的评价不仅包括其基本信息和学术成就，如职称、承担项目情况、学术论著等指标，也包括其资质特长，如参与过专家评审的次数等指标。

评审表现包括评审质量、评审效率两部分。评审表现是评审专家不同于其他科技人员的特质，评审专家既需要拥有优秀的品质和良好的资质能力，更要理解评审准则，掌握评审方法，明确评审结果，以此保证评审建议的权威性以及评审的公正性和及时性。

评审专家评价指标体系通过建立科学、可行的评价模型，对评审专家进行客观、公正的综合评价，有利于科研评审工作的健康发展。

五、主要结论

本文针对目前上海地铁在创新研究工作中的难点，结合科技创新评价和科研管理的实际需求，对创新策源、创新合作方、创新成果和评审专家建立了综合性的、科学的评价指标体系。

针对创新策源能力不足的问题，结合上海地铁的科研需求和特性，针对前瞻性项目和先进性项目，分别以策源前瞻性和先进性作为主要评价维度，以可行性指标作为参考性评价指标，建立了适用于上海地铁的创新策源评价指标体系，对创新需求、创新想法和创新理念等形成的多维度量化评价，可以为集团评定创新需求和能力，考量创新资源的投入提供参考依据，并能进一步强化集团在前瞻性创新研究、引领性原创研究中的突破，逐步构建“顶层策源—科研攻关—转化应用—产业引领”的整体创新链。

针对创新合作方综合实力参差不齐的问题，运用层次分析法和专家评议法，构造以具有良好企业资信为准入门槛，以科研能力和合作态度为一级指标并含七项二级指标的评价模型，评价结果为项目负责人评价和选择合作方提供了动态可量化的依据。

针对项目研究成果的认定与实际应用联系性不强，项目成果在现场应用成效关注度不够等问题，结合上海地铁科研创新活动的实际情况和需求导向，建立了适用于上海地铁创新成果评价指标体系。评价体系选用创新性、实效性、先进性和自主化四项指标作为一级指标，选用突破引领、应用效益、业内水平等五项作为二级指标，形成多维度可量化的综合指标体系，指标体系在经过一段时间的试用和评估后，可以适时支撑如科研管理规定等相关制度和标准的优化和完善，为进一步提高创新能力，形成高质量的创新成果起到促进作用。

针对目前专家分类分级规则较为单一且固定不变、对专家的评审情况缺乏反馈等问题，使用层次分析法和专家评议法，形成以具有良好的职业道德为基础准则，以资质能力和评审表现为一级指标并含五项二级指标,十项三级指标因子的评审专家评价指标体系。体系通过建立科学、可行的评价模型，对评审专家进行客观、公正的多维度可量化评价，有助于优化和完善专家库的建设，为项目评审、咨询等工作精准匹配专家提供了支撑，有利于科研活动的健康发展。