工程硕士创造力评价体系构建与应用研究——以浙江大学工程师学院为例

姚 威,储昭卫，胡顺顺，韩 旭

(浙江大学 a.公共管理学院；b.中国科教战略研究院；c.先进技术研究院，杭州 310058)

工程硕士研究生教育是我国自主培养高素质创新型工程技术与管理人才的主要途径。工程创造力(Engineering Creativity)是工程人才创新能力培养的关键环节和难点所在，原教育部部长、中国工程院院长周济曾指出：“中国每年培养的工程师的数量，相当于美国、欧洲、日本和印度培养出来的工程师的总数。规模很大，但关键是提高质量，提高整体创新能力，这是真正实现创新驱动发展的最根本力量”[1]。一项对工程硕士培养质量的实证研究也表明我国工程硕士的实践能力较强，但其创新意识和创新能力尚有不足[2]。工程硕士评价体系不足是制约其创新能力培养的关键：一方面，我国工程硕士的评价标准与学术硕士同构，导致其培养过程偏离工程实践；另一方面，评价体系对工程硕士培养的定位不准确，导致培养过程未能锚定创造创新等关键能力[3]。因此，建立以工程创造力为核心的评价体系，是强化工程硕士研究生教育特色，培养高素质创新型工程技术与管理人才的必由之路。

一、工程硕士创造力评价体系研究

(一)工程硕士培养质量评价研究

评价体系是培养过程的“指挥棒”，工程硕士培养质量评价体系包含多个评价维度和内涵。如熊力认为工程硕士质量评估应包含生源质量、课程体系、授课方式、论文质量、管理水平等[4]。冯涛从论文发表成果、科研实践经历、参加实践活动与学术会议三方面对工程硕士的培养质量进行了实证研究[2]。邹浩等从知识积累、创新思维、创新技能、创新个性和创新成果构建了理工科硕士创新能力的评价体系，其中知识积累主要考察外语、专业基础、专业前沿和交叉学科知识，创新成果主要考察学术和学位论文、课题研究等[5]。陈小平基于职业胜任力建模研究提出工程硕士应具备业务处理能力、沟通与建立关系、职业道德、学习与创新、个性品质和客户服务导向六类胜任力[6]。

从上述研究来看，我国工程硕士培养质量评价存在两个缺憾：一是以过程评价为主，重视教学、管理、实践等培养要素投入的评价，对培养成效的评价略显不足。二是以“科学教育”主导“工程教育”评价，重视知识积累、科研绩效和学位论文写作等“知识发现与发表”的评价指标，忽视“工程创造”的评价。其根本原因在于未能认识到工程活动的特异性及其对创造力的影响，因此对工程硕士创造力的评价首先要厘清工程创造力的特点。

(二)创造力的领域特异性与工程创造力

随着研究的深入，越来越多的学者认识到创造力很难在不同领域间迁移，如果和创造力相关的认知技能不可以在多个领域通用，则称为领域特异性(Domain Specificity)[7]。任务特点、思维方式、知识领域是导致领域特异性的原因:工程任务是在技术和成本等条件约束下以经济社会效益为目标的问题求解过程[8]；工程任务的多解性和评价的多维性会使个体形成效率效益导向的思维和认知模式[9]；工程强调知识综合应用的特点导致了领域特异性[10]。

对工程创造力的具体定义取决于对工程活动本质的理解，最常见的有功能、技术和设计三个视角。第一，功能视角，工程创造力相比于美术、音乐等领域更关注功能性和有用性，因此工程创造力是“工程师设计的产品或流程，通常要在一定的约束和参数条件下，实现特定的、有用的功能”[11]。第二，技术视角，认为工程是技术在具体情境中的深化和综合运用，因此工程创造力是“个体或组织在技术领域中，根据一定的目的，运用一切已知信息，在独特地、新颖地且有价值地(或恰当地)产生某种产品的过程中，所表现出来的智能品质或能力”[12]。第三，设计视角，由于设计是工程实现的方法和具体环节之一，因此工程创造力是“在工程设计过程中体现出的创造力”[13]。ABET工程毕业生的11条教育质量标准中的第三条“根据需要，设计一个系统、一个部件或一个过程的能力”也采取了工程设计创造力的定义方法。

综上所述，本研究将工程创造力定义为“识别工程需求，在约束条件范围内，综合运用工程设计方法和具体技术，创造特定功能产品的智能品质或能力”。

(三)工程创造力的评价策略述评

工程创造力的领域特异性让研究者着手开发专门的工程创造力评价策略。“普渡创造力测试(Purdue Creativity Test，PCT)”是众多评价手段中最为基础的一种，要求被测试者尽可能多的列举一种或两种形状的用途去测量流畅性(指方案的数量)和灵活性(指方案处于不同领域的丰富性)。PCT为工程创造力的评价和测量提供了思路，但存在缺乏工程应用、无法直接测量原创性、无法评估收敛性思维等弱点。Charyton开发了工程设计创造力评估方法(Creative Engineering Design Assessment，CEDA)，能够测量发散性思维、收敛性思维、满足约束条件、问题发现以及问题解决五种能力[14]。针对CEDA等依赖主观评价和评价效率低的弱点，Oman开发了比较性创造力评估(Comparative Creativity Assessment，CCA)和多点创造力评估(Multi-Point Creativity Assessment，MPCA)[15]：CCA引入客观法，通过统计实现同一个功能的所有方案中相似方案出现的概率评价新颖性，概率越低则新颖性越高，其缺点在于概率低的方案其实用性和可行性也较低。而MPCA则是从实用性和可行性出发，要求评委对“设计方案”以“原创的、令人惊讶的、有逻辑的、功能性的、制作精良的”等关键词进行二选一的评价。Toh的设计评级调查问卷(Design Rating Survey，DRS)从新颖性和可行性两个维度对特定工程案例进行测试[16]。国内也有学者设计了以静态主观方式进行工程创造力自评的问卷[17]。

综合来看，可将上述评价策略分为三类：以抽象工程题目进行客观测试的方法如PCT和CEDA；以真实工程题目进行客观测试的方法如CCA，MPCA和DRS；以主观报告结果为主的问卷测量法。这三类评价策略都无法直接应用于工程硕士的创造力评价，原因如下：第一，抽象客观方法主要面向“实验环境”，测试过程普遍脱离真实工程情境。为了扩大被试范围，测试题目往往浅显易懂，缺乏约束条件和目的性，更适宜测量低龄和入门学习者。第二，真实工程题目的客观测试使用的情境性较强，指标有限，无法全面反映工程创造过程。如CCA，MPCA和DRS分别以测量新颖性、实用性、可行性为主，且忽视了问题发现等过程。第三，主观报告法无法测量工程创造力的动态变化，测试的区分度有限。其实，无论是工程例题还是问卷测试，重测结果总会受到初测干扰，导致后续成绩总是等于或高于第一次。针对上述问题，浙江大学工程师学院在教学过程中针对工程硕士培养课程，开发一套专门的工程硕士创造力评价体系。

二、工程硕士创造力评价指标体系构建

在工程活动过程中，必定存在以工程产品为核心的系统、工艺、流程的开发，因此对创造产品的评价是反映被测对象工程创造力最客观且最可行的手段[18]。工程硕士培养过程注重实践能力、工程问题解决能力、设计创新和跨学科迁移等能力要求[19]，因此本研究设计了面向工程问题解决方案为核心的工程创造力评价体系(Assessment of Creativity in Engineering，缩写为ACE)，从“创造力”和“工程”两方面共六个维度对工程创造力进行测试。

(一)流畅性(Fluency)

评价工程问题解决方案最重要的指标是概念方案数量，它能说明思维活跃程度、创造动机强度和知识积累。每一个可行方案通常由10～20个概念方案开发而成，因此概念方案越多，意味着解决问题的可能性更高[20]。这种面对工程问题时能在短时间内大量产生概念解决方案的能力被称为思维的流畅性，通常直接用不重复概念解决方案的数量来测量。

(二)丰富性(Flexibility)

科学概念和原理通常分属于不同的学科，跨学科知识运用会提升工程方案的新颖性，因此还要比较方案的差异程度即丰富性，以测量知识迁移应用能力。Shah采用“谱系树(Genealogy Tree)”方法从“物理原理—工作原理—具体方案—细节手段”四个层次去评价方案的差异程度[21]。为了避免“谱系树”测量过程复杂的问题，Craft还提出了“学科门类—学科细分”两个层次测量方案[22]。

(三)原创性(Originality)

原创性能够说明工程硕士对现有知识和资源利用的综合性和创造性。原创性需要根据概念解决方案和传统的产品、材料、设计和方案的区别来综合判断，如果没有其他产品方案采取相同手段、实现相同功能、达到相同效果，则该方案就具有最高的原创性[23]。

(四)可行性(Feasibility)

可行性是指实施概念方案的难易程度，用于评价工程硕士的实践能力和工程经验。可行性的测量包括四个方面：第一，技术的现实性，现有的科学原理和技术是否支持该方案；第二，技术专有性，公司或工程师有没有掌握实现该方案的技术；第三，关键资源获取的便利程度；第四，工艺实现的难度、仪器维护和调试的便利程度、人员管理的难度等[24]。

(五)经济性(Cost)

经济性是指实施概念方案的成本和最终收益，追求经济效用是工程硕士与科学硕士在实践能力上的主要区别。工程活动的目标是实现社会经济效益，因此工程师需要从技术研发、专利授权、设备采购、原材料采购、设备维护及保养、人员等综合考虑成本和收益情况[25]。

(六)可靠性(Reliability)

可靠性是指产品的耐久性或寿命，可靠性的高低通常用无故障工作时间或无故障工作概率来衡量。按照发生时期，可以从早期故障(磨合期)，随机故障(常态运行)，损耗故障(产品寿命极限)综合考虑产品的可靠性。可靠性能够说明工程硕士的全周期、全流程和全部件思考的综合性思维[26]。

综上所述，制定了如表1所示工程硕士创造力评价指标体系与方法。根据实际产生的方案情况，分别将每个维度上的测量结果分为五级量表，在评价期间分别由多位专家对每个维度进行评分，1～5级分别表示“很低”“较低”“一般”“较高”“很高”。以可靠性指标为例，1～5分别表示“1=可靠性很低，产品故障率很高”，“2=可靠性较低，产品故障率较高”，“3=可靠性一般，产品故障率一般”，“4=可靠性较高，产品故障率较低”，“5=可靠性很高，产品故障率很低”。

表1 工程硕士创造力评价指标与方法

三、基于浙江大学工程师学院的工程硕士创造力评价体系的应用与验证

(一)实验设计

为了校验评价体系对工程硕士创造力的区分度，本研究基于“创新思维与创新方法”课程开展应用和验证。创新思维与创新方法是以“发明问题解决理论(TRIZ)”为代表的国际上流行的一系列用于开发工程师创造力的技巧和方法体系，能够从问题分析和解决两方面提升工程活动的经济、社会和知识产权效益[27]，在短时间内提高工程师的创造力[28]。自2009年起，科技部通过“创新方法推广应用专项”在全国进行推广，并建立了成熟的创新工程师认证考核体系。应用的普及程度，提升工程创造力的有效性，认证考核的质量保障是本研究选择该课程进行验证的主要原因。

针对传统工程创造力评价主观性强，无法控制被试的人格特征、创造动机等影响，本研究采用了纵向实验设计：即在一个课程周期内，对同一被试培训前和培训后的创造力进行测试。以该课程为基础进行实验验证有以下保障：首先，该方法致力于提升工程科技人才创造力；其次，课程题目均来自于企业的真实工程问题；再次，浙江大学工程师学院采用1～3月的短学期，被试的个体差异变化较小，可降低系统误差。最后，由学生自由选课参与，能够克服行业差异，保证了样本来源的随机性。具体实验设计如下：

(1)前测：课程开始前，对工程硕士选定的实际工程问题和现有解决方案进行评测。

(2)后测：课程结束后，对所带问题产生的解决方案进行评测。前测后测均采用上文的工程创造力评价体系。

(二)样本情况

浙江大学工程师学院成立于2016年9月，以服务《中国制造2025》和地方产业转型升级为目标，在校工程硕士逾4000人。自2018年起开设了“创新思维与创新方法”课程，参与学生均为校企联合培养的双证工程硕士研究生，授课由师资团队按照国家创新工程师认证标准要求的大纲和流程进行。

在实验前测及后测阶段，均由授课教师、企业导师和科技部认证的创新方法专家共同对被试的工程创造力进行评价。具体评价过程如下：首先，由三位专家分别对每位学生项目方案的流畅性、丰富性、原创性，可行性、经济性、可靠性进行评价，最后对评价不一致之处逐一讨论并达成最终评价。最终，共收集项目答辩和评价报告179份，剔除无效报告12份，共收到167份有效项目报告(以下简称“项目”)。提供上述167份报告的工程硕士均完成课程要求，并通过了科技部国家二级创新工程师认证，报告的可靠性和真实性较高。

从样本的基本情况来看，其中男性占比为72.6%，一年级和二年级硕士占比分别为34.73%和46.71%，来自大型企业(总人数>1000人)的学员占比58.68%，专业分布上囊括了八个主要工程硕士专业学位类别。样本分布较为均衡，满足实验要求。

(三)实验结果

首先对评分结果进行信度检验，培训前总量表信度系数为0.693，各维度信度系数均高于0.9；培训后总量表信度系数为0.796，各维度信度系数均高于0.8，说明评价量表具有较高的信度。如表2所示，工程硕士参加课程的后测与前测均值在六个维度均存在显著性差异，在各项指标上均有显著性增加，在流畅性和丰富性上增加最为明显，在其它指标项目上提升一倍左右。实验研究的结果表明本文开发的评价方法(ACE)能够有效测量真实工程情境下的工程创造力，并监测其提升过程，结果在统计意义上具有可重复性。

表2 课程前后工程创造力变化情况统计

四、启发与借鉴

本研究首先回顾了工程硕士创造力评价的相关研究，再结合工程硕士培养特点构建了工程硕士创造力评价体系，随后开展了评价体系的应用和验证。实验结果表明该评价体系能够识别工程硕士不同维度的创造力变化，该评价体系构建和应用过程是我国工程硕士评价和培养的有益探索，也提供了一些值得借鉴的经验。

(一)遵循工程活动规律，建立以工程创造力为核心的评价体系

我国的工程教育评价中，长期存在以论文为导向的科学评价主导工程人才评价的特点，导致工程硕士培养直接移植科学硕士培养体系[29]。工程硕士培养应遵循工程活动规律，建立以工程创造力为核心的评价体系，确保人才培养手段与目标的一致性。一方面，从“以学生学习为中心”的教育理念来看，传统的评价体系更多的关注教育要素的投入，而轻视了学生学习效果的评价。以工程创造力为核心的工程硕士评价体系能够衡量培养效果，为调整要素投入和资源配置提供参考，提升培养的针对性。另一方面，从工程活动的规律来看，工程是以项目或问题主导的在约束范围内解题的过程，其评价要以最终效果作为参考。因此，建立以工程创造力为核心的评价体系是保障工程硕士培养质量的关键。

(二)根据新工业革命发展趋势，形成“融合创新”的工程硕士评价导向

随着新工业革命浪潮的到来，工程逐渐成为产业形态、工程技术和商业模式的融合变革的结果，工程教育也需要走向“融合创新”范式以培养具备创新和创造力的工商融合型人才[30]。传统的工程硕士评价体系常常忽视了“工程”方面的评价指标，导致空有“工程创新”而无法转化为显著的社会经济效益。因此，高校应积极面向新工业革命中产业和商业融合发展趋势，建立“融合创新”的工程硕士创造力评价体系：首先，要弱化或取消科学发现和论文写作要求，以有商业应用前景的工程创造产品作为主要评价依据；其次，效仿“科学共同体”同行评议制度，搭建利益相关者平台，引入“工程行业共同体”参与工程硕士培养评价体系的制定；最后，构建多元化的工程硕士产出评价指标体系，综合考察工程创新、技术实现和商业前景。

(三)依托工程创造机理研究，提高评价体系的动态监测和诊断功能

工程创造机理研究能够打开工程创造“黑箱”，是认识创造过程的主要途径，依托工程创造机理研究能够建立动态监测的工程创造力评价体系。如韩旭基于C-K理论对工程师创造过程进行分析，将缺乏工程创造力的原因归结为固着效应、发散思维、约束思维和知识壁垒四种障碍，并提出了图示化表达、工程实践、系统化流程和跨领域知识四类解决方案[31]。在工程硕士培养过程中，提升评价体系的动态监测能力，有助于及时调整培养模式，并开发培养策略。所谓诊断是指评价体系能够识别工程硕士培养模式中的问题，如ACE能够将工程硕士的创造力分解到创造力和工程两个方面的六个维度。以创造力为例，ACE能够识别工程硕士在思维活跃度(流畅性)、知识基础(丰富度)和方案构建(原创性)等具体过程的不足，便于在培养过程中通过调整教学策略针对性提升学生的创造品质。

(四)重视创造成果培育，以强化创造意识与创造性人格培养

创造是创新的前因，实验中发现工程硕士创造力的流畅性和丰富度是课程学习中变化最大的评价指标，因为一项成功的解决方案需要经由大量概念方案的筛选、开发和验证而来。由此可见，在创造过程中不能急于评判方案的质量，而是要加强创造技巧运用为重点，激发创新思维。从工程创造力评价体系来看，“创造力”评价主要侧重于方案(ideas)的生成，“工程”评价则侧重于从众多方案(ideas)中挑选后综合构建一个解决方案(solution)。因此无论是在教学还是在创新创业实践中，既要鼓励创造过程，更要重视对创造成果的培育，从而培养学生的创造意识和创造性人格。

最后，本研究所建立的工程硕士创造力评价体系更适合对“基于项目的学习”或“基于问题的学习”过程中创造力的评价，而不适合评价工程教学质量、培养过程管理和工程职业能力。研究从工程领域的创新规律出发，提出的工程硕士创造力评价体系，能够为高校工程硕士培养评价、竞赛选拔和教学改革等提供参考。后续可以围绕工程硕士创造力提升机理与培养模式开展更多研究，从而为我国高层次创新型工程人才的培养提供更多借鉴。