职业院校教师教学创新团队绩效评价指标体系研究

□陈旭 和震

2019年1月国务院印发《国家职业教育改革实施方案》，提出到2022年，分专业建设一批国家级职业教育教师教学创新团队，探索组建高水平、结构化教师教学创新团队，教师分工协作进行模块化教学[1]。同年6月教育部印发《全国职业院校教师教学创新团队建设方案》（以下简称《方案》），明确提出要经过三年左右的培育和建设，打造一批高水平职业院校教师教学创新团队，示范引领高素质“双师型”教师队伍建设，深化职业院校“三教”（教师、教材、教法）改革[2]。

构建高水平、结构化的国家级职业教育教师教学创新团队，建立评价体系是必然要求。科学有效的绩效评价是检验职业院校教师教学创新团队建设成效的必然要求，也是调动团队工作积极性、提升团队建设质量的有效途径。职业院校教师教学创新团队的工作任务不仅旨在提升团队教师的专业能力、形成协作共同体的组织形式，还涉及到推动信息技术与教育教学融合创新、开展“三教”改革、实施行动导向的模块化教学等，因此如何评判这些工作任务的开展成效，需要一套针对教师教学团队建设绩效的评价指标体系来衡量。

一、职业院校教师教学创新团队绩效评价指标体系构建思路

（一）团队绩效评价的IPO 模型

1964年，McGrath 构建了一个“投入—过程—产出”（Input-Process-Outcome:IPO）的理论框架，并对团队效能进行了探讨[3]。McGrath 指出，投入表示促成和限制团队成员互动的因素，包括团队成员的个体特征（例如能力和性格），团队层面的因素（例如任务结构，外部领导者的影响），以及组织和环境因素（例如组织设计特征，环境复杂性）；过程描述了团队的投入如何转化为成果。产出是团队活动的结果和副产品，广义上讲，成果可能包括绩效（例如质量和数量）以及成员间的情感反应（例如满意度，可行性等）[4]。后来很多学者对IPO 的框架提出修正和扩展，例如Cohen 和Bailey 指出“团队投入到产出之间的很多中介因素并不是过程因素”，团队的投入会通过团队心理特征影响到产出。在投入因素方面，与其他学者不同的是，他们认为环境因素并不直接影响产出，而是通过影响任务设计、团队组成和组织因素来影响产出[4]。

本研究依据“投入—过程—产出”（IPO）模型以及相关文献扩展，构建的教师教学创新团队绩效评价指标体系包括以下三个主要方面：团队投入（I），包含人力投入（例如成员结构、能力等）和资金、设备投入等部分；团队过程（P），其决定着团队投入如何转化为团队产出的关键环节，产出的过程因素不仅包括团队合作和互动过程，还包括了氛围、凝聚力等认知和情感状态；团队产出（O），涵盖团队整体与成员个体两个层面所重视的团队活动的一切结果和副产品（by-product）[5]。

（二）职业院校教师教学创新团队绩效评价的设计原则

建立一套科学有效的教师教学创新团队绩效评价体系，有利于教育行政部门及学校准确把握创新团队的实际效果，引导教学创新团队的队伍建设，增强教师参与教学创新团队的主动性及积极性，促进学校、教师及学生的可持续发展[6]。在构建和设计绩效评价指标时，需要明确构建职业院校教师教学创新团队绩效评价指标体系的四大原则。

1.科学性与系统性原则。在构建职业院校教师教学创新团队绩效评价指标体系时，要有科学的理论依据，对指标进行规范处理，分类整合，赋予定性指标量化含义[7]。根据上文所述的IPO 模型框架，职业院校教师教学创新团队的绩效评价指标体系应包含团队投入、团队过程、团队产出这三大维度，在每个维度下继续展开，如可以设计成三级指标形式，将高层次指标逐步分解为低层次指标。因此，所构建的绩效评价指标体系应当具有全面、详细的各级指标，以保证指标体系的综合性和全面性。

2.动态性原则。教师教学创新团队的工作是一个动态的变化过程，如管理团队成员时，团队成员能进能退，即动态调整。因此，在选择评价指标时，不仅应有反映客观情况的结果性指标，也应有过程性指标，抽取某些过程并设置考核评价点，根据当下实际情况，不断修改与完善各项指标。

3.可行性原则。构建绩效评价指标体系的目的是能在职业院校教师教学创新团队的评价中获得实际应用，将理论转化为客观的统计数据，这就要求绩效评价指标体系的可行性[6]。指标设计的方法上，要采取定性与定量混合评价的方式。指标里所需的数据要易获取、可测量，避免没有实际意义、冗长的指标项。

4.导向性原则。职业院校教师教学创新团队绩效指标体系的构建不是为了构建而去构建，而要使得绩效评价体系对教师教学创新团队的建设具有良好的导向作用，有效提升团队建设的质量，力求建成一支紧密协作、高效、富有创造力的教师教学创新队伍，同时为下一批申请创新团队的院校指明道路，因此在设计指标体系时应紧紧围绕实际需求这一导向，达到既定目标。

二、职业院校教师教学创新团队绩效评价指标体系设计过程

（一）评价指标体系初步设计

本研究以目前普遍认同的IPO（Input－Process－Outcome）模型为基本评价框架，综合考虑绩效评价的设计原则，再经过项目组开展的文本分析（基于教育部相关政策文件、学术成果、特别是20 份来自不同省份的国家级职业教育教师教学创新团队建设方案）和职教专家研判两个研究环节的整合，综合构建了第一轮专家意见征询表，包含三个级别的指标，一级指标为团队投入、团队过程、团队产出。

团队投入下设的二级指标包括人力投入、项目经费、条件支持。在人力投入中主要考虑团队的结构和成员的能力，下设团队成员结构、团队领导人能力、团队骨干成员能力三个三级指标。经费是教师教学创新团队的重要资金来源，团队的经费一般来自于学校自筹、地方政府、企业、中央部门。项目经费下设地方政府资助、横向经费资助、学校内部资助三个三级指标。条件支持指一些基本条件及有关机构的软性支持，如政策的倾斜和学校相关领导对教学创新的重视程度等，下设基础条件、学校支持力度、央财和企业支持力度三个三级指标。

团队过程下设的二级指标包括团队规划、团队组织、团队协调、团队管控四项。这些指标既包含了团队和合作和互动过程，也涉及氛围和凝聚力等情感状态的考量，共同构成了对团队过程的科学性和系统性评价。团队规划下设团队发展规划和团队制度建设两个三级指标。团队组织下设教学组织形式、流程机制的科学性和规范性、成员对团队组织的认可度三个三级指标。团队协调下设团队沟通与知识共享、团队氛围与凝聚力两个三级指标，一个拥有良好的沟通环境和凝聚力的团队将会更好地发挥出“1+1＞2”的作用，起到事半功倍的效果。团队管控下设经费管理、质量管理、团队成员管理三个三级指标。

团队产出在绩效评价指标体系中具有重要意义，因此设计的二级指标数量最多。其包含师资队伍建设、科学研究、人才培养、教学创新、效益评估、合作交流、团队声誉这七项，对提升团队建设的质量具有导向作用。师资队伍建设下设队伍培养、双师素质、名师工程、引领青年教师成长、团队获得荣誉称号五个三级指标。科学研究下设论文著作、发明专利、成果转化、企业横向课题和行业协会合作项目、国家及省部级课题、技术服务四个三级指标。人才培养下设教师的教学能力、教学的实践性、就业满意度、学生对教学质量满意度评价、教研教改五个三级指标。教学创新下设专业建设（包含课程建设）、教材建设、教法创新三个三级指标。效益评估考虑经济方面和给其他机构、部门带来的效益方面，下设经济效益、服务地方政府和行业组织、社会效益三个三级指标。合作交流下设教师访工访学、国内外交流分享、校企合作和校地合作三个三级指标。团队声誉下设学术声誉和社会声誉两个三级指标，考虑团队在学术界和社会上的声誉和影响。

（二）评价指标体系修订

为了保证职业院校教师教学创新团队绩效评价指标体系的科学性和合理性，本研究采用德尔菲法进行两轮指标筛选和权重确定。德尔菲法是利用专家的知识和经验，在掌握了一定客观情况和资料信息基础上，来确定各因素在评判问题或者决策问题中重要程度系数的一种方法[8]。

德尔菲法选择的专家为教师教学创新团队负责人、教师教学创新团队成员、多年从事职业教育的专家，以征询专家意见的方式开展了两轮专家咨询，要求每位专家对每项指标的“重要性”进行评估及赋分，并且对初步拟定的指标体系提出修改意见。“重要性”程度可划分成5 个等级，从“很不重要”“不重要”，到“一般”“重要”“很重要”，对应的赋值依次为1-5。对两轮专家咨询得到的数据进行处理，计算得出各项指标的算术均数，满分频率，标准差以及变异系数，参照界值法的计算方法对指标体系进行修订。

1.第一轮专家意见征询。第一轮共发放了46 份专家意见征询表，回收46 份。参与意见征询的专家属于教育部立项的职业院校教师教学创新团队负责人的有12 人（占比26.09%），属于教育部立项的职业院校教师教学创新团队成员的有16 人（占比34.78%）。专家工作年限在30年以上的有12 人（占比26.09%），工作20年至30年的有19 人（占比41.30%），10年至20年的有15 人（占比26.09%）。专家职称为正高级的有25 人（占比54.35%）。在第一轮专家意见征询过程中，有60%的专家们属于职业院校教师教学创新团队，对创新团队有第一手经验。

专家对于判断某一问题的权威程度在评价中至关重要。然而，某位专家可能对某一问题或某些问题颇有研究，却不太可能对于每一个问题都能给出权威的预测。为得到更为科学的结果，采用熟悉程度系数、判断系数和权威系数对专家评判方案时的根据以及其对这个问题的熟悉度进行综合判断，三项系数一般基于自我评价。第一轮专家咨询得到的熟悉程度系数为0.79，判断系数为0.94，权威系数为0.86，说明咨询结果的可靠性较高。

对评价指标进行筛选的主要方法为界值法，根据每项指标的重要性得分，计算其算数均数，满分频率以及变异系数。对于满分频率和算数均数，其界值为均数与标准差的差值，得分比界值高者入选；对于变异系数而言，其界值为均数与标准差之和，得分比界值低者入选[9]。结合首轮咨询中专家给出的修改建议，计算得出算术均数、满分频率的界值为4.12、0.33，数值大于界值者入选。变异系数的界值为0.19，数值小于界值者入选。为了避免某些重要指标被误删，只剔除三个衡量尺度上均未入选的指标。对于有一或两个尺度未入选的指标，依据科学性、可行性等原则，在商议后对其是否保留做出判定[9]。同时，指标筛选基于专家提出的修改意见进行修订。

2.第二轮专家意见征询。第二轮共发放了38份问卷，回收38 份。征询意见的专家属于教育部立项的职业院校教师教学创新团队负责人的有11 人（占比28.95%），属于教育部立项的职业院校教师教学创新团队成员的有16 人（占比42.11%）。专家工作年限在3年以上的有11 人（占比28.95%），工作20年至30年的有17 人（占比44.74%）。专家职称为正高级的有27 人（占比71.05%）。在第一轮专家意见征询中，有60%的专家们属于职业院校教师教学创新团队，第二轮中这一百分比提高至70%。第二轮专家咨询熟悉程度系数为0.81，判断系数为0.94，计算得到权威程度系数为0.87，咨询结果可靠性相比第一轮继续提高。

汇总首轮专家的修改建议，得出算术均数、满分频率的界值分别为4.17、0.37，数值大于界值者入选。变异系数的界值为0.32，数值小于界值者入选，同时对指标体系进行了一定调整（如表1所示）。

表1 职业院校教师教学创新团队绩效评价指标体系[5]

三、职业院校教师教学创新团队绩效评价指标体系构建权重计算

层次分析法（The Analytic Hierarchy Process）是美国教授T.L.Saaty 提出的一种多目标评价决策方法[10]，能够为复杂问题的决策提供依据。应用层次分析法构建教师教学创新团队绩效指标体系，大致可以分为建立层次结构模型、构造判断矩阵、层次单排序及层次总排序四个步骤。

（一）建立层次结构模型

教师教学创新团队绩效的层次模型如下图所示，由上到下分为总目标、一级指标、二级指标、三级指标。总目标为教师教学创新团队绩效，将目标逐层展开，共得到44 项评价指标，如图1所示。

图1 教师教学创新团队绩效层次模型图

（二）构造判断矩阵

判断矩阵A＝（aij）n×n中的所有元素aij的取值在1-9 的标度自然数之间，对角线元素均为1，且有aij=1/aji。元素aij表示第i 项因素相对第j 项因素重要性比较的值，根据两因素的均数差对其重要性进行判断并赋值。

（三）层次单排序及其一致性检验

层次单排序指计算某层次中的因素对于上一层次某相关因素的相对重要性权值的过程，对判断矩阵利用方根法计算各因素权重值。对于n 阶方阵A，首先应计算判断矩阵每行元素乘积的n 次方根的值。

其次对向量W＝[W1，W2，…Wn]做归一化处理，即

得到的向量w＝[w1，w2，…wn]即为各因素的权重向量，每个因素对应的向量元素即为其权重系数值。此外还应检验因素之间的重要性判断是否在一致性检验的可容许范围内。定义一致性指标CI=一致性比率CR=CI/RI。一般来说，当CR＜0.1 时，可认为判断矩阵的不一致程度在容许范围内，有满意的一致性，说明因素的权重分配是合理的[11]。其中，RI 为平均随机一致性指标，其值与因素个数n 相关，例如因素个数为3 时，RI 的值为0.58。

（四）层次总排序及其一致性检验

在做完相邻层次的层次单排序后，进一步计算对于最高层（总目标）而言，某层次因素的相对重要性的权值，这个过程称为层次总排序。若所有层次单排序的一致性检验通过，则认为层次总排序通过一致性检验。遵循以上方法，使用Excel 2019 及MATLAB 2017b 软件对各因素的权重系数进行计算，可得到职业院校教师教学创新团队绩效考核一、二、三级指标权重系数表（如表1所示），所有层次单排序均通过一致性检验。

（五）绩效指标体系权重占比分析

1.专家对一级指标“团队过程”下的二级指标“团队协调”赋分较高，其权重占比为0.4133；对一级指标“团队产出”下的二级指标“人才培养”、“教学创新”和“师资队伍建设”赋分较高，其权重占比分别为0.2758、0.2758、0.1845。专家普遍认同团队协调是成功建设一个团队的重要基础。团队形成了有效的沟通机制、成员之间愿意并实施知识分享、团队形成了有利于协同创新的氛围、团队成员产生归属感、忠诚度、互赖性[5]，都将产生积极作用推进教师教学创新团队建设。师资建设过程中，团队结构科学合理、团队负责人能力突出对教师教学创新团队有着重要意义。二级指标“教学创新”下的三级指标“专业建设（包含课程建设）”权重占比为0.4934，赋分最高，职业院校教师教学创新团队绩效评价可以从行动导向的模块化教学进展程度，职业课程体系（群）的构建和实施程度，校企共同开发实训教材、共建实训课程、共建实训基地、共同考核等方面进行考核。二级指标“人才培养”指标下的三级指标“学生对教学质量满意度评价”和“教研教改”的权重占比分别为0.3666 和0.2623，专家对其赋分最高，说明绩效考核的评价主体不仅仅应该包括院领导和第三方评估组织，还应考虑学生的主体评价，尤其是学生对教学质量满意度的评价。职业院校教师教学创新团队绩效评价可以从推进模块化教学程度、推动信息技术与教育教学融合创新程度等方面进行考核。

2.专家对一级指标“团队投入”下的二级指标“项目经费”赋分较低，其权重占比为0.1571；对一级指标“团队产出”下的二级指标“效益评估”、“合作交流”、“科学研究”赋分较低，权重占比分别为0.0402、0.0490、0.0702；二级指标“效益评估”下权重占比最低的为三级指标“经济效益”，仅为0.1220。职是之故专家普遍认为职业院校教师教学创新团队的主要绩效或许不应直接聚焦在横向与纵向课题金额以及论文数量这方面，过度关注团队能够创造出的经济效益。二级指标“合作交流”下权重占比较低的三级指标为“教师访工访学”和“国内外交流分享”，分别为0.1311 和0.2081，据此推测专家不太看重以“体验”为主的参与形式，认为这样的交流形式对于团队建设的提升并无明显效果。

四、关于体系构建的几点思考

（一）引入项目信息化管理

《方案》中指出，强化督查评估。加强项目信息化管理，基于互联网+、大数据、人工智能等新技术，建立覆盖项目过程管理、数据采集、资源共享、绩效评价等环节的项目管理系统”[2]。积极探索绩效考核新方法，将项目信息化管理引入绩效评价，能够及时收集与存储绩效数据，充分开发与利用已有数据，更加科学方便地管理考核数据，实现数据共享与协作，切实提高绩效工作效率。

因此，要怎样将项目信息化管理引入绩效评价呢？仔细研读20 份国家级职业教育教师教学创新团队建设方案，发现其中一部分职业院校绩效考核方案值得学习。例如河北工业职业技术学院在绩效考核过程中，将人工智能新技术引入其中，制定《环境工程技术专业教师教学创新团队建设管理办法》《环境工程技术专业教师教学创新团队绩效评价办法》，引入基于互联网+、大数据、人工智能等新技术，覆盖项目过程管理、数据采集、资源共享、绩效评价等环节的项目管理系统，监控任务建设进度、建设成效、建设质量，建立信息通报和沟通机制。对任务建设进度缓慢、执行效果差、未达预期目标的项目及时预警，约谈、批评相关责任人，责令其限期整改。

（二）建立多方评价机制

《方案》中指出，建立由专家评估、第三方评估等方式开展绩效评价，形成诊断改进报告和绩效评估报告，需要加强项目督查指导，实行动态调整机制，强化成果产出导向[2]。职业教育相关主体的共同参与是提高职业教育教学质量和促进职业教育健康发展的基本要求[12]。在职业院校教师教学创新团队绩效评价里增强多方评价机制有利于提高绩效评价的科学性和全面性，降低单一主体评价可能带来的弊端和盲点，集多方智慧，促进团队的健康可持续发展。

团队建设方案中，很多院校针对多方评价机制作了积极探索。例如黑龙江农业经济职业学院出台《教师教学创新团队建设绩效考核办法》，采取团队自我评价、学校考核、专家评估，以及第三方评测机构或政府考核组织，进行综合考核评估，定期形成项目建设绩效评价报告，并实施诊断改进。建设信息化绩效考核平台，采用现代化信息技术全面、全方位、全过程考核，科学合理反映项目建设成效。同时，无锡职业技术学院依据“目标、标准”两链指标体系梳理团队建设和个人发展关键绩效指标（KPI），开发网络监测平台，实行教师双月报采集、团队内部学期自诊、学校领导小组与第三方审计机构年度考核评测与审计机制，按年度向教育部提交项目绩效评价报告和诊断改进报告。

开展由学校、行业企业、第三方评估等多方共同参与的绩效评价活动，有助于保障职业院校教师教学创新团队更加科学良态运行。本研究绩效评价指标构建聚焦的评价主体为职业院校领导、教师，后续对职业院校教师教学创新团队绩效评价指标体系有更深入探索的研究者也可将评价主体扩充到企业，如有企业参与其中的技术技能人才培养高地，技术创新高地和协作共同体，评价体系将更加客观全面。

（三）深化配套改革

深化配套改革，保障职业院校教师教学创新团队绩效评价顺利运行，开展职业院校教师教学创新团队绩效评价。首先，加强组织保障。成立团队建设工作领导小组和团队协同创新建设小组，负责研究、部署、指导、检查、总结绩效评价工作，解决评价过程中遇到困难和问题[6]，保证团队建设项目切实推进、高效实施。例如长沙航空职业技术学院成立“教师教学创新团队建设领导小组”，由院长、书记任组长，成员为分管教学、师资、科研、校企合作的副院长和教师发展中心、政治部、教务处、科研处等部门负责人。领导小组负责制定项目建设整体规划；总体把控实施项目建设进度；统筹安排建设资金。其次，加强机制保障。制定教师教学创新团队绩效评价制度以及有效的奖惩制度。有效的评价体系，配合有效的奖惩制度，为高职院校创新管理提供一个有效的工具和框架，使评价、培养、使用、激励等环节形成有效联动，发挥评价应有的作用[6]。以邢台职业技术学院为例，该学院依据相关管理办法，制定符合团队建设的奖惩制度，调动教师积极性和创新性，构建学校引领督导、外部评价促进、内部自我完善的专业创新团队的动态调整机制，保障团队的可持续发展。同时，加强经费保障。设立专项资金，确保建设任务如期完成。例如长沙航空职业技术学院每年建设经费达到80 万元以上，教师团队建设项目经费保障有力，实行建设经费专款专用，定期开展绩效考核。金华职业技术学院三年累计经费投入不少于575 万元。最后，加强监督保障。要以评判教师教学创新团队工作任务的开展成效为目标，对教学团队中的各组成员实行动态管理与聘期考核制度，考核其德能勤绩廉情况，重点考核其职责任务完成情况。除此之外，还需重视加强职业院校教师教学创新团队宣传工作，形成良好的评价环境，促进创新团队评价工作的开展。例如北京工业职业技术学院在建设过程中加强教学创新团队建设成果信息报送和宣传，提高教学创新团队在政府、行业企业和社会的影响力，营造有利于教学创新团队实施和高等职业教育及学校改革发展的外部环境。加强校内宣传发动，提高全体师生对教学创新团队建设重要性的认识，营造凝心聚力的良好内部环境。

构建评价指标体系的过程不是一个静止的过程，绩效评价指标体系的构建也应该根据职业院校教师教学创新团队在不同时期工作目标的重点，对考核指标及其权重进行修正。因此，需要跟踪观察并测试教师教学创新团队建设的全过程，不断验证并修正现有的绩效评价指标体系。