教师工作坊主持能力评价指标体系构建

2019-05-26 01:56武丽志白月飞
中国电化教育 2019年12期
关键词:评价指标体系

武丽志 白月飞

摘要:坊主作为教师工作坊研修的负责人,是影响网络研修成败和质量高低的关键。该文在综合在线教师和传统培训师的能力结构基础上提出了包括需求分析与研修规划能力、资源建设与整合加工能力、研修工具与技术运用能力、研修组织与过程管理能力、氛围营造与团队建设能力的教师工作坊主持能力模型。接着应用德尔菲法建立了包括5项一级指标、16项二级指标和74项三级指标的教师工作坊主持能力评价指标体系。该评价指标体系具有专家效度,科学性较强,对于坊主的遴选、培训、考核均具有重要意义。

关键词:教师工作坊;主持能力;评价指标体系

中图分类号:CJ434

文献标识码:A

一、引言

作为教育部“国培计划”启动实施的示范性项目之一,教师工作坊研修旨在打造信息技术环境下的教师学习共同体,将集中面授与网络研修相结合,将线上学习与线下实践相结合,探索建立骨干教师常态化培训模式。教师工作坊研修基于网络但不局限于网络,它强调“线上与线下的混合”,契合了互联网时代教师专业发展的生态变迁,因此成为了当前我国教师培训的重要途径之一。而坊主作为教师工作坊研修的负责人,直接影响着工作坊研修的成败和质量高低。

从全国看,尽管教师工作坊研修开展的如火如荼,但工作坊研修水平和坊主主持能力参差不齐,多数工作坊还停留在“坊主布置任务,学员完成学习”的任务型研修阶段,整体质量亟待提升。坊主应当如何主持教师工作坊?需要具备哪些能力?培训机构和承担坊主工作的教师通常并不明确。因此,研制一套科学、有效的教师工作坊主持能力评价指标体系,在理论层面,是对教师远程培训特别是教师网络研修已有理论的丰富,更是新时代互联网环境下对教师培训者(坊主)能力框架研究的发展和完善;在实践层面,对于教师工作坊坊主的遴选、培训、考核,以及教师工作坊研修活动的组织实施和质量效果提升均具有直接指导和借鉴价值。

二、框架设计:一级指标的设定

教师工作坊是教师培训发展到混合研修阶段的一种新方式,也是发挥骨干教师引领示范作用,实现教师群体常态化混合研修的新机制。坊主作为工作坊研修活动的设计者、组织者、实施者、评价者,承担着引领、示范、组织、协调等职能,其角色实质是“互联网+”背景下的教师培训师,须在具备传统培训师能力素质基础上,掌握并熟练运用在线教学的技能和方法。因此,本研究在对传统培训师和在线教师能力结构梳理的基础上,归纳出教师工作坊主持能力的核心要素,也即评价指标体系的—级指标。

(一)传统培训师与在线教师的能力结构

1.传统培训师能力结构

对于传统培训师的能力结构,不同国家或组织的划分不同。欧盟对职业教育培训师能力结构进行了明确界定,主要包括行政管理(组织、计划和项目管理)、培训(计划与准备、学习指导和评估与评价)、发展与质量保障(个人发展、组织发展和质量保障)以及网络协作(内部网络协作和外部网络协作)四部分。美国将培训师职业分为培训讲师、培训课程设计者和培训管理者3类,并从6个方面对这3类人提出了不同的职业能力要求,分别是:从业基础素质、分析与规划、教学方法与策略、计划与发展、评估、管理。英国的培训师有三个职业等级,其中培训课程直接提供者需要具备的能力包括:确认学习者个人学习的需求、设计培训与开发计划、准备培训材料、创造良好学习氛围、促进个体学习、评价培训项目、评价自己绩效。

2.在线教师能力结构

关于在线教师的能力结构,亦有不同分类。Berge提出的四维度能力模型认为网络教学教师需要具备教学维度、社会维度、管理维度、技术维度的能力。该模型尽管最初针对计算机会议环境下的辅导教师能力,但被广泛认可,成为了英国开放大学开展辅导教师培训的理论基础。Shepherd提出的网络教师能力三角模型,认为网络辅导教师须具备教学维度、技术维度和创造维度三方面能力,以及综合的组织管理能力。由Ganison、Anderson、Archer共同提出的探究式网上学习社区模型提出了三种临场感(社会临场感、教学临场感、认知临场感),而在线教师的职责就是要促进这三种临场感的建立。

(二)构建教师工作坊主持能力评估框架

在对传统培训师和在线教师能力结构分析基础上,笔者对几种常见模型(结构)所包含的能力要素进行E匕较,发现相关能力可归纳于6个方面,如表1所示。

考虑到本文探讨的是坊主主持教师工作坊的专项工作能力,因此去掉与坊主自身综合素质相关的“个人发展能力”。接着,本研究结合教师工作坊研修实践,提出了包含5个方面要素的教师工作坊主持能力模型,也即评价指标体系的—级指标,如表2所示。

三、能力分解和指标描述:二三级指标的设置

在一级指标确定后,本研究进一步结合相关理论研究与实践探索,逐级分解产生二、三级指标。笔者在设置和描述二、三级指标时力求全面、客觀,但仍无法避免会有一定的主观性。这也是采用德尔菲法对指标体系进行修正的原因。

(一)需求分析与研修规划能力

需求分析与研修规划是坊主在研修活动启动前就要着手的工作,并贯穿于整个研修过程,关系着教师工作坊研修的目标设定及达成,关系着每一个工作坊成员的研修获得感、成就感、满意度。从实践逻辑出发,可以将之分解为如表3所示的三个方面。

需说明的是:(1)需求调研与分析需要兼顾宏观(教育教学改革发展的时代背景、政策要求,以及研修需实现的社会价值)、中观(学员所在单位的组织需求、地区教育发展需求、培训机构的使命与需求等)、微观(学员信息,如学员地域构成、年龄特征、教龄特点、学科背景、知识技能储备、学习条件,以及对培训的预期等)3个层面,并重视专家意见和需求甄别。(2)研修目标按照叶澜对教师专业发展的内涵解,分为专业知识、专业技能、专业隋意三个方面,并尽可能具体化、可测量,盲目设定不切实际的大目标或较“虚”的目标,只会增加研修不确定性。(3)研修方案要综合考虑研修目标、研修成员、研修条件等,特别要考虑坊主可以调用的线上线下资源队、财、物),并持续改进。

(二)资源建设与整合加工能力

“巧妇难为无米之炊”。在教师工作坊研修中,资源是研修活动中成员学习、分析、研讨、问题解决的素材和资料。由于教师工作坊是基于网络平台的,因此这里讨论的资源主要是数字化资源,可以是视频、音频、动画、文档、图片,也可以是试题、案例、软件工具、虚拟实验等。依据资源建设的时间和目的不同,本研究将研修资源区分为两大类,如表4所示。

需说明的是:(1)提供预设性资源是教师工作坊研修的必要条件。本研究参照杜玉霞、徐福荫对网络资源利用与开发能力的划分,从检索、下载、加工、开发4方面进行三级指标设计。(2)教师工作坊研修不是知识传递过程,而是知识生产过程。生成性资源产生于研修过程,能客观、真实展现学员进步及研修成果。为确保生成性资源质量,坊主需要有计划的进行研修设计、过程引导、资源加工。

(三)研修工具与技术运用能力

充分利用软件工具和互联网技术,能够提高教师工作坊研修的效率和效果。本研究根据工具与技术的来源,将研修工具与技术运用能力划分为“基于研修平台的研修工具运用能力”和“基于第三方的研修工具运用能力”两个二级指标,进而根据工具功能作用进一步区分产生三级指标,如表5所示。

需说明的是:马东明、冯晓英在研究网络辅导教师的技术职能时,提出辅导教师是在线辅导技术的选择者、设计者和支持者。教师工作坊中,无论是哪一类工具和技术,坊主都应从研修工具的选择、设计和使用支持等方面来完善自身能力。

(四)研修组织与过程管理能力

研修组织与过程管理能力直接关系到研修活动的有效发生。按照工作坊研修实施的一般程序,该能力可分解为如表6所示的4个部分。

需说明的是:(1)研修活动既包含线上活动,也包含线下活动,因此研修活动布置旨在清晰的告诉学员,线上要做什么,线下要做什么,什么时候做,以及达到什么样的要求或效果。(2)根据陈丽、冯晓英的研究,将研修过程指导能力划分为督学、促学、诊断、指导;(3)综合李丽娟和龚明斌的研究,将研修成果评价能力划分为点评学员作业、推荐学员资源、推选优秀日志、评价学员参与讨论过程、实施满意度调查等。(4)结合龚明斌的研究和教师工作坊特点,坊主需要提炼4类内容,分别是资源、活动、模式、课题成果。

(五)氛围营造与团队建设能力

教师工作坊是一个虚拟社区。坊主要为学员营造友好的、社会化的在线学习环境,以促进学员学习、交流。本研究参照王志军对辅导教师社会职能的研究,从3个方面对氛围营造和团队建设能力进行分解,如表7所示。

需说明的是:(1)没有規矩,不成方圆。一个发展良好的工作坊须有大家共同认可并遵守的“游戏”规则,因此研修规则制订能力十分重要。(2)在线交互不等同于传统课堂交互。坊主掌握在线交互的相关技术、技巧、策略,能显著提升工作效率和效果。(3)教师工作坊研修是典型的共同体学习,合作是其重要特征。

四、应用德尔菲法修正评价指标体系的实证研究

(一)研究方法及专家遴选

本研究由多名专家共同对初拟的教师工作坊主持能力评价指标体系进行修正。研究者与专家组成员以电子邮件方式联系,但专家之间不讨论。经过反复的“意见征询一专家反馈一指标修订”,专家意见趋于一致后,由笔者汇总获得研究结果。

专家的选取是德尔菲法成功运用并取得可靠结果的关键影响因素之一。专家选择不以年龄结构、所在区域、单位、地位等为标准,但要求选取的专家必须对研究内容有深入了解,且具有与之相关的专业知识或工作经历。关于调查的专家数量,文森特·W·米切尔提出至少要达到13人以上,误差降幅才不明显。根据以上原则,本研究初选专家24人,得到回应17人。专家基本信息如表8所示。

(二)第一轮专家问卷调查

1.问卷编制与发放

第一轮专家调查的目的是对初拟的教师工作坊主持能力评价指标适切度进行问询,并征询具体修改意见。问卷包括情况介绍、专家个人信息、填写提示、一级指标咨询表(5项)、二级指标咨询表(14项)、三级指标咨询表(60项)。为避免专家对指标项标题产生误解,在一、二级指标咨询表中均增加了对指标项的描述,专家只需对其适切度进行勾选。适切度有5级(1、2、3、4、5),从1-5依次递增。

鉴于指标体系初拟时,既采用了文献研究法,又调研了教师工作坊实践,还征询过部分专家意见,因此第一轮德尔菲问卷已具有较高信度和效度。第一轮问卷共发放17份,回收17份且全部有效,回收率和有效率为100%。

2.问卷统计与分析

对第一轮问卷调查的专家量化反馈意见进行汇总、统计。在一级指标和二级指标方面,笔者在对专家填写适切程度进行百分比统计的基础上,进一步计算得出平均数、中位数、众数、标准差,以客观呈现多位专家对各指标项适合程度的综合意见、意见一致性及离散分布情况等。由于三级指标项较多,采用二分法进行意见征询,专家赞同指标设置就选“同意”,反之选“不同意”。

一级指标方面,5个维度的平均数均达到了4.4以上,中位数和众数都较好的保持在“4”“5”两个数上,且以“5”为主。5项一级指标的“非常适合”与“比较适合”之和都达到了100%,可见专家们对一级指标高度认同。5项一级指标的标准差都在1.0以下,A和C略高,表明专家对于需求分析与研修规划能力、研修工具与技术运用能力的适切性认识存在一定的分歧,但尚在可接受范围之内。依据平均数,专家对五项一级指标适切程度的认知排序依次为:D、E、B、C、A。

二级指标方面,14个项目的平均数均达到了4.0以上,众数与中位数也保持在“4”“5”两个数上,且以“5”为主。二级指标中“非常适合”与“比较适合”的比例之和,除D3、D4外都是100%。各指标项的标准差都保持在1.0以下,但是相对于一级指标,二级指标个别项标准差的数值较高(如D4),表明专家认识呈现了一定的离散性。

三级指标方面,由于专家赋值只有2种,因此我们只计算平均数。有25项指标的“同意”比例达到了100%,17项指标的“同意”比例达到了94.12%,17项指标的“同意”比例在70%-90%,1项指标的“同意”比例在60%-70%。这表明专家对三级指标的评价具有较好一致性,但对个别指标存在意见分歧。

3.意见收集与指标修订

本研究编制的德尔菲问卷采用的是半开放式结构。专家除对已有指标进行适切性评价外,还反馈了对指标分类、指标项描述等的修改意见。经筛选、归纳,第一轮德尔菲法采纳的专家意见涉及指标项名称及内涵描述(A、Bl、D2、D3、D12、D22、E32、E33、E34)、分类及指标领域归属(A17)、增加新的下一级指标项(Al、Bl、B2、C、D、D4、E2)。综合专家意见,对指标体系做以下修订:

一级指标:将“A需求分析与研修规划能力”修改为“A需求分析与研修设计能力”。

二级指标:将“D2研修过程指导能力”改为“D2研修过程帮促能力”,“D3研修结果评价能力”改为“D3研修过程的跟踪与结果评价能力”,“D4研修成果沉淀能力”改为“D5研修成果提炼能力”,并修改、凝练和完善其描述。另外,增加二级指标“C3网络及计算机的基本运用能力” “D4训后指导与跟踪反馈能力”“D6研修成果推广能力”。

三级指标:修改部分同意率较低的指标描述,并增加部分新的三级指标。当新增指标插入后,同级同类的后续指标项序号顺延。新增指标为:“A13能获取教育局的需求”“A16能引导学员理清自身持续发展的需求,并加以挖掘”“A18能确认学员起点水平”“A24能根据研修过程的反馈不断调整研修目标”“B14能从资源库中选择研修资源”“B16具有知识产权保护的意识和能力”“B24具有建设生成性资源的意识与能力”“B25能够促使每位学员都具备生成性资源的建设能力”“C15熟练使用通知指导类工具”“C31具备诊断、解决计算机使用中常见的软硬件问题”“C32具备基本的互联网浏览、搜索、通讯等技能”“C33具备常用PC软件和手机APP的使用能力”“D35能对学员的总体表现进行评分” “D36在研修结束时进行研修总结”“D42能及时跟踪调查反馈学员的训后情况”“D55能判断学员学习结果的真实性和有效性”“D61能形成系列化的成果并加以宣传推广”“D62能对生成优秀成果的学员给予表彰”“E26能及时了解学员反应和收集学员反馈信息并及时调整”“E27能发起研修交流互动活动”。

(三)第二轮专家问卷调查

1.问卷编制与发放

因一级指标在第一轮调查中已达高度一致,第二轮不再对该层次的指标划分进行意见征询,改为权重咨询。修改后的二、三级指标继续进行适切性咨询。第二轮调查共发放问卷17份,回收15份,有效问卷15份,回收率88.24%。

2.问卷统计與分析

(1)-级指标权重分析

对5项一级指标的权重赋值进行平均权重、标准差计算,并按平均权重排序,依次为:D、A、B、C、E,如表9所示。这表明专家认为主持教师工作坊应具备的最重要能力是“研修组织与过程管理能力”, “需求分析与研修设计能力”次之,其他再次。

(2)-级指标分析及修订

根据Murry和Hammous的研究,当多于80%的专家同意则说明通过一致性检验。“非常适合”“比较适合”均代表同意,故两项所占比例之和大于80%,且标准差低于1.0,则认为该指标项通过了一致性检验。有16项二级指标的平均数达到4.0以上,只有新增加指标D4平均数为353,且专家同意比例为46.67%,未达标准。综合专家意见,将D4与D3合并为“D3研修评价反馈能力”。除此之外,其余指标同意比例全部达到80%以上,因此删除D4后,16项二级指标项全部通过专家意见咨询。

(3)三级指标分析及修订

三级指标方面,80项指标中A13、A16、B25、C15、E26、E27、E33同意比例均低于80%,不予通过。其余73项均达到标准,其中在第一轮中同意率稍低的指标项也因修改而提高了一致性。此外,结合第二轮专家意见,对部分指标项进行了重新描述和位置移动,如将“E21能引导学员定期登录教师工作坊”移动至D2。其中,在将D3和D4合并之后,其下的相应三级指标也进行合并,并将“D55能判断学员学习结果的真实性和有效性”移动至D3,增加“D310能引导和激励学员持续使用平台进行学习、交流”。

(4)专家共识率

关于何时结束德尔菲调查,不同的学者有不同的观点。其中Mead和Greenrt认为专家对所有题项的一致性达到80%以上才算达成共识,可以停止调查。本研究进行到第二轮,一级指标共识率为100%(5/5),二级指标共识率为94.12%(16/17),三级指标共识率为92.5%(74/80),均大于80%。因此可认为已达成专家共识,研究结束。

五、结果与讨论

(一)研究结果

本研究通过两轮德尔菲问卷调查,获得了专家小组对教师工作坊主持能力评价指标体系的一致性意见,并充分吸收了专家对具体指标项描述的修改、调序等建议,最终形成了包含5项一级指标、16项二级指标、74项三级指标的完整指标体系。 (二)几点讨论 针对本研究构建的教师工作坊主持能力评价指标体系,现做以下讨论:

1.关于评价指标体系的适用性和推广性。本研究构建的指标体系适用于对当前中小学教师工作坊坊主主持能力的评价。同时,该指标体系对于其他虚拟研修(或学习)社区主持能力评价均有借鉴价值。

2.关于教师工作坊主持能力评价的操作方法。本研究形成的指标体系是评价坊主主持能力的基础。考虑到能力本身的综合性、复杂性,以及实际操作可能存在的诸多客观限制,对教师工作坊主持能力进行完全精准的评估恐难实现,根据已有相关研究,自我评估可作为一种有效且可操作的方式,用于坊主自我查验、自我反思和自我发展。

3.关于评价指标体系的完善与发展。由于研究者和所选专家的认知与能力限制,本研究构建的教师工作坊主持能力评价指标体系难免存在疏漏之处,需要不断完善。此外,随着科学技术发展与普及,以及教师专业发展理念的进步,本指标体系须与时俱进、不断发展。

*本文系广东省哲学社会科学“十三五”规划2017年度资助项目“基于U-R-S的乡村教师常态化混合研修模式与协同发展机制研究”(项目编号:GD17CJY10)阶段性研究成果。

猜你喜欢
评价指标体系
高校学生信息素质评价指标体系研究
独立学院技能型人才技能训练方案及评价指标体系
关于AI上市公司发展水平评价
基于层次分析法的企业品牌竞争力研究
市场营销竞争力评价指标及其体系建立分析
高职院校教师绩效评价体系研究
企业绩效审计评价指标体系的有效构建探讨
民办高职院校评价指标体系研究
工程咨询企业可持续竞争力评价指标体系研究
新常态下大型煤炭企业生态竞争力实证分析