【摘 要】在线培训因能突破时空限制、克服工学矛盾而成为了教师职后培训所广泛采用的一种模式,但其培训成效与线下培训是否一致、不同在线培训模式之间又是否存在差异尚不明晰。为此,研究者以学习与培训评估四层框架为理论基础,研制出培训成效测量工具,通过对一项教师培训项目的跟踪评估,比较线下培训、同步在线培训、异步在线培训三种模式之间在培训成效上的差异。结果显示,线下培训模式的培训成效显著优于同步在线培训模式,而同步在线培训模式又优于异步在线培训模式。对此,从受训教师、承训机构、工作单位三个层面提出了提升在线培训成效的建议。
【关键词】教师培训 在线培训 线下培训 培训成效
【中图分类号】G451.2 【文献标识码】A 【文章编号】1002-3275(2024)13-20-06
谢利东 / 楚雄师范学院教育学院,教授,从事教育技术学、教育管理研究;李磊 / 楚雄师范学院教育学院,讲师,从事教育技术学研究(楚雄 675000);*通讯作者:E-mail:xield@yeah.net
【基金项目】云南省高等学校计算机基础教学指导委员会和云南省高等学校计算机教学研究会教学研究项目“BOPPPS混合式教学模式的探索与实践”(云高计教202207);云南省教育教学改革研究项目“线上线下混合式课程中社会存在支架的设计策略”(JG2023212)
一、问题的提出
在线培训因具有学习方式灵活、能够突破时空限制、有利于解决工学矛盾等优点,逐渐成为了职后培训的一种重要模式,很多中小学教师培训也采用在线模式。但在线培训因存在时空分隔[1],培训的质量和成效也受到了一线教师和研究者的质疑[2]。培训质量是受训者在培训中所获得的学习结果(如知识、技能的提高)及学习体验(如对培训价值的感知、培训满意度等),而培训成效是受训者将培训所学转化应用到实际工作中所产生的效益。那么,在线培训的质量和成效是否与线下培训一致?
对于培训质量,国内外多项研究显示,在线培训与线下培训并无显著差异,甚至在某些维度上还优于线下培训。例如Lhbibani等在一项护士培训中,采用实验组与对照组模式,比较了在线培训与线下培训的质量,结果显示两组学员均获得了知识的增长,其中,在理论知识(general knowledge)上,在线组的增量显著高于线下组,但在程序性知识(procedural knowledge)上,二者并无显著差异。[3]类似地,Ludwig等的研究发现,有反馈的在线训练同样改善了青少年足球运动员的姿势参数。[4]此外,任爽等[5]、刘辉等[6]、Hemingway等[7]、Shen等[8]的研究也发现,通过在线培训,受训学员在知识、技能上获得了提高,对培训的形式和效果也较为满意。
对于培训成效,尚不清楚在线培训与线下培训是否一致,国内外已有研究仅报告了在线培训成效,但是未比较不同模式间的差异。例如Marel等采用单组前后测对澳大利亚115名临床医生培训的研究显示,在线培训提高了受训者的知识和技能,且89%的学员报告了在临床实践中使用了培训中所获得的技能。[9]Mohamed等对巴布亚新几内亚364名卫生工作者在线培训结果的评估显示,79%的受训者报告在临床实践中使用了通过在线培训获得的知识或技能。[10]
从文献梳理来看,国内外现有研究更多地关注在线培训的质量,有关在线培训成效的研究较少。目前尚不清楚在线培训与线下培训的成效是否一致,同步、异步两种在线培训模式下的培训成效又是否存在差异。另外,近年来研究多以医护人员为对象,较少见到有关中小学教师在线培训成效的研究。为了保证在线培训的质量和成效,教育部教师工作司和财务司于2020年印发了《中小学幼儿园教师在线培训实施指南》,要求加强对在线培训特点、规律的研究,科学检测受训学员在实践应用层面的培训成效。有鉴于此,拟比较在线培训与线下培训的成效有无显著差异,同步、异步在线培训的成效又有无差异。对该问题的探讨有助于增进对在线培训特点的认识,也有助于承训机构诊断培训中存在的不足并据此优化在线培训设计。
二、测量框架与假设
(一)培训成效的测量
准确比较在线培训与线下培训的成效,关键在于研制出科学、有效的培训成效测量工具,Nawaz等研究者在学习与培训评估理论中提出的培训评估四层框架(反应层、学习层、行为层和结果层)[11]为此提供了适切的理论视角。其中,反应层主要评估了受训者在培训中的学习体验,如对培训设计质量的感知、培训的满意度等。学习层评价了受训者的学习结果。行为层评价了受训者将培训所学转化应用到实际工作中的行为。结果层则评价了受训者转化应用培训所学对个人工作业务、组织发展的影响。上述四层中,反应层和学习层主要评估了培训质量,而行为层和结果层评价了培训成效,如图1所示。据此,将培训成效操作化定义为:受训教师将培训所学转化应用于实际工作之中的行为及所取得的结果,包含转化行为、转化结果两个维度。
培训成效的测量存在一定难度。Kirkpatrick认为,对行为层的评价应由第三方进入到工作现场,采用观察法、访谈法或行为观察量表来评定受训者转化行为发生的程度,而结果层可采用绩效考核的方式,通过绩效增量来度量转化培训所学的成效。例如Rouiller等研究者在一项有关企业经理培训的研究中,对受训经理转化行为的测量即使用了一个包含92项关键行为的五级量表,由部门主管和员工共同评定,而对转化结果的测量则由部门主管依据受训经理在质量、服务、清洁和财务方面的绩效表现作出综合评定。[12]但是,根据学习迁移理论的观点,将培训所学转化应用于实际工作中并非简单地照搬照套,而是需要结合现实情境灵活地应用,内显为新旧知识和技能的重构与整合,外显为原有流程和规制的改造与创新。因此将转化行为简单地量化为若干个指标,通过观察行为发生的频数来推断转化的程度并不是非常准确。此外,因为很难将引起绩效增量的非培训因素(如环境、团队等)完全排除在外,所以通过绩效增量来衡量培训成效同样可能存在误差。
因此,无论是在学术研究还是管理实践中,对培训成效的测量更多地采用了受训者自我报告的方法。例如Holton等研究者开发的LTSI(Learning Transfer System Inventory)问卷即采用了自我报告的方式来度量企业员工的培训成效。[13]再如,李美凤编制了8个题项来评估受训中小学教师迁移应用信息技术的成效[14],金业文编制了7个项目来测查教师培训成效。[15]在本研究中,同样采用受训者自我报告的方法来测量在线培训和线下培训的成效,但需要研制出信度、效度达标的测量工具。
(二)研究假设
线下培训与在线培训可能因为交互距离不等而导致培训成效存在差异。穆尔的交互影响距离理论是远程教育领域较为有影响力的一个理论,为远程教育学习效果提供了独到的解释视角。[16]交互影响距离理论认为,交互距离是师生因物理距离而产生的潜在误解的程度,主要取决于对话和结构两个要素。对话是师生相互交流、响应的程度,而结构是课程设计为适应个别学习需求而允许变通的程度。线下培训、同步在线培训、异步在线培训三种模式的交互距离并不相等。线下培训因为不存在时空分隔,交互距离是最小的。异步在线培训以网络课程为载体,师生之间不能实时交流、互动,交互距离是最大的。而同步在线培训依托视频会议系统支持师生实时互动,交互距离介于二者之间。交互距离不仅影响着师生之间的情感距离和学习体验[17],对受训学员转化应用培训所学的动机和信心也会产生影响。因此三种培训模式因交互距离不同,可能导致培训成效也存在差异,故提出以下假设。
H1:线下培训、同步在线培训、异步在线培训的培训成效存在显著差异。
三、研究方法与对象
(一)研究方法
根据培训成效的操作性定义和测量框架,参考LTSI问卷,编制了包含16个题项的测量问卷。通过预调查获取数据,对编制的问卷进行项目分析、探索性因素分析、验证性因素分析等,确保问卷的信效度达到测量学要求。使用修订后的问卷正式施测,通过差异分析检验所提出的假设是否成立。
(二)研究对象
1.预调查
研究者以某市参加一项信息技术应用能力培训项目的中小学教师为预调查对象,在培训后一个月进行了调查。参与线下培训的教师共164人,来自各市县中小学,采用纸质填答方式。参与线上培训的教师进行网络填答,在4所中小学随机抽取了300人。
合计发放问卷464份,最终回收有效问卷341份,有效率73.49%。其中,参与线下培训的教师159人,参与线上培训的教师182人。男教师144人(占42.23%),女教师197人(占57.77%)。小学教师141人(占41.35%),初中教师87人(占25.51%),高中教师113人(占33.14%)。
2.正式调查
因为需要比较多种模式的培训成效,为了保障测量的信效度,所以借助该市开展一项小学语文教师课堂教学能力提升专题培训的机会实施了调查。培训由当地一所高等学校承担,为期两天,为扩大受益面,采用了多种培训模式。
由各小学选派1~3名教师在该高等学校报告厅集中接受了线下培训(标记为“线下培训组”),同时进行了在线直播,部分小学组织教师在本校会议室或教研室集中接受培训(记为“同步在线培训组”),还有部分小学选择由教师通过生成的课程自行完成培训(记为“异步在线培训组”)。培训方组建了微信群,三个组的教师均可从群中下载相关学习资源并相互交流。
培训结束一个月后,对三个组中随机抽取的部分参训教师进行了跟踪调查。共发放问卷762份,回收684份,回收率89.76%。删除无效问卷5份,最终获得有效问卷679份,有效率99.27%。其中,参加线下培训的教师147人,参加同步在线培训的教师243人,参加异步在线培训的教师289人。男教师270人(占39.76%),女教师409人(占60.24%)。教龄在5年及以下的共136人(占20.03%),6~10年的共133人(占19.59%),11~15年的共90人(占13.25%),16~20年的共149人(占21.94%),21年及以上的共171人(占25.18%)。
四、研究结果与讨论
(一)测量工具信效度检验
1.项目分析
采用临界比率法和相关法,使用预调查数据对初始问卷的16个项目进行项目分析。临界比率法检验每个项目在高、低分组间的差异显著性,删除C.R.值小于3.0的项目。相关法则计算每个项目与总分的相关系数,删除相关系数小于0.4或未达显著水平(P>0.05)的项目。结果显示,2个项目符合删除标准(C.R.值为1.787、1.606,相关系数为0.101、0.105),删除后问卷剩余14个项目。
2.探索性因素分析
预调查样本随机分为两半,一半命名为校正样本(S1=180),用于探索性因素分析;另一半命名为效度样本(S2=161),用于验证性因素分析。差异检验结果显示,两样本在全部项目及人口学变量上均无显著差异。
使用校正样本S1对剩余的14个项目进行探索性因素分析,公因子提取方法采用主成分法,转轴方法采用直接斜交旋转法。初始分析发现有两个项目的因子归属错误且共同性低于0.2,删除后对剩余的12个项目再次进行分析。结果显示,KMO统计值为0.903,Bartlett球形检验值为1219.461,P<0.01,按特征根值大于1的准则提取了2个公因子,累积方差贡献率达62.450%。析出的因子结构(见表1)与理论结构相符。其中,因子1为转化结果,包含Q11、Q3、Q10、Q2、Q9、Q1等6个项目,描述了受训教师应用培训所学所取得的效益;因子2为转化行为,包含Q7、Q6、Q4、Q8、Q5、Q12等6个项目,描述了受训教师应用培训所学的行为及程度。
3.效度分析
结构效度反映了问卷结构符合理论构想的程度。在AMOS中建立两因子测量模型(记为Mod 1),使用效度样本S2进行验证性因素分析,结果显示模型拟合理想([χ2]/df=1.069<2,GFI=0.957>0.900,NFI=0.962>0.900,TLI=0.996>0.900,CFI=0.997>0.900,RMR=0.040<0.050,RMSEA=0.021<0.050),表明问卷具有良好的结构效度。
外在效度反映了问卷结构的稳健性,即结构能否从一个样本推广到另个一样本。[18]通过分析测量模型在校正样本S1和效度样本S2上的测量恒等性,以检验量表的外在效度。参照Reise等的建议[19],建立四个限制条件依次增强的模型:形等价模型(Mod 2),无参数等同限制,即自由估计模型;弱等价模型(Mod 3),限制测量系数相等;强等价模型(Mod 4),限制测量系数和截距相等;严等价模型(Mod 5),限制测量系数、截距、测量误差相等,即重合模型。检验结果如表2所示。
结果显示,形等价模型、弱等价模型、强等价模型均能拟合校正样本和效度样本,但是严等价模型拟合效果不甚理想([χ2]/df=1.28,CFI=0.87,RMSEA=0.05)。以形等价模型为基线模型,与其他3个模型比较,结果发现,形等价模型与弱等价模型(Δ[χ2]=12.13,P=0.206>0.05)、与强等价模型(Δ[χ2]=28.370,P=0.130>0.05)无显著差异,但与严等价模型(Δ[χ2]=44.21,P=0.014<0.05)有显著差异。上述结果表明,两因子模型具有部分测量恒等性,因子结构可以从一个样本概化到另一样本,问卷具有理想的外在效度。
4.信度分析
问卷内部一致性信度系数为0.920,两个维度的内部一致性信度系数分别为0.886、0.861,问卷具有良好的信度。
潜变量组合信度衡量了项目之间的内在关联程度,一般以0.8为良好判断阈限,0.6为底限。潜变量“Mv1JnX+ysplk+bQtIIDEheVJWfN148oIMaGP3E9sn5E=转化行为”由6个观察变量测量,计算出的组合信度为0.875。潜变量“转化结果”由另6个观察变量测量,计算出的组合信度为0.871。两个潜变量的组合信度均高于0.8,达到良好标准,说明项目的内在关联程度较高。
(二)在线培训与线下培训的成效比较
对正式调查数据进行单因素方差检验,以比较线下培训、同步在线培训、异步在线培训三种模式之间在培训成效上的差异,结果如表3所示。
从表4可以看出,三种模式在培训成效(F=13.375,P<0.01)及转化行为(F=12.369,P<0.01)、转化结果(F=12.116,P<0.01)上均存在显著差异,接受假设。
因为方差均具有齐性,进一步采用LSD(Least Significant Difference)事后检验方法比较各组间的差异。结果显示,在培训成效上,线下培训模式显著高于同步在线培训模式(P<0.05)和异步在线培训模式(P<0.01),同步在线培训模式又显著高于异步在线培训模式(P<0.01)。在转化行为维度上,线下培训模式显著高于异步在线培训模式(P<0.01),同步在线培训模式显著高于异步在线培训模式(P<0.01),但线下培训模式与同步在线培训模式的差异不显著(P=0.16>0.05)。在转化结果维度上,线下培训模式显著高于同步在线培训模式(P<0.01)和异步在线培训模式(P<0.01),同步在线培训模式又显著高于异步在线培训模式(P<0.01)。
总体而言,在培训成效上,线下培训模式优于同步在线培训模式,而同步在线培训模式又优于异步在线培训模式,其原因在于三种培训模式下师生之间的交互影响距离存在差异,从而验证了假设H1。
交互距离取决于对话和结构两个要素。线下培训因为不存在时空分隔,交互距离在三种模式中是最短的。同步在线培训模式下,虽然师生存在时空分隔,但是借助视频会议系统师生之间也能实现实时交流、互动,教师不仅可以对学员的提问或反应作出及时反馈并给予专业指导,而且可以根据学员的学习状况灵活调整教学进度和内容,因而交互距离较短。异步在线培训模式下,学员主要依托教师设计、发布的课程或资源完成学习,师生之间不能实时互动,因而交互距离是最长的。
交互距离会影响培训的成效。培训能否取得实效关键在于受训教师将培训所学转化应用到实际工作之中。而根据Holton的学习与培训评估理论[20],转化行为的诱发又取决于学习质量和转化的动机。在低交互距离下,师生之间通过实时交流、互动,能够即时解决学习中存在的困惑,有助于降低理解上的歧义性,同时拉近了师生之间的情感距离,有助于促进学员的投入水平,因而有助于提升学习的质量。有关在线学习的研究就发现,缩短交互影响距离,能够促进学生的学习投入,提升学生的学习满意度和学习水平,例如惠良虹等[21]、吴江等[22]的研究。此外,在低交互影响距离下,线下面对面课堂的差异减小,教师可根据学员的反馈灵活调整内容和进度,有助于学员吸收、建构知识,也更能激发学员的求知欲和求成欲,而这正是转化动机的两类重要内驱力。由此可见,受训学员的学习质量和转化动机因师生之间的交互距离的缩短而获得提升。也因此,线下培训的成效要优于同步在线培训,而同步在线培训模式又优于异步在线培训模式。
(三)提升在线培训成效的建议
提升在线培训成效,需要受训教师、承训机构、工作单位三方的共同协作。
对于受训教师而言,首先,应端正培训态度。有关线下的研究发现,学员的态度、能力、学习效果对培训成效有着重要的影响,例如茹红忠[23]、陈霞[24]的研究。只有视培训为促进个人专业发展的重要途径而非额外的负担,才不会出现“挂机”、代学、跳学等“混”学分的不良行为。也只有真正认识培训的意义和必要性,才会将所学知识积极地转化应用于教育教学工作之中,促进个人专业发展和工作质量的提升。其次,受训教师还应深入认识在线培训的特征,提高训中学习的自觉性。在线培训具有学习方式灵活的优势,但是也因时空分隔而对学习的自律性和主动性提出了更高的要求。因此在缺失实时监督的情况下,受训学员需要依靠个人发展的自律性来完成各项学习任务,同时积极、主动地与教师互动,通过对话来缩短交互距离,提升学习效果,进而提升在线培训的成效。
对于承训机构而言,首先,要科学设定培训目标。通过问卷调查、座谈、访谈等方式,准确获知受训教师的实际需求并据此设置培训目标。在线培训只有契合教育教学的实际需要,才能激发教师转化应用培训所学的意愿,培训也才能取得实效。其次,精心设计培训课程。与线下面对面的培训相比,在线培训因为存在时空分隔导致交互距离相对较远。对于同步在线培训,可以通过高程度的对话来缩短交互距离,因而课程内容和课程结构设计可相对灵活,既能满足学员的个别化学习需要,又为对话的发生创造条件。但是对于异步在线培训模式,因为缺少实时互动、对话程度低,严谨的课程结构设计反而有助于缩短交互影响距离,例如清晰的课程目标,具有逻辑性的内容编排,契合成年人学习者特征的教学策略、选用交互功能丰富的服务平台等。当然,课程结构越严谨,越可能降低学习的独立性,因此需要在二者之间取得平衡。最后,及时提供反馈。同步在线培训模式下,可以借助视频会议系统设计高程度的对话,在对话中协助学员理解、内化知识,及时消除学习中的疑惑。异步在线培训模式下,虽然不能实时互动,但是也应借助留言板、讨论区、评论、平台私信等工具,及时回应学员的提问,尽可能缩短交互影响距离。
对于工作单位而言,可通过资源支持、政策支持、情感支持为受训教师转化培训所学营造良好的转化环境。首先,为受训教师转化应用培训所学提供必要的设施、设备、软件、App、数据库、文献资料等软硬件资源。除上述软硬件之外,资源支持还包括应用的机会。有研究指出,一旦错过应用机会,学员转化应用培训所学的热情和信心就会丧失。[25]为此,学校可以通过举办分享会、公开课、示范课、专题研讨等培训成果展示、交流活动,为受训教师提供应用的机会,激励受训者积极将培训成果转化到实际工作中。其次,建立科学的培训考核与激励机制。培训考核不能只限于完成培训并取得相应学分,更要跟踪、评估训后应用的成效。对积极将培训成果转化应用到实际工作之中并取得成效的教师给予必要的奖励,例如授予荣誉称号或在履职考核、职称评聘时给予一定加分。最后,学校领导应高度关注受训教师的转化应用情况并给予及时反馈。另外,受训教师转化应用培训所学,不是简单的照搬照套,而是有破有立,是在实际工作情境中的创新性应用,因而转化的过程可能面临一系列问题、困难,甚至遭遇失败,此时领导和同事的包容、鼓励能够缓解受训教师的转化焦虑,对提升在线培训也有着重要的促进作用。
【参考文献】
[1]王国光,李金,赖长春.我国教师网络培训质量影响因素的元分析[J].远程教育杂志,2022,40(4):82-91.
[2]谢满兰.在职教师网络培训的效果研究:基于2012—2013年广东省教师网络培训数据[J].中小学教师培训,2015(2):26-30.
[3]LHBIBANI A,DAAIF J,LOTFI S,et al.Effect of online training in the continuing education of nurses in hospitals in the Casablanca-Settat region[J].The open nursing journal,2022,16(1):1-9.
[4]LUDWIG O,DINDORF C,SCHUH T,et al.Effects of feedback-supported online training during the Coronavirus lockdown on posture in children and adolescents[J].Journal of functional morphology and kinesiology,2022,7(4):88-101.
[5]任爽,卞婧,张威,等.新冠疫情防控常态化下临床药师培训线上/远程教学课堂构建[J].中国医院药学杂志,2021,41(15):1569-1572,1594.
[6]刘辉,郑豫珍,徐玮蔚,等.在线培训在新型冠状病毒肺炎知识培训中的应用[J].中华护理杂志,2020,55(增刊):686-687.
[7]HEMINGWAY B L,BALINGIT R M,DONALDSON S I.Building program evaluation capacity through an online training for graduate students at schools and programs of public health[J].Public health reports,2023,139(1):129-137.
[8]SHEN B Z,LIU J,HE J H,et al.Development and evaluation of an online training program based on the O-AMAS teaching model for community pharmacists in the post-COVID-19 era[J].Frontiers in public health,2022,10:1-9.
[9]MAREL C,MADDEN E,WILSON J,et al.Effectiveness of online training for improving knowledge,attitudes,and confidence of alcohol and other drug workers in relation to co-occurring mental health conditions[J].Drugs:education prevention and policy,2021,30(2):1-9.
[10]MOHAMED Y,HEZERI P,KAMA H,et al.Evaluation of an online training program on COVID-19 for health workers in Papua New Guinea[J].Tropical medicine and infectious disease,2023,8(6):327-344.
[11]NAWAZ F,AHMED W,KHUSHNOOD M.Kirkpatrick model and training effectiveness:a meta-analysis 1982 to 2021[J].Business & economic review,2022,14(2):35-55.
[12]ROUILLER J Z,GOLDSTEIN I L.The relationship between organizational transfer climate and positive transfer of training[J].Human resource development quarterly,1993,4(4):377-390.
[13]HOLTON Ⅲ E F,BATES R A,RUONA W E A.Development of a generalized learning transfer system inventory[J].Human resource development quarterly,2000,11(4):333-360.
[14]李美凤.工作环境对教师信息技术应用培训迁移的影响机制研究[J].中国电化教育,2015(2):96-103.
[15]金业文.农村教师培训迁移状况及其影响因素的实证分析:以“国培计划”为例[J].高教学刊,2016(15):57-60.
[16]田静.远程教育中交互影响距离理论的扩展应用与启示[J].中国电化教育,2010(9):47-51.
[17]DOO M Y,BONK C J,SHIN C H,et al.Structural relationships among self-regulation,transactional distance,and learning engagement in a large university class using flipped learning[J].Asia pacific journal of education,2020,41(4):609-625.
[18]吴明隆.结构方程模型:AMOS的操作与应用[M].2版.重庆:重庆大学出版社,2014:371.
[19]REISE S P,WIDAMAN K F,PUGH R H.Confirmatory factor analysis and item response theory:two approaches for exploring measurement invariance[J].Psychological bulletin,1993,114(3):552-566.
[20]Holton Ⅲ E F.The flawed four-level evaluation mode[J].Human resource development quarterly,1996,7(1):5-21.
[21]惠良虹,冯晓丽.心理弹性对在线英语学习投入的影响:交互距离的中介作用[J].现代外语,2023,46(4):552-562.
[22]吴江,易梦馨,马芸芸.交互距离视角下的同步在线课堂学生满意度影响机制研究[J].知识管理论坛,2021,6(5):239-251.
[23]茹红忠.论中小学教师继续教育培训迁移结果成因与策略[J].教育与教学研究,2014,28(2):25-29.
[24]陈霞.学习论视角下教师培训效果的影响因素探析[J].中小学教师培训,2014(9):3-6.
[25]同[23].