多模态数据赋能教师画像：从简笔画走向全息画像

彭红超 魏 非 闫寒冰

(华东师范大学 开放教育学院，上海 200062)

教师教育是教育事业的工作母机，是提升教育质量的动力源泉(中华人民共和国教育部等, 2018)。在AI+教师队伍建设中，利用新技术收集教师教育的常态数据(如伴随数据)，刻画教师数字画像，成为提高精准诊断、及时干预和个性化服务水平的(中华人民共和国教育部, 2019)重要举措。

当下，刻画数字画像的数据源主要有两类：一类来自绩效评估以及诸如问卷的自我报告，另一类来自系统平台隐式记录的学习印记。这种数字画像支撑的预测模型，预测学习表现的错误率在11%～15%之间(Maldonado-Mahauad et al., 2018)。相比仅依靠学习印记数据的预测模型(错误率为20%) (Moreno-Marcos et al., 2018)，准确度提高了5%。不过，教师研修活动并非仅发生于平台上，自我报告等主观数据表征的构念(construct)或倾向也往往与实际不符(Zimmerman, 2008)，这势必导致数字画像的残缺性与非精准性。这一问题可以通过增加诸如脑电、心电等生理数据解决。研究表明，补增这类数据后，数据模型的预测错误率可降低至6% (Giannakos et al., 2019)。

上述三类数据往往来源于不同渠道，具有不同样态，一般统称为多模态数据(multimodal data)。随着神经科学、脑科学、学习科学研究成果的常态化应用以及脑电、多导生理仪等非侵入传感设备便携式、可穿戴式的发展，以生理数据为重要组分的多模态数据成为全息化描绘个体画像的新研究取向(张琪等, 2019)。

国内教育领域对个体画像的研究主要集中于学习者，却极少关注教师(胡小勇等, 2019)，多模态数据赋能全息化描绘教师画像的潜力更没有得到很好的发掘。本研究从多模态内涵解析入手，构建多模态数据全息临摹教师画像的机理及画像模型，在此基础上构建基于全息画像的个性化机制以及机制得以运转的多模态学习分析方略。

一、研究概述

大数据技术使用户模型突破了仅依据个人特征数据静态构建的限制，开始更多地利用过程数据动态描摹。业界采用“画像”一词表征这种新型的用户模型。学习是多模态的，教师研修过程中自然地加工不同感官感知到的多种模态信息(张琪等, 2020)。从这个角度讲，难有某种单一模态数据能够描摹教师研修的完整画像(Zheng et al., 2018)，最多也只是某一方面的简笔画。而多模态数据，能够通过多种数据流的相互补充做到这一点。

(一)多模态内涵解析

多模态的内涵非常繁杂，难有共识。究其原因，是学术界多从自己的学科领域认识模态(modality)。人类通过感官(如视觉、听觉)获得外部环境的信息，因此，学者将感官通道(传输的是神经冲动)作为区分不同模态的依据，即信息由单一通道获取则为单模态，由多个通道获取则为多模态(王慧君, 2015)(神经生物学感官通道说)。获取的信息，在头脑中会由不同神经系统进行加工和处理，形成意义，表现为不同大脑区域功能不同，模态也不同(认知神经科学认知系统说)。在社会互动中，信息在头脑中形成意义后，面临表达问题。有学者认为(Kress & Leeuwen, 2001)，表达的形式不同，模态也不同，比如语言、表情、手势、眼神等均属于不同的模态(宁雅南, 2017)(社会学意义表达说)。互联网突破了意义表达的时空限制，借助远程交流的渠道和媒介，异位散布式的同异步互动成为常态。传播学从该角度将多模态视作意义的不同信息形态(如声音、文字等)、存储(如磁记录、数字记录等)或传播方式(张琪等, 2020)(传播学传媒说)。这里的信息形态极易和媒体混淆，持此观点的学者认为，后者是前者的编码手段和物质基础 (张晓霞, 2020)。

人工智能旨在让机器具备类人的能力。实现这一点，至少需要关注信息形态、信息通道、信息模型三个方面，它们对应三种多模态观点。与人类相似，人工智能同样需要感知外界环境的文字、视频等形态信息。由于每种形态的信息均需对应的智能感知技术，所以不同信息形态即为不同模态(信息形态说)，这包括只有机器可以感知的信息(如红外线与超声等)，甚至不同的语言形态。感知到的信息以电脉冲、电磁波、声波、光波等形式通过不同的通道传输，每种通道需不同的通信技术保证接收端高保真地接收，因此，通道类型也被作为界定模态的依据(Cukurova et al., 2019)(信息通道说)。对于接收到的不同信息，需要构建不同的信息模型智能挖掘与分析隐含其中的价值，信息模型不同，模态也不同(Amer et al., 2014)(信息模型说)。

可以发现，虽然学者关注的角度不同，但他们的认识相互联通且成体系，均认为人类认知及其社会互动是多模态的。在教师研修过程中，这种多模态通过生理、心理、行为的协同反应表达(Takehana & Matsui, 2016)，不同的反应可以描绘教师画像的不同轮廓。笔者将表征不同生理、心理或行为反应的不同形态数据视为多模态数据，不同模态数据的获取方式往往不同。

(二)多模态数据的全息性

学习分析技术使教师画像的刻画由“快照式(特点是间歇性素描)”转向“航拍式(特点是持续性描绘)”，特别是平台数据(学习印记)的增入，极大地补充了画像的细节，提高了“清晰度”。本质上讲，这类数据属于行为数据，按照构念理论(construct theory，CT)，心理构念(即心理现象或活动的属性或实质)与外在行为互为因果(Kozak & Miller, 1982)，外在行为可以推测心理构念(杨向东, 2007)，不过前提是行为数据本身具有良好的信效度。除平台记录的操作性印记外，教师研修时的眼动数据、面部数据也是重要的行为数据，且有成熟的理论及技术支撑对心理构念的推测(如表情识别)，增补这两类模态数据(多模态数据具有互补性)可以极大地降低仅依据学习印记洞悉研修情况的片面性、局限性(Mangaroska & Giannakos, 2018)(见图1)。

人们在执行动作时，也会随之产生丰富的生理活动。虽然支持学习的技术没有充分关注这一点，但解析生理活动的确可以得到更有价值的洞见(Pantazos & Vatrapu, 2016)(见图1) 。大量研究表明，脑电、心电、皮电等生理数据均与人类的心理认知、情绪密切相关(Szafir & Mutlu, 2013) ，对此类模态数据进行分析能够更精准地估计心理活动(Zheng, et al., 2018)，特别是事件相关电位(event-related potentials，ERP)分析能够精准识别微秒级心理活动的变化(Goswami, 2004)。生理数据扩宽了刻画教师画像的边界，使画像从以学习事件为中心的研修表现延展至以学习机制为中心的生理反应(Reimann et al., 2014)，这种机制补足了因果解释的三要素(第一个为触发事件的情境，第二个为结果)，作为因果力(causal powers)，它揭示了情境要素如何相互作用从而导致相应结果(Pawson, 2006)，这是提高数据解释力的重要依据。

与行为不同，脑活动、心跳等生理活动由自主神经系统(也称植物性神经系统)调节，不受主观意识支配，所以此类生理数据是真实的、不可伪造的。这样的生理数据可以印证行为数据以及自我报告推测的心理数据之真伪，提高两者的信效度(见图1)。例如，眼动仪可以记录阅读时眼睛移动的过程，其记录结果常被用作认知投入或注意力的重要指标，但眼动行为无法甄别心智游移现象(mind wandering)，俗称“走神”，阅读时心智游移高达20% (Schooler et al., 2004)，而它可通过反映信息处理与注意力水平的脑电数据有效解决(主要是α波)(Klimesch, 2012)。

综上可知，多模态数据能够赋能更全面、精准、真实地临摹教师画像，突破单一视图无法观测全貌的局限，从多个视图多维度立体描绘教师研修情况；利用生理活动显化教师研修的内在机制，并高分辨率地刻画教师画像的细节；通过多维验证去除“噪声”数据，只用真实数据勾勒教师画像的轮廓。此外，多模态数据往往由平台记录与生理传感器超高频率收集，能够高保真地还原教师研修动态，这四种特性(全面、精准、真实、动态)造就了多模态数据全息临摹教师画像的潜能。

图1 多模态数据全息临摹教师画像的机理

二、多模态数据临摹教师全息画像模型

大数据、人工智能与智能感知等高端技术使常态化、伴随式收集与刻画教师全息画像成为可能。按照数据驱动的智慧研修特点，教师全息数字画像大致涵盖三个层面：属性层、学习层、愿景层(见图2)。属性层负责刻画教师的本体特征，学习层负责描绘研修过程中教师的学习行为、生理反应、心理活动以及能力的发展变化，愿景层负责勾勒以校为本的发展期望。

(一)愿景层：发展期望的勾勒

教师研修以校为本、愿景驱动，学校管理者在领导部门的指导下制定校本研修计划，确定教师的能力提升目标。不过，智慧的校本研修也是个性化的，需要考虑教师个人的发展期望，由此，全息画像愿景层的发展目标涵盖两方面，分别是学校指定的目标和个人期望的目标。前者为前驱，提供动力也提供导向；后者为后驱，主要提供动力(个人目标应与学校目标吻合)。双驱发展目标数据一般需要学校管理者和教师以列表的形式录入，这种自我报告数据是非结构化的，用作反馈信息时无需特殊处理，但用于提供数据驱动的个性化研修服务时，需要利用语义分析等智能技术转化为决策准则。

高成效研修实时精准聚焦教师学习需求(即当前水平与期望水平的差距)，这种需求理应成为画像愿景层的组成部分。在智能技术特别是计算智能的赋能下，学习需求的动态分析已成为基本服务，其基础数据来源于学习层的能力水平数据。不过，这种模态数据一般只能用来勾勒“学什么”需求，要达到画像全息性要求，至少还需补增对“如何学”需求的勾勒，这涉及教师的学习状态以及风格偏好，它们可通过计算智能技术解析学习层的学习行为与体验数据以及属性层的风格偏好数据获得。向教师提供智慧研修服务时，“学什么”需求是研修资源适性推荐的依据，“如何学”需求是个性化研修活动推送的依据，这两种服务要动态生成才够精准(彭红超等, 2019)。

(二)学习层：研修动态的描绘

学习层是教师全息画像的核心基础部件，这里描绘关于研修动态的一切，包括学习行为、学习体验、能力水平等方面的发展变化。

学习行为包括平台记录的学习印记、摄像机等摄录的言谈举止(含笔迹)以及眼动仪追踪的眼动数据三个方面。目前，学习印记和话语的监测已成为常态，肢体动作和笔迹的记录技术也已成熟，微软发布的3D体感摄像机Kinect，能够跟踪人体的25个骨骼节点，并能同时监控六个人的肢体姿势和手势(MICROSOFT, 2014)。传感器(如惯性传感器)感知的肢体动作更精密，IDEEA分析仪器(Intelligent Device For Energy Expenditure And Physical Activity)可分析行为多达45种以上，并且准确度均高达98%以上。对于笔迹数据，数码笔借助高速摄像头和光学点阵技术，可精准捕捉笔尖的运动轨迹、速度与受压变化，感压板借助电磁感应技术同样可以“还原笔迹”，并能感知100多页厚度纸张的笔迹信息(张晓梅等, 2020)，这两种方案不会对教师造成干扰，教师在普通纸上按照原有习惯书写即可(数码笔的纸张要求印有点阵图案，不过几乎不可见)。眼动数据同样已成为描绘画像的重要模态数据。眼动仪能够精准追踪眼睛的视点轨迹、注视的时间与次数，甚至是瞳孔变化。无论是桌面眼动仪还是眼镜式眼动仪，均不会对教师的研修造成干扰，特别是Dikablis Glass 3能够允许教师佩戴眼镜参与研修。

学习体验是学习过程中的情感、认知等心理反应与感受，如学业情绪、认知负荷、注意力水平等。除面部表情等少数心理活动数据可以直接获得外(本质上，表情也是由面部数据推测计算而来)，多数心理体验需要由脑电(EEG)、心电(ECG)、皮电(GSR)等生理数据表征。对于表情数据的获取，现有的识别系统可以精准识别30多个面部特征，实时监测高兴、悲伤等6-8种表情变化，并开始具备微表情(持续时间仅为1/25-1/5秒的表情)识别(贲晛烨等, 2014)、遮挡修复能力。脑电数据是用电生理指标记录的大脑活动变化，能够揭示心理活动的脑机制，特别是对事件敏感的ERP，它还可以揭示认知加工的具体阶段(魏景汉等, 2010)。脑电具有α、β、θ、δ等节律波，这些节律波组合使用可以监测更多的心理活动，比如使用(α+θ)/β、α/β、(α+θ)/(α+/β)、θ/β四个指标表征脑疲劳(Jap et al., 2009)。心电数据表征心脏跳动的电活动变化，常用指标有心率(HR)和心率变异性(HRV)，它们能够表征教师的正负向情绪、抗压能力(张琪等, 2016)。情绪唤醒与波动会导致汗腺分泌变化，从而致使皮肤导电率变化(Boucsein, 2012)，皮电依此检测心理反应，特别是监测不可规避行为下的低强度负向情绪(Fowles, 1988)。在教师教育真实场景中，这些模态数据可以由无线、可穿戴、便携式的生理仪实时监测得到(问卷等自我报告数据不便于持续性监测，此处不考虑)。

能力水平是重要的教育成效指数，短时间、间歇性的测评足够监控能力发展状况(Binder & Watkins, 1990)，因此常用的测试、练习成绩依然是有效的教师画像数据。除此之外，也可以通过大数据技术挖掘与分析过程中的表现以及认知或情感反应，得到更精准的能力水平，如问题解决能力(胡艺龄等, 2019)。对于比较稳定且难以用试题测量的能力(如学习力、创造力等)，可以采用低成本方式获取描绘——通过问卷式表单定期监测。

(三)属性层：本体特征的刻画

属性层包括教师的基本特征与体征、学习风格与偏好、学习效能感等方面。基本特征主要是人口学特征(如性别、年龄等)和社会学特征(如所教学科等)。在多模态学习分析时，前者主要用于标识参训教师，后者用于初步识别学习共同体。这类数据不常变动且结构简单，一般以表单的形式自我报告获取，也常从其他研修或管理系统导入。生命体征包括体温、脉搏、心率、血压等，这类多模态数据主要反映教师的健康指数，目前采用腕表监测最便捷。

学习风格与偏好是影响学习过程的重要因素，也是提供个性化学习服务的重要依据。虽然利用脑电(Deenadayalan et al., 2019)、眼动(Cao & Nishihara, 2012)等模态数据表征风格偏好已成为新趋势，但利用表单式的自我报告获取学习风格与通过智能计算学习层数据推测学习偏好，依然是最成熟、有效的方式。风格与偏好均是个体获得与处理信息的某种稳定性倾向，不宜改变，所以通常教师的自我报告以及系统的智能计算均是一次性的，不会对他们造成过多的负担。

学习效能感会显著影响学习表现，并对学业成就有直接的正向影响。有研究表明，在50个心理因素中，效能感最具影响力(Richardson et al., 2012)。与风格偏好不同，学习效能感与任务相关，随任务的改变以及对任务认识的发展而变化，需要实时监测。作为一种积极心理状态，效能感可通过脑电设备做到这一点(常用的自我报告式问卷只能间歇性测量，且费时费力)。研究表明，采用脑电模态数据评估效能感，准确度高达95.06% (Yu et al., 2020)。

图2 教师全息画像模型

三、基于教师全息画像的个性化机制

在智慧研修中，全息画像的主要用途是支持精准决策与个性化服务，这需要适切的机制驱动(见图3)。

(一)智慧研修系统的动力机制

自适应逆控制理论(adaptive inverse control，AIC)指出，系统输入与输出的差距会驱动自适应算法激活控制器作出适性反应，直到输入输出的差距达到可接受的范围(Widrow, 1987)。遵照此理论，可以构建智慧研修系统的动力机制：研修的产出是能力，特别是教师知识技能(即“学会”)的提升。智慧研修系统将发展目标与教师的知识技能作为输入与输出信号，这样它们的差值便成为驱动系统作出反应的动力。按照智慧研修的特点，这种动力需要驱动研修系统作出三方面的适性反应：定研修内容、定研修行为、定研修步调。

内容的确定依据研修待解决的问题，这种问题即是与发展目标对应的知识技能短板(见图3)。短板的探寻，通过递归算法思想即可实现(祝智庭等, 2016) 。

研修行为的确定，需要关注四个方面：第一，教师是否真的参与了研修，这是保障研修成效的重要前提，特别是在线研修环节；第二，教师是否有完成任务的信心；第三，教师是否处于适当的学习共同体且具有良好的状态；第四，研修活动是否符合教师的风格偏好。它们对应学习投入、效能感、特征与体征、风格偏好四个要素(见图3)。表征中间两要素以及风格的多模态数据均可以从全息画像的属性层中提取，学习偏好也可以利用大数据技术以及计算智能解析教师的学习行为数据得到，但学习投入是图2全息画像未有的。较有共识的观点认为，学习投入包括三个维度：认知投入、情感投入、行为投入(Fredricks et al., 2004)。认知投入是信息加工或理解意义的心智努力程度；情感投入是研修过程中表现出来的积极情绪或态度；行为投入是行为卷入程度，如投入时间、活动强度等。容易理解的是，学习体验的多模态生理数据可以独立监测情感投入，除此之外，均需要学习体验和学习行为两类数据共同表征，才能保证投入监测的真实性(如剔除眼动行为的心智游移部分)。

适性确定研修主要针对自主研修模式，在此模式下研修推进的标准由时间变为知识技能的精熟掌握。步调的确定依据教师的学习能力，作为能力水平的“会学”方面，是学习者获得、掌握新知，并利用新知解决问题的本领与品性，包括认知本领和学习品性两方面。前者涉及听说理解、阅读理解、计算能力、模仿能力、质疑发问、工具使用六个监测指标，后者涉及自我调控、学习效率、学习耐力、学习定向、团队协作、沟通交流六个监测指标。可以看出，学习能力与知识技能不同，它的监测不仅需要学习行为数据，也需要学习体验中情感、认知等模态数据的补充。现实中，研修的时间不可能没有限制，因此，步调的确定还需要考虑教师的学习速度。速度的计算，可以借用精准教学中发展变速线斜率的计算公式表征(彭红超等, 2017)。这里，速度仅用于判定研修时间是否会超过时间容忍度极值，以便教师有更灵活的学习步调。

图3 智慧研修系统的动力机制

(二)研修的个人路径生成机制

研修过程中，教师个人的学习需求会动态变化。为确保提供的服务与决策实时适时，教师的个人路径应动态生成，即每次生成少量环节的路径(1-3步为宜)，且教师每完成一个环节，修正一次。

当前，个性化生成的路径多是知识点、活动或资源的编列，这种编列只顾及到学习的单个要素，难以起到有效帮扶作用，所以笔者倡导由学习元/包的编列组成路径(彭红超等, 2019)。学习元/包包括学具、活动、资源三个核心要素，逻辑为利用学具开展活动学习资源。其中，“利用学具开展活动”是动力机制确定的行为，“资源”是确定的内容。考虑到学习元/包的复用性，研修步调不作为其要素，而由智慧研修系统的管理模块负责适配。

动力机制旨在驱使研修结果(即教师的知识技能)与发展目标的偏差趋近于零，这要求导向个人路径生成要以发展目标为依据(见图3)。按照生成的路径研修，教师能力会越来越接近发展目标，二者差距的缩小将导致智慧研修系统作出适性反应的动力逐渐消退，直到达到平衡状态。这即是动力机制的支架消减效应：随着教师能力的提升，系统作适性反应的强度会消减，学习主动权逐步还给教师。

四、基于多模态数据的学习分析方略

动力机制驱动研修系统作出精准适性反应的关键是从多模态数据中获得富有价值的洞见(彭红超等，2018)，这可以通过基于多模态数据的学习分析实现，包括融合分析与精准决策两个环节。

(一)多模态数据融合分析

从全息画像的刻画角度看，多模态数据融合分析有三个层面：去伪存真、多维共描、多面临摹。多模态数据融合分析连续统显示了这三个层面的数据融合度及其融合分析法(见图4)。

图4 多模态数据融合分析连续统

去伪存真即是用更真实可靠的模态数据校验易“伪装”的模态数据，减少画像的噪声。此分析的数据融合处于关联层面，即根据相关性剔除虚假的数据，这种操作在数据分析中属于数据预处理。需要此处理的模态数据有两类：自我报告类和学习行为类。前者可以利用眼动数据(如视点轨迹、注视的时间和次数)来检验教师自我报告，是否真的仔细阅读了表单中的题项，利用脑电数据检验是否有因表单过长而疲劳，利用心率数据检验教师是否有负向情绪。后者可以利用ERP数据或皮电数据检验学习行为背后是否伴有必要的认知加工和情绪变化(如是否“皮笑肉不笑”)。一般来讲，此处的预处理只需要布尔运算得到数据的真假即可，无需关注各类模态数据表征的构念水平。但很多时候，诸如生理反应等校验数据要达到一定的强度才可验证真伪，因此，需谨慎设定此类模态数据的阈值。

多维共描即利用多模态数据的共一性多维度地描绘同一局部画像。此分析需要将画像轮廓叠加在一起，以显现局部画像的全部轮廓特征，这对认知与情绪等心理活动的全息描绘尤为重要。认知方面，将具有高时间分辨率优势的EEG和高空间分辨率的fMRI(功能磁共振成像)两种模态数据叠加，可以得到精准脑区位置的精细认知活动。常见的叠加方法有三种(Vitali et al., 2014)：基于fMRI数据的脑电分析法、基于脑电数据的fMRI分析法、联合独立分析法(independent component analysis， ICA)。情绪方面，将心率、心率变异性、呼吸变异性(respiration variability)等模态数据叠加，可以得到学业情绪的生理机制图谱(Rainville et al., 2006)(见图5)。多维共描主要涉及标准差、均方根、主成分分析、方差分析等统计方法，必要时还需构建数学模型。

图5 学业情绪的生理机制图谱

多面临摹即利用多模态数据的互补性多侧面地描摹教师的研修画像。此分析需要将局部画像拼接在一起，形成研修画像的完整视图，其过程分三步：第一步，各局部画像的特征向量汇聚在一起，形成高维特征向量空间；第二步，通过映射或变换(如距离可分性测度变换法)将高维空间降至更能突显本质特征的低维空间；第三步，通过大数据挖掘与学习分析技术(如决策树算法、贝叶斯算法)获悉低维空间中蕴含的教师学习规律或趋势(即学习模式)。容易发现，多面临摹需要借助计算机算法完成，如果需要实时修正得到的学习模式，还需借助基于人工神经网络的机器学习算法(如深度学习算法)。另外，第一步汇聚局部画像时，需要理论框架的支撑，明确完整视图涵盖哪些组成部分，著名的梅拉宾(Mehrabian)情感表达框架(Mehrabian, 1968)即是典型范例：55%面部表情、38声调变化、7%语言表达。

(二)适应性精准决策

多模态数据融合分析的产出是教师的学习模式，即智能机器的知识，而人的知识是从信息中获得的见解。在发展目标转化决策准则指引下，智能机器可判定学习模式存在的问题，作出适性的精准决策。决策原理涉及精准教学、失败中学、个性化学习三种理念(见图6)，即以精准教学中的知能流畅度和学习速度为指标(彭红超等, 2017)，判定当前是否存在问题、预判未来是否存在问题。如果当前存在问题，说明教师的某个研修活动已失败，启动失败中学机制，找到原因及时补救。如果未来存在问题，则启动个性化学习机制，适性调整研修策略，改变结局。

当智慧研修系统的教师研修数据量较小时，可采用米勒(Mill)因果判定三条件找寻原因：1)原因先于结果发生；2)原因与结果共变；3)原因不出现，结果就不出现。不过，教育是复杂的系统，有时难以判别第三个条件。鉴于脑电等生理模态数据多为时序数据，此时可改用格兰杰(Granger)因果分析，事前需用迪基—富勒检验变量的平稳性(Granger, 1969)。当智慧研修系统的研修数据庞大至大数据级别时，可直接用相关关系取代因果关系找寻原因，相关关系分析成熟且相对简易。

常用于个性化学习的算法有基于内容的算法(按照过去的成功经验决策)、基于知识的算法(教师与教师直接对话，根据得到的需求决策)、协同过滤算法(按照他人的成功经验决策)、混合算法(三者融合)等。这几种算法各有利弊，需要按照实际需求自动切换，这涉及人工智能的机器学习算法，可用的三类算法是深度学习(对同问题作出同决策)、强化学习(对同问题作出新决策)、迁移学习(对类似问题作出自动决策)。不过，机器学习一般需要冗长的迭代学习过程，且需要大量的数据集作为学习样本。这可基于矩阵伪逆思想确定人工神经网络的最优权值，即权值直接确定法 (张雨浓等, 2010)。这种方法不用迭代训练，便可极大提高学习速度，并且精准度远高于机器的迭代训练结果。

图6 适应性精准决策仪表盘

五、结 语

虽然不同学科对多模态的认识不同，但这些认识相互联通且成体系，并均认为人的认知和社会互动是多模态的。多模态数据全面、精准、真实、动态的优势，造就其全息临摹教师画像的潜能，这种全息性涵盖属性层、学习层、愿景层三个层面，其中愿景层关注发展期望的勾勒，学习层关注研修动态的描绘，属性层关注本体特征的刻画。基于此类全息画像的智慧研修系统需要适切的机制驱动其提供多模态精准决策与个性化服务，具体涉及适性的动力机制和个人路径生成机制。当然，这需要适切的多模态学习分析方略，包括涵盖去伪存真、多维共描、多面临摹三个层面的多模态数据融合分析方略以及涉及精准教学、失败中学、个性化学习三种学习理念的适应性精准决策方略。

鉴于智能研修系统由原始决策水平进步到适应特定研修情境与模式的高精准水平，需要一定的学习过程与时间(即使采用权值直接确定法，也需要时间制作训练样本集)，并且不同研修主题的学习情境也不同，原本高精准的决策可能因此变得低效，甚至无效。所以，基于多模态数据的智慧研修同样需要人机协同。

多模态数据能够更清晰地揭示教师的学习机理与状态，帮助教师了解自己研修过程中无形的心理、认知与元认知过程。此类数据作为反馈信息反馈给教师，或许可增强教师自我调节的能力与意识，提高研修成效。这将是本研究团队后续的工作重点和方向。