学习科学视角下深度学习的多模态研究*

刘哲雨 郝晓鑫 王 红 吴立宝

学习科学视角下深度学习的多模态研究*

刘哲雨1郝晓鑫1王 红1吴立宝2[通讯作者]

（1． 天津师范大学 教育科学学院，天津 300387；2． 天津师范大学 教师教育学院，天津 300387）

文章从技术、推广、评价、整合和拓展五个方面，说明深度学习研究有赖于基本规律研究。作为学习科学的重要研究内容，深度学习基本规律研究应借鉴多模态的研究方法，全面揭示深度学习发生的内在机制。同时，文章归纳了不同学科和不同行为的多模态，着重分析了学习科学与深度学习领域的多模态。在完善深度学习框架的基础上，文章针对框架的各个组成部分提出了基础型、专业型多模态指标，构建了基于深度学习框架的多模态指标体系，可为不同目的、条件和层次的深度学习基本规律的多模态研究提供指标依据和机制参考。

深度学习框架；多模态指标；内在机制；学习科学

一深度学习研究需要多模态方法

1 深度学习研究有赖于基本规律研究

深度学习是学习者积极主动地、批判性地整合新知识，并以深度理解为起点、以新情境中的迁移为导向、以解决复杂问题和创新为目标的高层次的学习方式[1]。深度学习的研究历史和研究成果相对比较集中，从世界范围来看主要集中在北美地区、英国、澳大利亚、新加坡和中国。当前对于深度学习的研究主要集中在以下五个方面：

①技术——无论是在技术与知识层面[2]、学习共同体层面[3]，还是在学习系统与学习过程层面[4]，研究者纷纷围绕着技术对深度学习的促进作用进行了深入的理论探索与实证研究。未来，研究者可以在思维层面上关注技术如何支持深度学习。

②推广——2010年，在美国威廉和弗洛拉·休利特基金会的发起下，经由美国研究院组织，深度学习研究项目（Study of Deeper Learning: Opportunities and Outcomes，SDL）从理论上对深度学习的概念、内涵进行了界定和解读，并建立了500余所面向深度学习的实验学校，逐步形成了深度学习共同体网络[5]。2011年，经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）发起创新学习环境计划（Innovative Learning Environment，ILE），针对如何实现深度学习这一问题，构建了新型课堂的结构模型，积累了丰富的样例。此外，芬兰、法国等国更新了课程方案，保证基础教育学校为所有学生提供深度学习的机会。2015年，我国教育部试点“深度学习”教学改进项目，进行面向深度学习的教育供给侧改革。

③评价——根据2005～2017年国外引文分析与共词矩阵的知识图谱分析，可知深度学习的过程与结果是研究热点之一，涵盖深度学习的影响因素及有效性等研究[6][7]。

④整合——虽有化学、数学和英语等学科教学与深度学习的整合，但是深度学习究竟是“策略”还是“模式”尚需辨析，亟需进一步提炼深度学习与学科从整合走向融合的兼容性框架。

⑤拓展——深度学习领域的研究者应主动交叉融合认知神经科学、计算机与人工智能等学科内容，并将交叉学科的研究范式引入深度学习领域，促进深度学习研究走向社会科学与自然科学相融合的、更加宽阔的发展之路。

总之，上述五个方面研究都有赖于深度学习基本规律研究，但目前基本规律研究较为薄弱，难以支持深度学习应用研究的内涵式发展，因此有必要加强对深度学习基本规律的研究。

2 深度学习基本规律研究需要多模态研究方法

深度学习的基本规律包括深度学习的本质、目的、内容和对象，以及适合学习者身心发展特征的方法、策略和规则。深入地、规范化地开展深度学习基本规律的研究，应采用多元化的研究范式，主动借鉴、吸收相关学科领域的研究方法。具体来说，深度学习需要重点关注学习者的“深度”投入指标（如认知指标、心理指标、行为指标），此外还可引入一些更加微观的、本质的、精准的、全面反映深度学习机制的指标体系——这种多元化的指标体系研究可以借鉴认知神经科学和心理学的多模态研究方法。

二学习科学与深度学习中的多模态

1 不同领域的多模态

生物脑（如人脑）与类脑（如人工智能）都具备获取不同模态信号（如视听觉、皮电心率、眼动表情等）的能力。人的感官在与外界交互的过程中形成获取信息的感觉通道，模态是感觉通道的符号表征系统——如果获取信息的通道是单一的，那么形成的就是单一模态系统，简称“单模态”；两种以上意义表达或信息交流的综合符号表征系统就是多模态系统，简称“多模态”。近年来，多模态已成为诸多学科（如认知神经科学、计算机科学和多媒体画面语言学等）的研究热点，不同学科的多模态信息（如内涵、外延、指标和获取方式等）如表1所示。此外，多模态在不同行为（如教学行为、交互行为和情感行为）中亦具有不同的内涵、外延、指标、策略、问题等，如表2所示。

表1 不同学科的多模态信息

表2 不同行为的多模态信息

2 学习科学与深度学习领域的多模态

在学习科学中，多模态按照人的多重感知模式测量生物信号并分析数据，实现同步处理学习者不同模态的数据，如同步记录并分析眼球运动轨迹和关注焦点、脑电和事件相关电位、心电、肌电和皮肤电等生理信号[20]。探索深度学习的多模态内涵，需要在学习科学范畴内深刻理解深度学习的本质[21]。具体地说，就是要认识到在深度学习的过程中，人脑会生成支持深度学习的生理神经信号回路和心理认知加工过程，这两者是同步发生、同步完成的。

认知神经科学认为，学习是神经元突触间的相互接触，即学习动机对大脑产生了特定的需求，引起神经系统一系列的活动与变化[22]，进而引起脑血流、皮电、心律血压和眼动等发生连锁反应。通过采集这些生物指标，可以获取学习是否发生以及学习发生的程度；深度学习作为高层次的学习方式，属于高阶思维，借助认知神经科学研究范式获取生物指标的变化程度或活跃程度，可以解释深度学习是否发生以及发生的程度。如被誉为“观察脑的高级功能的窗口”的ERP，可以捕捉并解释从辨识到判断、从记忆到决策等不同程度的学习行为[23]。这些研究成果为多模态方法揭示深度学习的基本规律提供了前期研究的基础。

本研究将深度学习的多模态的内涵表述为利用多模态生物识别技术，使用生理测试手段（如EEG、fMRI、ERP等），获取大脑血流、脑电、眼动行为、皮肤电、心率和血压等生理指标信息，同时利用学习分析与计算机识别技术，获取学习路径、互动交流和学习投入等知识生长性指标信息。这些被自动监测、记录和反馈的指标信息经过耦合处理，一方面可用来判断深度学习是否发生以及发生的程度，另一方面可用来全面揭示深度学习发生的内在机制。

三基于深度学习框架的多模态指标体系

笔者曾提出了深度学习“3+2”评价模式，将深度学习的评价模式建构为两大方面、三个维度。其中，两大方面是指评价深度学习的基础和程度，三个维度指的是新知理解、内部关联迁移和外部拓展迁移[24]。基于前期研究成果，本研究完善了深度学习的框架，如图1所示。

1 深度学习的框架

（1）评价深度学习的基础——新知理解

深度学习离不开新知理解，新知理解是触发深度学习的前提，故评价深度学习的基础是对新知识的深度理解。但需要注意的是，在深度学习的实证研究中，必须对低阶思维中的“理解”进行严格的因变量评估——如果低阶思维评估结果不合格，而高阶思维表现良好，那么建议评估为“伪”深度学习，需要重新返回到对新知理解的评估；反之，如果新知理解的表现良好，而深度学习表现不理想，则建议评估为具备深度学习的前提条件，但并未进入高阶思维阶段，需要使用反思等策略引导其进入深度学习。总而言之，对新知理解的评价结果不同，所采取的深度学习的支持策略就不同，对教学材料、教学环境、教学媒体等的设计与开发也应有所不同。因此，深度学习的常态化发展离不开对新知理解的精准评估。

图1 深度学习的框架

（2）评价深度学习的程度——内部关联迁移、外部拓展迁移和创新

内部关联迁移、外部拓展迁移和创新开启了对人类深度学习程度的探究，主要体现为：

①知识的生长与变化。内部关联迁移表现为新知识在认知结构范围内，基于其原始形态进入新问题解决阶段，待解决的新问题应具备一定的特征，即所需的知识不超出当前的学习阶段、单元或学科，知识结构与形态不发生大幅度的变化。外部拓展迁移实现了跨单元甚至跨学科的知识变迁，使知识在更大程度上得以摆脱其原始形态并发生更加显著的生长，主要体现为知识在认知结构中的地位和联结强度发生了明显变化；此时，人类能够解决更多的跨界问题，但依然可以在问题解决的过程中回溯知识的原始形态并清晰地定位其发展方向。创新则是将知识的原始形态以融入元认知知识的方式参与创造，在知识层面上表现为知识的形态发生根本性变化或生长出新知识。创新阶段体现的是深度学习作为一种知识生产模式的特殊价值，这是深度学习的最高境界。

②能力与素养的提升。内部关联迁移体现的是对原有能力与素养的强化或深化。在此基础上，外部拓展迁移获得了更高水平的能力和更全面的素养。创新阶段则是对能力和素养的全面提升，创新能力具有打破原有知识格局的力量，是促进人类发展的不竭动力。

内部关联迁移、外部拓展迁移和创新是人类在学习与探索自然的过程中发生的变化，这种变化是连续非跳跃的、动态非静止的、相对非绝对的，并不存在非此即彼的二元对立关系，因此仅仅通过社会科学领域的理论辨析，很难实现对深度学习程度及其基本规律的精准把握。多模态研究技术针对不同水平的思维活动提供了各种指标，这就为评价深度学习的程度提供了可操作的研究依据。

2 基于深度学习框架的多模态指标体系

针对深度学习框架中的各个组成部分，本研究提出了相应的多模态指标——针对中小学教师、教育资源研发的小微企业等不具备高水平采集条件的对象，提出了基础型多模态指标；针对科研机构、高校及其它具备生理数据采集条件的对象，提出了专业型多模态指标。实际上，不存在某个特定的专门用来加工深度学习的大脑区域，深度学习的神经机制依赖于人类强大的神经回路重组机能，多模态信息尤其是脑神经信息可以在不同角度反映神经回路的状态，这就是深度学习的发生机制。通过梳理大量的多模态研究文献，不断参照推演与深度学习机制最相关的多模态现有指标（如顿悟等）[25]，本研究构建了基于深度学习框架的多模态指标体系（如表3所示），旨在探索变化中的多模态参数背后的深度学习机制。

表3 基于深度学习框架的多模态指标体系

3 多模态指标体系提供研究依据

基于深度学习框架的多模态指标体系为深度学习的基本规律研究提供了可操作的研究依据和指标选择参照。为了满足不同目的和水平的研究需求，本研究将该指标体系细化为基础型多模态指标和专业型多模态指标，旨在为深度学习的实证研究提供多元化、个性化的指标选择依据。虽然该指标体系存在一些指标重复出现的情况，但是其解释机制、组合方式、激活程度和评估标准各不相同，因此该指标体系依然可以发挥评判深度学习是否发生及其发生程度的作用。

四结语

本研究通过梳理相关领域的多模态研究成果，分析文献和实验数据背后的深度学习机制，多方面参考已有的与深度学习机制接近的多模态指标，构建了深度学习的多模态指标体系，以期有效推进深度学习的基本规律研究。深度学习的多模态研究方法是对深度学习传统认知行为研究范式的补充，后续研究要重视各个模态指标之间的潜在联系，为数据耦合提供科学依据。需要指出的是，本研究也存在着一定的局限性：①与阅读等领域的基本规律研究相比，深度学习基本规律的多模态研究刚刚起步；②本研究所构建的深度学习框架仍在迭代完善；③指标体系努力去解释和发现深度学习的机制，并非与深度学习结果之间存在着一一对应的关系。立足于前人的研究成果，本研究力求更快速、更准确地接近深度学习的内在机制，促进深度学习基本规律的研究取得质的突破，从而推动深度学习的常态化发展。

[1]刘哲雨,王志军.行为投入影响深度学习的实证探究——以虚拟现实(VR)环境下的视频学习为例[J].远程教育杂志,2017,(1):72-81.

[2]段金菊,余胜泉.学习科学视域下的e-Learning深度学习研究[J].远程教育杂志,2013,(4):43-51.

[3]张静,陈佑清.学习科学视域中面向深度学习的信息化教学方式变革[J].中国电化教育,2013,(4):20-24.

[4]纪宏璠,雷体南,方红.基于ITtools3.0的深度学习过程设计与实践研究[J].现代教育技术,2015,(2):40-46.

[5]卜彩丽,冯晓晓,张宝辉.深度学习的概念、策略、效果及其启示——美国深度学习项目(SDL)的解读与分析[J].远程教育杂志,2016,(5):75-82.

[6]张思琦,张文兰,李宝.国外近十年深度学习的研究现状与发展趋势——基于引文分析及共词矩阵的知识图谱分析[J].远程教育杂志,2016,(2):64-72.

[7]Akyol Z, Garrison D R. Understanding cognitive presence in an online and blended community of inquiry: Assessing outcomes and processes for deep approaches to learning[J]. British Journal of Educational Technology, 2011,(2):233-250.

[8]何继军,沈辉,胡德文.EEG/fMRI融合分析综述:脑模型、算法和应用[J].计算机工程与科学,2007,(12):74-81.

[9]位东涛,蒙杰,李亚丹,等.基于个体差异的大样本脑影像数据在心理学研究中的应用[J].科学通报,2015,(11):976-985.

[10]卢官明,李海波,刘莉.生物特征识别综述[J].南京邮电大学学报(自然科学版),2007,(1):81-88.

[11]谢蓉蓉.多模态虚拟课程——基于多模态话语分析理论的未来网络课程新模式[J].中国电化教育,2012,(4):74-79.

[12]刘明,胡加圣.大学外语视听教材的多模态化设计构想及要求分析[J].外语电化教学,2011,(2):3-8、20.

[13]刘哲雨,侯岸泽,王志军.多媒体画面语言表征目标促进深度学习[J].电化教育研究,2017,(3):18-23.

[14][16]张青妹.多模态微课的符号间关系与意义共建[J].现代教育技术,2015,(9):65-69.

[15]Kress G R, Van Leeuwen T. Multimodal discourse: the modes and media of contemporary communication[M]. London: Bloomsbury Academic, 2010:318-320.

[17]王慧君,王海丽.多模态视域下翻转课堂教学模式研究[J].电化教育研究,2015,(12): 70-76.

[18]马莉,沈克.增强现实外语教学环境及其多模态话语研究[J].现代教育技术,2012,(7):49-53.

[19]刘哲雨,王志军,倪晓萌.Avatar虚拟环境支持CALLA模式的教学研究[J].现代教育技术,2016,(7):44-50.

[20][22][23][26]张琪,武法提.学习分析中的生物数据表征——眼动与多模态技术应用前瞻[J].电化教育研究,2016,(9):76-81、109.

[21]尚俊杰,张露.基于认知神经科学的游戏化学习研究综述[J].电化教育研究,2017,(2):104-111.

[24]刘哲雨,郝晓鑫.深度学习的评价模式研究[J].现代教育技术,2017,(4):12-18.

[25]姜永志.教育神经科学的理论与实践——从“实验室”到“教室”的学习科学[J].开放教育研究,2013,(3):71-77.

[27]潘东旎,李雪冰.工作记忆训练在精神疾病中的应用[J].心理科学进展,2017,(9):1527-1543.

[28]Von Bastian C C, Oberauer K. Effects and mechanisms of working memory training: A review[J]. Psychological Research, 2014,(6):803-820.

[29]罗劲.顿悟的大脑机制[J].心理学报,2004,(2):219-234.

[30]官群,姚茹.认知神经科学:为教育打开大脑“黑匣子”[J].中国特殊教育,2017,(2):59-64.

编辑：小米

The Multi-modal Study of Deep Learning from the Perspective of Learning Science

LIU Zhe-yu1HAO Xiao-xin1WANG Hong1WU Li-bao2[Corresponding Author]

This paper proposed that the study of deep learning depended on the research of the basic laws from the five aspects of technology, promotion, assessment, integration and expansion. As an important part of the learning science, the research of the basic laws of deep learning should draw on the multi-modal research method, in order to fully reveal the internal mechanism of deep learning. Meanwhile, the multi-mode of different disciplines and behaviors were summarized, in which the multi-mode of learning science and deep learning were emphatically analyzed. The basic and professional multi-modal indexes for various components of the framework were also proposed on the basis of perfecting the framework of deep learning. Moreover, the multi-modal index system based on the framework of deep learning was constructed, which can provide index basis and mechanism reference for the multi-modal study of the basic laws of deep learning with different purposes, conditions and levels.

the framework of deep learning; multi-modal index; internal mechanism; learning science

本文为2017年教育部人文社会科学研究项目“深度学习的促进机制研究与评价模式构建——以教育媒体表征深度学习核心要素为路径”（项目编号：17YJC880074）的阶段性研究成果，并得到了北京大学教育学院学习科学实验室的支持。

刘哲雨，讲师，博士，研究方向为深度学习，邮箱为zheyuliu@126.com。

2018年1月22日

10.3969/j.issn.1009-8097.2018.03.002

G40-057

A

1009—8097（2018）03—0012—07