认知网络分析法及其应用案例分析

2019-07-08 02:25王志军杨阳
电化教育研究 2019年6期
关键词:学习分析案例分析

王志军 杨阳

[摘   要] 认知网络分析法(ENA)是在教育大数据与学习分析快速发展的大背景下产生的一种日益重要的表征学习者认知网络结构的研究方法。研究采用文献研究法和案例研究法,从概念、理论基础、分析过程、支持工具、研究案例和特征等方面对认知网络分析法进行系统介绍。研究发现,该方法是一种以认知框架理论为基础,通过建构动态网络模型对学习者个体和群体的认知元素间的网络关系进行可视化表征、分析的方法。该方法包括“基于节的编码”和“创建动态模型”两个阶段和八个具体操作环节。ENA Webkit是一个重要的支持认知网络分析的工具。当前,该方法在协作学习、实践社区以及学习评价中被广泛应用,并通过与其他方法的深度融合对学习者的认知网络进行深层次表征、分析和比较。它具有以下特征:对要素间共现关系的关注是其核心;可多层次、动态化表征个体和群体的认知网络;是一种思维工具,可基于多个理论框架多维表征学习者的认知发展;还是一种基于证据的深度学习评价方式。

[关键词] 认知网络分析; 认知框架; 学习分析; 共现性; 案例分析

[中图分类号] G434            [文献标志码] A

[作者简介] 王志军(1986—),女,湖南湘潭人。副教授,博士,主要从事在线学习理论与实践研究。E-mail:jnuwzj

@jiangnan.edu.cn。

一、引   言

认知神经科学发现,人类的学习是多个脑区共同参与、协同作用的结果。学习的过程就是雕刻大脑神经元之间的连接,建构认知网络的过程。同时,人的行为是认知网络的一种外在表现。因此,对认知网络的分析及其结构的表征可以从两个方面展开:(1)依托于脑科学和认知神经科学进行直接表征;(2)通过学习者外在的学习行为和学习成果的表现来间接表征。前一种方式最为科学,但因受技术与相关学科发展的限制,当前还难以实现;而后一种方式,随着教育大数据和学习分析的发展其可行性越来越大。

在学习分析领域,研究者一般借助于社会网络分析、语义分析、数据可视化分析等方法对学习者的学习行为进行分析,虽然这些方法也可以侧面、间接地表征学习者的内部认知结构,但是难以全面、动态地呈现学习者认知网络结构的特点与变化。随着学习分析的不断发展,该领域出现了一种可以对学习者认知网络进行分析的方法,即认知网络分析法(Epistemic Network Analysis,简称ENA),它可对学习者在交互过程中产生的文本记录进行量化分析,并形成动态网络模型以表征学习者认知元素间的关联结构,并进一步表征学习者的认知特征。该方法是教育大数据与学习分析发展的大背景下日益重要的研究方法。本文旨在从概念、理论基础、分析过程、支持工具、研究案例和特征等方面对认知网络分析法进行系统介绍,以期为研究者提供一种深入表征学习者的认知网络结构及其关系的方法。

二、认知网络分析的定义与理论基础

(一)认知网络分析的定义与发展

美国加州大学伯克利分校的DiSessa将学习描述为一个过程,在这个过程中,经验知识中孤立的元素通过理论框架联系在一起,以此发展新的知识,而且还可以对知识形成深入、系统的理解[1]。而认知网络分析法的主要研究者美国威斯康星大学教育研究中心的Shaffer则将学习描述为认知框架的发展,这种认知框架是一种在实践社区或小组中的成员分享框架、调查以及解决复杂问题时表现出的知识、技能、思维习惯以及其他认知元素间的关联模式[2]。尽管DiSessa和Shaffer对学习有着不同的表述,但是他们都认为学习并不是知识点或技能的单独呈现,而是在这些知识与能力间建立连接,即认知元素间的连接结构比这些元素单独的出现更重要[1-2]。基于以上理论基础,ENA被设计出来,以对认知元素间的连接结构进行建模表征[2]。

因此,ENA是一种借助于认知框架理论,对学习者在交互过程中的文本数据进行量化编码,并采用动态网络模型对学习者认知元素间的网络关系进行表征与分析的重要方法[2]。它既可以量化和表征网络中元素间的连接结构及关联强度,也可以表征连接的结构与强度随时间发生的变化情况[2]。即ENA可以实现对个人或群体的复杂认知网络的可视化表征,并直观化地对不同的复杂认知网络进行对比,从而了解不同网络间的差异。

(二)理论基础:认知框架理论

認知网络分析法根植于认知框架理论[3]。框架这一概念源自Goffman,他从框架的角度解释活动,认为活动是形成知觉与行动的规则和前提,也是用来阐述经验的规范和实践,因此,一个认知框架也可以通过个人在真实任务中展现出的行动和交互表现出来[4]。认知框架理论用于表征实践社区中学习者思考、实践等行为方式[3]。ENA中常用的认知框架为SKIVE框架[3],包括技能(Skill)、知识(Knowledge)、身份(Identity)、价值(Value)以及认识论(Epistemology)五个维度,具体解释如下:“技能”表示在认知活动中学习者做事情的能力[5]。这种能力可以具体化为学习者通过口头或书面进行清晰沟通表达的能力;学习者能够收集、组织、分析信息;学习者有批判思考的能力,并且可以基于不同的立场进行验证;学习者可以从他人的角度看待问题等[5]。“知识”表示学习者在认知活动过程中分享的针对问题、任务等的理解与看法。具体可以包括对相关政策、机构等的了解;对活动社区具体运行规则的掌握;对当前认知活动过程中面临的困难的理解;对活动多样性的理解等方面[3,5]。“身份”表示实践社区中成员对于自身的看法,即在进行认知活动的过程中,通过施展技能、实施决策等行为,学习者找到并在社区活动过程中展现出自身的身份定位[5]。“价值”表示认知活动中参与成员所持有的信念,它可用于指导、驱动学习者在实践社区中使用技能与知识[4]。“认识论”表示在活动社区中学习者能够清楚认识相应行为或言论的特征及属性,并能提供相应证据来证明其合理性[5]。

SKIVE认知框架中的每个维度在微观层次上可以细分为多个子维度[5],在ENA中可以基于这五个维度对参与者产生的行为数据进行编码。通过这五个维度及其在文本中的共现关系来表征学习者的认知网络结构。其中,共现关系表示文本数据中认知元素之间的连接关系,即在认知网络分析中,利用SKIVE框架中的概念共现来表征认知连接的建立[2]。

ENA可直观展现学习者复杂认知网络中的连接结构,了解学习者在活动社区中的认知行为,促进研究者对学习者个体进行分析。该方法还可以对学习者在认知活动周期内的认知元素关联结构及强度进行追踪,并进一步预测学习者可能产生的学习行为。

三、认知网络分析的过程与支持工具

(一)认知网络分析的过程

认知网络分析研究共包括四个阶段:确定研究问题与目标、收集数据、基于节进行编码、建立动态网络模型。其中,第一、二阶段与其他研究基本相同,即研究者需要明确研究问题与目标,并在相应的理论指导下进行数据收集与处理。其不同点在于对学习者认知网络的关注:如“在认知活动中不同成绩的学习者的认知网络有怎样的差异”“在社会网络中不同位置的学习者的认知网络有怎样的特点与差异”等。而数据收集阶段,主要对反映学习者认知水平的互动性文本数据进行收集。认知网络分析的特殊性主要体现在基于节进行编码、建立动态网络模型两个阶段(如图1所示)。其中,基于节的编码包括分节和数据编码,动态网络建模又包括以节为单位进行数据累积、创建邻接矩阵、累积单元内不同节的邻接矩阵、向量归一化、奇异值降维分解和形成模型六个过程。

1. 基于节的编码

该过程包括数据分节和数据编码两个部分,其中,分节是编码开展的重要前提。在ENA中,研究者在开展编码之前,需要根据数据格式规范对数据分节进行处理,然后再以节为基础对交互数据进行编码,最后再将编码数据转化为空间模型[6]。

(1)分节

节是认知网络分析中的重要概念。以节为基础的交互数据包括四个重要组成部分,分别是目标对象、不同对象之间的关系、一系列表征对象之间关系的节,以及表征认知元素间存在关系的证据[6]。①目标对象指模型中的人、相关概念或其他连接网络的事物[6]。②对象间的关系是指不同对象间的关联,比如社会关系的强度、概念上的相似性或者任何将一个对象和另一个对象联系在一起的互动关联等[6]。③节可以是时间单元、过程中的步骤,也可以是可识别单元中表征对象间关系的任何方式[6]。在对获取到的文本数据进行整理编码时,应以“节”为单位,对若干个编码行进行二进制编码。不同节中的交互数据组成了文本“单元”,一个单元中同一节的数据彼此关联,而不在同一节的数据彼此不相关[4]。④证据指数据行中可用于标识认知元素间关系的标志。Shaffer等人将同一节中概念的共现作为认知元素间建立连接的标志[4]。

(2)编码

根据认知框架对学习者的认知元素进行编码,采用二进制的编码方式,将符合框架维度的元素编码为“1”,将不符合的元素编码为“0”。表1展示了样本数据集RS Data中的部分编码内容(编码数据选取自:http://www.epistemicnetwork.org/),即研究者根据不同小组内的小组成员在参加两次游戏时的认知活动,以二进制编码的形式对其中符合认知框架的元素进行编码。

值得一提的是,除了可以使用SKIVE认知框架进行编码,研究者还可以根据实际的认知活动,采用主题建模、潜在狄利克雷分布(LDA)、自动内容分析等方法对学习者的交互文本进行处理与编码,并将其与认知网络分析法进行结合,建立学习者的认知网络模型。

2. 动态网络建模

建模是认知网络分析最重要的阶段。研究者根据认知编码,以节为单位,对同一节中的编码数据行进行累积,继而通过创建邻接矩阵,累积单元内的邻接矩阵,进行向量归一化与奇异值降维分解等完成学习者的认知网络建模,从而直观化、可视化表征学习者认知元素之间的连接结构。

(1)以“节”为单位,对数据行进行累积

由于单元内的数据由不同的节组成,同一节中的数据彼此相关,因此,需要按照“以节为单位”的形式对数据行进行累积编码。通常通过二进制的形式进行累积,即如果同一节中任何一行数据包含代码A,则累积叠加之后的节中也包含代码A[4]。如表2所示,该表根据表1的数据,以“节”为单位,对同一次游戏的数据行进行了二进制累积编码,以此来表示同一节中认知元素间的关联。

表2           不同節中数据行编码累积表

(2)邻接矩阵的创建与累积

①邻接矩阵的创建:ENA通过为每节中的数据编码创建邻接矩阵来表示元素编码的共现[4]。对象间的关联通过矩阵中的行和列来表示,即编码Xi,j代表了对象i与对象j建立关联的强度,并且由于对象与自身无法建立相关关系,因而矩阵的对角线为0[6]。因为ENA是一种无向图,所以创建的邻接矩阵具有对称性。②邻接矩阵的累积:创建完每节邻接矩阵后,为了识别数据中元素连接的结构,ENA会将每个分析单元的邻接矩阵累加到同一个累积矩阵中[2]。当ENA为数据集中的所有单元创建完累积邻接矩阵,每个矩阵都可以转换为邻接向量Vn,因此,这些向量也存在于高维空间V中[2]。通过这种方式,每个分析单元中对象间的连接结构都可以由高维空间中的邻接向量表示[2]。

(3)向量归一化

在ENA的高维空间中,每个邻接向量代表一个分析单元的关联模式,分析单元中节的数量影响着向量的长度。同一单元中节的数量越多,代表着产生的共现也就越多,对应的向量越长[2]。但是有可能存在两个代表相同关联模式的向量,它们指向同一方向,并且由于它们存在于不同的节中,因而会产生不同的长度[4]。因此,为了能够准确地对不同单位的认知结构进行对比,就需要控制不同单元中有可能产生的不同数量的共现。因此,需要对累积的邻接向量进行球面归一化处理,即将每个向量Vn除以它自身的长度,由此得到归一化的向量[2]。

(4)奇异值降维分解

在完成向量归一化之后,ENA将会采用奇异值降维分解(SVD)的方法,最大限度地提高变量在数据中的差异值,但不会重新缩放数据,从而实现对高维空间的降维[4]。

(5)建立模型

在完成编码、转换矩阵之后,ENA会根据形成的编码数据在二维空间中对认知元素的连接结构进行可视化表征,即完成建模。“质心”和“节点的位置”是建模中的两个重要概念。①质心(Centroid):网络的质心类似于物体的重心,由网络模型中“边权重”的算术平均值确定[2]。如果兩个学习者建立的认知网络模型具有相同的节点,但是这些节点之间的连接强度不同,那么这两个学习者各自的认知网络模型的质心也不同。质心主要用于ENA分析过程中微观视角向宏观视角的转换。即在比较不同学习者的认知网络时,当学习者数量较少,直接对比其认知网络就能发现其异同之处。但当学习者的数量较多时,就需要将学习者的认知网络抽象成一个点,以此代表学习者个人的认知网络,并从宏观的投影空间对多个学习者的认知网络进行对比。②节点的位置:为了使网络中质心和经过SVD旋转之后能代表网络的点之间的距离最小化,ENA中用一个优化的程序来确定投影空间中节点的位置[4],即确定质心的位置。ENA空间中点所处的位置代表了对应的网络模型的连接结构,因此,点在投影空间中分布的不同位置就代表了不同认知网络的最大差异[2]。那么,对多个学习者的认知网络的比较就转化为对质心在投影空间中所处位置的分析[4]。分析人员可根据投影空间中不同点间距离的大小判断相应学习者的认知网络相似度或差异性,空间中点间距离比较小表明对应的认知网络结构可能存在较大的相似性,反之,距离较大则表明对应的认知网络结构的差异性较大[2]。

在完成模型建立之后,研究者可以对学习者在宏观空间以及微观层面中的认知网络模型进行直观对比。其中,在学习者认知网络模型的微观层面,不同认知元素节点之间连线的粗细代表了建立连接的强弱,而节点的大小代表了与周围其他认知元素建立连接的多少。研究者可以根据这些特征对学习者的个人认知网络进行分析。同时,还可以基于宏观投影空间中点的分布对同一学习者在不同学习时期的认知网络以及不同学习者在同一阶段的认知网络进行进一步分析。质心是ENA从微观层面向宏观层面转化的重要中介,多个复杂的认知网络通过质心便可以以点的形式在同一个二维空间中进行直观呈现。研究者可根据这些点的布局与位置对宏观的认知网络结构特征进行描述与分析。

(二)认知网络分析的支持工具

威斯康星教育研究中心与麦迪逊分校联合开发了一个在线建模平台ENA Webkit来支持认知网络分析的开展。该平台具有处理编码数据与建立认知网络两大功能[2]。在处理编码数据阶段,该平台可根据最初的编码数据表,按照认知网络分析法的处理过程对其进行自动化处理,并将编码结果可视化表征出来,即创建出关于学习者的认知网络模型,便于研究者进行进一步的探索和解释[2]。Shaffer等学者在2016年发表过关于认知网络分析的指导手册,对ENA Webkit的具体使用进行了详细介绍,并开发了专门的网站(http://www.epistemicnetwork.org/)。

ENA Webkit可对导入的编码数据进行自动化建模和可视化呈现。当存在多个研究对象时,ENA Webkit会在宏观的投影空间中对多个认知网络模型进行呈现。同时,还可以在微观层面对少数学习者间的认知网络结构的具体差异进行对比分析。

四、学习分析中的认知网络分析及应用案例介绍

ENA作为一种可动态量化表征学习者认知网络的分析方法,在学习分析领域有着很大的发展前景。同时,它还可以通过与多种分析方法结合,从不同角度对学习活动进行分析,从而对学习者的学习表现进行更全面的描述与预测。本文将通过阐述ENA在协作学习[7]、实践社区[2]以及学习评价[8]中的具体应用案例,对该方法作进一步的介绍。

(一)认知网络分析在协作学习中的应用

协作学习已经成为人们解决复杂任务或问题的重要方式,技术的发展增加了人们进行协作学习的机会,也吸引着来自不同研究领域的学者予以关注研究[7]。在技术的支持下,人们可以借助于不同的技术工具或平台开展协作学习活动,而活动过程中产生的一系列交互数据也随即记录在平台中。如何利用这些数据分析活动参与者的交互程度与认知特征是研究者重点关注与解决的问题。

社会网络分析法(SNA)是研究者分析活动参与者在协作学习过程中的交互程度以及发挥作用的常用方法。此方法可以表示学习者在学习过程中参与、交互以及知识建构的情况[14],却无法对参与者认知层面的结构进行动态建模表征与预测。因此,研究者提出采用社会认知网络标记(Social Epistemic Network Signature,简称SENS)的方式,即将认知网络分析(ENA)与社会网络分析(SNA)进行结合,从而对学习者在认知活动中产生的交互数据进行社会层面和认知层面的分析[7]。

Gasevic等人在MOOC平台上选择了一门课程论坛中的部分交互数据,并通过SNA与ENA分别对学习者的社会网络结构与认知网络结构进行分析,探讨学习者的社会网络与认知网络之间的关系。他们首先采用自动内容分析法,并借助潜在狄利克雷分布,对文档中的突出主题进行抽取,共得到12个主题,其中包含与课程内容相关的主题以及过程主题,为后续进行认知网络分析提供数据基础。在认知网络分析的过程中,探讨每篇文章或评论与其前三篇文章之间的语义联系,以此最大限度地捕捉学习者建立的有意义的联系[7]。基于这些语义连接,创建了邻接矩阵,并通过累积矩阵等操作过程,最终绘制出学习者个体认知网络结构图。对其进行分析发现,投影空间中的第一个维度(SVD1或X轴)解释了ENA空间中46%的方差,其中过程分数较高的参与者更关注课程的过程和程序,即他们在与过程相关的主题之间建立更多的连接。ENA投影空间中第二个维度(SVD2或Y轴)解释了ENA空间中18%的方差,这表明内容分数高的参与者将会在与内容相关的主题之间建立更多连接[7]。

为了了解学习者认知网络和社会网络之间的关系,以及ENA和SNA可以在多大程度上帮助研究者了解学习者的协作学习过程,研究者通过聚类分析和社会认知网络分析,并结合多元线性回归分析对高成效表现和低成效表现组的学习者的差异进行了描述与分析[7]。

总体来说,在对学习者的协作学习过程进行分析时,采用ENA可以拓宽研究思路,使研究不仅仅关注学习者之间建立的社会连接,更关注学习者认知网络的建立,从而从社会层面和认知层面对协作学习进行研究,并进一步预测学习者的学习表现。

(二)认知网络分析在实践社区中的应用

实践社区(Community of Practice)是一个社会学习系统,即许多人在这个系统中共同分享他们的兴趣并从事增进联系的集体学习[9-10]。在实践社区中,学习者处于问题解决式的情境,即教师通过给学习者创建一个问题解决的情境,使学习者扮演不同的角色,从而模拟真实情境下解决问题的过程,借此培养学习者的实践能力、创新能力等。教师或研究者虽然可以借助社会网络分析、内容分析、问卷调查等方式对反映学习者的参与度、贡献程度、实践能力等方面的数据进行分析与评价,但是这些方法、手段却没有办法对学习者在实践社区中形成的认知网络结构进行直观呈现与分析,也不能对不同学习者的认知结构进行直观对比。

在本案例中,研究者以“在线工程设计模拟”活动为例,使学习者在一个模拟的工作环境中解决一个现实的工程设计问题,即学习者在一家虚拟的公司中,通过审阅公司内部的技术文件,研究相关背景,从而进行工程设计,并根据实验数据对研究成果进行检验[2,11-13]。研究者利用认知网络分析法对学习者在这项工程设计中进行的认知活动进行了定量与定性的分析,以此对学习者的认知网络结构进行动态建构表征,进而探究不同学习者的认知特征。

在本案例中,学习者的认知网络是由与工程实践活动相关的认知元素相互建立连接形成的。研究者利用认知框架对学习者的认知活动元素进行了编码,之后通过形成邻接矩阵、向量归一化等处理之后建立了学习者的认知网络模型。图2显示了两名学习者的认知网络模型,其中学习者A(左侧图)的认知网络是在知识元素和技能元素之间建立连接,而学习者B(右侧图)的认知网络不仅在知识和技能元素之间建立了连接,也在价值、认识论等元素之间形成了连接,这表明在“在线工程设计”的活动中,学习者B担当的工程师考虑的比学习者A更加全面。同时,图中连接线的粗细代表了元素之间连接的强弱,因此,通过观察可以发现,图中学习者A和学习者B在进行认知活动时各有不同的侧重点。

由于在认知网络模型中,每个认知元素都有固定的空间位置点,因此,可以通过对少数(一般是两个)不同的认知網络模型进行做差相减,实现它们之间的对比。当需要对该活动中多名学习者的认知网络进行分析时,ENA会通过抽取认知网络质心的方式,在投影空间中对多个质心的空间分布进行直观展示,以此来对多名学习者的认知网络进行对比。研究者利用两个维度上的置信区间计算出两组学习者(A组、B组)在投影空间中的平均位置,并通过独立样本t检验,发现两组学习者在第二维度上有显著性差异(mA=0.079,mB=-0.079;p<0.001,t=4.231)。其中,A组学习者更多的是在基础知识和技能方面建立更多的连接,B组学习者更多的是在认识论元素和与设计相关的知识元素之间建立更多连接。如图3所示。

借助于ENA,研究者可以对实践社区中学习者开展的认知活动进行分析,建立学习者的认知网络模型,直观地了解学习者在参与活动过程中的认知特征,明确学习者在不同元素之间的连接关系以及关系的强弱。并且,还可以通过对学习者在不同时间段的认知网络的对比分析发现其认知发展变化,有利于在实际的教学活动中引导和培养学习者的认知发展。

(三)认知网络分析在评价中的应用

技术的发展使教师可以更好、更全面地评价学习者的学习行为,但当前的很多评价方式无法直观地展现学习者的认知特征。尤其是当学习者递交的是文本类的作业文档(如课程论文)时,教师只能根据文档情况进行打分,却无法真实地了解文档背后反映的认知活动。而对认知活动的分析与了解(尤其是对于成绩不理想的这类学习者),可以进一步帮助教师开展有针对性的教学和辅导。

在本案例中,16名学习者被要求通过使用传记、文学批判、读者回应或者现象学研究的方法对虚拟文学进行分析,并最终通过作业论文呈现个人分析[8]。研究者将论文文本分割成不同的片段,并对每一片段中涉及的关键词进行编码,建立了16名学习者的认知网络模型,对学习者在写作中的复杂思维进行了直观化的展现,帮助教师进行总结性评价以及理解学习者进行学科学习时的认知特征。在进行具体编码时,研究者使用两组关键词来分析学习者的文章,第一组包含8个一般的文学分析术语:报告、环境、讲述者、主题、解释、体裁、分析和描述;第二组包含8个文学分析中的特定关键词:作者身份、镜像、层次、文本细读、空白、歧义、过度决定和非充分决定。其中,第一组归为第一种编码方式,第一组与第二组结合构成第二种编码方式。

为了分析这些论文,研究者根据这些论文的分数将文章分为低水平、中等水平和高水平三类,通过对这三类论文的平均认知网络进行对比,发现学习者在写作时的思维差异。图4显示了三类不同写作水平学习者的平均认知网络。从总体上看,在采用第一种编码方式得到的认知网络模型中,中等水平和高水平成绩的学习者建立的认知连接要多于低水平学习者,高水平学习者在不同元素间建立的连接最多,而低水平学习者的认知网络中缺少“环境”“报告”两个因素,并且在元素“描述”和“解释”之间没有建立连接。

除此之外,研究者也利用第二种编码方式对三类文章进行编码,并建立了认知网络模型(如图5所示)。其中,低水平的学习者大多在“空白”“解释”“分析”之间建立连接。而中等水平和高水平的学习者建立的网络具有更平衡的联系,同时,仍然强调“解释”“描述”“分析”之间的联系。

在本案例中,研究者通过认知网络分析法对学习者的书面作业进行了量化分析,从而帮助教师对学习者递交的文本类作业进行评价,使得教师通过对学习者复杂思维的了解,明确学习者的薄弱环节,及时给予反馈与指导。

五、认知网络分析的特征与优势

(一)对要素间共现关系的关注是认知网络分析法的核心

ENA利用概念的共现来表征认知连接的建立[2],因此,不同要素间共现关系的表征是ENA的核心。同时,ENA不受编码频率的驱动,而与编码共同出现的频率相关,因此,能够捕捉研究对象认知框架的各个元素的协同发展情况[15],从而对元素间的共现关系进行动态表征。如借助ENA可以建立学习者专业化思维的动态网络模型,即研究者可以根据编码框架,对多个关于专业化思维的认知元素间的关联结构进行建模表征,根据这些元素间连线的粗细以及表征元素的节点的大小,分析认知结构的特征。通过此方式,可以直观化地表征学习者专业思维的发展情况,并且还可以通过结合其他的方法,全面客观地对学习者的学习行为进行分析。

(二)可以多层次、动态化表征个体和群体的认知网络结构

ENA可以从微观和宏观两个层面对学习者个体和群体的认知网络进行表征。在微观层面,它可直观展现学习者的认知网络结构,对少量学习者之间的认知结构进行差异对比。如案例二中,研究者对“在线工程设计模拟”活动中学习者的认知特征进行了分析,通过呈现学习者在此活动中的认知网络结构,以及对不同学习者之间的认知网络进行做差相减,从而发现不同学习者之间的认知差异,弥补学习分析领域中间接表征学习者认知特征的分析方法的不足。在宏观层面,它可对多名学习者的认知网络进行对比,也可根据学习者在一定周期内的认知情况,实现对学习者认知结构的动态化表征与追踪预测。同时,认知网络分析还可以与其他分析方法进行结合。如案例一中,研究者利用社会网络分析与认知网络分析法对学习者产生的交互文本数据进行社会层面与认知层面的分析,从而从社会连接与认知结构两个角度表征、分析学习者的学习情况,深度挖掘学习者的认知特征。

(三)它是一种可多维度表征学习者认知发展的思维工具

ENA不仅仅是一种研究方法,更是一种多维度表征学习者认知发展的思维工具。研究者可以不局限于认知框架理论提供的维度,而是结合多种研究方法对学习者的认知发展进行分析与表征。如吴忭等人将认知网络分析法用于对STEM教育的分析与测评,即按照“专业的知识技能”“学科认识论能力”“专业的态度素养”“专业的认同感”等方面对学习者的专业化思维进行表征[15],通过可视化的方式呈现学习者的认知发展情况,对学习者做出全面的分析与评价。研究者也可使用主题建模、自动内容分析等方式,借助更多理论模型,对认知元素间的共现关系进行分析。如本文案例三中,借助内容分析,自定义框架,从多个角度分析学习者的专业思维发展情况,便于教师明确学习者的薄弱环节,了解学生的认知发展状况,进而及时给予指导与帮助,促进学习者专业思维能力的形成与发展。

(四)它也是一种基于证据的深度学习评价方式

“以证据为中心”的评价设计模式是一种可以将理论、数据和分析之间的关联进行概念化的方式[4,16]。在这种评价设计模式中,分析框架由三种互相关联的模型组成:学生模型、证据模型和任务模型[4,17]。学生模型代表了研究者想要评估的学习者特征或对学习者进行建模与测量的结果;任务模型代表了用于在学生模型中测量结果的活动或数据;证据模型用于表述分析工具与技术,并且将学生模型与任务模型连接起来,通过模型中的技术与工具对基于数据的结果进行验证,进而得出结论[4]。ENA便是一种基于证据的深度学习评价方式,它在认知框架理论的指导下,利用技术与工具对学习者在学习过程中产生的文本数据进行分析与处理,从而建立学习者认知网络模型,直接对学习者的认知网络结构进行分析,而不是通过外显行为数据间接分析学习者的学习特征,以此对学习者的认知发展做出更深刻、更全面的评价。

[參考文献]

[1] DISESSA A A.Knowledge in pieces [M]//FORMAN G,PUFALL P B.Constructivism in the computer age.Hillsdale,NJ,US:Lawrence Erlbaum Associates,1988:49-70.

[2] SHAFFER D W,COLLIER W,RUIS A R. A tutorial on epistemic network analysis: analyzing the structure of connections in cognitive,social,and interaction data[J]. Journal of learning analytics,2016,3(3):9-45.

[3] CAI Z,EAGAN B,DOWELL N, PENNEBAKER J,GRAESSER A C,SHAFFER D W. Epistemic network analysis and topic modeling for chat data from collaborative learning environment[C]//Proceedings of the 10th International Conference on Educational Data Mining.Wuhan:EDM Society, 2017.

[4] SHAFFER D W,RUIS A R.Epistemic network analysis:aworked example of theory-based learning analytics[M/OL]//LANG C,SIEMENS G,WISE A,et al.Handbook of learning analytics,2017:175-185[2019-04-04].https://solaresearch.org/hla-17/.

[5] RUPP A A,CHOI Y,GUSHTA M,et al.Modeling learning progressions in epistemic games with epistemic network analysis: principles for data analysis and generation[C]//Proceedings from the Learning Progressions in Science Conference.Iowa City:IA,2009:24-26.

[6] SHAFFER D W. Formatting data for epistemic network analysis[R]//Games and Professional Simulation(Gaps)Technical Report Series. Wisconsin Center for Education Research, University of  Wisconsin-Madison,2014:1-15.

[7] GASEVIC D,JOKSIMOVIC S,EAGAN B R,et al.SENS:network analytics to combine social and cognitive perspectives of collaborative learning[J].Computers in human behavior,2018,7(3):1-16.

[8] FOUGT S S,SIEBERT-EVENSTONE A,EAGAN B,et al. Epistemic network analysis of students' longer written assignments as formative/summative evaluation[C]//Proceedings of the 8th International Conference on Learning Analytics and Knowledge. New York:ACM,2018:126-130.

[9] 張敏霞,刘霜.教师在线实践社区中的知识管理行为研究[J].中国电化教育,2014(9):120-125.

[10] 王陆.教师在线实践社区的研究综述[J].中国电化教育, 2011(9):30-42.

[11] CHESLER N C,RUIS A R,COLLIER W,et al. A novel paradigm for engineering education: virtual internships with individualized mentoring and assessment of engineering thinking[J]. Journal of biomechanical engineering,2015,137(2):1-8.

[12] ARASTOOPOUR G,SHAFFER D W,SWIECKI Z,et al. Teaching and assessing engineering design thinking with virtual internships and epistemic network analysis[J]. International journal of engineering education,2016,32(2):1492-1501.

[13] CHESLER N C,ARASTOOPOUR G,D'ANGELO C M, et al. Design of a professional practice simulator for educating and motivating first-year engineering students[J]. Advances in engineering education,2013,3(3):1-29.

[14] 徐刘杰,陈世灯.学习者知识建构的社会认知网络[J].开放教育研究,2017,23(5):102-112.

[15] 吴忭,王戈,盛海曦.认知网络分析法:STEM教育中的学习评价新思路[J].远程教育杂志,2018,36(6):3-10.

[16] MISLEVY R J,GENEUA H,RICONSCENTE M,et al.Evidence-centered assessment design[M]//MISLEVY R J,GENEUA H,RICONSCENTE M,et al.Assessing Model-Based Reasoning using Evidence-Centered Design. Cham:Springer,2017:19-24.

[17] MISLEVY R J. Issues of structure and issues of scale in assessment from a situative/sociocultural perspective[J/OL]. National Center for Research on Evaluation Standards & Student Testing,2006(1):1-37[2019-04-04].https://files.eric.ed.gov/fulltext/ED518674.pdf.

[Abstract] With the rapid development of educational big data and learning analysis, epistemic network analysis(ENA) is increasingly becoming an important method to characterize learners' cognitive network structure. This study adopts literature research and case study to introduce epistemic network analysis systematically from the perspectives of concept, theoretical basis, analysis process, supporting tools, research cases and features. It is found that this method can visually represent and analyze the network relationship between individual and group cognitive elements of learners by constructing dynamic network model based on the theory of cognitive framework. There are two phases of "stanza-based coding" and "creating dynamic model" and eight specific operational links in this method. ENA Webkit is an important tool to support epistemic network analysis. ENA has been widely used in collaborative learning, community of practice and learning evaluation, which can deeply characterize, analyze and compare learners' cognitive network through deep integration with other methods. ENA focuses on the co-occurrence of elements and can represent the cognitive network of individuals and groups at multiple levels and dynamically. Moreover, it is a thinking tool that can represent learners' cognitive development based on multiple theoretical frameworks, and an evidence-based evaluation method of deep learning as well.

[Keywords] Epistemic Network Analysis; Epistemic Framework; Learning Analytics; Co-occurrence; Case Analysis

猜你喜欢
学习分析案例分析
大数据思维下教学过程数据分析及应用研究
在线学习过程管理大数据的建设与应用
简析小学劳动与技术教育的有效合作学习
“互联网+”下的商业模式创新案例分析
父亲缺失案例分析
冷库建筑火灾特点及调查方法研究
浅析大数据在教育中的应用
高校图书馆阅读推广案例分析
让语文课堂评价语绽放异彩
学习分析系统在高校课程中的实践研究