精准教学中基于同伴互评的评价者认知网络分析*

刘迎春 朱 旭 陈 乐

（浙江工业大学 教育科学与技术学院，浙江杭州 310023）

一、引言

以教育大数据为基础的学习分析技术，已经成为教育信息化领域研究和应用的新热点[1]。作为一种融合数据处理和信息决策的综合系统，学习分析技术与以促进学习的评价，在理论和技术上相互渗透融合，构建了良性的教育新生态[2]。一方面，学习分析技术全面收集、整合专家评价、教师评价、学习者自我评价、同伴互评等多种评价数据，可以为学习分析提供多源、充实的数据基础，保证了学习分析的质量；另一方面，其利用学习分析技术获知的信息反馈到教学活动中，能够帮助实施更加精准的教育评价，成为构建精准教学的基石。

随着多元评价的流行，同伴互评以其特殊的评价设计和应用价值，受到教育界的关注。同伴互评能提高学生的参与度、主动性[3]，获得真实、全面、客观的评价数据，有着较高的可信性、精准性[4]。同伴互评常采用评分和评语两种方式[5]，评分包括评价指标及其相应的等级和分数，这是基于一定评价规则的量化反馈。相对于由评价指标约束的评分，评语具有更大的自由度和可发挥空间，融合了评价者对教育目标、评价规则和评价对象的客观、综合认知[6]。在同伴互评中，评价者撰写的评语与教师评价、自我评价等多种评价数据一起，较为全面反映了被评价者的学习成效，从而共同完成精准的教育评价。同时，同伴互评也是评价者强化学习、提升元认知技能的一种学习途径[7]。评价者撰写的评语是评价者对知识技能认识、认知的显性材料。透过评语字里行间包含或蕴含的关键字句以及关键字句的结构，可以洞察评价者对教学目标、教学效果以及评价规则的认知，进而获得对评价者的评价。

李梅等在对同伴互评特点分析的研究中发现，不同成绩的评价者撰写的评语，具有不同的特点：高分学生的评语更为详细、具体、完整、全面；低分学生的评语较为简单、笼统[8]。为此，本文透过同伴互评中评价者撰写的评语，在前人研究的基础之上，采用学习分析技术，利用统计分析和认知网络分析工具等手段，揭示不同成绩评价者撰写的评语，在认知结构和知识水平上是否存在差异？在哪些方面存在差异？以帮助教育者从评语中获得关于评价者的评价信息，并有针对性地改进和实施后续教学活动。

在同伴互评中，通过评语对评价者进行评价，是一种被评价者在自然状态下实施的评价。借助相关学习分析技术，使得这种真实、自然的评价得以完成，从而为精准教学提供最客观的评价反馈信息。

二、相关文献综述

布鲁姆教育目标分类理论认为，评价是学习者认知目标六个阶段的最高阶段。它要求学习者超越原先的学习内容，依据某项标准做出价值判断，是产生在较高认知水平上的心智活动和具有较高层次认知能力的高阶思维[9]。在21世纪，尤其注重对学习者高阶思维能力的培养。

同伴互评是作为学习伙伴的评价者，在真实的社会情境和实践环境中，在已有的知识基础之上，经过进一步知识加工，综合运用所习得的知识技能，对同一学习环境中的其他同伴的学习成效的水平、质量、价值等，进行等级和分数性的评价或评语[10]。同伴互评作为一种学习测评方式，是对知识、技能、情感的综合运用，已被广泛应用在教学实践中。研究表明，同伴互评具有较高的可信度，能提高学生学习的自主性，能够给学生创造更多交互、协商、合作等机会[11]。同伴互评不仅可以给予被评价者大量、及时的反馈[12]，促进其知识能力的提升，还有助于发展评价者的批判思维和元认知技能[13-15]。

同伴互评可以分为评分型和评语型。评分型同伴互评，是通过打分或者定级给出定量的评价[16]，因其容易操作与实施而被广泛应用。评语型同伴互评，要求评价者对同伴的学习成效以文字语言的形式进行定性评价[17]，对评价者的要求较高，需要评价者综合运用对知识、技能的认知和情感表达，是对其批判性思维的考验和发展。许多学者认为，评语型同伴互评更容易被学习者接受，并对学习产生好的影响[18-19]。叶萍在外语演讲课堂中应用同伴互评法，采用质与量相结合的分析方法，对收集的同伴互评话语进行分析，该研究证明同伴互评可以显著提升学习者的英语演讲成绩，促进学习者演讲技能习得和交流会话能力的发展[20]；张义兵将同伴互评融入写作教学中，通过分项评分法、文本分析法和内容分析法，对学生作文文本和互动话语内容进行分析，结果发现同伴互评易被学生所接受，并且能够提升小学生的写作能力，促进学生走向“深度学习”[21]；董家丽通过对英语同伴互评中书面评语的分析和研究，发现学生对同伴互评法有积极兴趣，英文写作元认知的三个维度间接地反映在英文写作文本中，体现在同伴互评的评语中[22]。

相关研究表明，不同能力水平的评价者撰写的评语存在差异，思维活跃、成绩优秀的评价者的评语，更加详细和全面，质量更高[23]。评价者在评价中透过同伴的表现对自身的思维和能力水平进行反思，由浅层学习向深度学习发展，将孤立、静止的信息连接起来，构建系统、动态的认知结构，最后以文字或话语的形式呈现出来，构成评语。同伴互评中的评语，提供了关于评价者思维活动、学习过程的动态信息。借助一定的学习分析技术，通过研究评语的语言和结构，我们可以了解评价者特定的认知方式[24-25]。

在基于学习分析技术的教育评价和 “以证据为中心”的教育评价设计理念的推动下，文本分析技术、认知网络分析等基于语言和文字的分析技术日渐成熟。认知网络分析（Epistemic Network Analysis，ENA）是一种识别和量化文本（话语）数据中核心元素，模拟各核心元素之间连接结构，构建可视化动态网络图的一种数据分析新方法和新工具[26-27]。ENA以认知框架理论和“以证据为中心的”教育评价设计模式为基础，通过获取教学活动中产生的关于学生知识技能发展证据的数据，系统地分析学习者的学习过程，以评估学习者的认知发展[28]。它可对任何相对较小，并且有固定元素及动态联系的复杂网络进行建模。通过统计数据和反映各元素连接关系的可视化图形，来比较不同的认知网络之间的差异，进而给出相应教学活动所反映的认知发展的差异[29]。

近年来，研究者们使用ENA，对各个领域的认知现象进行分析和可视化，从而得出一些有意义的结论。Andrist等利用眼动追踪仪器，收集了学习者交互活动过程中的产生眼动行为数据。在活动中，每两人组成一个小组，其中一人在另一人的指导下制作三明治，采集相关的眼动数据，使用ENA对眼动数据进行分析，来探究个体在交互活动中的不同阶段时的眼动行为特征[30]。Wooldridge等对医疗团队中任务分配沟通的人为因素进行了探究，分析了团队内部对同步和异步两种任务分配方式的接受度，并使用logistic回归分析和ENA两种方法相互验证，表明同步分配方式更容易被接受[31]。

除了对结构化数据进行可视化和分析外，ENA更擅长对话语和文字等非结构化数据进行分析和可视化，以达到对比不同群体认知差异的目的。例如，Sullivan用非创伤性技术技能量表（T-NOTECHS），对外科手术人员进行绩效评估，并按绩效成绩将参与者分成两组，依据VRM言语应答模式，对外科手术前的团队讨论话语进行言语分类并编码，然后使用ENA对数据进行分析，模拟团队话语元素之间的联系。结果表明，优秀团队有着更佳的沟通交流方式，该研究通过对比两组之间的差异，来调整低绩效组的培训和实习方式，或预测其实习团队的绩效水平[32]。

Shaffer使用ENA分析两种交互方式中的话语内容，对线上指导和面对面指导两种教学交互方式，进行了对比研究。研究发现线上指导和面对面交流指导效果相同，ENA可以作为一种评估互动环境中交流话语质量的有效工具[33]。在一系列虚拟工程课程实习活动中，Shaffer事先将学生分为优秀组和普通组，使用自动化话语编码系统nCoder，对活动话语进行编码，利用ENA生成的网络图，来衡量不同水平学生的工程设计思维。结果表明，两组的工程设计思维存在明显差异，教师可以根据分析结果，适当调整教学内容和方法[34]。

Cai等人基于LDA算法，对在在线课堂协作学习中的聊天话语进行主题挖掘，然后将这些主题作为ENA分析的节点从不同的角度评估，发现优秀组和普通组在各话题间的联系各有偏重。该研究认为，通过学生在话语中表现的主题联系，可以预测他们的成绩[35]。

Fougt分别采用两种编码方式和ENA，对不同水平的大学生作文进行可视化分析，结果发现，高质量的论文内各编码要素，有着更多更复杂的连接网络，ENA可以直观地展现论文的质量并分析其结构特征。该研究进一步认为，ENA可以作为一种辅助教师进行形成性评价和总结性评价的方法或工具[36]。

基于上述研究领域的成果，我们认为，在同伴互评中，利用ENA揭示评语文本中蕴含的关于评价者的学习状态、认知能力信息，作为教育评价的一部分，反馈给教育参与者，可以帮助他们有的放矢地改进教与学。

三、研究设计

为此，本研究首先设计和实践一次以评语为同伴互评形式的教学评价活动，然后，对收集的同伴互评的评语进行文本分析和认知网络分析，探究评价者在知识水平和认知结构上是否存在差异，以及在哪些知识要素上存在认知差异，以刻画不同程度学生群体特有的认知结构，为后续的教学提供改进的依据。按照学习分析技术和ENA方法的基本步骤，本研究设计了基于评语的认知网络分析的研究流程，如图1所示：

图1 基于评语的认知网络分析的研究流程

（一）同伴互评活动设计与评语收集

本研究聚焦的教育场景，为某高校师范类专业的专业课程《专业教学法训练》的一次临近期末的讲课实践。我们依据教学设计、专业教学法、教师技能训练等环节的阶段成绩，将18名本科生（包含一名旁听生）分为优秀组和普通组，其中优秀组（H）9人，普通组（L）9人。另外，1名任课教师和4名已取得教师资格证的研究生构成专家组（P），同时参与教学评价。教师随机抽取7名同学在多媒体教室按照教师资格证面试流程模拟讲课，其它同学和专家根据他们的讲课情况撰写评语（要求不少于30个字）。剔除无效评论后，最终共得评语153份。

（二）知识要素设计与评语编码

《专业教学法训练》课程，设计了以中职信息类专业师资培养和训练相关的教学设计、专业教学法、教师技能训练等教学目标和内容，我们在《中职教师资格考试面试大纲》以及《xx省中等职业专业课、实习指导教师资格考试面试评分表》的评估标准的基础上，根据课堂教学实际修改制订了16个讲课同伴互评的知识要素，作为评语编码的依据。16个知识互评分别是教学态度、心理素质、仪表仪态、言语表达、教学课件、教学过程、教学目标与任务、教学重难点、以学生为主体、情景创设、教学内容、互动提问、教学方法、环节安排、教学评价、板书。

接着，用二进制值“0”和“1”对评语中的文本进行编码，判别一份评语中是否包含上述知识要素。考虑到中文语境以及表达方式的多样性等因素，对153份评语采用人工编码的方式进行处理。如果评语中有表示上述16个知识要素的词句，则在该知识要素上标记“1”；没有涉及的知识要素标记为“0”。表1即优秀组、普通组、专家组中的评价人A、B、C，对同一个讲课人的评语如何按16个知识要素进行编码的示例。如，评价人A在评语中有关于课程导入、教学法、普通话、学生互动等文字，我们就在相应的知识要素下编码“1”；评语中没有教学课件相关的文字，我们就在相应的知识要素下编码“0”，最终把每份评语转化为编码为“1”的知识要素进行集合。为了保证编码的准确性，由两名编码员对所有组的所有评价人的评语进行上述编码，经对比讨论后，得到一个结构化的数据集。

表1 同伴互评评语的编码

（三）数据处理

首先，将编码后的数据在ENA在线工具（由美国威斯康辛大学麦迪逊分校教育研究中心认知游戏团队开发，开放网址：http：//www.epistemicnetwork.org/）中进一步处理。本研究将每个人的每一份评语设为一个节，一个节内的知识要素是针对同一个被评价者的，因此这些知识要素是相互关联的；而不同节间的知识要素不是针对同一个被评价者，因此是不关联的。在一个节内，知识要素集合内哪些知识要素出现以及同时出现，即体现了评价者评价时对知识要素的认知以及相应的认知思维。

然后，将某个评价者的所有评语（既是讲课人又是评价者的各有6份评语，其他人均有7份评语）组成一个分析单元，在分析单元中，有评价者针对不同讲课人的不同评语。一个分析单元里的所有节的知识要素集合的并集，全面反映评价者在课程知识框架下的知识水平，以及对这些知识的认知。

最后，将评价者按照事前的分组，分为优秀组、普通组和专家组，在每个组内的所有评价者所有知识要素集合以及集中出现和共现的知识要素，作为体现该组评价者在知识水平和认知结构上的共同特征。

（四）认知网络分析和反馈

我们将处理后的数据，在ENA在线工具进行分析和可视化。ENA工具为每个节创建一个邻接矩阵，量化各个编码的共现关系，根据设置的分析单元，将不同节的邻接矩阵累加、归一化为高维空间中的向量，然后使用奇异值分解（SVD），对这个高维空间降维和矩阵旋转，并保留原数据的核心信息。在使数据的特征损失最小的前提下，ENA工具把分析单元、组的数据展现在可见的二维空间中[37]。

ENA工具将编码的知识要素节点以及各分析单位的质心，放置在由X和Y两维正交的空间中。每个分析单元的编码数据以结点和连线的加权网络展示：结点代表编码的知识要素；共现的知识要素间有连线；连线的粗细表示其权重。每个分析单元有一个质心，其位置由该分析单元连接网络中所有连线权重的算术平均值确定[38]。因此，每个评价者有其独有的认知网络图，这表示他对知识要素的认识以及这些知识要素的共现频数，进而反映出他对知识的认知以及相应的认知结构。

同理，对组内的所有评价者的编码数据进行可视化，可得出该组评价者的认知网络图。这表示他们共有的认知结构特征。其中，认知网络图的质心，是他们这种网络结构的简约表示。为了对比不同组评价者之间认知网络结构的不同，可以对他们的认知网络图进行消减操作，以更明确反映他们的认知差异。

上述认知网络分析结果，更深层次地反映了评价者的知识水平和认知结构，以帮助教育实施者更好地了解同伴互评中评价者的认知特点，有的放矢地改进对他们的教学策略。

四、分析和讨论

我们结合学习分析技术的研究范式以及认知网络分析工具，通过同伴互评中的评语数据，对评价者的知识水平和认知结构进行评估，需论证以下两个研究问题：

问题1：不同组别的学生撰写的同伴互评评语，是否在认知特点上存在明显差异？

问题2：不同组别的学生撰写的评语，在哪些知识水平和结构上存在差异？

（一）不同组别学生在认知特点上具有明显差异

针对问题1，本研究将事先分组的优秀组、普通组、专家组的评语编码数据，导入ENA在线分析工具中，图2展示了三组评价者认知网络图的质心位置分布：其中，圆点为每个评价人的认知网络图的质心；正方形表示组内所有评价者的认知网络图的平均质心；正方形外侧的虚框表示95%的置信区间。从图2中我们可以看到，三个组的质心在Y轴上的位置差别不大，在X轴上位置有明显差别，说明三个组的认知网络结构存在差异。

图2 优秀组（H）、普通组（L）和专家组（P）评价者认知网络图

为了从统计意义上判别三组评价者认知网络结构的差异，我们使用双样本T检验，分析组间在X维度和Y维度上的差异。

表2、表3和表4分别对优秀组和普通组、普通组和专家组、优秀组和专家组进行双样本T检验，结果显示：在X维度，普通组与优秀组有显著性差异（p=＜0.01），普通组与专家组有显著性差异（p=＜0.01），优秀组与专家组无显著差异；在Y维度，三组间都没有显著性差异。结合图2所示网络图，我们可以看出普通组的质心位置与专家组质心位置相距最远，优秀组的质心在两者之间，但距离专家组的质心更近。T检验和网络认知图示说明，普通组与优秀组之间在认知特点上有显著差异；优秀组评价者的认知特点，更接近专家组评价者。

表2 优秀组和普通组双样本T检验结果

表3 普通组和专家组双样本T检验结果

表4 优秀组和专家组双样本T检验结果

（二）不同组别学生在认知广度、深度和结构上存在差异

评语作为一种文本语言，在通常情况下，其字数、关键词句、词句的组合，都能体现评价者的知识水平和认知结构的不同。具有较多字数、涵盖较多知识要素的评语，往往具有更高的评价质量和知识认知层次。本研究采用数学统计的方法，对三个组评语的平均字数，以及对每节（单份评语）的知识要素集合、每个分析单元（一个评价者的所有评语）的知识要素集合中知识要素的平均个数进行统计，结果如表5所示：专家组的平均评价字数最多；普通组平均评价字数最少；优秀组的字数接近于专家组。知识要素集合中知识要素数量也有明显差异，优秀组和专家组无论在单份评价还是在多份评价中，所涉及的知识要素数量都远远高于普通组；而优秀组比专家组略低，但非常接近。这表明优秀组和专家组在评论时，具有更广更深入的认知层次，专家组和优秀组的评语质量比普通组更高。

表5 各组评价者评语平均评价字数统计

为了进一步了解三组评价者在16个知识要素上的认知广度和深度，找出在哪些知识要素上存在认知差异，本研究采用数学统计的方法，统计出三组评价者在每个知识要素上的平均出现次数（归一化后）。图3分别展示了各个知识要素在三组评价者评语中出现次数的对比：在优秀组和专家组的评语中，大多数知识要素出现次数，远远超过普通组；优秀组的评语中各知识要素数出现次数，接近专家组，反映其对课程知识技能的认知相对丰富和复杂，接近专家。

图3 三组评价者评语中知识要素平均出现次数对比

从图3中我们还可看出，三组在不同知识要素上的关注次数是不同步的，即普通组学生更多关注教学过程、环节安排和情境创设等知识要素；而在教学重难点、教学方法、教学课件、仪表仪态、言语表达、互动提问、板书、教学内容等方面，与优秀组有较大差异。

图4 优秀组评价者的认知网络图

我们再结合认知网络图，利用ENA工具，生成了两组的认知网络图。图4、图5分别是优秀组、普通组的认知网络图。图中的节点代表编码的知识要素，它的大小与知识要素出现的频次相关，节点间连线的粗细与相应知识要素间共现的频次相关。在生成的认知网络图中，X维度的共同配准相关性为0.98（Pearson）和 0.98（Spearman），Y 维度的共同配准相关性为 1（Pearson）和 1（Spearman），这表明可视化图形与原始模型之间存在很强的拟合优度。

图5 普通组评价者的认知网络图

通过图4和图5的对比，我们可以看出，图4优秀组的知识要素共现网络更复杂、丰富、均衡，其网络质心在Y轴左侧，在心理素质、教学重难点、教学目标与任务、教学内容与情境创设、教学方法、教学过程等知识要素的居中位置，说明优秀组能同时兼顾各个知识要素，从多方面评价讲课同伴。图5普通组的认知网络图，具有明显的局部性特点，质心向Y轴右侧外围偏移，大致落在具有最多提及次数、最强连接强度的教学过程、教学方法、情景创设等少数几个知识要素节点周围。这说明普通组在这些知识要素分析理解上足够多而重复，而其它知识要素很少提及或共现。

使用ENA创建优秀组和普通组差异认知网络图，即可对认知网络图中的连线进行操作，使用一组认知网络中的较强连接，减去另一组认知网络中相应的连接后，显示较强连接的连线。在图6中，我们可以直观地看到，大多数强连接属于优秀组（深黑色），普通组只有在少数的几个知识要素之间的连接中，有更强的连接，如情景创设、教学过程、环节安排、言语表达之间的连接。这说明这些连接在他们的认知结构中所占权重高，相关的知识要素被他们反复在评价中使用或同时使用，其它知识要素较少被提及或共现，而被优秀组的强连接消减。从一个知识要素所对应认知网络图的一个节点来看，只有少数几个节点，其共现连线是以普通组代表的浅黑色连线为主，如，在教学方法、情境创设、环节安排三个节点，浅黑色连线占据微弱的优势；而在言语表达、教学方法等多数节点，或者没有浅黑色连线出现，或者浅黑色连线占据非常微小的比例，这说明普通组的评语，在大多数知识要素上较少涉猎。

图6 优秀组、普通组评价者的差异认知网络图

我们从上述认知网络图中可以发现，优秀组和普通组在评价时，对知识认知的广度和层次也有所不同。普通组往往重复使用浅层认知的知识要素进行评价；优秀组可以使用更多、更深层次的知识要素进行评价。

图7 组间知识要素使用次数的差异比较值

图7 是专家组、优秀组、普通组组间提及知识要素次数的差异比较值对应的图，如在“教学内容”这个知识要素上，专家组比普通组平均多使用了4.33次，比优秀组多使用了3.33次，优秀组比普通组多使用了1次。图7还显示，在教学重难点、教学课件、教学方法、互动提问、学生主体等几个知识要素上，优秀组和专家组差距不大；而普通组与优秀组相差很大。从某种意义上，教学重难点是教学内容设计的进一步推进，教学方法是教学策略的一种具体体现，教学课件、互动提问、学生主体是教学实施的具体事实。普通组学生对这些知识技能认知还不够深入，辨识不清，缺乏从更深、更广、更细致的认知层次上对上述知识进行辨识和评价的意识，其认知结构的简单、松散，也印证了这种认知特征。

（三）研究结论

本研究采用传统定量统计与ENA相结合的研究方法，对同伴互评的评语，进行面向评价者的认知水平和认知结构的分析和研究。由数据统计和可视化认知网络结构图的对比发现，普通组学生的评语与优秀组学生评语，在认知层次和结构上存在明显差异：优秀组相比普通组具有更大知识认知广度（优秀组比普通组平均每人评论用到的知识要素要多59.26%），兼顾到课程知识要素的各个方面，与专家组认知广度接近；优秀组相比普通组具有更深的认知层次，在某些深层次知识要素上的认知与专家组接近，而普通组常常着重于几个较浅认知层次下的知识要素；优秀组的认知网络结构更均匀、完整，知识要素的共现更全面、复杂，体现学生对课程知识要素认识得全面而深刻，而普通组的认知网络结构具有局部性的特点，在某些知识要素上有较多连接和共现，在另一些知识要素上，具有极少的连接和共现。

本研究得出的关于两组评价者不同认知特点的信息，可以反馈给教师和学生，通过有针对性的教与学调整，改进普通组学生的认知方式和能力，达到以评促教、以评促学的目的。

五、总结和展望

同伴互评的评语能反应评价者不同的认知水平和结构，通过基于ENA等工具和手段的学习分析技术，对评语数据进行处理和分析，可以得到评价者关于课程知识体系的不同认知层次和结构。相关分析结果，可以让师生了解比笔试成绩、互评评分更多、更细致、更具个性化的学习状态、认知能力信息；能帮助教育者实施更加有的放矢的精准教学；还能帮助学习者了解学习成效的差距，有针对性地改进学习方法，达到全面掌握课程知识，提高认知水平的教育目的。

利用同伴互评评语实施针对评价者的认知网络分析和评判，是一种基于文字证据的教育评价。基于文字、语言证据的教育评价，是一种在自然语言状态下的真实、客观的评价。把以ENA为代表的学习分析技术应用于教育评价，可以把文字、语言背后隐藏的认知结构信息挖掘出来，并通过可视化方法展示认知结构特点和对比差异，得到更加精准的评价，实践精准教学中的“精评”，再反哺修订教学策略，实现真正意义上的精准教学。

ENA作为学习分析技术的一种方法，在实际使用中，遵循学习分析技术应用于教学的基本研究模式。ENA擅长对话语、文字等自然语言的处理分析和可视化，基于ENA的学习分析和应用，包括文字、话语等教学证据的收集、证据的结构化表征、ENA数据分析和可视化等研究步骤。其中，文字和话语的收集可以针对学习总结或笔记、学习讨论的聊天纪录、课堂讨论日志等。借助文本分析和自然语言处理等技术，可以把这些文字和话语证据，结构化为知识表征信息，为ENA分析提供数据基础。ENA对结构化的知识表征信息，进行分类、聚集、链接构成网络，进一步以二维图形实现结构化信息的可视化，为教学参与各方，提供一个解读教学证据的新视角。

ENA方法应用于学习分析离不开教育、教学理论和原理的支撑，同时，也需要适当的技术手段提高其准确性和效率。在基于ENA的教育评价中，数据的编码由评价对象的知识体系及其表征决定，并与评价目标相关，完善的评价设计是相应评价分析的基础。ENA在分析自然语言证据时，从大量冗余、干扰性信息中挖掘核心信息是正确、有效、高效分析的基础。适当借助文本分析、自然语言处理、主题挖掘等技术，可以提高数据处理的效率，提高分析的准确性和有效性。

ENA擅长对比不同组分析对象的认知结构特点，既可以通过教学实际自然分组，也可以使用机器学习等技术手段自动分组。ENA分析结合不同的编码和分组方案，可以得到分析对象动态的认知网络发展状况，作为形成性评价的证据。

随着信息技术的发展，教学资源以数字化的形式统一呈现，如何有效应用这些资源，来对教学进行全方位的分析，已成为教育研究和实践关注的焦点。然而，现存的每一种学习分析工具，都有其不同的局限和优势。ENA作为一种新的学习分析方法和工具，距离广泛应用还有许多障碍和挑战：例如，数据的收集和清理具有一定难度和较大工作量；数据结构化过程中面临中文复杂语境和词语多样性等问题，等等。但瑕不掩瑜，在教育教学领域，ENA是分析学习者思维发展水平、评估不同教学模式有效性的有效方法，是对传统教育评价方式的补充和扩展，是学习分析技术运用于教育评价的一次有意义实践。我们认为，通过严谨的教学设计和结合其它信息手段和技术，可以提高ENA分析的有效性和效率，充分发挥其所长，实现其价值。