基于雷达图法的在线学习状态综合评价框架设计

路远 李彦敏

摘   要：学习评价是在线学习课程的重要组成环节之一，随着在线学习的日益普及，研究和构建一套比较有效的在线学习状态评价框架，对于提高在线教学质量具有十分重要的意义。文章提出了基于雷达图法的在线学习状态综合评价框架，该框架主要包含注意力状态、人机交互状态、情感状态、社会网络状态、认知状态五项指标。框架利用雷达图数形结合的特性，能够综合考量整体性和均衡性，同时兼具较好的直观性，可以准确有效地对在线学习者的学习状态进行综合性评价，期望为优化在线教学质量、提高在线学习绩效提供一种理论参考。

关键词：在线学习状态;雷达图;综合评价框架;学习评价

中图分类号：G434 文献标志码：A 文章编号：1673-8454（2020）11-0030-05

一、引言

在智慧教室、在线学习平台、“人工智能+教育”等一系列新兴技术的支持下，学习方式呈现出多样化的特点，传统的面对面教学方式不断受到挑战，跨越空间的在线教学方式已然成为新的浪潮。在线学习通过互联网技术实现教育教学资源的推送，打破了时间和空间对学习者学习的限制。在线学习的意义不仅仅在于创造了跨时空的学习方式，更在于使更多的优质教育资源能够通过网络为广大学习者所共享，并且为学习者提供个性化的教学服务。如今，在线学习业已成为人们最重要的学习方式之一，而在线学习状态是影响学习者在线学习绩效的重要影响因素之一，也是教育研究者不能忽视的问题。通过运用分析评价技术，对在线学习者的学习状态进行客观评价，对于改进教学质量、提高学习效率具有十分重要的意义。因而，在线学习状态及其相关的评价研究正在被越来越多的教育研究者所重视。

学习状态是学习者在学习过程和学习结果方面所表现出来的注意力状态、情绪状态、动机状态等的总和[1]。学习者学习状态的复杂性决定了研究者不能够仅仅依据单一指标对其进行评价，而必须立足于整体，运用多指标综合评价方法进行整体上的评判比较，才能进行更为全面的综合性评价。雷达图以其简洁直观、具备同时对比多个指标变量等特性，已被成功应用于财务绩效评价、电能质量评价、企业竞争优势评价、教学信息化评价以及教师课堂教学质量评价等诸多领域。因此探索如何将雷达图方法应用于在线学习状态评价领域，构建在线学习状态的雷达图综合评价框架是本研究的主要工作。

二、在线学习状态相关研究

关于学习状态的研究，目前国内外学者已积累了较为丰富的研究成果。近年来随着在线教育的蓬勃兴起，以及在线学习平台和学习管理系统的广泛应用，研究者越来越侧重于在线学习学习状态及其相关的评价研究。Xavier Ochoa等人认为学习是多通道的活动，需要从多维度收集数据对开放学习环境中的学习者进行状态分析，多维度数据流应该被学习平台所记录，并为学习状态评价提供依据[2]。Marshall和James通过记录衡量学习、应用和投资回报的评估数据，对在线学习学习者进行量化评估[3]。Narayanan S.A等学者运用Web相机技术提出了一种多维度非侵入式的方式来检测在线学习者的学习状态，通过眼角检测几何模型进行主动和被动注意跟踪实验，对在线学习状态进行分类[4]。冯晓英和刘月等人从学习者临场感的视角来表征学习者的在线学习水平，通过与临场感相关的17个学习行为指标，包括8个个体行为维度的行为指标、6个交互行为维度的行为指标、3个社会网络属性维度的指标，形成了临场感的学习行为假设框架[5]。岳俊芳和陈逸通过构建远程学习者模型，跟踪记录学习者的学习行为和学习状态，及时发现在线学习者存在的问题，从而达到对消极学习者进行学习预警、预防辍学的目的[6]。

在线学习状态的复杂性决定了必须使用多指标评价方法，才能对在线学习状态进行客观的综合性评价。虽然综合评价方法有几十种之多，但受限于评价方法的约束条件和现实条件的可行性，在线学习状态研究领域常用的评价方法主要有简单加权平均数法、层次分析法、模糊综合评判法和主成分分析法等。简单加权平均数法、层次分析法、模糊综合评判法等均属于主观赋权法，权重由专家根据经验进行主观判断，受制于专家个人的领域知识、历史经验和主观偏好，主观随意性强，受人为影响因素较大，优点在于与人类的思维逻輯一致，可解释性强，研究者能够对评判结果的成因给出良好解答。主成分分析法属于客观赋权法，有统计学作为其理论基础。在主成份分析法中，因子权重是根据各个指标因子的贡献率的大小确定的，而非人为指定，客观性较强，避免了人为主观判断;但主成分分析法的计算量和样本需求量都较大，评价结果和样本量规模有关系。因此，本研究力求在现有分析技术的基础上，找到一种客观合理、简单有效、可解释性良好的雷达图综合评价方法，并构建其评价框架。

三、在线学习状态评价指标

学习是学习者对知识的主动建构过程。学习状态是指在学习情境中，学生身体和心理的机能状况，主要包括大脑清醒与注意集中的状况、情绪状况、身体机能状况等[1]。在线学习状态的强弱直接关系到学习者学习效果的好坏。在线学习不同于传统的学习方式，它打破了时间和空间上的约束，教师和学生相互分离，因而在线学习评价方法必然不同于针对传统教学方式的评价方法。在线学习状态既包括学生从事学习活动前的学习准备状态，也包括学生从事学习活动中的学习心理状态和学习环境状态，还包括学生从事学习活动后的学习达成状态[1]。

本研究的在线学习状态评价指标体系主要选取学生从事学习活动中的学习状态，该状态可以从注意力状态、人机交互状态、情感状态、社会网络状态、认知状态五个指标进行评价[4]。注意力是心理活动对一定对象的指向和集中，是伴随着感知觉、记忆、思维、想象等心理过程的一种共同的心理特征[7]，注意力状态即是这种指向和集中程度的度量;人机交互状态是在线学习者与网络学习平台之间互动程度的度量，例如登录频次、在线时间、点击率等[8];情感状态指学习者在学习过程中的情感体验，例如快乐、痛苦、好奇、感兴趣、厌倦等;社会网络状态特指学习者在网络学习社群中与教师和其他学习者的交流、研讨、互动、协作等行为，例如教学过程中的师生互动行为可通过教师提问率及反馈率、学生应答率及主动提问率等数据来分析[9];认知状态特指学习者对知识与技能的理解与掌握程度。

四、雷达图评价方法

1.雷达图的概念

雷达图（Radar Chart），也被称作蜘蛛网图或戴布拉图，因其绘图形状酷似飞机探测雷达显示屏或蜘蛛网而得名。当雷达图应用于企业战略创新评价时，雷达图就被称为戴布拉图。雷达图是一种将图形与多变量数值相结合的评价方法，能够形象的将多维数据直观的反映在二维平面上，既可以从图中清晰的反映出指标的强弱，又能够进行多组数据之间的比对，从而进行比较分析。

2.雷达图绘制方法

对于某评价对象U，有n个评价指标，那么该指标体系可用n维向量表达为X=（x1，x2，…，xn）。设每个评价指标的指标值xi的取值范围为xi∈（0，m），则以某点为圆心做m个同心圆，并从圆心引出n条射线，将同心圆等分为n个扇形，每条射线对应一条指标轴Y。指标轴Y与同心圆的交点上数值的大小为x1，即为指标值，可指示该评价对象在某一评价指标上的强弱。最后将各个线段终点依次相连，构建一个多边形，即为一个雷达图。如图1所示，是一个包含两个评价对象，6个指标项，划分为10个评价等级的雷达图。

3.雷达图的评价作用

采用雷达图模型评价时，一般进行三个方面的评价。

（1）优劣势评价：结合指标值，利用雷达图的面积S、周长L两个量进行优劣势评价。若评价对象的雷达图面积S越大，证明被评价对象的总体性评价优势越大，反之则表明总体性评价优势越小。

（2）均衡性评价：当雷达面积S一定时，周长L越小，则雷达形状越趋近于正多边形，表明各项指标越均衡。

（3）标准限评价：标准限评价的方法是，为各项指标设定一个标准限值，然后将各个标准限值依次相连，构造一个多边形，可以在图中用虚线表示，该多边形即为“标准限雷达图”。如果某评价对象的某项指标位于标准限以内，则说明该项不合格，应认真分析原因，找出差距，提出改进意见;如果该项指标偏离标准限以外较多，那么证明该项指标优势较大，应予以巩固和发扬;如果所有的指标项都偏离标准限以外较大，则表明整体协调且较为强势，反之亦然。

4.雷达图的基本评价属性

雷达图的基本评价属性主要有雷达图面积、周长、半径、重心、极差等：

（3）雷达图半径，即指标值，指每个指标轴上从圆心到与同心圆交点之间线段的长度，表示该指标的强弱。

（4）雷达图的重心，重心表明了被评价对象的倾向性。

（5）极差，即全距，指最大指标值与最小指标值的之差，表示指标值变动的最大范围。

五、基于雷达图法的在线学习状态综合评价框架

学习评价是教学设计模式中的重要组成部分，通过学习评价有利于了解学习各方面的情况，从而判断学习质量和教学成效，没有评价就无法对学习过程进行改进，有效的评价对于有效学习具有重要意义。目前许多教育软件产品中也集成了雷达图评价功能，但这些功能仅仅应用了雷达图半径的预警功能，缺乏对雷达图各个属性功能的深度挖掘，更无法进行综合性评价。同时由于存在量纲和数据范围的不一致，一般情况下原始数据也不适合直接在雷达图中表示，需要事先对数据进行变换和预处理，那么就必须探索一套完整的雷达图评价框架，以辅助研究者完成在线学习状态的综合评价工作。

基于雷达图法的在线学习状态综合评价框架构建流程如图2所示，它显示了基于雷达图法的在线学习状态综合评价框架，及其在整体教学设计模型中所处的阶段。

1.构建在线学习状态评价向量

设向量X=（x1，x2，x3，x4，x5）的五个分量分别代表注意力状态、人机交互状态、情感状态、社会网络状态、认知状态五个维度的指标，则称向量X=（x1，x2，x3，x4，x5）为在线学习状态的原始评价向量。

2.原始评价向量的标准化

由于各个评价指标变量可能存在量纲、数量级或者数值范围的不同，如果直接使用原始指标值，容易造成综合评价结果的不可靠。因此评价向量标准化的主要作用就是消除各个评价指标变量之间的量纲关系，同时将数据按比例缩放，统一数量级和数值范围，才能使不同指标之间具有可对比性，从而使评价结果更具综合性。在线学习状态评价向量的标准化可以采用Z-Score法标准化或者Min-max法进行归一化。

（1）Z-Score法是基于原始数据均值和标准差进行数据标准化的方法，经过处理后的數据将变换为均值为0，标准差为1的新分布。

设指标i的数值为xi，E（xi）为均值，？滓（xi）为标准差，那么经标准化处理后的该指标对应的标准化值Zi为：

（2）Min-max归一化方法，也叫离差标准化，是对原始数据进行线性变换，将原始数据映射到[0，1]区间的标准化方法，其计算公式为：

3.评价向量的区间变换

由雷达图的绘制方法可知，每个评价指标的指标值xi的取值范围为xi∈（0，m），所以还需对标准化后的评价向量进行区间变换，将指标值映射到（0，m）的区间，通常情况下多映射到[0，1]区间或[0，10]区间。同样由步骤2可知，在线学习状态评价向量的标准化可以采用Z-Score法标准化或者Min-max法进行归一化。若采用Min-max法进行标准化，则原始数据将被直接映射到[0，1]区间之内，那么无需再进行区间变换，本步骤可以省略。若采用Z-Score法进行标准化，则评价向量中每个指标xi的数值是均值为0，标准差为1的随机数。所以为了能够满足雷达图的绘制要求，可以使用如下两个非线性变换映射到[0，1]区间。

设经标准化和区间变换后的评价向量为X'=（x'1，x'2，x'3，x'4，x'5），称之为标准评价向量。

4.由标准评价向量绘制学习状态评价雷达图

由标准评价向量X'=（x'1，x'2，x'3，x'4，x'5）绘制学习状态评价雷达图。绘制雷达图时应注意指标排序的一致。因为指标排序的不同会导致同一组数据在雷达图中所显示面积和周长的不同，从而容易导致评价结果的不一致。本研究中采用“注意力状态-1、人机交互状态-2、情感状态-3、社会网络状态-4、认知状态-5”的顺序进行排序，分别对应向量X'=（x'1，x'2，x'3，x'4，x'5）的五个分量。另外还需注意的是，绘制学习状态评价雷达图时，一般不宜同时在图中同时绘制超过3组，否则会造成图中折线过多不易分辨。一般绘制雷达图多用于自身基准评价，或者两组数据的比对，或者一组数据前后两种状态的对比分析。

5.由标准评价向量提取其特征向量

由标准评价向量X'=（x'1，x'2，x'3，x'4，x'5）提取其特征向量。在本研究中，为了反应指标的均衡状况，将雷达图面积Si与雷达图周长Li作为雷达图的特征值，组成特征向量，即定义在线学习状态的特征向量为E=（Si，Li）。

6.由在线学习状态特征向量产生系统评价向量

由在线学习状态的特征向量E=（Si，Li）产生系统评价向量Vi=[viS，viL]。其中viS代表面积评价值，是雷达图面积与标准限雷达图面积的比值，能够衡量以标准限雷达图面积为单位量度的比率大小。viS越大表明雷达图面积越大，证明评价对象的整体水平越高。若viS大于1，则表明学习状态高于限定值，说明状态较为良好;若小于1，则表明学习状态低于限定值，说明学习者状态不佳，应予以关注。viL表示周长评价值，是雷达图面积与相同周长的圆面积的比值，该比值反映了雷达图各项评价指标的均衡发展程度，viL越大表明该评价对象的均衡发展程度越好[10]。viS和viL计算公式如下：

7.构造综合评价函数

构造综合评价函数f（viS，viL）。通过定义综合评价函数，可进一步对学生的在线学习状态进行综合性的定量评价。本研究采用几何平均数的方法构造评价函数，即f（viS，viL），其计算结果就是利用雷达图分析的综合评价结果[10]。该综合评价函数的优点在于通过对面积评价值和周长评价值进行几何平均的方法，综合考量了整体面积和总体均衡性，避免了因面积过大而均衡性较差造成的评分过高的情况，能够有效的对在线学习状态进行综合性的评价。

六、框架应用与算例分析

本节根据在线学习状态的五个评价指标，通过引入雷达图综合评价框架，对两名学习者的在线学习状态进行算例分析，讲解雷达图综合评价框架的运用，算例分析步骤如下：

1.标准化指标数据

标准化处理后的指标数据如表1所示。

2.绘制学习状态评价雷达图

学习者A和B的学习状态评价雷达图如图3所示。从图3中可以直观的对比出：学习者A的认知状态、情感状态，较之学习者B均较弱，但学習者A的人机交互状态和社会网络状态则较强，而学习者B的均衡性又明显优于A。所以从图3中很难直接评判两者之间综合学习状态的强弱，需要运用雷达图计算在线学习状态的综合评价值。

3.计算特征向量、评价向量以及综合评价值

设本例中标准限评价向量A=（0.5，0.5，0.5，0.5，0.5），经计算标准限雷达图的面积S为0.594。在实际应用当中，标准限雷达图的周长和评价值不需要计算，可仅作为参照项目;标准限评价向量值也可依据不同情况设置为不同值。

如表1和表2所示，学习者A的五项评价指标的平均值为0.669、面积值为0.969;学习者B的五项评价指标的平均值为0.623、面积值为0.900。无论是指标平均值还是面积值，学习者A均大于学习者B。但学习者B均衡性明显优于学习者A。通过运用雷达图综合评价方法，计算得出：学习者A的特征向量为（0.969，4.047），评价向量为（1.630，0.744）;学习者B的特征向量为（0.900，3.731），评价向量为（1.514，0.812）。学习者A的综合评价值为1.101，学习者B的综合评价值为1.109，所以可以判定学习者B的综合学习状态优于学习者A。

由此可见，基于雷达图的在线学习状态评价方法综合考量了整体面积和总体均衡性，能够避免面积过大而总体均衡性较差情况，所以可以较为有效的对在线学习状态进行综合性的评价。

七、结束语

实现学习者在线学习状态的综合评价是对学习绩效进行全面、精准评价的必要前提。然而，学习状态的复杂性决定了研究者必须运用多指标综合评价方法，而雷达图恰是一种将图形与多变量数值相结合的评价方法。通过引入雷达图评价向量、特征向量、评价函数等步骤，本研究构建了基于雷达图法的在线学习状态综合评价框架，该框架利用雷达图数形结合的特性，能够综合考量整体面积和总体均衡性，同时兼具较好的直观性，使用该框架能够使研究者和教师直观准确地评价学习者的在线学习状态，同时算例结果也表明该框架能够有效地解决在线学习状态的综合评价问题。

参考文献：

[1]陆柳生.基于离群检测的学生学习状态分析[D].武汉：华中科技大学，2016.

[2]Ochoa X， Worsley M， Weibel N， et al. Multimodal learning analytics data challenges[C]. Proceedings of the Sixth International Conference on Learning Analytics&Knowledge， 2016：498-499.

[3]Marshall J. A Comparison of Evaluation Practices Based on e-Learning and Mobile Learning Delivery Rates[C]. E-Learn： World Conference on E-Learning in Corporate， Government， Healthcare， and Higher Education 2016， 2016： 86-99.

[4]Narayanan S A， Prasanth M， Mohan P， et al. Attention analysis in e-learning environment using a simple web camera[C]. IEEE International Conference on Technology Enhanced Education， 2012.

[5]冯晓英，刘月，吴怡君.学习者在线学习水平的学习分析模型研究——临场感学习分析模型构建与方法探索[J].电化教育研究，2018，39（7）：40-48.

[6]岳俊芳，陈逸.基于大数据分析的远程学习者建模与个性化学习应用[J].中国远程教育，2017（7）：34-39.

[7]李理.轻度创伤性脑损伤与认知障碍患者注意网络的多模态研究[D].上海：中国人民解放军海军军医大学，2018.

[8]刘冰，李彦敏.SPOC学习者在线学习行为特征分析——基于互动视角[J].集美大学学报（教育科学版），2019（1）：33-38，54.

[9]何克抗.“学习分析技术”在我国的新发展[J].电化教育研究，2016，37（7）：5-13.

[10]郑惠莉，刘陈，翟丹妮.基于雷达图的综合评价方法[J].南京邮电学院学报（自然科学版），2001（2）：75-79.

（编辑：王晓明）