基于随机森林的在线教学评估方法研究*

林 青 郑蕙圆王 力

（1.西安培华学院智能科学与信息工程学院 西安 710125）（2.西安交通大学就创业指导中心 西安 710049）（3.浙江西安交通大学研究院 杭州 311215）

1 引言

由于在线教学避免人群聚集、无需线下接触，便于师生之间通过网络完成教学活动。因此在今年停工不停教、停课不停学的大趋势下，各种形式的在线教学受到中小学、高校和各教育培训机构的拥趸。以腾讯课堂、腾讯会议、雨课堂等为代表的远程教育APP，为在线受教育者提供了形式各异内容丰富的在线课程。在线直播+录播教学作为一种系统广泛的、突破时空限制的教学模式，其学习效果评估是必不可少的环节，由于在线教学的松散结构以及远程教学环境的开放性，导致在线考试和在线评估的难度非常大［1］。因此，有必要建立一套准确完整的评估体系和模型对在线教学进行科学、合理、精确的评估［2］。

随机森林（Random Forest，RF）是基于多棵树决策树［3］生集成分类器，避免了决策树过拟合的优点，提高了分类准确率。每一颗决策树是RF中的一个分类器，随机森林基于Bagging投票模式［4］，集成了所有投票结果，将投票次数最多的类别指定为最终输出。在线学习或MOOC平台运行于多个终端，数据庞大来源异构，容易造成海量且不完整的样本数据［4］，因此采用随机森林能够处理大量多维度且有缺失值的样本。

2 在线直播+录播的学习行为数据采集

虽然不同的在线教育平台、直播工具功能差异较大，但教学模式和平台体系已经很成熟，总体上可分为教学、互动和考核等三大功能［5］。综合教育部门精品在线课程和各高校制定的在线教学标准，在线教学的每门课程基于直播+录播，配合教师幻灯、动画演示与板书，具有语音交互、文字聊天、在线问答以及线上习题等功能。这些功能丰富了在线学习行为，一方面模拟沉浸式的课堂教学环境，另一方面提供了更丰富的混合教学模式。在此过程中，受教育者的学习行为、评估结果也将被一一记录。

本文基于我校在线教学的真实场景，结合在线教学平台的数据，采集受教育者在线学习行为，将受教育者的操作行为分为3个维度：1）学习数据，包括观看和回顾教学资源如视频和讲义等在线学习时间，在线时间须配合签到时间和下线时间作为有效数据。2）交互数据，包括课堂提问和作业提交，以外，还可根据学生主动发言频率、发言质量、弹幕等内容数据来分析其课堂活跃程度和学习成效。3）考核数据，包括自我测试和在线统一测试。综合上述学习行为，给出学业表现（Performance）的辅助考核评估结果。数据的采集处理过程如图1所示。

图1 评估模型的数据采集处理过程

3 学习行为数据处理

我们首先分析在线教学直播平台中三类历史数据，滤除噪声数据，然后构建决策树模型，得到分类规则，最后根据模型对测试数据做出基本评价，将该评价作为最终考核的辅助评估。实验结果表明：基于随机森林的评估模型作为教学质量辅助评估方法能提供客观、科学的自动评分要求，在保证评价结果的真实、有效和准确性基础上提高了评价效率，对遏制线上统一测试的作弊行为起到积极的预控作用。

3.1 数据集成和过滤

通过数据采集和集成阶段得到的信息，构建一个综合学习行为库，如表1所示。学习行为是学生在学习过程中投入的时间和努力程度。如果该生的在线学习花费了大量时间和精力，表示该生具有高度卷入行为；反之，则表示该生缺乏卷入［6］。卷入行为可量化表述，如时间长短，兼具质的特性，如沉浸度、交互频度和测评结果等。因此，表1使用学习时间、互动和考核来描述学习行为和卷入程度。

表1 学生学习行为的属性节点

3.2 数据融合集成

从表1可知，学习行为数据多源且异构，需经过集成、转换、清洗等系列处理。并且采集过程容易出现间接数据和不完整数据，因此，还必须对不完整数据和空值数据进行修复。针对上述情况，本文数据融合方法如下。

2）对列表数据的归一化处理；学习互动和考核数据都是列表型，代表该数据出现了一次或者多次，上述数据拆分成两个不同维度，分别是内容和数量。如在线自测成绩［Onlntest，…］是一个列表，包括［Onlntest1，Onlntest1，…Onlntestn］，归一化后记录成绩的均值Onlntest=Avg∑Onlntesti和测试次数n。归一化后的连续值离散化处理方式参考离散化处理公式（1）。

3）对缺失值的增益计算：为解决缺失值对该决策树节点的影响，需要考虑样本的权重问题，给定训练集D和属性a，令D~表示D在属性a没有缺失值的子集，属性a的取值范围为{a1，a2，…av}，表示在属性a上取值为av的样本子集，表示样本分类为k的子集。可知包括缺失值的属性节点，其增益计算方法如下：

4 基于随机森林和决策树的实验

为便于仿真实验进行，本文通过一个小班（22人）的学习情况数据来说明如何使用随机森林和决策树进行评估。表2列举了7位同学在《程序设计基础》（理论课程20学时）课程中的部分学习行为数据。其中Webcast和PPTbrow是观看视频和观看PPT的实际时间，单位为分钟。［Answer，…］是课堂回答客观题的选择结果，回答结果为正确或者错误，［Question…］是课后思考题的选择结果，回答结果为正确、错误或没提交。Assighments是五次课后作业分数，［Onlntest，…］是在线测试分数。Fin-Test是期末测评分数。使用随机森林的分类结果将作为FinTest的辅助判定。

表2 《程序设计基础》课程部分学生学习行为数据

1）对两类数据Webcast和PPTbrow做离散化处理。Webcast共22个值，在22个值中构建并排序21个候选划分点为划分点值计算方法，找最大增益。Ent(D)值为1.9363，则当t=610时{828，1106，1188，…1344，1 356}1.8794。根据式（1）此时的Gain(D，a，t)=0.2282。计算每个划分点的增益，找到maxGai n(D，a，t)，选定划分点为1188，表示Webcast划分时长为1188min，这个值与本课程学时20学时较为接近。PPTbrow的划分点选择计算方法类似。

2）对列表数据的归一化处理。Assighments和Onlntest分别是课后作业和平时测试成绩，归一化得到，Assigh ments=Av g∑Assighi和Onl nt est=Av g∑Onlnti。归一化后参考离散化处理方式得到最优划分点。

4.1 基于随机森林的实验过程

本文使用后剪枝C4.5来构建相应决策树，后剪枝虽然复杂度较高，但泛化能力较好，可解释性强［9］，而C4.5可将每个分支重写为一条规则［10］。并采用了Bagging（Bootstrap aggregation）放回抽样方法，可解决单一分类器的过拟合和有限样本的问题［11］。实验步骤如下：

1）从1000个样本集合中随机选100个样本（允许重复）；

2）在上述5类属性上，对这100个样本建立C4.5分类器；

3）重复10次，得到10个决策树，其中由于属性带来的样本值差异导致决策树节点不同，决策树的节点、深度和规则不同；

4）将测试集数据分别在10个不同决策树上分类，最终根据不同决策树的投票结果（投票数量超过一半）决定测试集数据的结果。

以其中一棵决策树构造为例：

C4.5决策树构造包括属性选择、决策树生成和后剪枝三步，从综合学习行为库选出对学习卷入行为起到关键作用的属性作为节点分裂标准，C4.5在选择属性作为决策树分支节点特别是根节点时，需要计算样本中该属性的增益（如式（1））。该算法不偏向取值多的属性节点，同时利于对连续属性的离散化处理和对不完整数据的处理［12］。其产生的分类规则易于理解、准确率较高。考虑到学习行为与考评结果关联度高低［13］，从表1中选取与考评结果关联度高的5类数据，分别是Webcast，PPTbrow，Assignments，［onlntest，…］和fintest，并根据系统的每次可放回抽样的训练集样本，计算5种属性的增益（根据式（2））。

根据其中一组数据样本，计算最终得到Fintest属性的增益0.5063，［onlntest，…］属性的增益0.4837，Assignments属性的增益0.3963，Webcast属性的增益0.3763，PPTbrow属性的增益0.3563。根据前文对连续型数据的离散化处理方法，得到Fintest的区间阈值。

4.2 基于随机森林的实验结果

基于我校已经开课的3门课程的样本数据，《程序设计基础》《大学计算机基础》和《线性代数》，对一共1000个学习样本进行标记（样本根据学生的线下标记为优秀，良好，及格和不及格，对于决策树的A，B，C，D四类结果）。实验结果如图2。

图2 随机森林的精度和召回率

实验结果表明，基于随机森林的在线教学评估方法可以作为在线教学效果评估的有效评估手段，其准确率随课程性质稍有变化。一些计算机系列的课程由于标准化程度高，线上考核的成绩精确，因此在线评估结果更准确，几乎可以替代考核结果［14］。而传统的数学类课程由于标准化程度和学生获取知识渠道更广泛，所以评估结果可以作为辅助参考。

5 测试数据分析

根据文献［15］，本文从统计和学习行为心理学角度，对这1000个样本进行分析，分析过程中不考虑课程对样本数据的影响，仅仅考虑学习行为与结果之间的关系。

5.1 学习行为描述

根据分类树模型可知样本学习行为基本情况如图3所示，从中可见，样本浏览学习时间均值为80.83。统一测试成绩均值为70.89，不定期的小测试平均成绩为68.63，作业平均得分为68.63。

图3 学习行为的均值和标准误差

5.2 学习行为与学业表现的相关分析

如表3所示，学习行为与学业表现的考评结果相关分析结果显示，不同学习行为与学业表现的相关程度不同，其中“Fintest”与“Performance”的相关程度相对最高，“Webcast”与“Performance”的相关程度相对最低。

表3 学习行为与学业表现的相关分析

5.3 决策树规则验证分析

如表4所示，测试数据验证结果显示，基于在线学习行为预测在线教育效果的正确率高于67%，意味着预测结果信度可靠。具体而言，对于学业表现为“B，C，D”等级的学生，预测准确率高于67%。预测验证结果证实了该研究中提出的随机森林预测机制的有效性。

表4 学习行为的决策树验证分析结果

6 结语

在线直播教学不是课堂搬家，对于学生意味着更灵活更自主的学习过程，对于教师意味着转变以往的教学理念和教学方法，由知识的传授者转变为学生学习的督促者、引导者、监督者教育。在线教育直播、录播、混合教学、翻转课堂等各种移动互联网+的教学模式加速增长，未来虚拟化校园建设、数字化校园管理、线上测评与辅导等具有广阔发展空间。从目前趋势看，学历教育和非学历教育的线上教育之重要性日益受到重视。基于学习行为的辅助评估受教育者的学习情况是在线教学关键的应用之一。本文所提方法通过科学有效的过程性评价，激励和引导学生学习，用数据了解判断学生的学习效果，根据学生的实际情况及时进行教学调整，而跨平台、多指标体系、灵活智能的形成性评估方式将更好地推进在线教育平台的发展。