基于交互的程序设计课程学习评价探索与实践*

张昱 李封 陈默

东北大学计算机科学与工程学院 沈阳 110169

0 引言

当今的教育模式正发生着非常重大的变革，教育正在向“泛在化、智能化、个性化”的方向发展。教育部2018年4月发布的《教育信息化2.0行动计划》提出，充分利用云计算、大数据、人工智能等新技术，构建全方位、全过程、全天候支撑体系，助力教育教学、管理和服务的改革发展[1]。随着新的教学模式中多角度和多层面的教学交互的出现，传统的学习评价方式已不再满足新型教学模式的要求。近年来，面向交互的学习评价研究陆续出现，但大都关注理论设计方面。如何实现多元交互模式下的学习评价仍然是有待解决的重要问题之一。

程序设计类课程作为计算机类公共基础课程，一直走在教学模式创新的前沿。程序设计类课程注重编程实践，通过各类以实践为核心的教学平台、实验平台，尤其是在线评测等技术的应用，实现了多元的教学交互过程，并可积累大量的交互数据。这一类课程以及教学数据十分适合学习评价的研究。本文以一门程序设计课程一门学期的数据为基础，针对基于交互的学习评价进行探索与实践，为学习评价探索新思路。

1 理论探究

在教育领域，学习评价的概念界定较为模糊，不同的学者赋予其不同的内涵。一般而言，学习评价内容包括如学生的学业成绩评价、学习行为评价、学习质量评价等多个方面，目前针对学生的学习评价已经逐渐从传统的单一的评价方式转为综合性的评价，如图1所示。这些从学生角度出发的学习评价又与教学的手段、方法、质量息息相关。因此，学生的学习评价也是教学评价的一部分。

从教育学的角度出发，综合学习评价在理论上已经成为教学的一部分，评价是与被评价对象共同建构的过程，而教学交互则是学生学习评价的重要组成。仅从教学交互角度出发，其主要包含三种交互关系[2]：学习者与学习者、学习者与教师、学习者与教学资源。基于交互的评价随着评价主体和客体的不同而不同，本文仅关注上述三种交互关系下学生的学习效果评价。众多教育学研究表明，交互是教与学重新整合的关键，学习过程中知识的建立和形成依赖于交互的开展，而有效的教学交互可以带来学习效果的提升。国内有关教学交互的研究较多，如陈丽等[3]提出了影响较大的三个层面的教学交互模型和教学交互层次塔理论。具体到教学交互的评价，在如何对交互效果进行度量的研究中，大多数研究者采用的均为传统的问卷调查等方式[4]，也有教育学研究者提出了课堂作业、网络作业、回答问题、发帖次数、小组合作、测试等各方面评价体系[5]。

综合而言，针对交互质量评价的主要研究模式依然遵循传统的教育学研究方法，即从多个角度提出交互质量的评价量规，然后通过以调查问卷为主的方法进行实验验证。这类方法存在难以实现评价自动化、评价指标定义宽泛、评价指标繁杂、评价指标信效度低等问题。而随着近年来大量在线教学数据的涌现，有研究者已经将数据挖掘、机器学习等计算机技术应用到教学交互评价中。但在实际应用中，面向不同的教学方式、教学平台、课程类型，产生的教学交互数据也不尽相同，因此，很难做出统一的评价量规。计算机程序设计类课程具有相对统一的特征，相对于其他类型的课程产生的交互数据更为丰富，因此适合作为交互学习评价的研究对象。以一门程序设计课程为例，探究交互学习评价的方法。

2 交互学习评价方法

首先明确研究范围，本文仅关注于交互效果的评价，即各类交互方式的实际效果如何。其次，本文研究的是学生学习的交互效果评价，其与课程评价和教学评价具有相关性但并不一致。最后，本文研究所使用的交互数据均为线上交互数据，评估数据采用了线下的成绩数据。

如前述，教学交互可分为人与人的交互（师-生交互与生-生交互）和人与教学资源的交互，可概括为“社会交互”和“资源交互”。除此之外，交互会直接或间接产生一些成果，如学生参与在线测验是属于资源交互，而测验的成绩则属于交互产生的结果，因此这一部分可以概括为“交互成果”，其本身也可以作为评估交互效果的标准。这三者相互依附，共同构成了交互学习评价的基础。

在实践中，针对上述三者的评价指标随着可采集获取的数据而有很大差别。很多研究者提出了丰富的评价指标，但在实际应用中不具备可操作性。本文以一门程序设计语言课程作为研究对象进行交互学习评价的探索实践，提出一套针对该类课程的具备可操作性的评价指标。如表1所示，其中，所有数据均从线上采集。因为程序设计类课程采用的教学实验辅助平台较为一致，如慕课教学平台、在线评测（Online Judge）实验平台、QQ或微信讨论群等，因此这一评价体系具备一定的普适性。

表1 交互教学评价指标

以下分别对三个模块的指标进行说明。

1）社会交互。社会交互应是教学交互中最为直接的一种交互，但无论是“师-生交互”还是“生-生交互”，大部分交互过程都在线下进行，并且很难形成标准化数据。而线上的社会交互以各类学习平台中的论坛和学习群内的讨论为主，这部分交互是线下直接交互有益的补充，甚至在纯线上教学中是主要的交互手段。此外，学生在学习平台上访问由教师指定的学习资源，本质上也可认为是“师-生交互”，但由于形式上仍属资源交互，因此这一部分交互归为资源交互进行考量。在线的社会交互数据中，可方便采集的数据主要为交互次数，这也体现了学生的交互参与程度，称为“交互参与度”。

2）资源交互。资源交互是在线教学数据最为丰富的交互形式，可分为“投入度”和“覆盖度”两类二级指标。其中，“投入度”关注学生对交互学习的投入程度。这一概念最早由教育心理学家Ralph Tyler提出，主要指学生花在学习上的时间。其后这一概念被研究者不断扩充，主流的观点认为“投入度”指的是学生在学习活动中所付出的努力[6]。本文基于上述概念和理论将学生在学习期间与学习资料交互的时间和次数归类为“投入度”。另一个二级指标“覆盖度”指的是学生对全部教学资源的学习覆盖程度，体现的是学生课程学习的完整性。

3）交互成果。交互成果体现为学习平台中的作业提交情况和考试结果，可从两个方向考量。一是作业的完成时效，基于用时越短则学习效果越好这一假设，完成时效可以评估出实际的学习效果。二是最终的测验成绩，这一指标可作为真实的学习结果用于其他指标的评估。

上述各指标，从教学交互的各个角度对学生学习的效果进行评估，并且针对程序设计类课程，这些指标所采用的数据都可方便获取并可灵活调整。

3 评价实践

本文以一门课程--Python语言程序设计的3个班1个学期的数据为基础，使用上述指标进行交互评价的实践评估。

实验数据分别采集自课程使用的几个学习平台：中国大学MOOC平台、希冀在线实验平台以及课程QQ群。其中，两个学习平台均可导出标准化的学习数据，包含表1中的大部分采集数据项；QQ学习群内的学生发言次数则通过手动导出聊天记录并采用程序处理后得到。

数据采集项中大部分为数量、时长等，较为特殊的采集项包括成果时效和编程作业初次提交时间。实验采用的量化方法如下：

1）对数量类型的采集项（次数、个数、学习时长等）直接归一化处理；

2）对时效时长类型的采集项取倒数后归一化，即遵循时间越短效率越高的原则；

3）编程作业初次提交时间需与作业发布时间相减再取倒数后归一化处理。

而后针对每一个二级指标计算各数据采集项的平均值从而得出一个综合评估值。而这些评估值就表示了某个学生在交互学习中的表现。如图2所示，使用了一个雷达图表示了3名最终考试成绩分别在90分段、80分段和70分段的学生的最终交互学习评价结果。

图2 不同分段学生的交互学习评价雷达图

从图中可以看出，计算出每一个学生的交互学习评价结果并可视化表示可以直观地看出学生在各个侧面的交互学习情况。这种评价结果的实现可以帮助教师有针对性地做出教学交互计划的调整。如果在课程学习中面向学生实时展示这一评价，也可以激励学生学习，从而形成良性的交互反馈。

基于交互的学习评价与学生的学业评价并不相同，即不以学生的成绩作为唯一的评估量规。因此，学生的交互学习评价结果优秀并不一定表示学生成绩优秀，但其应有一定的相关性。实验进一步计算了前四项二级指标与学生成绩的相关关系，结果如表2所示。

表2 四个评价指标与成绩的相关系数

可以看出在四项指标中，交互参与度、交互投入度、交互覆盖度均与最终学习成绩的相关系数在0.3～0.5之间，而成果完成时效这一指标则与成绩完全不相关。这直观上说明了在学习中参与和投入的程度以及学习的覆盖面确实与学习成绩具有一定程度的相关性，而学生作业完成较快则无法证明学生的成绩更好。这也证明了与交互相关的三个指标的有效性。

4 结束语

本文将交互作为学习评价的核心，以一门计算机程序设计课程为基础，探索并实践了学习评价的方法，提出了有效的交互学习评价量规，基于真实课程数据的实验表明了方法的实用性。以交互为核心的学习评价是未来教学评价的主要方向，本文是针对这一问题的具体研究和改革探索。未来将进一步细化调整评价方法，并应用到其他类课程验证其效果。