大数据时代数据分析课程教学质量实时控制策略——基于重抽样技术的课程作业方案

黄恒君，任丽鑫

(兰州财经大学 a.统计学院；b.教务处；c.马克思主义学院,甘肃 兰州 730020)

1 问题的提出

高等学校的根本任务是人才培养，教学质量是人才培养之本，也是高等学校的生命线。教学质量的管理，涉及教学目标、教学过程、教学条件、师生教学行为等各个方面，需要有一套以人才培养质量为核心的全面质量管理(Total Quality Management，TQM)的思想与做法[1-3]。基于TQM的教学质量管理，应当有全体师生参与、全面质量保证、全程质量控制、实时质量监控、全方位质量评估和持续质量改进的特征[4]。

其中，学生的参与及学习效果是最为重要的。结果导向教育(Outcome Based Education，OBE)认为，一切人才培养的组织和考核应以大学生的学习效果为导向[5]。教育部《关于加快建设高水平本科教育全面提高人才培养能力的意见》强调，本科教育要以促进学生全面发展为中心。如何以学生为中心进行本科教学，发现学生学习过程中的问题，提升人才培养质量，成为当前高等教育研究者亟需解决的问题[6]。目前，高等院校在实施全面教学质量管理过程中，对“教”的方面，往往有一系列较为完善的质量保证和评估的做法[7]。然而，对学生“学”的方面的全程、实时质量控制与保证，缺乏有效的手段，进而妨碍教学质量的持续改进。

以数据分析类课程教学为例，在大数据时代，无论是否专门从事数据分析工作，数据分析能力越来越成为财经类高质量应用型人才的必备素养[8]。数据分析的基本要求以实际问题为出发点，以解决实际问题为归宿。课程安排不仅仅是讲授基本数据分析知识和分析方法，更加重要的是从“学”的角度，培养学生的数据敏感性、发掘学生的数据分析潜能、提升数据操作技能等实践综合能力。然而，在传统教学环节中，学生的实践动手能力如何，我们很难以较低的成本实现全程、实时、有效地把控。

结合数据分析类课程(如“统计学”“计量经济学”等经济管理类公共课，以及“统计建模实验”“统计模拟实验”等统计学类专业课)的教学经验，我们认为，学生的数据分析综合实践能力，源于从数据到结论的全流程统计分析实践训练。在教育教学过程中，学校一般很难提供一个面向现实的全流程统计分析环境，导致学生所学知识碎片化，动手能力不强，难以将知识用于数据分析实践。为此，建立一套易于实施的，从数据到结论的统计学实验实践教学方法体系势在必行。作为数据分析实践教学体系的一部分，有必要在数据分析类课程中，以课程作业、实训项目为切入点，以作业差异化为基本手段，设计一种全程、实时的教学质量保证机制及相应的质量控制解决方案。该机制应当为学生自主学习提供质量保证。

基于以上考虑，我们运用统计模拟技术，结合统计领域最为流行的R语言编程，针对缺乏题库、缺乏综合实训案例的情况，开发一套简单便捷、随堂使用的随机课程作业系统，并作为“全流程统计分析虚拟仿真实验平台”(平台入口：http://vslab.lzufe.edu.cn或http://8.140.170.104。计算机软件著作权登记号：2021SR0903027)的一部分，用以协助实现数据分析类课程的全程、实时质量控制与质量保证。

2 基于重抽样技术的随机课程作业系统

2.1 学情分析

在数据分析类课程教学中，由于课程内容相对复杂，课程作业动手操作能力要求较高，往往涉及大量软件操作，图表公式较多。根据教学实践，学生所提交作业的形式常为电子版或其打印版，这使得复制粘贴式的作业并不少见。通过所提交电子版的文档属性信息(如作者、创建修改时间、修订次数等)判断，我们也发现部分学生存在作业抄袭现象。人数虽少，但影响恶劣，若不及时阻止，将会影响到学生的学习兴趣和主动性，影响学生的实际动手能力和综合素质的提升，进而会严重影响教学质量及教学效果。

针对这一潜在的教学问题，我们认为，有必要首先了解学生课程作业的行为特征，进而依据特征有针对性地给出质量控制解决方案，下面对此进行讨论。

2.2 前期调查设计及结果分析

为了了解学生的课程学习行为、作业行为特征，同时体现重抽样技术在课程作业中的必要性，我们对本科生的课程作业抄袭行为特征展开摸底调查。

1) 调查设计。

由于涉及的问题比较敏感，我们设计了一种随机化回答技术(Warner模型)[9]，以削弱问题的敏感性。具体做法是将敏感性问题按照正反两方面提出，并在进行调查之前，制作两张外型一致的卡片，分别写上A和B。

卡片A：我抄袭过作业

卡片B：我没有抄袭过作业

两个问题的答案都是“是”或“否”，让被调查者随机从中抽取一个问题，并根据自己的真实情况进行回答，并告知抽取问题的随机性，我们并不会知道被调查者所回答的具体问题。为了控制问题抽选随机性，被调查者先掷一颗骰子，然后根据骰子出现的点数决定回答哪一个。回答的规则是[10]：

如果骰子出现1～4点，回答卡片A的问题

如果骰子出现5、6点，回答卡片B的问题

整个掷骰子和回答的过程是背对访问员进行的，被调查者抽到哪一张卡片，访问员无权过问，也无从得知。访问员唯一需要做的就是记录调查结果“是”或“否”。因此，访问员无法从被调查者的回答中得知其作业抄袭行为。通过这种方法，消除被调查者对问题敏感性的顾虑，从而期望得到真实的回答。

通过这种设计，问题A“我抄袭过作业”中回答为“是”(等价于问题B回答为“否”)的概率πA的估计量为[11]：

(1)

2) 结果分析。

依据以上调查设计，我们对2018—2019学年第一学期上“计量经济学”课程所有学号尾数为0和5的学生(共计231人)进行作业抄袭行为调查，收回有效回答126份。调查内容、题项描述以及结果如表1所示。

表1 作业行为特征摸底调查结果 %

依据表1对问题A回答为“是”的概率估计结果可知，有近20%的学生承认抄袭过作业，绝大多数人(85.71%)愿意提供作业供他人抄袭，但很少有学生(2.38%)愿意代替他人完成作业。换句话说，表1结果显示，学生的课程作业行为特征可归纳为“抄人作业容易，替人完成作业难”。依据这一作业行为特征，基于重抽样技术的随机作业解决方案就有了设计依据。

3) 系统设计及开发结果。

根据上述摸底调查获得的学生作业行为特征，为了全面培养学生的动手能力，尽可能杜绝作业抄袭现象，并达到全程有效监控的目的，我们认为，一种有效做法是对不同学生采用不同的课程作业内容，以确保作业差异化，让学生意识到课程作业只能亲自完成。差异化的做法目前主要用于标准化考试，即试卷差异化处理(如AB卷)和试题题库。

倘若把这种适合于考试的做法用于课程作业，未必适用。第一，课程作业的写作过程，学生群体是完全面对面的，仅采用类似于AB卷的做法，是无法达到差异化目的的，除非采用完全不同的题目。第二，为了达到完全差异化，采用完全不同的题目，可以通过建设题库进行，但题库建设、维护题库成本高，通常在课程作业中难以实施。第三，采用题库抽取的完全差异化的题目，给授课教师作业批改带来极大的工作任务量，可行性不高。

当然，试卷差异化处理和试题题库的思想，在课程作业系统开发建设中依然是具有启发性的。为了得到课程作业差异化的结果，又要避免题库建设高成本，同时不增加授课教师的工作量，另一种思路是在少量题例的基础上采用重抽样方法的思想，进行课程作业系统开发。下面对我们的开发结果进行说明。

为了以较低成本实现对学生的学习进行全程有效监督和控制，实时反映学生的学习效果，我们运用重抽样技术，结合R语言编程，针对缺乏题库的情况，开发一套易用的随机作业系统，包括题目生成子系统、 自动判题子系统、 统计汇总子系统。后两者属于附属工程，我们主要针对题目生成子系统进行说明。

图1 随机作业程序题目生成子系统目录结构

表2 随机作业程序题目生成子系统代码块

对于图1和表2的结果，具体来讲，inputs目录存放输入信息，包含data.csv(存储作业数据，如回归分析数据集)和info.csv(存储学生身份识别信息，如学号、班级、姓名等)两个数据文档。func目录包含名为func.r的文本文档，该文档内存放以下执行重抽样功能和文件读写操作的R函数：getSplData()函数：对待分析数据有放回抽取一定样本量的数据；genrResult()函数：依据学生身份识别信息，获取多份待分析数据的随机样本；write2Files()函数：将随机样本写入指定的目录。具体代码见表2。main.r文档为程序执行R代码，包含学生身份信息、待分析数据信息的载入，对func.r重抽样功能的调用等，具体代码见表2。results目录在程序执行前为空，程序执行后生成以学生身份识别信息(如学号)为文件名的随机课程作业结果(总共k个)。

对于以上随机课程作业系统的使用，我们只需要将学生身份识别信息和所需作业的原始数据按照既定格式放入inputs目录，在R环境下执行main.r即可实现随机课程作业数据生成，即实现每位学生作业的差别化处理。在学生完成作业后，要求以既定的电子版格式提交作业结果，我们通过几个简单的循环语句及数据特征分析(自动判题子系统和统计汇总子系统的功能)，即可实现辅助自动化批阅功能，用以发现作业中的错误特征及原因。同时，通过自动化文档生成功能(如R中的knitr包)，生成差异化的标准答案，向学生进行反馈。以上过程，只要接受过系统统计学教育的教师，均可以轻松实现。

在实现数据分析类课程教学环节全程质量控制方面，我们的解决方案具有以下特点：一是简单易行，实现成本低。整个解决方案总共几十行R代码，即可处理学生作业的差异化，而R语言作为一种流行的统计语言，数据类分析课程教师普遍使用。二是随堂使用、时效性强。我们只需要携带U盘，并在U盘中配置运行R的环境，即可依据学生信息当场生产随机作业，无需题库的支持。三是跨平台的通用性。理论上讲，无论我们所面临的计算机环境是Windows系统，Linux系统，还是Mac系统，只要能够运行R，我们的随机课程作业程序就能够实现(代码在Windows 7和Ubuntu 14.04系统，R 2.15.3以及R 3.2.2版本下通过测试)。同时，我们也开发并配置了可编程云平台(我们配置了python和R的环境，可实现终端在线代码编辑，限于安全性，目前仅针对部分教师开放)，只要教师具有可浏览网页的设备(如手机)，即可在线完成随机化作业生成操作。

3 应用效果

上述随机作业解决方案自2014年以来，在金融学、经济学等专业的数据分析类课程上进行了应用。我们的主观感受是，随着该解决方案的应用，学生在课程参与度、上课积极性、实际动手能力方面均有较好的效果，达到了教学质量保证的目的；同时，该解决方案更加便于我们实时了解学生的学习进展，以便进行实时教学质量控制。除此之外，作为课程案例，该解决方案还有更多其他的教学用途。下面对随机作业解决方案的实际应用效果进行简单描述。

3.1 随堂应用

为了定量反映随机化作业在全程教学质量管理上的应用效果，经过兰州财经大学教务处批准，随机化作业系统在2019—2020学年第一学期的《计量经济学》课程上进行过教学实验。便于对照，实验授课班级为某专业两个自然班组成的合班(这里作匿名处理，简称A、B班)，实验方式为对A班实行随机作业，B班作为对照，实行常规作业。期末考试成绩形成如图2所示的箱线图，其对应统计汇总指标及检验结果见表3。

图2 随机化作业实施效果(B班为对照组)

表3 随机化作业实施效果汇总统计及检验

从图2及表3的结果可以看出，实行随机化作业的学生(A班)的总体成绩好于常规作业的学生(B班)，而通过两均值比较的t检验表明，这种差异是显著的。同时，从四分位差(A班为14，B班为26.5)以及标准差上看，实行随机化作业班级的成绩更加稳定。

3.2 扩展应用

我们的随机作业解决方案，除了作为学生的随机作业应用，实现全程教学质量监控手段外，还有一些其他的扩展应用。

2) 作为学习效果评价手段，融入全流程虚拟仿真系统。作为随机化思想的扩展，我们以“一切皆可量化”“废旧数据重用”的大数据思维为基础，开发形成了全流程统计分析虚拟仿真实验平台，应用于统计学类、经济学类多门课程，试图实现数据分析类教学流程再造。该实验平台的实验来自于笔者的科研成果[14,15]：以兰州市城市问题为例，以车牌号优选策略为切入点，以机动车限行政策为实验对象，用以模拟解决政策效果评估和机制设计问题。其中，本文所提出的随机化作业方法，一是用来生成影响限行政策效果的车牌号、气象条件等，形成实验基础数据；二是形成案例习题，用来检验学生的学习效果。

4 结语

大数据时代，财经类应用型人才的数据敏感性及数据分析能力十分重要。为了更好地培养学生的数据分析能力，我们认为，应该在课程作业环节、实训环节，对学生的学习进行全程有效的质量控制。当然，在全面质量管理中，成本控制和质量持续改进构成了两大核心内容。为此，依据学生的作业行为特点，我们设计开发了基于统计模拟技术的随机课程作业系统，以低成本实现差异化作业，进而用以实现全程教学质量控制，取得一定的实践效果。当然，仅仅针对课程作业的数据类分析课程教学质量监控方案还是有待进一步扩展的。在这里，我们将教学过程中碰到的问题、解决思路和方案给出来，旨在抛砖引玉。同时，本着自由开源的原则，我们公开随机作业程序及其源代码，一来便于大家交流，二来也盼望得到同行的帮助。程序及源代码的共享地址为http://pan.baidu.com/s/1o8Ija0y。