基于学情混杂控制的课程质量评价持续改进模式研究

龙 璇 段 斌,2 柯其聪

基于学情混杂控制的课程质量评价持续改进模式研究

龙 璇1段 斌1,2柯其聪1

（1. 湘潭大学自动化与电子信息学院，湖南 湘潭 411105；2. 湘潭大学专业认证指导中心，湖南 湘潭 411105）

持续改进能长期监测和提高高校的教学质量，如何基于评价结果进行科学有效的课程教学持续改进已经成为当下的热点课题。本文引入因果推断科学的“后门调整法”，分析了学情混杂控制对于教学因果推断具有的重要作用，从机理上解释了为什么需要加强包括学习动机、策略、情感、态度和价值观等多元化内容的过程性评价，提出了基于学情混杂控制的持续改进模式。首先基于多元化评价内容分析存在的学情混杂因子，构建课程教学因果图，并引入后门调整法控制混杂变量，计算教学方法对学习成果的因果效应；其次，提出消除混杂干扰的改进措施，并通过因果图分析改进的理由以及干预效果；最后，在教学中进行实施，并依据新的评价结果制定未来改进计划。实践结果表明该模式具有科学性和有效性。

课程质量评价；持续改进；过程性评价；因果推断；后门调整法

0 引言

工程教育专业认证是提高人才培养质量、推动教育改革的重要途径，其倡导以学生为中心、产出导向（outcome-based education, OBE）、持续改进的基本理念。中国工程教育专业认证标准第4.1条标准项要求建立教学过程质量监控机制，定期开展课程质量评价[1]，指导书要求自评报告的“持续改进”部分提供2门课程的课程目标达成情况评价报告[2]。评价不仅是为了反映学生的学习效果，也是实现教学持续改进的关键反馈信息[3]。美国工程技术评审委员会（ABET）专业认证标准自评报告指导书要求：在持续改进环节描述上一年的改进建议如何用作持续改进的输入；对改进情况进行评估，无论是否有效，都应描述更改的结果；根据最近的评估为下一次课程提供改进建议；为每一个改进计划提供简要的理由，指出改进的动机[4]。

在传统教学中，课程设计缺少个性化和针对性，常与学生实际需求和发展意向相偏离[5]。同时，常规的改进过程具有较强的主观性、随机性，需要引入更加科学先进的方法进行指导[6-7]。因果推断近年来得到快速发展，在生物医学、经济学等领域获得广泛应用[8-10]。Judea Pearl教授提出因果图模型，将科学、知识、数据等概念纳入到一个具体的背景框架[11]。通过构建课程教学因果图，能更深刻地认识教学方法与学习成果之间的内在联系，消除混杂偏误，从而科学有效地进行课程教学的持续改进。

本文提出基于学情混杂控制的持续改进模式，以某高校通信工程专业开设的“信息安全”课程为例，首先通过多元化评价内容，挖掘出初始绩点和发展预期这两个混杂因子，并进行分层分析；然后构建因果图，引入后门调整法控制混杂因子，计算教学方法对学习成果的因果效应；接下来提出相应的改进措施，并运用因果图分析改进的理由；最后，在下一学年进行教学设计及学习效果评价，由此提出未来的改进计划。

1 持续改进模式

1.1 持续改进现状及问题

某高校的课程质量报告模板包括三部分内容，即上一轮课程质量持续改进措施和实施情况、本学期课程目标达成情况评价分析，及下一轮课程质量持续改进措施。由此可见，专业认证标准要求的持续改进理念已得到落实。常规持续改进模式如图1所示，开展课程目标达成情况评价，并将评价结果切实用于课程教学各环节的持续改进。

图1 常规持续改进模式

对课程目标进行达成评价，是开展毕业要求达成评价的基础，也是基层教师实施教学改进的基础性工作。当前国内普遍采用的平均分算分法和15%分位法，都可以在一定程度上用于发现问题和持续改进，例如多个课程目标达成情况的横向比较，同一课程目标历年达成情况的纵向比较。但是，要做好个性化教学和持续改进，仍存在以下问题：①评价内容单一化，主要评价学生对知识的掌握情况，忽视了学习策略、心理活动和情感等方面的评价；②达成情况分析仅考虑数据，没有注意数据生成的过程，难以得出初始数据不包含的内容，发现的问题缺乏数据支撑；③改进意见基本上只是定性的、显而易见的直觉和假设，对问题的针对性不足，且没有进行简要的分析，难以保证改进措施的科学性。

1.2 基于学情混杂控制的持续改进模式

基于学情混杂控制的持续改进模式如图2所示，由学习效果分析、因果效应计算、改进措施提出、课堂实施构成闭环。在阶段课程质量评价时，首先寻找混杂因子，通过分层控制进行学习效果分析，构建课程教学因果图；随后运用后门调整法，计算教学方法对学习成果的因果效应；最后通过因果图提出针对性的干预措施，消除混杂因子的影响，改进课程教学。在+1阶段进行课堂实施，通过改进措施优化教学设计，并评价改进效果。针对+1阶段存在的问题，采用上述方法进行分析，提出未来+2阶段的改进措施。

图2 基于学情混杂控制的持续改进模式

2 学习效果分析

2.1 基于考核结果的学习效果分析

某高校通信工程专业2020年“信息安全”课程以比特币及其私钥保护方案的设计、风电场通信网络安全的现状与改进等为课题，要求学生进行作品设计及成果展示。本文收集课程中108名同学的参与度和考核成绩的量化分，其中参与度量化值反映学生在课程中的积极参与情况，包括调查问卷取得的学生周平均投入时间、是否撰写实验指南、是否挑战其他小组、是否申请担任组长、是否发布作品短视频等，按照各项权重计算所得。完成课程的学生参与度量化值基础分数为40，上限为100。考核成绩由成果档案袋评价得分和期末考试分值共同决定，成果档案袋评价得分按照团队评分和队内评分的方式，获得不同的初始分值和计分系数，最终计算得到考核成绩的量化值。

以参与度为自变量，考核成绩为因变量，绘制学习效果散点图如图3所示。可以看到，学生参与度较低，且参与度和考核成绩两者并不直接呈现正相关的关系。这与数据预期相悖，表明存在混杂因子的干扰，较低的参与度也难以真实反映课程教学效果。然而算分法仅能得到孤立的数据，不能回溯数据生成过程，因此引入因果推断的方法挖掘数据间的内在联系，进行混杂控制及持续改进。

图3 2020年学习效果散点图

2.2 混杂因子分层分析

通过问卷和座谈会等形式与学生交流，初步发现存在初始绩点和发展预期两个混杂因子。初始绩点指学生大三进入本课程时的综合绩点，初始绩点不同的学生往往在学习热情、自我驱动能力和学习方法上有较大差异。学生的发展预期可以简单分为考研、保研、择业三个大类，根据实际教学情况可以有更为细致的分类。不同的发展预期决定了学生在参与课程时迥然不同的学习态度，尤其在大三的课程中，这三类学生在专业课程上投入的精力和时间有较大的差别。为了分析混杂因子对参与度与考核成绩的影响，需要分层进行观测。将初始绩点和发展预期综合为学情个性化变量，通过调查问卷收集学生的职业发展期望等因素，对变量进行分层，受保研和升学政策影响，“低绩点保研”分组实际不会出现，因此分为5层，分别为高绩点保研型、高绩点就业型、高绩点考研型、低绩点就业型、低绩点考研型，依照调查数据，该课程每层人数分别为11人、20人、23人、29人、25人。

通过上述数据处理，得到分层后的学习效果散点图如图4所示。学生数据在每层内均具有整体向上的趋势，这进一步说明了学生个人能力成长与课程参与度呈正相关。分析可知，高绩点保研型学生约占10%，这部分学生综合素质较强，期望课程能给自己带来新的能力增长点，在激烈的保研竞争中获得更强的竞争力，因此参与度和考核成绩都处于相对高位。考研型学生约占45%，这部分学生的参与度相对较低，考核成绩也较差，他们倾向于付出较少的时间以通过考核获取学分，将主要精力投入考研学习中。预期就业的学生情况最为复杂，既有工程能力突出的实验室成员，也有雄心勃勃的创业者，他们的时间相对充裕，参与度整体居于中层，往往希望课题更加个性化和有趣味性，以增强参与者的综合素养。

图4 2020年分层后的学习效果散点图

2.3 课程教学因果图

因果图作为因果关系的图形化表示，便于概括变量之间的内在联系。它是一个有向无环图（directed acyclic graph, DAG）结构，由节点和箭头组成，节点代表变量，箭头由因指向果。图5为课程教学因果图模型，其中参与度表征课程教学方法，考核成绩表征学生学习成果。显然，在学习过程中，学生对课程的投入精力直接影响学习效果[12]，因此是的父节点。为学情个性化变量，由初始绩点和发展预期综合而来，同时对变量和变量产生影响，是与因果关系中的混杂因子。

图5 2020年课程教学因果图

综上可知，在“信息安全”课程教学中选题难度过于均衡，对于综合素质优秀者过于简单，存在边际效应递减现象；对于基础较差的学生而言难度偏高，即使花费较多的精力也难以在小组竞争中取得优势。另一方面，选题范围过窄，展示渠道较少，不利于发挥学生的个人优势和调动学生的积极性。

2.4 因果效应分析

将和的数值分为有限且数目可控的类别，根据2020年课程教学中和的情况，将参与度分为三个区间：参与度低为0、参与度中为1、参与度高为2。将考核成绩分为五个区间：40～60分为0、60～70分为1、70～80分为2、80～90分为3、90～100分为4。由式（1）计算观测数据，得到对的真实因果效应。2020年教学方法对学习成果的因果效应见表1。

结合图4的散点图和表1的数据分布可以看出，参与度低的人数较多，参与度高的人数明显不足，而且参与度低的学生，获得较好成绩的概率较高，参与度高的学生，获得好成绩的概率优势不显著。表明教学方法X与学习成果Y之间的因果关系不够明确，受到了较强的混杂干扰。

表1 2020年教学方法对学习成果的因果效应 单位: %

3 持续改进策略

基于上述学习效果的分析结果，为了消除初始绩点和发展预期的影响，主动控制教学，提出以下三种干预措施：

1）提供多维度选题。例如，提供科教融合类选题，突出学生科研能力的基础建立和提前培养；提供产教融合类选题，培养解决复杂工程问题的能力；提供管理能力类选题，着重于全局意识、责任意识、管理能力的培养，以充分发挥学生长处，满足个人职业期待。

2）提供多个展示渠道。充分发挥教师和平台的力量，有的作品长于创意，体现综合素质，适合向校内外教师展示，有利于提高升学学生的参与度；有的作品面向实际工程问题，适合向企业专家展示，有利于提高就业学生的参与度；而更多的纯技术性作品，工程针对性不明显，更适合课堂展示或开发实验供学生学习，通过成就感的回馈提高参与者的积极性。

3）提供多层级考核。综合难度和知识域，将题目进行分类并给出不同的难度系数，以适应学生个人素质的差异，使初始状态较弱的学生付出一定的努力，也能较好地完成课程考核。

2021年改进措施因果图如图6所示，将三种干预措施综合为因材施教因子，听从于学情个性化变量，通过个性化教学模式影响学生参与度，变量和变量在变量处形成对撞，阻断了←→这一后门路径，抵消了混杂因子的影响。综合上述措施，可以充分调动学生的积极性，发挥学生所长，达到更好的学习效果。

图6 2021年改进措施因果图

4 课堂实施情况

4.1 教学设计

在2021年“信息安全”课程中，按照上一学年提出的改进措施，对课程教学进行了优化，图7为改进后的课程教学框架。

图7 改进后的课程教学框架

在“信息安全”课程的7个课程模块中，设置9种教学情境任务，以适应各学生的初始状态和发展预期。教学情境任务如图8所示。学生根据自己的能力和兴趣，选择合适的情境任务进行实践。实践过程中采用小组合作（group-work, GW）的学习模式，强化学习者间的互动交流。

图8 教学情境任务

小组学习成果采用PPT、短视频、网页等多样化的展示形式，形成长期可查的作品档案，并向同学、高校教授、企业技术专家等展示作品并征求改进意见，提供多样化的展示渠道。

每个情境任务均制定评价观测点证据评估表，在进行相应情境任务之前发布。以情境任务S6为例，其评价观测点证据评估表见表2，其中相关性指作品与该评价观测点所列证据的相关强度，可靠性指作品对该评价观测点所列证据是否真实可靠，按强度由低到高给出1～5分。课堂上针对作品的相关性和可靠性，经由自评、互评、教师评价，对作品进行考核评分。根据评价结果，挑选出优秀作品在学校流媒体平台上发布。

表2 情境任务S6评价观测点证据评估表

课程最终考核成绩由成果档案袋评价情况和期末考试分数共同决定。一轮成果档案袋展示后，挑选出几个最优秀的作为课程学习成果，要求全体同学都达到该成果的认知层级。在期末考试时，以此认知平台为基础出考核题目。题目依据难度分为三类，成绩难度系数分别为1、0.9和0.8。

4.2 改进效果评价

取2021年“信息安全”课程中108名同学的参与度和考核成绩，以参与度为自变量，以考核成绩为因变量，参与度和考核成绩的度量方式与2.1节一致，得到改进后的学习效果散点图如图9所示。与图4相比，图9中与的关系接近一次函数，且散点簇集中在中高区域，表明学生参与度明显提高，考核成绩大幅上升。图10展示了改进前后学生的参与度分布，的取值众数由0变为2，说明在教学改进后多数学生表现出较强的学习积极性。表3为2020年和2021年学生的成绩数据统计，可以看出2021年学生成绩的均值比2020年的提高了9分左右，改进后能取得更好的学习效果。

图9 2021年分层学习效果散点图

图10 改进前后学生参与度分布

表3 2020年和2021年学生成绩数据统计

表4为实际改进之后对的真实因果效应，将表1与表4的概率分布数据按的取值分组进行对比如图11所示。可以看到，改进后不仅参与度低的人数显著减少，参与度高的人数显著增加，而且参与度低的学生获得较好考核成绩的概率明显降低，参与度高的学生获得高分的概率明显提升。因此，改进后教学方法（干预）对学习成果的因果效应显著增强。

表4 2021年教学方法对学习成果的因果效应 单位: %

图11 表1与表4概率分布对比

以上数据均表明干预取得良好的成效，基于学情混杂控制的持续改进模式具有科学性和有效性。

4.3 下一轮改进措施

从图9可以看到，仍有少数学生参与度较低但考核成绩较高。通过问卷和座谈会了解到，部分学生只关注自己的课堂表现和课程成绩，不愿意与同学合作和分享。全球持续发展目标提出全方位要求，教育工作者的责任在于，引导学生实现自我成长，能够适应持续快速发展的社会、技术环境，包括多元化与包容性团队合作与沟通能力的培养。运用因果图分析，教学方法（处理）除参与度外，还具有“分享动力”属性，作为新的度量值，亦受混杂因子“学情个性化变量”影响。2021年课程教学因果图如图12所示。

图12 2021年课程教学因果图

2022年改进措施因果图如图13所示，通过“因材施教因子”节点改进评分标准，增设“合作共享”考核项，合作共享的评价标准见表5，节点与混杂因子在处形成对撞，分析认为可有效改进学情个性化变量相应分层对象对的影响，从而提高的分享动力值，改进对的因果效应。该改进措施将在2022年的教学中进行课堂实施。

图13 2022年改进措施因果图

表5 合作共享的评价标准

5 结论

采用信息化技术为教学改进提供指导，是教育科学的发展趋势。本文提出了基于学情混杂控制的持续改进模式，挖掘出初始绩点和发展预期这两个混杂因子，构建因果图并采用后门调整法计算因果效应，从而提出针对性改进措施。通过优化教学设计，有效增强了教学方法对学习成果的因果效应，验证了本文所述改进模式切实有效，对教育改革具有重要参考价值。然而本文在因果效应计算中，弱化了实际情况下不同干预措施对“参与度”、“考核成绩”等关键变量的相关性差异，在后续的工作中，如何更准确地评估不同干预措施与各关键变量之间的相关度，是需要进一步研究的内容。

[1] 中国工程教育专业认证协会. 工程教育认证标准[EB/OL]. [201711]. http://www.ceeaa.org.cn/.

[2] 工程教育认证自评报告指导书[Z]. 中国工程教育专业认证协会, 2022.

[3] 李志义. 解析工程教育专业认证的持续改进理念[J].中国高等教育, 2015(增刊3): 33-35.

[4] ABET. Self-study questionnaire: template for the rngin- eering self-study report[EB/OL]. https://www.abet.org/ accreditation/accreditation-criteria/self-study-templates/.

[5] 白艳红. 工程教育专业认证背景下课程目标的形成性评价研究与实践[J]. 中国高教研究, 2019(12): 60-64.

[6] 李擎, 崔家瑞, 杨旭, 等. 面向工程教育专业认证的自动化专业持续改进[J]. 高等工程教育研究, 2019(5): 76-80, 96.

[7] 史博, 许体文, 班建峰, 等. 高分子材料与工程专业课程体系持续改进探索与实践[J]. 高分子通报, 2022(1): 103-110.

[8] HU Hengyi, KERSCHBERG L. Evolving medical ontologies based on causal inference[C]//2018 IEEE International Conference on Advances in Social Net- works Analysis and Mining, Barcelona, Spain, 2018: 954-957.

[9] NUGROHO F A, EDERVEEN T H A, WIBOWO A, et al. Application of a causal discovery model to study the effect of iron supplementation in children with iron deficiency anemia[C]//2019 3rd International Con- ference on Informatics and Computational Sciences (ICICoS), Semarang, Indonesia, 2019: 1-5.

[10] HUYNH V N, KREINOVICH V, SRIBOONCHITTA S. Causal inference in econometrics[M]. Cham: Springer International Publishing, 2016.

[11] PEARL J, MACK D. The book of why: the new science of cause and effect[M]. New York: Basic Books, 2018.

[12] MAZUMDER Q, SULTANA S, MAZUMDER F. Correlation between classroom engagement and academic performance of engineering students[J]. International Journal of Higher Education, 2020, 9(3): 240-247.

[13] GLYNN A N, KASHIN K. Front-door versus back- door adjustment with unmeasured confounding: bias formulas for front-door and hybrid adjustments with application to a job training program[J]. Journal of the American Statistical Association, 2018, 113(523): 1040-1049.

Research on continuous improvement model of course quality evaluation based on learning confounding control

LONG Xuan1DUAN Bin1,2KE Qicong1

(1. School of Automation and Electronic Information, Xiangtan University, Xiangtan, Hu’nan 411105;2. Accreditation Guidance Center, Xiangtan University, Xiangtan, Hu’nan 411105)

Continuous improvement can monitor and improve the teaching quality of colleges and universities for a long time. How to carry out scientific and effective continuous improvement of course teaching based on the evaluation results has become a hot topic at present. This paper introduces the “back-door adjustment” of causal inference science, analyzes the importance of learning confounding control in teaching causal inference, and explains from the mechanism why it is necessary to strengthen the process evaluation of diversified contents including learning motivation, strategies, emotions, attitudes, and values, and proposes a continuous improvement model based on the control of learning confounding. Firstly, analyze the existing learning confounding factors based on diversified evaluation contents, construct a causal diagram of course teaching and control the confounding variables by back-door adjustment, to calculate the causal effect of teaching methods on the learning outcomes. Secondly, propose improvement measures to eliminate the interference of confounding, and analyze the reasons for the improvement and the effects of the interventionthrough the causal diagram.Finally, it is implemented in teaching, and plans for future improvement are developed based on the new evaluation results. The practical results show that the model is scientific and effective.

course quality evaluation; continuous improvement; process evaluation; causal inference; back-door adjustment

湖南省学位与研究生教育教改研究重大项目（2020JGSZ016）

湖南省新工科研究与实践项目（202012）

2022-07-01

2022-08-31

龙 璇（1998—），女，湖南省常德市人，硕士研究生，主要研究方向为人工智能。