基于贝叶斯网络的在线课程学习成果诊断与认证*

彭 馨， 谭 貌, 段 斌， 于歆杰， 章 兢

(1.湘潭大学 信息工程学院，湖南 湘潭 411105；2.清华大学 电机工程与应用电子技术系，北京 100084)

在“互联网+教育开放合作”的背景下，互联网的创新成果与信息化教学联系起来[1].三通两平台的建设使在线信息化教育迅速发展，其开放性、大规模、过程透明等特点打破了传统教与学的物理限制.MOOC(massive open online courses)在线教育发展为我们提供了便捷、资源丰富、强交互性的学习教育平台.全世界各大学教师均可在线发布课程学习任务，广大学习者可根据自己的基础、兴趣和需求来自主选择课程，有效协同学习，降低传统学习的孤独感和盲目感[2].开放的在线教育体系使学习变得便捷高效，但是学习过程评估和学习成果认证也变得异常困难，这大大打击了学习者的积极性.

信息时代的不断发展推动人类迈向学习型社会，《国家中长期教育改革和发展规划纲要(2010—2020年)》中提出要探索发现和培养创新人才的途径，提高当代学生的创新精神和解决问题的实践能力[3]，实践以产出为导向(outcome based education,OBE)的教育理念.由此强调教学已由传统的重知识结构转变为重能力培养，能力是未来教育的核心组成单元.Mislevy团队开发设计以证据为中心(evidence-centered deign,ECD)的认知测量评估框架从证据论证的角度利用认知智能分析并推断学生的认知属性掌握状态，对学习者的知识结构、专业能力进行诊断评估，提供了一种动态能力评估方法并得到广泛应用[4-6].另一方面，开放徽章作为一种新的知识、能力认证技术，它高度的灵活性、可验证性得到教育领域学者的应用，南非ICT4RED教学计划和Koblenz-Landau University风险管理硕士课程使用开放徽章作为学习成果证据进行发放和验证[7].

本文结合MOOC在线教育体系特点，以能力为导向基于贝叶斯网络构建在线教育认知测量模型，以在线精品课程“电路原理”为具体案例设计在线认知任务模型，说明贝叶斯网络的搭建和参数分析，以开放徽章作为激励机制，构建专属开放徽章，解决在线教育评估和认证困难的技术难题，提高学习者的积极性.

1 MOOC在线教育体系框架

MOOC在线教育多元化的开放教育体系对传统教育体系提出了新的要求[8]，其体系框架如图1所示.由于受众的学习背景、学习目的不同，使得教师对发布的课程体系要有更深刻的认识，对知识结构及知识点之间的关联都有清楚的认知.教师需要将一门课程拆解为由多个细小知识点支撑的知识模块，为每个知识模块录制5～15 min的教学视频和撰写讲义，一同上传至在线教育平台形成教学资源部分以供学习者观看学习.每个知识点和课程结束后设置相应的在线测试学习任务部分，通过学习者观看过程中的作答反应及时反馈学习者的学习进度和掌握情况.学习过程中，在讨论区可进行师生、生生交互，进行在线提问和答疑，还可通过线下渠道进行交流.

学习者的整个学习过程成果证据均保留在MOOC学习平台中，成果证据输入认知测量模型评估分析学习者的学习过程情况，产出学习者后验能力、知识熟练度，便于教师对学习者进行个性化分析，并设计开放徽章作为激励机制，发给认证达到评估标准的学习者.

2 认知测量模型诊断体系

以证据为中心的认知诊断是学习成果证据为输入，学习者认知属性掌握状态为输出的知识评估体系，包括任务模型、熟练度模型、证据模型和参数设定，能有效整合先验数据和各节点关联度，从而得到完整的后验信息.

2.1 工程在线教育认知测量模型

学习者通过MOOC平台在线学习教学资源部分，运用科学原理针对现实生活中的复杂工程问题设计解决方案并进行总结，提交学习成果，完成在线学习过程.工程教育的OBE理念实践落实在学生对12条毕业要求的达成情况，学习产出与工程教育专业认证毕业要求指标点(2015版)相互映射.工程在线教育认知测量模型技术路线如图2所示，在线学习任务模型要求能具体体现学习者积累所形成的科学知识和实践能力，观察在线课堂情况、在线测验情况、讨论区情况等课堂教学成效证据来评估课堂教学成效达成情况.培养成效(毕业要求)的达成要依托一系列课程和其他培养环节来实现，课程教学成效的达成情况对培养成效的最终达成度起到支撑作用.在线教育学习成果映射到传统课程目标及应用初步能力，依据高等教育培养方案确定的培养成效与课程的各教学环节对其的支撑关系，如有需要，运用在支撑毕业要求上“等效”的“学分替换规则”，可替换部分实践教学活动.

借助MOOC在线教育平台实行OBE精品课堂设计，以“电路原理”课程实践各教学环节教学成效对电子信息类本科培养成效的支撑关系，在线平台定量采集学生学习成果证据反馈学生课堂教学成效来定量评价培养成效达成情况.本文以“电路原理”精品课堂为实例构建贝叶斯网络认知测量模型并发放开放徽章认证.

2.2 贝叶斯网络

“电路原理”是普通高等学校电类专业的基础课程，是分析和应用复杂电路的前提.“电路原理”课程教学以工程电路实例为诱导，介绍线性动态电路、非线性动态电路的时域和稳态的分析方法，运用电路基础理论、电子器件知识和数学知识电路建模，分析解决电力系统中的实际问题[9].

依据工程教育专业认证对毕业要求的规定可归纳为专业工程知识认知能力、专业能力(毕业要求1～5、11)和社会能力(毕业要求6～10、12)三个模块.教师通过MOOC在线教育平台发布“电路原理”学习任务，要求学习者熟练掌握电路原理科学知识，掌握复杂电路分析和设计的系统方法和技巧，运用科学原理针对工程实际电路建模和故障分析设计开发解决方案.“电路原理”在线学习任务模型的具体要求如表1所示.

表1 “电路原理”学习任务模型

如图3所示为搭建的“电路原理”贝叶斯网络结构，定义了与学习者需要掌握电路原理的知识、技术、能力等密切相关的潜在隐藏变量和可观测变量(灰色).分为四个水平等级：优秀(expert)、良好(good)、一般(okay)、较差(weak).学习者的在线课堂情况、在线测验情况、讨论区情况作为可观测变量输入以识别上层潜在能力变量的水平等级.

贝叶斯网络能有效整合历史先验概率和各节点之间的条件概率，推理潜在变量的后验熟练度概率.选取90～100范围为优秀(expert)级别；70～90为良好(good)级别；50～70为一般(okay)级别；0～50为较差(weak)级别.我们设定第一个节点的先验概率为扁平先验，即电路原理整体熟练度的先验概率如表2所示.

表2 电路原理整体熟练度先验概率

(1)

式中,a1,a2,…,ar根据专家决策标准相关度设定.专家意见近似符合Pert分布，上式经过归一化处理便可求得最小值a、最可能值b和最大值c，由Pert分布和蒙特卡洛方法综合多位专家评审意见权重得到条件概率.

2.3 证据模型

证据模型是衔接任务模型和贝叶斯网络能力模型的桥梁，以任务模型产出为导向，提供贝叶斯网络的可靠观察数据进行推理.我们以电路原理分析专业能力变量构建证据模型，如图4所示，以学习者掌握电路相关知识为前提，专业处理能力为发展，综合工程实际完成在线模拟复杂工程任务.在电路原理分析专业能力证据模型中，电路知识认知能力变量和电路综合模拟测试场景变量作为外生变量，不被认定为模型中的任何其他变量的条件[11].电路知识认知能力指导学习者完成设计建模动态电路综合场景和故障排查操作，运用电路分析工具模拟电路特性进行检测和分析.由于各可观测变量是由同一综合电路模拟测试场景得出的结果变量，可能由于同一任务场景使得这些结果变量存在依赖性，而不完全是由父节点所影响，因此设计电路综合模拟测试场景变量来解释这一现象.

2.4 学习成果分析

贝叶斯网络输出学习者整个学习过程的知识、能力熟练度评估情况.如果学习者认真观看教学视频，积极与教师和其他学习者互动并高质量完成所设置的在线模拟测验，那么贝叶斯网络推理输出的电路原理整体熟练度优秀级别的概率就会很高，相反，较差级别的概率便会很高.由此可以将学习者掌握的知识和能力显性化展示，各参与者可以通过学习成果分析了解学习者课堂教学成效，并及时反馈知识、能力的遗漏和不足，有针对性地给予个性化意见.

通过给后验各状态赋值，优秀=2，良好=1，一般=-1，较差=-2.我们可以对贝叶斯网络求预期后验(expected a posteriori，EAP)[12].定义在学生i所完成的可观测变量Xi条件下EAP为：

EAP=2×P(Sik=expert|Xi)+1×P(Sik=good|Xi)+(-1)×P(Sik=okay|Xi)+(-2)×P(Sik=weak|Xi).

(2)

式中，Sik为学生i的后验评估等级.

当学习者在线课堂表现较好，讨论区活跃度高，各项可观测变量完成度较高，则贝叶斯网络输出学习成果评分较高，反之，则评分较低.经观察，学习者的实际学习数据呈现正态分布，综合考虑实际数据和正态分布数学模型，按扁平先验设计先验概率，按正态分布设置可观测变量输入数据，可进行贝叶斯网络仿真，如图5所示.

将仿真结果进行可视化分析处理，如图6所示.

3 开放徽章认证体系

开放徽章作为新型学习评估认证方式，解决了MOOC在线教育成果展示困难、验证困难等问题.它高度的灵活性可满足在线教育多种学习方式需求.发布学习任务的教师可自行设计相关徽章并定义评估规则进行发放，电路原理学习者通过学习成果评估后获得徽章，可轻松管理徽章背包，根据自身需求设置隐私限制，将徽章展示在外部网站.

3.1 在线教育学习成果嵌入

美国开源软件组织Mozilla基金会启动了Open Badge项目，提供了一套完整的“开放徽章架构”(open badge infrastructure，简称OBI)，包含了徽章创建、徽章发布和徽章认证技术[13].开放徽章中元数据是确保徽章能被理解和被验证使用的关键，描述了徽章的所有信息，包括发行人元数据、获得者元数据、徽章所代表能力信息和获得者学习证据链接，以便外部展示者随时查看检验.

现代化教育的核心目标是培养创造性人才，能力是核心组成单元.以能力作为徽章创建和发行的主要因素，实践OBE理念.认知测量模型评估学习者动态学习过程，以能力熟练度为结果产出.当学习者预期后验EAP>0.4时，教师便可颁发对应能力专属开放徽章来证明他整个学习过程真实有效.

开放徽章的OBI框架包括发行人、获得者、展示者[14].

教师作为发行人，根据课程任务模型在线发布学习任务，并为自己的任务设计专属能力学习成果证明，定义开放徽章的UI设计(PNG图片)、徽章所代表的能力和知识基本信息断言，使用Issuer API压制形成方便携带的电子徽章文件，以及定义获得者获得此徽章所需通过的认知测量模型评估方案.

通过认知测量模型评估的学习者作为获得者，完成了发行人所发布的学习任务，学习成果证据链接储存在在线教育平台中，链接作为元数据嵌入开放徽章压制，是学习成果验证的主要依据.学习者在MOOC平台注册学习时必须提供相关个人Email账户或与徽章背包相关的账户来标识自己.徽章发放到获得者的徽章背包中可进行个性化管理和展示.

MOOC平台可作为开放徽章的展示者，展示者向获得者徽章背包发送请求，从背包中提取开放徽章元数据信息解压展示他的专属开放徽章.徽章也可在多个外部网站上显示.

开放徽章可应用数字签名的方法进行身份验证[15].安全哈希算法(SHA-1)可将任意大小的数据映射到一个固定大小的消息摘要，该摘要也是单向函数.当数据内容发生变化，那么产生的摘要也不同，以此可判定开放徽章的真实性.

Pretty Good Privacy (PGP)是一个数据加密/解密的计算机程序，为数据通信提供加密隐私和验证信息的合法性完整.教师发放开放徽章时需要使用私钥进行签字认证，展示者下载签名人的公钥计算检验开放徽章的合法性完整.令信任签名的权重为1/x，可信签名的权重为1/y，x，y为用户设置的自然数0

开放徽章所认证的学习成果使用Displayer API解压徽章元数据信息，点击学习成果链接进入在线教育平台进行查看.开放徽章制作、发布、展示、验证的技术流程如图7所示.

3.2 MOOC在线教育开放徽章设计

根据上述认知测量模型评估体系，教师根据在线发布的“电路原理”课程学习任务创建“徽章3‘电路原理’”.当学习成果分析得出学习者的在线学习教学成效足以支撑培养成效达成情况(EAP>0.4)，符合授予徽章要求.图8显示了“徽章3‘电路原理’”基本信息.

2017年5月27日中华人民共和国教育部发布的《基础教育教学资源元数据》系列标准，定义了“电路原理”开放徽章基础元数据实例结构，进而达到对资源进行组织、分类、查找、使用等目的.表3列出了徽章的部分元数据信息.

表3 “电路原理”徽章的部分元数据信息表

根据基础教育教学资源元数据XML绑定，将元数据中元素的内容和属性信息封装表达，生成徽章类元数据xml数据包，以便嵌入徽章框架中.徽章一旦发布，描述徽章的元数据就不能改变.图9为部分代码示例.

将开放徽章XML数据包断言URL通过Issuer API压制发布，Publisher API颁发专属于学习者的开放徽章并推进其徽章背包中.第三方展示和验证可解压徽章元数据获得详细信息.“徽章3‘电路原理’”认证了学习者具有电路相关科学知识，分析、设计复杂电路的专业能力和专业表达能力，工程专业认证标准和学习成果证据都可在徽章中进行查看验证.因时间关系，该开放徽章目前尚未实际实施.

4 结论与展望

在教育信息化的背景下，本文提出构建基于贝叶斯网络的认知测量模型诊断学生在线学习课程的知识结构和专业能力的掌握情况，再将学习成果与开放徽章认证体系链接完成学习成果的展示验证.这种方法提高了在线教育学习成果的科学性和可靠性，调动了学习者的学习积极性，有较高的研究意义和现实意义.

现阶段本文提出的贝叶斯网络结构与参数设定还存在不足，在后续工作中仍需进一步精炼，以使仿真结果更贴近实际学习数据.此方法还能与工程教育培养成效链接起来，“等效”到毕业要求达成度评价改善传统教学活动结构.