大数据视角下经管学科实践类课程个人考核评价体系的构建

汪海鹏 仲旭 任婷婷 李江霞

摘 要：跨专业综合实训课程，通过为学生营造虚拟的商业社会环境，给学生身临其境的感觉，培养学生的创新能力，促进创新创业教育与实验教学的有效结合。但课程的考核方式目前尚不完善。随着教育信息化的深入应用，教学大数据的产生为课程的考核提供了新思路，本文围绕学习态度、专业能力、创新能力三方面构建了考核评价模型，建立考核评价指标。结合专家打分法和AHP层次分析法，使用SPSS数据分析软件，得到各项指标具体权重，设计了新的考核评价体系。

关键词：考核评价体系；教学大数据；评价指标；权重设计；AHP层次分析法

中图分类号：F27     文献标识码：A      doi：10.19311/j.cnki.16723198.2023.17.025

0 引言

“创新能力显著提升”被列为是我国“十四五”时期经济社会发展的重要目标之一，国家的创新需要依靠掌握专业知识和技能的创新型人才，因此对各高校所设课程的评价模式也提出了新的要求。科学、有效的评价模式不仅是提升学生专业素养和创新能力的重要抓手，也是提升课堂教学效果的重要手段，尤其是实验实践教学类课程的评价模式是否有效对实验实践教学效果以及学生能力的提升等方面起到了关键性作用。

目前许多高校的实验实践教学课程评价体系的改革融入了过程考核、个人考核、团队考核等内容，考核指标也在逐步从单一化走向多元化，但其中的个人考核部分依然是以考勤和实验报告为主。如今信息化教学模式愈发成熟、线上线下交互形式愈发多样，在新环境下可以获取的学习过程和结果数据变得更加丰富，但大量的教学数据没有被充分利用和挖掘，并将其融入个人考核评价指标的设计和制定上。鉴于此，本文基于学校——东北大学秦皇岛分校的跨专业综合实训课程，充分挖掘教学过程中产生的大数据信息，围绕学生的学习态度、专业能力、创新能力等三个方面展开，综合使用了专家打分法以及AHP层次分析法，对该课程的个人考核指标体系进行了重构，并将其应用于学校800多名经管专业学生，取得了较好的效果，验证了全新的个人考核指标体系的“指挥棒”作用。

1 现有个人考核评价体系存在的问题

学校开设的跨专业综合实训课程属于典型的创新创业实践类课程，该课程通过搭建虚拟仿真的业务场景，让学生在高度仿真的环境中进行角色体验、企业运营，学会工作、学会思考，在实训教学中全面考察学生的专业知识、专业技能、创新实践能力、沟通能力、团队能力等。目前，该课程的考核评价体系如圖1所示。

图1 现有的考核评价体系图

从图1我们可以看到现有的评价体系注重对学生过程性考核、团队考核、团队与个人之间互评等方面多维度考核评价，团队考核的评价指标是比较成熟和完善的，它考察了学生的沟通能力、团队协作能力、专业能力、管理决策能力等方面，但个人考核部分则主要以考勤和实验报告为依据，评价方式相对来说比较片面、单一，它不能反映出学生个人的学习态度、专业能力、创新能力等方面的综合表现。

经管学科实践类课程的考核评价评价体系应既注重学生的学习成果也重视学生的学习过程，重点考察学生的专业知识掌握情况，以及学生的创新水平。由于学生的主观情感也会直接作用于学习效果，因此也将学习态度纳入其中。最终本文提出的考核评价体系将学习态度、专业能力、创新能力三个维度作为一级指标，在此基础上再具体细化出二级指标，并给出具体量化办法。

2 个人考核评价体系的重构

2.1 学习态度指标的选取

学习态度是学习的动力源，有研究表明，大部分学生的学习效果与投入的时间和精力呈正相关，因此评价学生的学习态度是考核的重要内容之一。社会心理学的有关研究指出：态度包括情感体验、认知水平和行为倾向三方面，但学生的认知水平和情感体验难以衡量和量化，因此选择学生在学习过程中的外显行为来反映其学习态度。主要通过学生是否参与了课程相关的学习活动来考察，而学生参加的活动又分为教师指定的课程必要活动和学生自主发起的学习活动两方面。能够反映学生学习态度的指标有：出勤率、测试完成情况、作业完成情况、参与投票次数、线上资源观看时长、线上资源访问次数、提问次数、回答问题次数等，受益于学习通、腾讯课堂等线上教学工具，获取这些数据非常方便。

2.2 专业能力指标的选取

专业知识是学生的立身之本，传授专业知识也是高等教育的重要目标，过硬的专业基本功是学生解决问题、创新创业的基础。本文通过学习通中产生的预习自测成绩、课堂测试成绩以及最后教师打分的实验报告成绩反映学生的专业知识掌握程度。此外，有研究表明，深入地学习与研究，可以加深学生对专业知识的理解，也可以促进其创新思维和实践能力的提升，因此本文还对学生的学习深度进行考量，主要通过学生对线上教学资源的访问质量以及实训过程中的工作日志深度来体现。

2.3 创新能力指标的选取

培养学生的创新能力是本课程的主要教学目标，检验学生的创新实践能力是否得到提高是考核的重点内容。

首先，考察的是学生的创新意识，提出具有新意的问题是学生创新意识的体现，也是开启创新实践的第一步，因此本文会将多人关注并回答，并且得到教师采纳的提问作为衡量学生创新意识的重要指标，与之相对，那些被多人赞同的回答也被纳入其中。

其次，本次实训课程需要学生设计多个创新作品，包括企业海报、企业营销策划方案、企业战略规划方案等，这些创新作品作为学生创新能力的外显表现被纳入考核体系。

最后，还需要考察学生在创新实践活动中的参与程度，可以通过课程QQ群、学习通空间的热门动态，以及学生组内评选出的1至3名团队核心人员等形式来对这一指标进行量化。

综上，本文提出的改进后的个人考核评价体系如表1所示。

2.4 个人考核评价体系指标权重的确定

确定指标权重有多种方法可以选择，其中比较主流的有：专家打分法、利用信息浓缩原理的主成分法和因子分析法、利用数字的相对大小信息的AHP层次分析法和优序图法、利用数据熵值的熵值法等。本文涉及的考核体系比较复杂，仅通过数学计算难以得到合适的决策结果，因此采用专家打分法和AHP层次分析法相结合的形式确定权重，用专业的数据分析软件SPSS实现，既借鉴了专家丰富的教育教学经验，又辅之以严密的数学计算，可以在一定程度上规避专家打分的主观因素，使评价结果相对客观、科学。AHP层次分析法由以下四步完成：

步骤1 确定标度、构造判断矩阵

通过两两比较同一层级的指标，按照重要程度赋值，结合专家打分结果得到判断矩阵表格。此过程判断各指标重要程度时的依据如表2所示，例如，假设指标x比指标y重要，则量化值为相应的整数，反之，y比x重要则为相对应的倒数。例如，x比y强烈重要则量化为7，y比x强烈重要则为1/7，即0.1429。

步骤2 特征向量、特征根计算和权重计算

计算各项指标的权重首先需要计算特征向量值，SPSS软件会提供特征向量指标，得到最大特征根值，即CI，CI值会在接下来一致性验证分析时被进一步使用。

步骤3 一致性验证分析

在构建判断矩阵时，可能会出现逻辑性错误，比如指标i比指标j重要，指标j比指标k重要，但却又出现k比i重要的矛盾结果。为了避免该问题，需要进行一致性检验，一致性检验的原理是使用CR值进行检测，如果CR值小于0.1，表示可以通过一致性检验，反之则说明专家意见存在较大分歧，CR的具体计算公式为：CR=CI/RI。其中CI值在步骤2已经得到，RI的具体含义是随机一致性指标，RI的具体数值和判断矩阵的阶数有关，一般来说，判断矩阵的阶数越高，出现一致性随即偏离的几率也越高，相对应的RI值也就越大。具体值可以直接查表得出，见表3。

步骤4 分析结论

如果每一份专家投票的结果CR值均满足一致性检验，可由此得出最终的指标权重结果。

根据上述步骤，本文设计并发放有关考核评价指标的调查问卷，调研对象包含跨专业综合实践课程任课教师、经管学院教学研究人员、以及学校教务管理人员三类，每一类人员各6人，共发放问卷18份，回收问卷17份。对其中的无效问卷进行清理后，共得到16份专家问卷，利用数据分析工具SPSS对问卷数据进行数据分析，经验证，所有专家打分数据均通过一致性检验，其CR值都小于0.1，成功得到各考核评价指标的具体权重结果，见表4。

3 新的考核评价体系实施效果

本文提出的大数据视角下的考核评价体系是面向实训课程全过程的，既可以激发学生的创新热情，乐于讨论，勇于尝试不同的方案，又可以帮助教师借助过程性和结果性考核，对学生的创新创业能力做出全面的评价，学生在整个实训课程中的精神状态、活跃程度与往届相比都有显著的提升。过去的实训课程中，有个别小组仅有少数的几名学生完成企业经营业务，其余学生对团队的贡献较少，仅在临近结束时突击完成实验报告，在此情况下学生的专业素养和创新能力都很难得到提升。在新的评价体系的要求下，“躺平式”的学习方式会直接影响学生的个人成绩，倒逼学生全程主动、积极地参与到课程中来。

新的个人考核评价体系重视学生与学生之间，学生与教师之间的讨论和沟通，进一步促进了课程的教学模式由“教师教、学生学”的被动教学模式变为以任务为驱动的“学生为主体，教师为主导”的双主模式。学生在实训过程中能够充分利用线上教学资源，遇到问题时可以随时查询线上授课录像，也可以在线上讨论组向其他同学或教师求助，学生的专业知识和创新能力都得到了很大程度的提高。

此外，本文提出的考核评价体系，其数据支撑均来自于教学过程中产生的大数据，数据源真实可靠，数据获取方便，并且评价模型的扩展性强。大多数结构化数据可以从系统中一键导出，非结构化数据可以设计简单的爬虫自动获取，经处理后转化成结构化数据。后续教研过程中可以对这些数据进行更加深入的挖掘，进一步完善该课程的考核方式。

4 结束语

本文以客观、真实的教学大数据为支撑，以学习态度、专业能力、创新能力三个角度作为一级指标构建了跨专业综合实践课程新的考核评价体系，并对各项指标赋予科学的权重。本文提出的评价体系能够科学、系统、全面地评价创新创业教育成果，即学生是否具备创新意识和能力。也为同类型的电子商务创业、ERP沙盘模拟等其他创新创业类课程提供了借鉴和参考。本课题的研究还存在一定的不足，接下来还需要更深入的研究和完善。

（1）目前的评价体系中用到的学生的行为数据大多从线上获取，很少涉及线下数据，后续的研究过程中应逐步扩大数据采集的范围，挖掘线下数据的价值，继续丰富和完善课程的考核体系。

（2）学生作为独立存在的学习个体，具体的学习效果可能受到其个人的学习风格、学习习惯、认知方式的影响，本文提出的评价体系对这些因素的考虑相对较少，后续研究中应在评价指标中引入更多的学生个性化的元素，并且对其提出合理的量化方法。

参考文献

［1］赵杨，仲旭，李江霞，等.VBSE跨专业虚拟仿真综合实训实践教学评价体系的建立与实践[J].黑龙江科学，2022，13（03）：3233.

[2]李金玲，張涛，马海群，等.大学生学习态度对数据素养效果影响因素研究——基于SEM的量化分析[J].文献与数据学报，2022，4（04）：6881.

[3]沈一丹，汪慧蓉，阮珊珊，等.基于ABC模型的非英语系大学生英语态度研究[J].海外英语，2021，452（16）：1213.

[4]姚佳佳，李艳，潘金晶，等.同伴对话反馈对大学生在线深度学习的影响研究[J].华东师范大学学报（教育科学版），2022，40（03）：112126.

[5]马玉莹.基于网络层次分析法的高职混合教学评价指标权重计算[J].电脑与信息技术，2021，29（06）：4142+46.

[6]刘双.基于“学习通+腾讯会议”双平台的线上教学模式研究——以“SPSS统计软件应用”为例[J].现代信息科技，2023，7（02）：195198.

[7]余新桥.基于表达式的AHP群决策在教学质量评价中的应用[J].信息技术与信息化，2022，271（10）：111114.

[8]陈彬，张世良，邹文景，等.非结构化数据特征建模与存储方法研究[J].电子设计工程，2021，29（22）：4750.