基于大学生数字素养的教学评价指标研究

高鲜萍，成 英，关志伟，胡坤朋

（1.天津职业技术师范大学汽车与交通学院，天津 300222；2.河北工业大学机械工程学院，天津 300130）

以色列学者Y.Eshet-Alkalai 在1994年提出了“数字素养”的概念[1]。数字素养是经媒体、网络、计算机等多种素养元素交叉并融合后形成的一种综合能力，被称作是“数字时代的生存技能”和“信息社会的重要资产”[2]。目前普遍认为在社会生活、工作学习过程中，具备能够创造性地批判、使用数字信息的能力即具备数字素养[3]。而这种能力的培养与高校的教育培训密不可分，高等教育需在学科教学中确定以“数字素养”为导向的教学理念，进而培养学生的综合能力，以适应社会需求。美国新媒体联盟（new media consortium，NMC）致力于探索数字技术对全球教育的影响，NMC 于2015—2018年曾连续4年发布的年度报告《地平线报告（高等教育版）》[4-5]中，都提到高等教育发展中重要的挑战之一是如何提高数字素养[6-7]。教师作为教育教学的实施主体，其专业教学能力直接影响高校人才的培养质量及数字素养的建设效果。因此，在新时代下合理评价教师教学能力对学生素质发展和高校提升优化具有重要意义。

传统教学评价一般采用领导评价、同行评价和学生评价等评价方法，这种评价方法一方面因统计数据及参数较少而使统计结果较为片面；另一方面因无法建立科学的规则，评价结果主观性较强。近年来，在高校教师能力评价方面，已开展了很多研究工作，如张红阳[8]利用灰色系统理论，俞明传等[9]提出多源评价法，张有绪等[10]运用模糊数学评价法研究评价方法，专家们试图通过不同方法提高教师评价的科学性，然而对评级指标并未进行深入探讨。选择合理、典型、客观的评价指标是构建高校教学评价体系的重要环节，在激发教师自我完善的同时，可有效避免教学能力评价失真。本文基于KANO 模型确定教育大数据时代下以学生“数字素养”为中心的高校教学评价指标，以期为评价体系提供更为合理的评价思路及方法。

1 KANO模型原理及研究思路

KANO 模型是由日本东京理工大学教授狩野纪昭于1984年提出的，该模型通过识别相关指标对用户需求的重要性，实现KANO 不同需求层次的分类、关键指标筛选、分层指标的权重计算、重要性排序等目的。传统指标重要性判别主要取决于使用者对其单向认知，KANO 模型突破了该局限，通过设置正反2 个方向对立问题，根据体系具备某项功能和不具备某项功能时被调查对象的满意度，建立用户需求满意度（SI）与用户不满意度（DSI）之间的非线性关系[11]。KANO 模型依据重要度关系将评价指标分为基本指标、期望指标、魅力指标、无差异指标和反向需求指标5 类。教学评价体系指标研究流程如图1所示。

图1 教学评价体系指标研究流程

首先，分析教育大数据时代下以学生“数字素养”为中心的教学能力评价体系的目的及意义，并通过调研获取相关评价指标；数字素养衡量的是学生的综合技能，包括除岗位技能之外的信息安全、交流协作、评判评估、创造发现等能力，在相关指标中要涵盖教师对学生以上能力的培养。其次，通过编写KANO 调研问卷完成调研问卷的数据整理和筛选；区分评价指标所属类别。然后，去除无差异和反向需求的结果，统计获得其他指标所属需求类别；其中一级需求指标包含必备、期望、魅力指标，筛选后的细分指标项作为二级指标，分别隶属于3 个一级需求指标。最后，基于熵值法数学模型计算各级指标权重，并根据权重值确定教学能力评价体系相关指标的重要度排序。数字素养内容如图2所示。

图2 数字素养内容

2 建立数学模型，确定指标权重

（1）构建决策矩阵。设评价指标为n 个，针对m个调查对象对指标进行评价，其中aij表示第i 个调查对象对第j 个指标的评分，并最终形成决策矩阵A=（aij）m·n。评分依据5 级李克特量表，分为次要、不重要、一般、重要和非常重要5 个层次，依次对应分值为1，2，3，4，5。

（3）计算第 j 个指标的熵值 cj，则

3 实例研究

根据相关文献[11-15]以及对高校教师的调研访谈和笔者的实践理解，本研究从教师基本情况、工作能力、科研教研成果、数字素养等方面构建了15 项相关指标，如表1所示。

表1 教师教学评价相关能力指标

3.1 KANO调研

完成KANO 问卷设计，并进行问卷调查，KANO问卷问题设计如表2所示。此次问卷调查对象为天津科技大学、天津职业技术师范大学、天津财经大学校内高年级学生、一线专业教师和教学工作管理者，共发放问卷150 份，收回114 份。

表2 KANO 问卷问题设计

3.2 数据筛选与统计

整理、筛选调研数据，确定指标类别，KANO 评价结果分类对照如表3所示。当正负问题获得不同答案后，便可确定指标所属类别，M 为基本型指标，是评价体系的具备指标；O 为期望型指标，若有此项指标，系统评价更理想；A 为魅力型指标，期待出现这类评价指标；R 为顾客不需要这种特性；I 为调研对象不关心此指标，Q 为有争议的结果。I、Q 两类一般属于问卷设计错误或调研对象态度有问题，因此I、Q 两类需剔除。

表3 KANO 评价结果分类对照

3.3 应用KANO模型确定关键指标

KANO 模型分析通过判断调研对象对指标影响力的满意和不满意度来确定指标的敏感性，进而确定体系评价的关键因素。满意影响力（SI）及不满意影响力（DSI）计算公式如下：

指标SI/DSI 值计算结果如表4所示。

表4 指标SI/DSI 值计算结果

以各评价指标的SI 值为横坐标，DSI 值为纵坐标形成敏感性矩阵，基本型需求指标的SIDSI 质量特性如图3所示。以原点O 为圆心，图示OP 为半径画弧线，距离原点越远的因素，其敏感性越大，通过统计可以确定数字素养教学设计能力、素养课程建设能力为基本型需求。根据调研结果重新编码区分获得3 类分类指标，评价指标类别筛选结果（一级指标）如表5所示。

图3 基本型需求指标的SI/DSI 质量特性

表5 评价指标类别筛选结果（一级指标）

表5中，将所有指标按KANO 层次划分为3 类，此 3 类指标 M、O、A 称为一级指标，其中 M、O、A 类别下的细分指标称为二级指标，突出在学生数字培养过程中的教学关键指标，通过二级指标的评价，促进学生数字综合素养能力提升。

3.4 需求指标权重计算

一级指标M、O、A 对评价系统的权重值按熵值法数学模型进行计算，得到的评价指标权重计算结果及排序如表6所示。二级指标权重值计算同一级指标权值计算方法，综合权重值为一级、二级指标权重的乘积。

表6 评价指标权重计算结果及排序

3.5 研究结果

根据马斯洛需求的层次理论，越是处于最低层次的需求越需要满足。如表5中教学评价体系指标中的必备指标、期望指标、魅力指标是KANO 一级指标，必备指标权值最高，保障教学评价体系的客观合理性需最大程度满足此类指标。期望需求为用户渴望得到的需求，其需求程度优先于魅力需求。

上述15 项二级需求指标按功能类别可划分为3类不同指标，首先是数字素养教学设计与实施能力评价指标，包括专业课程平台建设信息化、课程设计创新性、教学设计多元化、学生评价满意度、课堂知识更新能力；其次是对教学实施者的个人素质能力的评价指标，如学位学历、单位考核情况、继续教育经历、计算机水平、外语水平、亲和力。最后是对教学实施者的科研、教研成果的评价指标，如教学奖励、比赛获奖、科研论文。根据权重结果分析，二级需求指标中对教学设计与实施能力的需求高于对教学实施者的个人素质能力及科研、教研成果的需求。

4 结 语

教师教学能力的合理评价对教师职业发展的引导和高校自我优化具有重要意义，本文以培养学生“数字素养”为中心的高校教学评价体系指标为研究对象，在广泛调研和查证的基础上，对选定的15 类评价指标进行重要度评价。借助KANO 评价模型和熵值法数学模型，实现对15 类评价指标的KANO 需求分类、筛选、权重计算及重要性排序，为大数据时代高校教学评价体系的合理构建提供了新思路。