李常训 赵伟峰 吴凤静
(安徽科技学院,安徽 蚌埠 233100)
2020年,新型冠状病毒在多国多点暴发,全国高等院校贯彻落实“停课不停学”的文件精神[1],实行线上教学模式,这是对传统高校教学环境、方法、技术和功能的重大革新。教学质量的保证依赖于教学评价管理,传统教学管理的指标体系与评价方法的适用度有待评估,探讨如何有效评价高校线上教学质量成为高校教学评价研究的重点与焦点。
在教育研究领域,通过构建教学评价模型,运用数据挖掘( Data Mining)技术,探讨评价对象与评价指标间的内在联系,给出更加有效的评价标准与方法以提升高校教学质量,成为教学评价与教学管理的发展趋势[2]。相较于传统的教学,线上教学模式扩展了获得教育数据的领域,涉及大量的携带更有价值信息的半结构化和非结构化的数据[3]。Divna等人以Moodle平台中的学习数据为基础,运用聚类算法分析,实证了应用数据挖掘技术分析网络学习的可行性[4]。刘坚等人利用数据挖掘分析方法对多种评价指标数据进行因子分析和聚类分析,证明了其在教学指标权重和教学水平划分的重要作用[2]。Huseyin等人基于多种模型视图建立了数据挖掘系统,运用决策树算法预测学生学习效果的显著因素[5]。陈子健等对远程学习者学习效果的影响因素进行数据挖掘,并基于机器学习构建分类预测模型[6]。
综上所述,各界学者对线上教学评价的分析,问题突出表现在,一是评价指标体系或模型多采用一级指标或综合性指标,精确度有待提升,同时大大降低了实用性。二是各项评价指标权重相同不符合实际,也就不能说明其对评价结果影响的差异度,导致教学评价结果可信度的降低,进而阻碍了二次挖掘教学评价数据。三是Strandvik研究表明服务质量函数有些时候是非线性的,在达到平均的顾客期望水平后,提升服务质量对顾客没有显著影响[7]。所以某一重要教学指标的质量水平高于学生的心理预期水平,管理者和教育者对其进行再次改进可能事半功倍,因此考虑学生心理预期是有必要的。当前评价结果的判定多从管理者和教育者的角度出发,立足于学生的学习行为、学习效果等,往往忽略被评价者的心理预期。而随着中国高等教育普及,提供满足学生需求的服务质量是高校不容忽视的。高校线上教学本质是一种服务的输出,线上教学质量评价实际上是高校服务质量的评价。
作者从服务质量的视角,结合中国高校线上教学实际,考虑高校本科学生线上教学的心理预期质量水平和实际感知质量水平,建立五维二级指标的SERVQUAL模型,将因子分析与熵权法相结合确定模型指标系数,提高评价的精确度和实用性。
SERVQUAL模型以差别理论为基础,认为服务质量有五个维度即有形性、可靠性、响应性、保证性和移情性,评价者对服务质量的感知均是从这5个维度评价的[8]。SERVQUAL模型就是基于5个维度设置22个二级指标(问项),评价者根据自身的经历和实际需要对二级指标问项的心理预期和实际感受评分,两个分值的差值即为评价者对服务质量的评价。差值越小,则评价越高。
Dado等基于工商管理学生感知质量构建SERVQUAL模型,检验高校服务质量和学生满意度之间的关系[9]。Foropon等人基于行政管理学生的课堂感知教育质量构建SERVQUAL模型,研究有效改进学生课堂教育质量的因素[10]。曾韬基于SERVQUAL 模型测量澳门高校旅游教育专业的服务质量,基于教育层次差异研究学生对当前的旅游教育服务质量感知评价差异[11]。综上学者对传统高校教学评价研究取得的成果,证明SERVQUAL模型应用于高校教学评价的可行性和适用性。研究以SERVQUAL模型为基础,结合高校线上教学实际情况和中外学者的研究修订为二级指标,构建高校线上教学服务质量SERVQUAL量表(表1)。评价者结合自身了解的情况(已有的线上学习经历、广告、口碑等)和课程实际需要对二级指标问项的期望度评分,同时也对该项的实际情况的满意度评分,评分按照1-7分赋值,非常满意为7分,非常不满意为1分。
对线上教学质量的评价转化为对各指标评分的心理期望与实际感受差值的计算,而差值即是学生对指标代表的教学质量的评价,如公式(1)所示。
(1)
其中:SQ—SERVQUAL评价模型中的总的感知服务质量评分;R—各属性所属二级指标数目;Pi—学生对第i个问项在心理预期的分数;Ei—学生对第i个问题实际感受的分数,Wj—每个维度的权重。
由于不同的属性对教学质量评价的影响程度不同,采用相同的权重赋值会产生较大的偏差,研究采用熵权法确定模型各个二级指标的权重,由于各属性的二级指标具备强关联性(采用因子分析提取因子进行验证即可),各属性的权重即为所属二级指标权重值的累加。结合线上教学质量评价说明熵权法的基本原理[12],设有参与线上教学质量评价的学生有m个,评价的二级指标有n 个,学生评价指标的统计值记为Xij,表示第i个学生对第j个指标的评价,采用极值法对统计数据标准化处理以消除指标间不同单位的影响,标准化的公式为:
(2)
将标准化后的指标同度量化,第i个学生对第j个指标的评价值的比重为:
(3)
计算各指标的信息熵,第j个指标熵值计算公式为:
(4)
确定指标j的熵权重:
(5)
则各属性的权重:
(6)
可以看出,多个评价者对单一指标的评分差距越大,熵越小,熵权重越大,说明指标在研究课题中能够提供的信息量越大,对样本比较的作用也越大。
本文选取安徽省某高校工商管理类专业本科线上教学质量评价数据进行实证分析。每个学生(考虑大四学生理论课程较少,样本量不足,本文不做研究)对26个指标进行期望与实际感知打分,采用公式(1)计算出单个学生对当前线上教学质量的评价。采用网上问卷(问卷星),剔除无效的样本,确定市场营销专业74个,工商管理专业144个,共218个样本。
1. SERVQUAL量表的可靠性分析
为了保证SERVQUAL量表及各维度分量表的可靠性,需要对收集的问卷进行信度、效度和配对样本T检验,以确定设计的高校线上教学质量量表,同时比较问卷中学生对指标的心理预期和实际感受的评分差异情况。运用SPSS 软件获得相关指数如表2所示。
表2 高校线上教学质量SERVQUAL量表信度与效度相关指数
α为信度系数,数值越接近1越好,在0.6以上即可接受,由表2中结果可知:高校线上教学质量评价的总量表和各维度量表的α均大于0.6,量表信度良好。接下来分析总量表和各维度量表的二级指标的相关程度以确定进行因子分析的可行性,研究采用KMO和Bartlett 球形检验作为衡量指标, KMO∈[0,1],数值越大,变量间的相关性越强,因子分析使用效果越好,实际分析取值在0.7以上效果较好;运用Bartlett球形检验,统计量小于0.05时,表示数据呈球形分布,各个变量在一定程度上相互独立,因子分析有效。由表2中结果可知:高校线上教学质量评价的总量表和各维度量表的KMO>0.7,Bartlett球形检验Sig.=0.000<0.05,总量表和分量表均具备因子分析的条件。对各维度分量表进行因子分析,结果如表2所示,各维度因子的载荷大于0.55,分量表的效度较高[11]。综上可知:基于SERVQUAL 修正的高校线上教学质量测评总量表和维度分量表具有良好的信度与效度;对高校线上教学质量的5个维度及26个二级指标进行配对样本T 检验,结果如表2所示:Sig.= 0.000<0.05%,证明学生对线上教学质量的心理期望与实际感受的差异显著。
2.线上教学质量评价
计算218个样本的感知差值(心理期望-实际感受),得到线上教学评价感知矩阵,通过熵权法计算26个二级指标的熵权(如表3所示)。
表3 高校线上教学质量SERVQUAL量表二级指标熵权
对每个属性的二级指标进行因子分析,采用主成分法提取公因子,各属性均只有1个成份,验证各属性的二级指标关联程度高,计算有形性质量、可靠性质量、响应性质量、保证性质量、移情性质量的熵权依次为0.186、0.247、0.174、0.186和0.206,可以看出学生对于线上教学质量评价的可靠性质量和移情性质量差距较大。带入熵权计算各学生对高校线上教学质量的评价分数,对所有样本的分数进行算术平均就可以得到线上教学的SERVQUAL分数(∈ [1,7]),分数越高,评价越差。计算市场营销和工商管理专业的各年级的分数(如表4所示),可知:该高校线上教学质量有待改进;市场营销专业对线上教学质量的评分显著高于工商管理专业,两个专业的大一线上教学的评分均较高;随着就学年级的增长,市场营销专业学生评分随之降低,工商管理专业学生评分先降后升。该校应重点改进大一线上教学,同时提升市场营销专业的线上教学质量。
表4 高校线上教学质量SERVQUAL评分
3.多因素方差分析
采用多因素方差分析法,探讨不同专业或年级的学生对线上教学质量各属性的教学质量评价是否存在显著差异,提高高校线上教学质量改进的针对性,取95%置信区间。研究分析表明,年级和专业在线上教学质量评价方面有显著差异,其中实际感知比心理预期评分差异显著的指标较少。
有形性质量方面,对于A4在心理期望和实际感知均差异显著,比较指标的评分均值,工商管理专业各年纪的期望评分均高于市场营销专业,随着年级的升高,预期与感知评分均提高;A1和 A2在实际感知方面差异显著,比较指标的评分均值,评分均值与年级成正比,工商管理专业一、二年级的感知分值高于市场营销专业,前者三年级的感知分值低于市场营销专业的三年级。可见:当前该校的教学平台的匹配度与吸引力以及教师的语态有待提升,这与当前普通高校线上教学模式不成熟的现状是一致的。该校应重点提高低年级教师的语态和教学平台使用的成熟度。
可靠性质量方面,对于B7在实际感知方面差异显著,比较指标的评分均值,市场营销专业感知评分与年级成正比,而工商管理专业先升后降;B8在心理期望差异显著,比较指标的评分均值,两个专业的评分与年级成正比,工商管理专业评分均高于市场营销专业。可见:当前该校高年级线上教学资源的质量有待提升,低年级教师的线上教学内容的质量有待改进,尤其是市场营销专业。
响应性质量方面,工商管理专业对于C12和C16的实际感知均高于市场营销专业;两个专业对5个二级指标实际感知的评分均值均与年级成正比,对C12和C14心理期望与年级成正比。该校应重点改进低年级在线上教学响应性质量,同时对于指标C12和C14应该适当提高现有的水平,缩小学生感知差距。
保证性质量方面,D20和D21 在实际感知方面差异显著,比较指标的评分均值,两个专业的评分与年级成正比,工商管理专业在D20指标的专业评分均高于市场营销专业,在D21指标的专业评分均低于市场营销专业。该校重点改进低年级教师的线上教学业务能力,尤其是市场营销专业;改进低年级教师的线上教学反馈环节,尤其是工商管理专业。
移情性质量方面,工商管理专业对于E22的实际感知均高于市场营销专业;两个专业对E22和E25在实际感知方面的评分均与年级成正比。该校应该重点改进低年级尤其是市场营销专业的线上师生交流互动水平。
本文从服务质量管理的视角探讨高校线上教学质量,运用数据挖掘的方法构建高校线上教学质量评价SERVQUAL模型,通过熵权法和因子分析确定教学质量评价的综合指标,采用多因素分析对线上教学评价结果进行多维度分析。得出如下结论:
1.实证研究以某高校教学为案例,以SERVQUAL模型量表为基础,构建出高校线上教学质量评价量表,对其进行信度和效度的检验,各维度指标的心理预期与实际感知评分差值显著,证明SERVQUAL模型可以作为高校教学质量评价的工具,也是服务质量管理理论的一般性与高校教学质量管理特殊性结合的成功尝试。进一步完善高校教学质量管理理论,为研究高校教学质量管理提供新思路。
2.结合因子分析和熵权法,构建的SERVQUAL模型的5维度权重系数,能够有效反映各维度的重要性,同时基于权重系数的SERVQUAL模型能合理地进行线上教学质量评分。结果显示线上教学质量的评分与年级和专业成正比。鉴于高校课程设置,说明高校应该加强对基础课程的线上教学质量的改进;不同专业的教学质量评分存在差距,说明工商管理类所属二级专业间存在区别,高校应该结合二级专业的特殊性进行改进或评价。
3.从线上教学的5个维度看,不同年级的学生对线上教学质量的期望与感知中,部分维度与项目存在显著差异。学生对有形性质量、响应性质量和移情性质量的实际感知与年级成正比,反映了高校线上教学的软资源存在不足。
4.研究所采用的教学评价数据挖掘方法,结合具体的教学实际,同样适用于其他教育组织或专业进行教学评价与管理。