大数据在高职院校教师教学质量多元评价体系中的研究与分析

张维国，陈海艳（南京旅游职业学院教务处，南京　211100）

大数据在高职院校教师教学质量多元评价体系中的研究与分析

张维国，陈海艳
（南京旅游职业学院教务处，南京211100）

0　引言

高等教育大众化使职业教育的发展机遇与挑战并存，规模扩大的同时要有效兼顾质量。教学质量是高职院校生存与发展的生命线、核心竞争力，是深化教育改革的重要突破口。教学质量提升是培养学校品牌的要素。教育体制改革，对学校教育质量提出了新的要求，而教育事业发展至今已相对比较成熟，在提升教学质量上，传统方法的作用有限。目前高职教师教学质量评价普遍存在一些问题影响评价的实际效能，主要表现在：评价主体以学生为主，相对单一；评价指标相对统一，缺乏层次；实施主要以终结性评价为主，以偏概全。此外，评价实施过程中，对评价认识不足，存在代评、故意恶评等问题，随意性较大，缺乏客观性；评价结果缺乏有效利用等。这些问题容易使评价流于形式，脱离评价初衷，降低评价效能。

随着信息化技术的不断发展，使得教学质量的进一步提升成为可能，为提升教学质量提供了新的思路和方法，同时大数据的应用在教育领域也受到高度重视，越来越多的教育机构、教育管理人员和研究者开始关注大数据在教育教学改革与发展尤其是教育评价中的应用价值。运用数据挖掘技术可以对收集回来的教学信息进行统计、分析，对教师调整教学策略、模式和内容提供数据支撑，提高教师的教学效率，提升教学质量，利用大数据探寻发展教育的新途径和新思路。

本文从评价标准、评价实施、评价结果三个方面分析大数据在多元评价体系中的应用，精心设计多元评价体系标准、运用大数据处理技术，提升高职院校教师的素养，提供多维度在实践中推进大数据在教育评价中的应用。

1　目前高职院校教师教学质量评价状况

1.1评价标准——缺乏系统性

高校教师教学评价在西方已有一百多年的历史，早在20世纪20年代，哈佛大学就开始对学生评价教师教学的理论研究和实践的活动。我国高校教师教学评价时间不长，教育质量评价的研究与实践起步于20世纪80年代。顺应我国高等职业教育的发展，高职院校教师教学质量评价的研究也逐渐成为高职改革中的一个热点。

目前高职教师教学质量评价尚缺乏科学统一的评价指标体系，评价内容过于追求理论教学效果，过于关注教师基本教学技能；对学生知识和技能的关注较多，而对其职业素养的关注较少等。评价管理基本依赖现有教学管理系统的评价模块，评价结果表现形式单一，缺乏深入统计分析和挖掘数据的有效信息，对于评价结果的分析缺乏连续性。评价方法上，多以终结性评价的形式存在，缺乏对教学质量的过程性评价，评价的结果基本和教师年终考核、职称晋升等关联，较少从教学质量的全程监控角度去设计、实施教学质量评价。针对这些问题，一些研究者提出通过“更新观念，健全制度，加强管理”来健全评价体系（马微，2014），从全面质量管理的角度提出高职教师教学质量评价应做到全过程监控、全要素管理和全员参与（王义宝，2013）；提出通过“建立多级评价体系”（吕国锋，2014）。在实证研究方面，赵熹等人从学生、同行、院部、教务、督导五个层面分别构建了评价指标 （赵熹，2015），但在具体的指标上，缺乏考虑不同类型课程，缺乏针对性。此外，评价主体对认识不足，随意评价、缺乏约束等现象也普遍存在，影响了评价信度和效度。

1.2评价实施——重“静”轻“动”

丰富评价方法，借助评价管理平台，将过程性评价和终结性评价相结合，建立动态评价机制，形成“评价-反馈-提升”的螺旋上升循环，提高评价的科学性。

（1）优化评价指标设计，结合具体评价主体和评价对象细化指标，细化评价体系，实现“评价主体-评价内容-评价指标”的有机耦合，提升评价体系系统性、科学性和针对性。

（2）评价组织实施、操作规范流程、评价结果利用以及与评价相关的管理文件制定、实施保障等，规范评价管理。

（3）优化评价管理平台功能，和智能移动设备有效互联，助力评价过程实施，基于大数据分析、数据挖掘等技术，优化统计分析，实现智能反馈。

2.3评价结果——深入分析欠缺

目前，大部分高校对于评价的反馈信息只是做简单的求平均值处理，考虑问题很不全面，使评价结果偏离真实值。如在评教时可能存在一些不负责任的评价，影响到最终的评价结果，管理者在统计结果时应该想办法尽量避免这种错误。评价结束后，很多学校只是将评价的最终结果告诉教师，具体评价结果没有及时反馈给教师，教师并不能了解到自己教学中存在的不足，也没办法改进教学水平，达不到提高教学质量的目的。

基于大数据和数据挖掘分析技术，对评价结果进行多层次、多维度分析，对数据进行切片、切块、旋转、上卷、下钻等各种分析动作，以求剖析数据，从多角度、多侧面地分析数据库中评价数据，如图1所示。打破传统评价呈现最终评价结果（等级、排名）的局限，立体化呈现教师评价结果。从教学评价数据中，通过关联规则进行挖掘找出课程教学效果与教师情况之间的关系，系统在做班级排课时对教师年龄、职称、学历等合理分配，让学生有良好的学习状态，为教学部门提供决策支持信息，保证教学工作更好的展开，促进教学质量提升。

图1　教学质量评价多维分析

2　多元教学质量评价体系构建

结合教学质量的系统监控，从教师、不同管理者和学生等多主体出发，结合高职教育特点，针对不同类型的课程，提升评价针对性，构建多元评价体系，对教师教学质量进行全面评价，如图2所示。

图2　教学质量多元评价图

2.1立足教学全程监控，构建多元评价体系

在对现有高职教师教学质量评价体系进行分析研究的基础上，立足于教学质量全程监控和教师教学能力提升，构建多元评价体系。评价主体多元：针对教学活动所涉及的评价主体（教师同行、学生、相关教学管理部门等），梳理其对于教师教学的关注点，分析其教学质量评价需求（评价要素、指标容量、等级设置等），体现评价内容的层次性。指标体系多元：针对不同类型课程（公共基础课、理论课、实践实训课等），结合高等职业教育特点，细化指标，科学设置指标权重。评价方法多元：将过程性评价和终结性评价相结合，定量评价和定性评价相结合，将教师日常教学工作融入评价过程，实现教学全过程监控。

2.2优化评价过程实施，建设配套管理制度

系统梳理评价实施过程，全面分析评价各环节存在的问题（评价主体认识、实施保障缺乏、评价结果使用等），剖析成因，制定教师教学质量评价实施方案、评价操作规程等相关制度，加强评价监控管理，保障评价实施的过程流畅，促进评价目标的有效达成。

2.3升级评价平台功能，建立评价互动机制

结合多元评价体系新需求，升级完善评价管理平台功能模块，设计开发教学质量评价网络管理平台，有效支撑多元评价；结合智能终端设备（手机、pad等），有效支持过程性评价，评价实施方便快捷，评价过程统计及时，数据分析全面深入，评价结果立体呈现，实现智能反馈，建立“评价-反馈-提升”的动态机制，有效促进教师教学能力提升，以评促建。

2.4开展多元评价实施，开展指标适用性分析

基于升级后的网络评价管理平台，开展教师教学质量多元评价，了解评价主体及评价对象对于评价结果的真实反馈，对评价体系的适用性进行分析。多元评价指标体系由学生评价、同行评价、二级学院系（部）评价、教学督导室评价四部分组成，各部分所占权重如表1所示。

表1　教师教学质量评价体系及权重

结合高职院校的实际，学生评价、教研室同行评价主要从教师素质、教学内容、教学方法、教学态度、教学效果以及教书育人六个方面进行评价；二级院系部评价主要结合日常教学质量监控工作开展情况，从教学管理角度，对于教师的教育教学规范等方面进行综合评价；教学督导评价主要包含督导听课、试卷档案等教学材料检查、学生座谈会等方面进行。

3　数据挖掘技术在教学质量评价中的应用

每学期学校通过教学督导听课、学生网上评教和同行互评来收集教师的教学质量评价信息，随机抽取教师教学质量评估表400份，通过数据挖掘找出年龄、职称和评定分数间的关系，表2列出部分教学质量评价信息。

表2　教师信息表

对表中的数据列进行修改，教师性别（jsxb）：S1表示男，S2表示女；学历（xl）：E1表示本科，E2表示硕士，E3表示博士；职称（zc）：J1表示助教，J2表示讲师，J3表示副教授，J4表示教授。原始表中的数据经过数据选择和量化，得到量化后的数据表为表3、4、5。

表3　教师年龄量化规则

原始随机抽取的数据中，评定分数在85分以上的记录58条，70～84之间的记录130，采用关联规则算法寻找频繁项集，根据给定的最小置信度，得到关联规则。设最小支持度为0.1，最小置信度为0.4，得到课堂教学效果为优秀的关联规则如表6所示，课堂教学效果良好的关联规则如表7所示。

表6　课堂教学效果优秀的关联规则

从分析的数据中发现，学生对教师的满意度主要与职称、学历及年龄相关，职称为副教授、年龄较大或高学历的教师课堂教学效果优秀可能性较大，有一定的年龄、职称较高或高学历的教师课堂教学效果良好的可能性较大。

年龄在31～49的中青年教师有丰富的教学经验，评定分数高或较高的支持度、可信度较高。年龄31～35且为硕士学历的青年教师评定分数较高的支持度、可信度较高，说明中青年骨干教师发展较好，教师队伍结构趋向合理。

教学质量评价模型通过对教师综合能力等多方面的测评，能评价教师承担教学工作的适合度，同时也可以对教学情况的优缺点有一个客观的认识，从而制定出有针对性的自我完善措施。学院通过评价信息掌握教师的教学情况，为今后排课配备教师方面注重年龄、职称、学历的合理分配，提供了决策支持信息，教学管理政策的最终执行提供了科学依据。

4　结语

作为衡量高职院校教育教学质量的重要手段，客观、系统、科学的教师教学质量评价对于整体提升教师教书育人能力、全面反映高职院校办学水平、有效促进高职院校可持续发展发挥着重要的作用。从教学质量全程监控出发，以提高高职教师教学质量评价的科学性、有效性为目标，对评价对象和实施过程开展理论和实践两方面构建教师教学多元评价指标体系，依据学生实施评价活动的一个心理顺序和行为要求，将学生对教学评价分解为四个相互联系有所独立的要素，即学生本身所持有的评价态度，学生对学习所需产生的评价意识，学生为评价的实施而摄取的评价知识，学生在评价活动中应用的评价技能；利用影响因子对教学评价体系的影响程度，帮助教师克服或者利用这些因素来构建有助于教师在教育教学的实践活动中，切实提升自身的专业技能和教学评价水平。增加评价指标的系统性和针对性，系统优化评价实施，努力探索科学有效的高职教师教学质量评价机制。

［1］郑燕林，柳海民.大数据在美国教育评价中的应用路径分析［J］．中国电话教育，2015，7:25-31．

［2］戚业国.论高等教育大众化时代的质量观［J］．高等师范教育研究，2002，14（2）:39-44．

［3］李建中，刘显敏.大数据的一个重要方面：数据可用性［J］.计算机研究与发展，2013，50（6）:1147-1162.

［4］王智勇.以多元质量观构建新建本科院校的质量标准体系［J］.中国管理信息化，2015，18（17）:227-229.

［5］彭贞贞，李坚，马骥.高校人才培养质量评价研究综述［J］.教育教学论坛，2014，53:105-106.

［6］吴英，刘俊熙.计算机考试数据分析中数据挖掘技术的应用［J］.制造业自动化，2010，32（9）:136-139.

［7］McKendrick，Joe.Data Warehouuse'New Role in the Big Data Revolution［J］.Database Trends and Applications，2014，28（1）:11-13.

［8］朱迪锋.关联规则算法在高校教务管理系统中的应用研究［D］.浙江:浙江工业大学，2013.

［9］薄宏，任玉杰，曹惠茹.基于间接关联规则的数据挖掘算法研究［J］.计算机技术发展，2012，22（11）:120-122.

［10］唐晓东.基于关联规则映射的生物信息网络多维数据挖掘算法［J］.高等师范教育研究，2015，32（6）:1614-1616，1620.

Big Data；Pluralistic Evaluation；Vocational Colleges；Teaching Quality

Research and Analysis of Big Data in Pluralistic Evaluation System of Teaching Quality at Vocational Colleges

ZHANG Wei-guo，CHEN Hai-yan
（Nanjing Institute of Tourism and Hospitality，Nanjing 211100）

Absrtact：

The evaluation of teaching quality is an important basis for colleges and universities to make decisions on education and teaching，and its effectiveness depends on the comprehensive and reliable data for evaluation.The pluralistic evaluation system of teaching quality refers to a series of methods to evaluate teachers’teaching process and effect with various effective techniques and methods in unstructured teaching situations.The system，based on the modern quality management theory，arranges content，methods and other aspects of the pluralistic evaluation，and carries it out by the pluralistic evaluator.With multi-dimensional and profound mining and scientific analysis on a large number of data，big data can discover the hidden relationship and value behind，thus promoting the evaluation of teaching quality to turn from the conjecture based on data of small samples or fragmented information to the evidence-based decision making on the comprehensive and whole-process data.An analysis on the results of pluralistic evaluation with data mining technology can help enhance the reliability and validity of the evaluation of teaching quality，and therefore reduce the tension and conflict in the process of evaluation.

1007-1423（2016）18-0045-05

10.3969/j.issn.1007-1423.2016.18.011

张维国（1978-），男，江苏东台人，硕士，实验师，研究方向为计算机网络、数据仓库

2016-04-15

2016-06-15

教学质量评价是高校教育教学决策的重要依据，而有效的教学质量评价依赖于全面、可靠的评价数据。教学质量多元评价体系是指采用多种有效的技术手段和评价方法，在非结构化的教学情境中评价教师教学过程和效果的一系列方法，以现代质量管理理论，进行多元评价内容与方式等方面的制度安排，并由多元评价主体来加以实施。大数据重在对大量数据进行多维、深度挖掘与科学分析，发现数据背后的隐含关系与价值，有助于教学质量评价从基于小样本数据或片段化信息的推测，转向基于全方位、全程化数据的证据性决策。运用数据挖掘技术对多元评价结果进行分析，有助于提高教学质量评价的信度和效度，减少评价过程中的张力与冲突。

大数据；多元评价；高职院校；教学质量

2015年度江苏省高等教育教改立项研究课题（No.2015JSJG375）、全国旅游职业教育教学指导委员会2015年科研项目立项课题（No.LZW201505）、全国旅游职业教育教学指导委员会2015年科研项目（No.LZW201503）

陈海艳（1985-），女，江苏宿迁人，硕士，助理研究员，研究方向为教学质量监控、教学质量评价、课程设计与评价