○杨 莉
教学评价是指以教学产出(目标达成情况)为导向,内外评价相结合,按照科学的标准,由相关评价主体对教学工作质量所做的价值评判过程。高校教学评价是根据高校教学目标,对应相关教学指标体系,应用科学的计算,对教学过程及结果进行综合衡量的过程。教学评价体系是由有关评价的目标、原则、组织、人员、内容、方法、技术等要素相互关联而构成的工作系统。在我国现行的高校教学评价体系中,培养目标定位不够清晰精准,部分指标滞后于教学实践等问题日益明显。根据教学工作实际,重新构建一套更加契合目标实现,综合衡量学生能力成长的教学评价体系,具有比较迫切的现实意义。
“OACP”教学评价体系,即坚持产出为导向(Output orientation)理念,依据学生的毕业核心能力和素质要求,以学习效果,即学生核心(职业)能力成长(Ability growth)为导向,以课堂教学(Classroom teaching)过程为重点监测环节,构建一套覆盖教学过程(Process of teaching)的评价体系。评价强调价值统一和主体客体交互作用来产生评价结果。
O:产出导向(Output orientation),即教学评价体系的理念。
A:学生能力成长(Ability),即教学评价的核心。
C:课程与教学(Curriculum&teaching),即教学评价的重点。
P:过程改进(Process improvement),即教学评价的态势。
1.深化产出导向。产出导向的人才培养过程:一是以产出为导向,依据国标,结合实际,明确培养目标,以培养目标和毕业要求为出发点,设计科学合理的培养方案和课程大纲,采用匹配的教学内容和教学方案达成课程教学目标;二是基于可查可验的原则,应用教学“证据链条”,综合验证产出目标达成情况;三是基于结果的调研评估“产出导向”人才的社会需求及价值,从社会需求、就业质量、社会声誉等方面验证学生发展情况。课程目标达成是教学评价依据,关注教学成果的产出转化率可从源头上调整校准评价体系。
2.聚焦能力成长,可量化人才培养成效。着眼于教学目标在学生能力上的具体体现,从思想道德、学科素养、思考总结、知识应用、沟通协调等方面构建评价指标,从而使评价体系更加科学、规范。
3.突出课堂教学,可强化学生中心环节。课堂教学是高校教学的主阵地,课堂教学的概念既包括狭义的在校在班学习,也包括根据学校安排的实践实习等。毕业要求达成情况评价通过收集各课程和教学环节的各项原始数据和评估数据,即课程目标达成评价值和课程目标达成评估值,综合得到该项毕业要求达成值,取各项毕业要求达成值最小值作为专业毕业要求的达成值。毕业要求达成与课程目标达成互生互托,突出了学生中心理念,突出了课程教学的重要性,借力课程教学评价激活学生中心环节,促进教学整体提质增效。
4.覆盖教学过程,可具化教学评价体系。将评价覆盖到教学准备、实施和反馈以及成效全过程,从而更加全面指导改进教学全过程具体工作。
“OACP”教学评价体系示意图
“OACP”教学评价的重点有三个:一是课程目标达成情况评价;二是毕业要求达成情况评价;三是培养目标达成情况评价。下面以毕业要求达成情况评价为例介绍“OACP”教学评价体系实践操作过程。
毕业要求是指学生在毕业时具备的知识、能力和素质。在教学评价中,毕业要求是专业认证的核心,具有承上启下的作用。承上,即毕业要求从内涵上对培养目标的实现从整个专业教学成效的角度予以支撑验证;启下,即毕业要求根据专业特点和特色分解成可教、可学、可评价的具体指标点对课程教学实施的引导作用。在“OACP”教学评价体系中,毕业要求达成情况是评价具体实施中最核心的内容。
根据“OACP”教学评价体系设计,毕业要求达成评价坚持“以学生为中心,产出为导向、持续改进”的原则。高校应当建立定期收集汇总专业课程教学数据,定期分析应用相关教学数据,持续开展教学评价活动,从而建立和完善以毕业要求达成评价为重点的自评机制。
现有高校毕业要求达成情况评价与持续改进工作一般实行校院两级管理机制,评价主要由学校组织,学院实施,专业负责。各学院对照行政机构设置,相应建立教学评价的骨干网络体系,同时,根据评价所设学科、专业,采取外请内聘的方式,在网络体系中增加相关专家、学者、教师等组成的专业团队。毕业要求达成情况评价网络各终端根据评价设计,全面收集教学过程材料,并援引第三方等提供的毕业要求达成情况评价数据完成评价并出具报告。
“OACP”毕业要求评价主体包括本专业应届毕业生、专业教师、兼职教师、辅导员、校院级教学督导、教学管理人员等。
毕业要求达成情况评价通常每学年开展一次。每届毕业生都要进行毕业要求达成情况评价,并形成完整的评价档案,每项评价均要有记录,且记录完整、可追踪。评价档案由学院存档,存档期为6年。
“OACP”毕业要求达成情况评价综合采用直接评价与间接评价相结合、定量与定性评价相结合、内部与外部评价相结合的多样化方法。各专业结合专业特点制定并采用合理的方式,但均应包括定量的课程考核成绩分析法。课程考核成绩分析法通过定量评价的方式获得“课程目标达成评价值”;调研访谈等通过定性评价的方式获得“课程目标达成度评估值”。
“OACP”毕业要求达成情况评价内容通常以直接评价与间接评价的方式获取。其中直接评价的内容包括基于课程目标达成评价情况,间接评价包括课程目标达成评估情况。直接评价的重点是课程目标达成评价情况,间接评价的重点是应届毕业生问卷调查与访谈、座谈等,专业教师和教学管理人员等问卷调查和访谈、行业企业及其他专家座谈或交流咨询等数据分析。问卷调查应从学生毕业要求、学校设施与服务、任课教师和课程体系等方面进行调查。座谈访谈应从学生的角度就毕业要求、课程体系、教学方法、教学组织与教学过程、考核方式中存在的问题设计提问,引导教师、学生及相关利益方有针对性地说出自己的见解。
“OACP”毕业要求达成情况评价是以党和国家教育方针政策、部颁各类专业认证标准、省(市、自治区)教育发展规划等为依据,以学校办学定位及专业人才培养定位为内部依据,以社会经济发展需求和专业领域发展趋势为外部依据,按照统一的教育评价计划,定期以学校自评的方式不断收集和整理各类数据。
“OACP”毕业要求达成情况评价数据主要来源于课程目标达成评价值和课程目标达成评估值。将“课程目标达成度评价值”和“课程目标达成度评估值”按权重进行计算,得出毕业要求指标点达成值和毕业要求达成值,将达成值计算结果与设定的合格值相比较,得出专业毕业要求达成情况评价结果。
课程目标达成评价值所需的各类原始数据可以通过课程考核成绩分析等方法获取。根据课程对毕业要求指标点的贡献大小,每门课程被赋予不同的权重。毕业要求指标点对应课程的权重大小需对应相关专业人才培养方案中的课程总学分设定。评价体系中,指标点对应课程权重合计为1。课程目标达成评估值的原始数据通过上述定性评价的内容获得并且按照预先设计的比例值计入“课程目标达成评估值”。
“OACP”教学评价体系中,毕业要求达成情况评价分三步实施。
第一步,指标赋权。根据毕业要求分解指标点,对各个指标点进行合理的权重赋值。每个指标点有2—3门课程支撑,再根据支撑课程对指标点贡献度的大小,分配合理的权重。
第二步,数据收集。根据各指标点对应的数据采集要求,多渠道收集支撑课程评价所需原始数据,为后续的评价计算奠定基础。
第三步,综合计算。通过计算得出“课程目标达成评价值”和“课程目标达成评估值”,按照预设的权重比例综合两项具体数值,得出评价所需的毕业要求达成值,即此项评价结果。
根据教学评价体系的设计,毕业要求达成情况评价结果需要及时向相关单位和个体进行反馈用于改进教学和管理工作。学院根据人才培养目标调整和人才培养方案修订要求,修订和调整专业毕业要求,形成修订说明。教师根据评价反馈的情况持续改进教学工作,包括重新修订教学大纲,改进教学方法,提高教学效率。毕业要求持续改进成效和修订工作将作为学院专业建设项目评价与验收考核的重要依据。
以江西某大学某级某专业本科毕业生为例,应用“OACP”教学评价体系对师范类专业毕业要求达成情况进行评价。参照新修订的毕业要求达成情况评价实施细则,采用课程考核成绩分析法对毕业要求达成情况进行直接评价,采用第三方评价对毕业要求达成情况进行间接评价;按照预先设计的赋分权重,通过加权求和方法最终计算出毕业要求3—2(专业能力)的综合达成情况评价值。
首先设置权重值。根据本专业毕业要求达成矩阵确定支撑毕业要求关联度最高的2—3门课程(用★标注的课程),并考虑课程的学分和支撑强度设置权重值(权重值之和为1),如表1所示。
表1 毕业要求课程权重设计一览表
根据该专业毕业要求达成矩阵确定支撑毕业要求关联度最高的2门课程(用★标注),并考虑课程的学分和支撑强度设置权重值,每个毕业要求分解指标的权重值之和等于1。针对于毕业要求3—2(专业能力)设置的达成评价权重值如表2所示。
表2 毕业要求达成评价课程权重设置表
毕业要求3—2(专业能力)达成情况评价。
依据表2中课程用课程考核成绩分析法计算出每门课的课程目标的达成值,再计算出每门课程对毕业要求3—2(专业能力)的达成评价值,最后计算出毕业要求3—2(专业能力)的总达成值,如表3所示。
根据表3的评价结果,取毕业要求3—2(专业能力)的加权和作为该毕业要求的达成值,即达成评价值为0.81,并依据“评价机制”规定的达成标准为0.7,判定毕业要求3—2(专业能力)的达成情况评价结果为“达成”。
表3 毕业要求3—2指标点达成评价表
课程目标达成评估值。
评价依据:2022届**专业应届毕业生、教师和实习用人单位问卷反馈结果。
评价对象:毕业生自我评价、教师评价、相关利益方评价。
问题设计:围绕毕业要求的二级指标点设定问题,每个问题有五个选项,分别为“非常符合、大部分符合、基本符合、大部分不符合、完全不符合”,分别量化为分值 1、0.8、0.6、0.4、0.2。依据评价对象的答题结果,采用加权平均计算得到这二级指标的毕业目标达成情况问卷评分,公式如下:
BYWJ:毕业目标达成情况问卷评分
F:非常符合人数
D:大部分符合人数
J:基本符合人数
DF:大部分不符合
WQ:完全不符合人数
BD:被调数
被调数指有效填写问卷的毕业生、教师和相关利益方等。
各毕业要求指标点综合得分由毕业生自我评价、教师对毕业生能力达成评价及相关利益方对毕业生能力达成评价组成,即
EJ=ZP×0.4+JP×0.3+XP×0.3
EJ:二级指标综合得分
ZP:毕业生自我评价值
JP:教师对毕业生能力达成评价值
XP:相关利益方(实习用人单位等)对毕业生能力达成评价值
2022届应届毕业生、教师和相关利益方(实习单位)对毕业要求指标点3—2的三类调查问卷统计结果,见表4。
表4 毕业要求3—2达成情况问卷统一览表
综合统计结果,毕业要求指标点3—2的定性评价值为0.92。
以直接评价为主,间接评价作为补充,本专业通过上述直接和间接评价等不同方法分别获得了毕业要求3—2(专业能力)达成值。根据预先设定的权重,采用加权求和方法可以计算出该专业的毕业要求综合达成评价值。如表5所示。综合评价结果为0.84,大于评价机制规定的达成标准值0.7,判定该项毕业要求达成情况为“达成”。
表5 毕业要求3—2达成情况综合评价结果
教学评价的最终价值体现在结果应用上。根据上述毕业要求达成情况评价结果,结合该专业的教学实际,可以分别列出相应的持续改进措施,具体如表6。
表6 毕业要求3—2综合达成评价结果分析与持续改进
按照以上毕业要求指标点达成评价的评价方法,分别对**专业全部**项毕业要求分解指标点的综合达成情况进行评价,然后在毕业要求分解指标点的综合达成情况评价结果中选择最小值作为本专业毕业要求综合达成值,并给出持续改进的措施,如表7所示。
表7 毕业要求综合达成结果
从表7中可以看出,最低的毕业要求2—3[关爱学生]的达成值为0.76,大于评价机制规定的达成标准值0.7,因此可以判定全部毕业要求达成情况为“达成”。
“OACP”教学评价体系的毕业要求达成情况评价坚持“学生中心、产出导向、持续改进”理念,围绕学生能力成长,强化教师学生的学科素养、专业技能、职业素养、创新创业能力评价指标,采取“直接+间接”“内部+外部”相结合的方式进行综合评价。其中,直接评价是课程目标达成评价值,即考核成绩定量评价;间接评价是课程目标达成评估值,包括围绕教师评学、学生评学、同行评学等进行定性评价;各教学单位召开应届毕业生座谈、专业教师座谈、教学管理人员座谈,在各类座谈、调研的基础上组织自评自查等内部评价;对往届毕业生问卷调查、访谈、毕业生实习和用人单位走访、调研、行业企业与其他专家座谈或交流咨询等收集评价数据和信息等外部评价。
实践证明,基于“OACP”评价体系的毕业要求达成情况评价综合考虑了毕业要求与课程的关系,毕业要求指标点与课程目标的对应关系,对课程目标达成评价值和课程目标达成评估值赋予了合理的权重值,聚焦于学生能力的考核,精减了与学生能力成长无关的部分课程等。毕业要求评价的方法直观清晰,指向性较强,便于实施。毕业要求达成情况评价的结果也相应更加精准有效,能够更好地应用于“OACP”教学评价体系的过程改进环节中。