蔡韩燕 杨 成
数智融合驱动高校教师评价改革研究*
蔡韩燕 杨 成[通讯作者]
(江苏师范大学 智慧教育学院,江苏徐州 221116)
教师评价改革是引发教育领域改革与创新发展的重要因素,在数智融合背景下,利用多种技术介入高校教师评价能够有效地驱动高校教师评价变革。基于此,文章首先分析了高校教师评价在师德、教学、科研方面面临的难题,提出数智融合驱动高校教师评价改革的理念。随后,文章从结果评价、过程评价、综合评价的角度,阐述了数智融合驱动高校教师评价改革的内在逻辑,并设计了包含师德评价、教学评价、科研评价的数智融合驱动高校教师评价改革的核心内容。最后,文章提出数智融合驱动高校教师评价改革的关键路径,以期推动数智融合驱动高校教师评价改革的落地实施,最终实现更为精准、客观的教师评价。
数智融合;教师评价;高校教师;智能技术;数据流转
为树立科学的教育评价导向,坚决克服“五唯”顽疾,《深化新时代教育评价改革总体方案》从师德师风、教学实绩、一线学生工作、科研评价、人才称号等方向提出了教师评价的指导意见[1]。研究如何开展高校教师评价工作,是对高校教师责任的重新审视,但高校教师评价受地区差异、个人特点、隐性付出等因素的影响,评价的方式还难以保证客观性和精准度。为此,学者纷纷探索利用人工智能、大数据、云计算等技术改进高校教师评价。例如,王亚萍[2]阐释了如何利用日常记录或个体活动遗留的各种信息数据,来设计基于大数据技术的教师岗位胜任力评价系统;Guo等[3]将人工智能引入课堂教学评价,提出了一个基于统计建模和集成学习的课堂教学模型;徐镇凯等[4]提出将教师的教学视频、学生的各类反响、教师和学生之间的灵感碰撞过程等全部教学活动都存储为海量的非结构化大数据,通过云计算得到可视化的统计结果,来辅助对教师教学质量的评价。这些研究成果论证了智能技术支持教师评价的可行性,可为后续利用数据结合多种智能技术共同支持教师评价提供参考。在此基础上,本研究从高校教师评价所面临的现实难题出发,利用数据与技术改进常用的评价方式,探寻如何通过挖掘数据价值去解决高校教师评价中师德师风、教学实绩、科研评价等问题,并从评价人员、评价标准、评价数据、评价过程等方面提出保障评价改革的关键路径,以期推动数智融合驱动高校教师评价改革的落地实施。
高校工作者包含管理人员、教学人员、研究人员、辅助人员等,为了明确研究对象,本研究将“高校教师”定义为“高等学校中拥有教学资格并从事教学工作的教学人员”。研究高校教师评价改革既是深化高等教育改革的重要举措,也是推动高校教师专业发展的巨大助力,但高校教师评价存在诸多现实难题。
近年来,国家相继发布了《教育部关于高校教师师德失范行为处理的指导意见》《关于加强和改进新时代师德师风建设的意见》等师德师风系列文件,特别强调师德师风建设。但在实际教育管理中,评价标准的理解差异、评价方法的片面运用、评价效能不理想等问题突出[5],限制了师德评价的有效落地,具体表现为:①师德失范行为标准未明确分类定性[6],导致部分案例难以按“规”判定;②师德评价程序缺乏相应的规范性依据,其客观合理性难以保障,如有些学校存在“没有给出本校师德师风考核和操作流程”“没有体现如何优先考虑师德师风和课堂教学表现优秀的教师”等问题[7];③师德评价结果缺乏反馈渠道[8],有的师德评价成为一种单向的活动[9],不利于维护教师权利。要解决师德评价面临的现实问题,可借助智能技术,联通多源数据,制定明确的评价标准和规范清晰的评价流程,在此基础上构建完善的评价体系。
教学是学校最基本的工作,也是提高国民素质的重要手段。当前,教学评价过程主要存在以下问题:①受评价条件限制,课堂教学评价侧重对教师教材完成度和学生学业成绩的量化评价,导致教学的条件质量和过程质量被刻意忽视[10][11];②采用学生评价、专家评价、自我评价的方式,既受评价条件限制,又受评价者主观意识的影响,大大削弱了评价的客观性;③高校学科专业的多样化、教学内容的开放性、教学投入的复杂度,使得教学评价难以全面、客观、精确地实施[12];④教师在教学中的隐性投入和非智力行为需要长期观察,加大了教学评价的难度。这些问题促使管理者倾向于根据简单数据、基本指标进行教师评价,这进一步遏制了教师的专业发展。对此,需要利用智能化的处理工具来获得更为全面的数据,以提升对教师教学评价的效果。
异化的评价导向使大量科研成果外流,对我国科研的良性循环产生了极其不良的影响[13]。在很长一段时间里,专家评议与定量评价在科研论文评价中发挥了重要作用。但是,专家评议存在个人的价值判断主观、评议人的选取不科学、权威影响、性别歧视、出版偏见、知识剽窃等问题[14];而使用传统指标与影响因素的定量评价既要考虑不同学科领域研究成果的实际“含金量”[15],又要考虑引用不充分、引用学术交流的局部性、引用的有偏性、引用动机的复杂性等问题[16]。随着交流的网络化,Priem等[17]注意到基于社交网络的学术活动数据可对学术进行动态评价,提出了新型测量指标体系——Altmetrics。然而,基于Altmetrics的论文影响力评价方法虽能借助社交媒体数据、学术网站论文使用数据体现出论文影响力,但是并未深入分析引文内容或Altmetrics文本内容的性质[18]。此外,在学科特性的影响下,基础研究以产出论文为主,而应用学科以解决实际问题为主,若单以论文为科研评价标准,对我国科研发展并无益处。
综上可知,评价设计模糊不清是导致上述评价问题的重要因素。利用智能技术可以获取大量的过程性数据和足够的客观性信息,帮助明确教师评价标准,完善教师评价内容,规范教师评价流程。因此,本研究针对数智融合驱动高校教师评价改革进行探索,以期实现全面、客观的高校教师评价。
数字化转型有利于构建高质量的教育体系,而数据驱动是数字化转型的重要内容。以数据赋能教育评价改革,是教育数字化的基本方向[19]。当前,关于“数智融合”的定义尚未统一。例如,以数据驱动分析,数智融合的特征是大数据与人工智能等技术深度融合,数据驱动也进入了可独立运行的智能化高速发展阶段[20];而以复合概念分析,数智融合是基于大数据与人工智能的融合,在多种技术的支持下,提升数据的智能化水平,实现智慧化服务[21]。本研究认为,数智融合是通过多种智能技术,借助数据发展感知、分析、预测等能力,实现数据智能化,之后运用数据智能再现人类智能,实现智慧决策,推动数据与智能融合发展。智能技术在数据流转中的应用过程如图1所示:利用物联网采集被评价者的特征数据,用于后续的识别和管理;由5G作为通信载体,提供足够的网络带宽,保证数据的传输与畅通;借助云计算的分布式存储和计算,整合多台机器资源保证海量、多类数据的存储和计算要求,再采用大数据技术处理数据;最后,由人工智能技术展现数据智能,数据流转过程的安全则由区块链保障。
图1 智能技术在数据流转中的应用过程
数智融合驱动教师评价改革,可赋能常用的结果评价、过程评价、综合评价等评价方式,使这些评价更为细致、客观,其遵循的内在逻辑如下:
结果评价强调个体阶段性工作的结论性评价,可用于高校教学与科研方面的评价。但在实际评价中,由于存在数据量少、数据类型单一、数据片段化、获取方式难以保证科学性等问题,致使评价涵盖内容不全面、评价指标少,易出现“唯升学”“唯论文”的现象[22]。要解决以上问题,可借助行为数据,为评价结果提供事实支撑并确保评价指标与评价内容的客观性。在行为数据的收集与使用方面,王陆等[23][24]曾尝试利用教师课堂行为数据开展有关教师实践社区的项目。2014年,美国推出记录教师教学历程、专注教师测评标准化的工具——KickUp[25]。可见,数据背后是教师行为的逻辑。如今,随着智能技术的发展和各种智慧环境应用场景的不断优化,数据采集过程更加科学,采集的数据也更为全面,研究者可以便捷地获得更多真实、动态的过程性数据,因而不仅数据应用更加智能,而且获得的结果评价更为客观、可信。
高校教师评价可以使用过程评价来展示动态过程的变化,以便于管理者及时掌握教师发展情况。但过程评价的开展还面临以下问题:①评价主体多元,因而行为评价存在差异,使得评价内容具有一定的复杂性与不确定性;②受不同评价主体、评价目的、评价内容的影响,过程性评价难以统一评价标准;③考虑到评价目的多样、内容复杂、标准不一等因素,过程性评价的设计与实施需投入大量时间和精力。针对这些问题,可打造数智融合的环境,以支持留存大量数据,并通过大数据技术对原始数据进行处理,将之作为人工智能技术训练的基础,体现数据的价值。在数智融合驱动的高校教师评价中,可以根据教师的过往成果与行为数据,利用人工智能技术勾勒出成果数据与教师行为数据之间的变化曲线,据此构建教师行为—成果预测模型,便于管理者对比预判过程与实际过程,快速给出个性化的反馈。
开展教师综合性评价是教师评价改革的重要手段,但还需重点解决以下问题:①评价数据不全。高校教师职责多,受一些条件的限制,其部分隐含工作并未纳入评价内容,且部分非结构化数据并未得到有效使用。②评价数据不多。高校开展教师评价多由教师自行提交材料,受采集工具和评价标准的限制,所获得的评价数据不够全面、客观。针对这些问题,可打造数智融合的环境,利用物联网采集更多、更全的数据,利用大数据整合教师教学数据、科学研究数据、社会活动数据等,逐步形成教师个人数据库;同时,打通学校不同部门和教育系统、政务系统、科研系统之间的数据壁垒,建立立体的学校—区域—全国教师数据库。在人工智能的辅助下,通过集成教师个人数据库和立体的学校—区域—全国教师数据库,最终形成包含成果评价、能力评测、潜力预测、个体发展、个人特征分析等功能的教师综合评价系统。
尽管数智融合驱动高校教师评价对于教师评价具有变革性作用,但大规模使用各类智能技术时一定要注意考虑教师个人隐私、数据安全以及相关的伦理问题。相信随着技术的进步和数据使用规则的不断完善,数智融合驱动高校教师评价改革将发挥更大的作用。
针对高校教师评价改革面临的难题,为实现教师评价的规范化、精准化和智能化,本研究遵循数智融合驱动高校教师评价的内在逻辑,设计了数智融合驱动高校教师评价的核心内容,如图2所示。
图2 数智融合驱动高校教师评价的核心内容
师德评价存在标准模糊、过程不够规范等问题,而将客观事实的多源数据整合成数据库,对数据进行处理分析后,展现数据与师德建设相关内容的关系,可明晰前期数据采集方向,并辅助后期智能技术支持数据的使用,不断清晰教师师德画像,规范教师师德评价。教师师德评价的数据来源主要有两个方面:①国家各公共平台的政务数据。例如,评价者可借助“全国教师管理信息系统”(网址:http://jiaoshi.gsedu.cn/),快速了解教师是否存在师德失范行为;可通过“全国信用信息公共服务平台”(网址:http://www.credit-gov.com/),根据姓名和身份证号码查询教师是否存在失信情况;可通过“中国执行信息公开网”(网址:http://zxgk.court.gov.cn/),查询教师是否为被执行人。②学校各部门的教育数据。例如,评价者可从教务处、后勤处、财务处和学工部获取教师的基本信息、考勤、评价与教学等数据,了解教师的生活、教学与科研情况;可从图书馆、组织部、团委获取学习强国数据、借阅数据、开展或参加活动数据、参与思想文化活动相关的数据,预测教师意识形态领域的关注点。此外,由于根据社交媒体与在线文本数据可评估人格与心理状态[26],评价者还可从信息办、网信办获取教师舆情数据与部分社交媒体信息,来展开对教师的心理测评。总之,在各类数据的支持下,教师的师德评价将更为规范。
教学评价是教师评价的重要组成部分,但传统的教学评价受评价标准、评价方式的限制,其评价结果的信效度存在争议。借助数智融合的优势,通过评估学生对所学内容的理解程度、课堂表现等,反馈教师的教学状态、教学效果,可以支持教师的课堂管理决策。在教学过程管理方面,可采用语言分析系统,根据教师近场语音分析教学过程[27],通过“雨课堂”“云班课”等智能系统反馈教师的教学信息。在教学过程评价方面,可以结合面部识别、动作识别、语音识别等技术,依托课堂实时表情分析系统、课堂行为分析系统、课堂语音录制等工具[28],利用智能技术观测动作、情绪指标,构建多维数据指标模型[29],创新评价手段。例如,罗玉萍等[30]根据烟台大学的评价数据,采用语义分析技术整合学生评价留言,综合评价了教师的教学效果。2020年,华南师范大学与中讯邮电咨询设计院联合推出教师能力AI测评系统[31],并在贵州省毕节市大方天河实验学校成功试用。该系统通过“AI+教师能力发展实验室”、教师能力测评指标体系、教师能力AI测评云平台,对教师的课堂教学能力进行了测评。在智能技术的支持下,教师评价实现了评价的精准化,为教师的专业发展提供了助力。
高校承担着重要的科研任务,而科研评价对激发教师队伍的学术创造力与社会贡献水平有重要作用,也影响着教师的科研热情。大数据、人工智能等技术的发展,可支持开展更加复杂、多维的评价活动,从而更好地助力高校科研评价改革。针对前文科研评价中提到的难题,可从以下方面入手:①借助文本挖掘技术,完善Altmetrics评价方法。分析者利用海量、非结构化的文本数据,探知评论者的兴趣之所在,了解引用者、转发者是否对论文有一定理解,判断其评论、引用行为是否有意义,降低因选取主题热度而导致的数据差异。②利用数据挖掘技术,促使论文评价走向科研评价。评价者可密切跟踪论文数据,关注科研论文的社会影响力,将简单的反映学术影响力的论文指标转变为展现社会影响力的数据。从教师发展的角度来看,科学研究类型多样,不同研究成果研究时长不一,这就需要采集项目类型、过程数据、主持者等多元科研数据,并在此基础上利用人工智能技术构建不同的科研成果评价模型,以重新定义个人科研成果的价值与质量。
评价的基本要素有评价对象、评价者和评价工具。为保障高校教师评价改革的顺利实施,本研究从评价基本要素所衍生的评价人员、评价标准、评价数据、评价过程等方面,提出数智融合驱动高效教师评价改革的关键路径。
评价人员作为教师评价改革的实施者,其数智融合能力高低影响着评价结果的客观性、全面性。在数智融合驱动的高校教师评价改革中,评价人员不仅要树立新时代教师评价理念,还要具备数字素养与技能,以熟练利用智能技术挖掘数据在教师评价方面的价值:①评价理念方面,评价人员要充分考虑教书育人因素,充分理解技术在评价中的作用,采取多种评价方式从师德师风、教学实绩、科研成果等多个维度展开综合评价;②数字素养与技能方面,评价人员作为教师评价改革的执行者,不仅要有敏锐的数据素养,还要有熟练使用智能技术解决评价问题的能力。基于此,评价人员有必要参加数智融合能力方面的培训,了解数智融合在教师评价中的变革力、提升数字素养与智能技术的综合应用能力,尽快成长为新时代高校评价人员。
高校教师无论是学习背景、所教专业、研究方向,还是教龄、教学风格等均有所不同。因此,建立不同类型教师的评价标准,是发展分类评价、突出特色、保证评价公平的关键。而消除建立不同评价标准的主观性、提高新标准的普适性,就需要充分考虑学科、教龄等方面的差异。为此,学校及各省市教育部门要充分利用大数据技术,搭建全国数据网络,并加快建立分级数据平台,以实现数据的融通共享,从而便于评价人员快捷地获取不同类型教师的数据。为了确保数据能够在各部门、各技术之间顺畅流转,除了要在技术方面加大数据安全保障,还要在数据流转过程中秉承“一数一源,一源多用,一库管理、互认共享”理念,坚持“严密保护、逐层开放、有序共享”原则,强调数据分层开放,既有分权限调用,也有适度公开,切实做到联通多源数据,并安全、有序使用数据。
为推进国家教育信息化工作,教育部于2017年首次完成各学段教师的“大数据”采集。对采集的数据进行归类分析后发现:结构化数据较多,非结构化数据较少,易影响后续的数据分析结果,加大挖掘隐含信息的难度,降低发现问题的几率。对此,需利用智能技术推进教师大数据建设,具体可从以下方面入手:①加强数据采集。一方面推动形成涵盖教师个人、学院、学校、区域教育部门、国家教育部的层级数据收集体系,另一方面利用物联网技术实时采集教师的个人行为数据,丰富数据采集类型。②深入数据挖掘。利用大数据技术处理各管理信息系统收集的各类数据,挖掘数据所隐含的信息。③协同数据运行。从数据采集到应用的纵向分析,需要明确数据流转中各部门的任务及获取、使用数据的权限。而从数据的来源与去向分析,需要考虑个人、学校、社会中数据的流通渠道,多方面保障数据的安全、有序流通。
保障数智融合驱动高校教师评价改革的落地实施,需长时间追踪学生成长、留心教师发展、关注学校评价工作进展,为评价改革提供事实依据,以及时调整评价改革的方向与进程。追踪评价过程及其效果需要依赖数据的流转,丰富的数据有助于加深评价者对教师的了解,而足够智能的数据处理方式与使用规则可加速其对信息的提取。在数据采集方面,可适度联通校外数据,获取公开或授权的政务数据、社会数据,并打通校内数据壁垒,实现校内数据共享;后续可以利用物联网、5G等智能技术,获取更为详细、实时、动态的数据。在数据使用方面,可使用强大的数据处理技术,对采集的大规模结构化数据和非结构化数据进行处理;后续可以利用人工智能技术探索数据与行为、能力之间的关系。需注意的是,在数据流转过程中,要加大对数据传输、存储的监管力度,确保数据安全。
在数智融合背景下,利用智能技术呈现数据价值,驱动高校教师评价改革,既能提高评价的客观性,也能为教师专业发展提供方向。但是,技术在不断发展,数据在不断积累,高校教师评价涉及的各类因素繁多,数智融合驱动高校教师评价改革还需继续深入探索。因此,有必要提升相关理念与能力,完善相关制度与机制,以进一步促进数智融合驱动高校教师评价改革的落地与落实。
[1]教育部.中共中央国务院印发《深化新时代教育评价改革总体方案》[OL].
[2]王亚萍.大数据视角下高校教师岗位胜任力的评价体系构建[J].中国高等教育,2018,(18):54-56.
[3]Guo J, Bai L, Yu Z, et al. An AI-application-oriented in-class teaching evaluation model by using statistical modeling and ensemble learning[OL].
[4]徐镇凯,温勇兵,魏博文,等.基于大数据多层变权云计算的高校工科教师授课质量综合评价[J].现代教育管理,2016,(9):93-96.
[5]糜海波.师德评价标准、方法和效益三个基本问题的理论思考[J].高等教育研究,2021,(10):73-78.
[6]程红艳,陈银河.超越纵容默许与重拳出击:师德失范行为治理的对策研究[J].中国教育学刊,2019,(2):64-69.
[7]王小梅,吴英策,黄晓,等.深化新时代高校教师职称评审改革:成绩、问题与省思[J].中国高教研究,2021,(6):72-77.
[8]申素平,王子渊.略论公立高校师德评价的法治化选择——兼评若干师德评价案例及有关争议[J].高等教育研究,2021,(5):35-43.
[9]糜海波.师德评价面临的矛盾、问题与出路[J].高教发展与评估,2017,(4):109-116、124.
[10]黄明东,陈越.协调与统一:高校教学与科研关系的再思考[J].中国高校科技,2016,(10):4-8.
[11]李森,郑岚.促进质量提升的课堂教学评价改革[J].课程·教材·教法,2019,(12):56-62.
[12]牟智佳,刘珊珊,陈明选.循证教学评价:数智化时代下高校教师教学评价的新取向[J].中国电化教育,2021,(9):104-111.
[13]宋艳辉,朱李,邱均平.“破五唯”背景下我国科研评价体系构建的几点思考[J].情报杂志,2022,(2):190-197.
[14]邱均平,柴雯,马力.大数据环境对科学评价的影响研究[J].情报学报,2017,(9):871-877.
[15]蒋玲,杨红艳.大数据时代人文社科成果评价变革探析[J].情报资料工作,2015,(3):92-97.
[16]万昊,谭宗颖,朱相丽.同行评议与文献计量在科研评价中的作用分析比较[J].图书情报工作,2017,(1):134-152.
[17]Priem J, Hemminger B H. Scientometrics 2.0: New metrics of scholarly impact on the social web[OL].
[18]杨思洛,聂颖.结合全文本分析的论文影响力评价模型研究[J].现代情报,2022,(3):133-146.
[19]祝智庭,胡姣.教育数字化转型的实践逻辑与发展机遇[J].电化教育研究,2022,(1):5-15.
[20]郑思思,陈卫东,徐铷忆,等.数智融合:数据驱动下教与学的演进与未来趋向——兼论图形化数据智能赋能教育的新形态[J].远程教育杂志,2020,(4):27-37.
[21]艾兴,张玉.从数字画像到数字孪生体:数智融合驱动下数字孪生学习者构建新探[J].远程教育杂志,2021,(1):41-50.
[22]张志华,王丽,季凯.大数据赋能新时代教育评价转型:技术逻辑、现实困境与实现路径[J].电化教育研究,2022,(5):33-39.
[23]王陆.教师在线实践社区COP的绩效评估方法与技术[J].中国电化教育,2012,(1):61-72.
[24]王陆,李瑶.课堂教学行为大数据透视下的教学现象探析[J].电化教育研究,2017,(4):77-85.
[25]吴丹英.共赢抑或俱损:教师教学评价困境的实证研究[J].中国考试,2022,(5):1-11.
[26]骆方,田雪涛,屠焯然,等.教育评价新趋向:智能化测评研究综述[J].现代远程教育研究,2021,(5):42-52.
[27]骆祖莹,赵琦琦,段福庆.基于教师近场语音的课堂教学过程自动分析[J].现代教育技术,2021,(8):76-84.
[28]吴立宝,曹雅楠,曹一鸣.人工智能赋能课堂教学评价改革与技术实现的框架构建[J].中国电化教育,2021,(5):94-101.
[29]炕留一,叶海智,张瑾,等.基于多维数据的课堂教学行为评价研究[J].现代教育技术,2022,(4):68-77.
[30]罗玉萍,潘庆先,刘丽娜,等.基于情感挖掘的学生评教系统设计及其应用[J].中国电化教育,2018,(4):91-95.
[31]华南师范大学教师教育学部.人工智能促发展,教育帮扶谱新篇[OL].
Research on the Reform of University Teachers’ Evaluation Driven by the Integration of Data and Intelligence
CAI Han-yan YANG Cheng[Corresponding Author]
The reform of teacher evaluation is an important factor to trigger the reform and innovative development in the field of education. Under the background of the integration of data and intelligence, the use of multiple technologies to intervene university teachers’ evaluation could effectively drive the reform of university teacher evaluation. Based on this, the paper firstly analyzed the problems faced in university teachers’ evaluation in terms of teacher ethics, teaching and scientific research, and put forward the concept of the reform of university teachers’ evaluation driven by the integration of data and intelligence. Then, from the perspectives of outcome evaluation, process evaluation and comprehensive evaluation, the paper expounded the internal logic of the reform of university teachers’ evaluation driven by the integration of data and intelligence, and designed the core content of the reform of university teachers’ evaluation driven by the integration of data and intelligence, which included teacher ethics evaluation, teaching evaluation and scientific research evaluation. Finally, this paper proposed a key path for the reform of university teachers’ evaluation driven by the integration of data and intelligence, in order to promote the implementation of the reform of university teacher evaluation driven by the integration of data and intelligence, and finally achieve more accurate and objective teacher evaluation.
the integration of data and intelligence; teacher evaluation;college teacher; intelligent technology; data flow
G40-057
A
1009—8097(2023)01—0091—08
10.3969/j.issn.1009-8097.2023.01.010
本文受2021年江苏省研究生科研与实践创新计划项目“基于学习者画像的在线学习预警模型构建研究”(项目编号:KYCX21_2505)资助。
蔡韩燕,在读硕士,研究方向为教育信息化,邮箱为2897509895@qq.com。
2022年5月2日
编辑:小米