从全程在线评审实践思考教育评估数字化*

刘苹苹，冯修猛，陈佳妮，范笑妤

（1.上海市教育评估院，2.上海市教育评估院高等教育评估所，上海 200031）

2020年，党中央、国务院印发了《深化新时代教育评价改革总体方案》，强调要充分利用信息技术，提高教育评价的科学性、专业性、客观性。《教育部2022年工作要点》中明确，要实施教育数字化战略行动，加快推进教育的数字转型和智能升级。上海是全国教育综合改革试点区域，也是教育数字化转型的试点区，2021年上海市教育委员会印发了《上海市教育数字化转型实施方案（2021-2023）》，在提出的八项主要任务中，明确要 “推进教育评估数字化，开展数据驱动的教育综合评价” 。

上述文件中提及 “数字化” 和 “数字转型” ，作者理解此处的 “转型” 就是向 “化” 而行。毛泽东在《反对党八股》一文中，对 “化” 有精辟的解释： “‘化’者，彻头彻尾、彻里彻外之谓也。” 这是说 “化” 有全部和完整的要求。从 “化” 的角度讲，教育评估数字化是教育数字化的必然组成，而评估本身就是对价值的判断，具有更多的数字特征，因此从评估的特性看，教育评估数字化是教育数字化的非常重要的部分。本文结合上海市教育评估院在2022年举办的一次线上评审活动，谈谈关于教育评估数字化的一些思考。

一、全程在线评审的探索实践

2022年上半年，上海面临新冠肺炎疫情的新挑战，防控要求倒逼教育领域加快数字化转型的步伐：上海所有的中小学都实行线上教育，所有的高校都开展了网上授课、网上讨论、网上作业、网上考试，数字化的进程一下子被加速。［1-2］教育没有因疫情而停顿下来，教育评估就必定要继续正常地开展，于是，教育评估的线上组织也就迫在眉睫了。

以往数字技术主要用在对学生学习情况的统计与分析，［3-4］严格地说，这只是数理统计的电算化，与数字转型的要求尚有较大差距。文献［5］讨论教育评估数字化改革的困境，指出转型需要在数据记录和统计的基础上，进一步深入开展数据挖掘和数据分析，构建学生的发展性指标。如何将数字技术与教育评价广泛结合是一个亟待研究的课题。上海市教育评估院2022年上半年举行的高校学士学位授权评审是一次全程在线实施的评估活动，虽然涉及的数字技术和网络技术都非常粗浅，但毕竟是一次破冰之旅。

1.在线评审过程中对信息技术的应用

高校学士学位授权评审是一项年度常规性评审项目。2022年4月起，因疫情的变化，城内交通管控，地区分隔管理，上海高校实行封闭管理，无法采用常规的评审方式。上海市教育评估院在市学位办的具体指导下，筹划全程开展在线评审工作。这不仅是一次评审流程的新设计、信息技术在教育评估中综合应用的新尝试；更是对数字技术如何在教育评估中应用的新思考，是对现代技术用于教育评估的一次新考验。

回顾评审全程，可以从以下几个阶段看到教育评估对信息技术的探索和应用。

评审准备阶段，需要视频技术场景应用的策划设计。此次评审利用视频技术克服了时空带来的不便，尤其是疫情封控管理造成的物理距离，提高了 “管办评” 三方在线协商和沟通的效率。此次评审，由 “管” 方市教委、 “办” 方高校和 “评” 方教育评估机构三方共商制定评估方案，对线上评估的各个流程和环节都进行了详细周密的设计，尤其是视频技术的应用，确保了评审工作的顺利开展。比如评审专家的培训环节就是通过视频会议在线完成，评估院提供工作手册并讲解评估要求，专家明确职责并讨论分工。但由于专家不能线下面对面、不能现场接触交流，实际效果会受到一定的影响。再如，专家进校实地考察是评审的重要内容，当因疫情进校受限，实地考察全程转为在线开展是一次挑战。

评审实施阶段，需要搭建系统的信息平台作为支撑。此次评审加强了数字化系列平台建设，包括搭建在线会议平台，如前期线上举行的专家预备会、正式评审会议、专家分组会议等；搭建在线访谈平台，如对学校各职能部门调研、师生座谈、领导访谈等；搭建在线审读平台，将学校《自评报告》和数据等支撑材料上传至平台，专家在线上审读被评审学校提供的自评材料、办学资料、学生学习情况等材料，平台还开设了讨论与文件上传的功能，便于专家间的交流和撰写初步评审意见；优化学校课程平台，因高校普遍应用视频会议系统授课，专家很方便在线进入空中课堂开展听课看课等活动。此次评审不仅扩大了专家听课的范围，也进一步优化了专家在线选择听课的方案；此次评审也促进了外部评估与学校内部数据平台的对接，依靠被评高校内部教育质量保障信息系统，加强网络统计和数字技术手段的应用，获得了学校师资资源和办学条件等各方面更客观全面的信息资料，提高了评估的便利性和客观性。

实地考察与线上评审同为评估的两个环节，相互补充，相辅相成。线上评审是实地考察的基础，实地考察是线上评审的补充与深化。专家在线上评审的基础上，进一步对存疑的问题通过实时视频的办法做重点求证，以形成对学校本科教育教学工作全面、客观、准确、公平、公正的评价。具体内容包括考察学校图书馆、体育馆等公共设施，实训实验场所等教学条件的情况，现场听课看课、现场查阅档案资料以及试卷、论文等。

全程线上评估的突出难点在于线上开展实地考察。要充分考虑和设计好实施路径，确保做到与线下实地考察实质等效。评估机构和学校充分应用视频技术，对实现可视化等方面进行了设计和准备，以便线上实时考察中做到与专家即时有效沟通。例如对设施类考察，通过实况直播和录像结合的方式开展；对于资料类考察，通过提前扫描与现场实况阅读结合的方式灵活开展，实现了创新突破；而对于听课看课则使用学校的空中课堂等加以实现。

评审总结和反馈阶段体现了信息技术的综合应用。此次评审进一步完善了总结和反馈体系的信息化功能，拓展了信息技术在评估中的应用。通过线上收集和汇总专家对于学校该项目的评审意见和建议，通过信息化手段对专家给出的评估意见做出整理和分类，通过整合教育评估信息资源，获得评审专家对学校运行的诊断分析，以及帮助学校发展的意见建议，实现即时和相对精准的反馈，促进学校全面提高整改质量，真正达到以评促建、以评促强的目的。比如，视频会议技术提供视频与音频的同步，这给评估过程的复现提供了极大的便利。传统上专家的评价意见和建议是通过人工记录来复原的，人工记录速度慢且难免会有遗漏和差错，还存在融入记录人的主观认识而对专家观点与意见进行取舍的风险，可能导致人工记录的评审专家意见客观上存在一定偏差。依托信息手段、综合 “评” 方音频与视频信息，能够确保反馈给 “办” 方的专家意见的精准度，促进学校依据专家建议落实整改闭环；同时也确保提供给 “管” 方的政策建议的可信度。这种信息技术具有的优势是原先技术不能实现的，充分体现了数字技术对教育评估的促进作用。

2.在线评审过程中对数字技术的思考

此次评审全程采用在线方式开展，客观上看是因为受到疫情防控举措的影响，但从更深层次上看，是 “管办评” 三方主观上积极响应新时代教育数字化转型大背景下而开展的一次实践探索，评估机构组织的全程在线评估模式得到了上级主管部门、被评高校以及评审专家的高度认可。随着信息技术、数字技术的快速发展，这些先进技术将赋能教育评估，在线评审质量将得到更全面的保障。同时，本次评审项目中对教育评估信息化的实践，以及对数字化的思考探索，也将倒逼被评学校不断推进教育数字化转型，只有加强数字技术综合应用，才能与教育评估数字化转型无缝对接。

通过这次线上评审，作者在数字技术应用方面有一些进一步的思考。

（1）对技术应用需要扬长避短

此次评审活动虽然是全程线上开展，应用了视频会议系统（这次主要是腾讯会议），但还达不到真正意义上的评估数字化。视频会议系统的长处在于它应用了数字技术，在通信和存储上有极大便利性，大大提高了组织会议的效率。该系统可以将音频与视频同步记录，会议组织人员、记录人员、评估利益相关方都可以多次针对性地反复回看，深入研究评估过程的资料。

视频会议是在与会者隔离状态下进行的，因此会一定程度影响到情绪、信息、态度的交互，对于需要现场互动的环节，其评估效果会受到影响，如果条件可能，对于这些场合可能需要其他技术支撑。

（2）对技术应用需要系统考虑

本次高校学士学位授权评审采用的数据是学校提供的数据，在教育评估数字化转型背景下，未来应该更充分发掘网络资源，应用大数据技术使得教育评价更客观和科学。

当前，制作大学排行榜的机构基本不是靠参评高校提供的材料完成评审的，而是网上收集资料后进行数据整理和分析完成的。我们也可借鉴排行榜机构的一些做法，依靠被评院校的内部教育质量保障信息系统和网络爬取手段，为专家提供学校的师资资源、办学条件等各方面更全面的资料。

最后，评估工作人员要非常熟悉线上评审各个环节的操作。由于评估人员信息技术使用能力不足，对计算机技能的熟悉程度参差不齐，因此，加强人员培训是必要的，要做到不仅能熟练操作，而且能够及时地解决专家或其他用户在系统操作上出现的问题，这是迈向教育评估数字化的基础能力之一，需要花大力气抓紧抓好。

二、关于进一步推进教育评估数字化的思考

推进教育评估数字化需要教育界 “管办评” 三方的共同努力。新时代教育评价改革的大背景下，教育评估除了需要 “管” 方的支持、办学方的配合，还需要 “评” 方具有改革的眼光、探索的思路和不懈的努力。本节从评估机构的视角提出进一步推进教育评估数字化的思考。

1.树立教育评估数字化理念

在人类发展的历史中，生产力是最活跃的因素， “科学技术是第一生产力” 。《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》将 “数据” 列为与土地、劳动力、资本、技术并列的第五大生产要素。21世纪是网络的时代，数字化技术是最活跃的生产力，给社会发展注入了爆发性能量。在21世纪20年代初，我国教育界提出向数字化进军的号召是顺应社会生产力发展、推动教育改革的重要举措，尤其是上海市教育委员会提出的 “推进教育评估数字化” 更具卓识远见。

对评估机构来说，使用传统方法开展常规性评估活动应该是轻车熟路、得心应手，而实施改革、采用新的评估流程和方法必定需要探索，有时还会存在风险、增加评估的成本，因此在引进新技术、采纳新方法之前，评估机构内部要加强学习和贯彻落实教育评估数字化转型这一重要理念。在战略部署层面，评估机构需要从社会发展观的角度看待教育评估数字化转型，推进教育评估数字化是时代赋予的责任，要有担当与创新精神，以数字技术赋能教育评估，不断提升教育评估质量；在战术执行层面，评估机构要深刻认识推进教育评估数字化的重要意义，要从创新评估技术和提升评估能级的角度，主动学习、积极开拓、总结经验、摸索规律，掌握新技术，创建新模式。总之，评估机构全体要凝聚共识、协同创新，将教育评估数字化转型理念贯彻落实到评估实践中去，共同推动教育的高质量发展，全面落实立德树人根本任务。

2.开拓教育评估数字化平台

企业推进数字化的经验表明，资源上的短板是推进过程中的主要障碍。［6］对于专业的教育评估机构而言，资源上的短板可能主要体现在技术力量的不足：技术人员的不足与技术平台的不足。当前从事教育评估工作的人员，鲜有同时熟练掌握信息技术的专业人员，这种现状短时间内难以得到改善。可行的方法是除了在评估机构内部加强培训，还可以借助 “外脑” 。当前社会上网络服务已经成为一个行业，提升网络服务的质量也是一个热门的话题，［7］因此无论是人员的培训还是技术平台的开发，都可以借助专业网络服务机构来完成。

平台是为了方便操作而专门设置的一个智能终端使用环境，它具有使用专门性和便利性。目前大多数的教育评估机构已经建立了较多相对成型的评审、评估系统，有的已经整合成平台。例如，设置了年检、学位论文抽查等平台，但这些平台目前主要还是上传文件、存储文件和检索文件，无法实现数据分析与统计功能。在一场教育评估活动中，除了可申请使用的视频会议系统平台之外，还需要专家交流平台、教育教学状态数据库、教师及在校生和毕业生调查平台、有关学校的公开信息采集平台等。从数据治理视角看，国家、省域和本地的有关数据平台能够协同建设、协同管理和协同使用，具备基本的兼容与互校功能，能够进行衔接和互访，从而能够生成有关学校、二级学院、学科和专业等教学单位和研究机构的数据监测分析报告。通常来说，评估机构可以根据评估项目的实际目标和项目特点，与网络服务商共同完成平台的设计和建设，委托其运作和维护各类教育评估数字化平台。

3.提升教育评估数字化服务

判断是不是新生事物并不在于诞生时间的先后，而看是否有强大的生命力和远大的前途。［8］数字化和信息技术之所以被称为新生事物，是因为它与传统技术比有无可替代的应用便利和成果创新。数字化与教育评价相结合给评估工作带来了便利，但是它的成功一定要体现在教育评估的效用上。

有效用的前提是评价的客观与公正性。现代数字技术可以充分利用网络资源，当下做大学排行榜的机构几乎不需要大学提供材料和信息，从QS六大排行榜的指标数值来源可以非常明白地看到这一点，它们给指标赋值的主要依据是社会信息和自身开展的网络调查。这种来自社会面的信息相对具有更高的可信度。［9］教育评价活动也可以学习大学排行榜的一些做法，可以尝试通过购买服务的形式获得学校的各类数据资料，也可以利用调查平台开展社会调查，例如毕业生对学校的评价、用人单位的反馈等等，调查结果可直接作为教育评估的参考资料。这种做法可以逐步代替由被评方提供全部资料的办法，有利于提高教育评估结论的客观性和公正性。同时，教育评估机构可以探索在公布评估结果的同时接受社会对这类数据信息的质询，增强评估的可信度。

在推行教育评估数字化的过程中，教育评估机构需要为评估专家，以及为评估委托方进一步提供技术支持，不断优化操作体验，这将对传统的操作方式提出更高要求，是服务的创新。操作体验包括评估活动前对评估软件和评估平台的应用培训，以及在评估过程中解决操作上的问题和困难。通常大多数专家对线上评估采用的视频会议系统、专家讨论平台、学校在线课堂，以及今后可能开发的数据分析处理平台的操作都不够熟悉，需要评估工作人员进行讲解说明或操作示范。在线评审过程中，常常会面临突发情况，还应该做好应急预案，确保在线评审得以顺利开展，因此评估工作人员需要非常熟悉各种相关硬件设施和软件操作，并知晓和参与平台的维护与更新，这些是在教育评估数字化转型背景下提升服务能级的基础。

4.数字技术赋能教育评估需要继承与创新

绝大多数的新事物都不是对传统的否定，而是在继承的基础上发展， “扬弃” 这个词很好地表达了新事物的特点。正如文献［10］所说的，一般认为教育评估理论经历了四代发展，但是 “并不是后一代对前一代的否定与替代，而是视评价任务选择使用和相互补充” 。同样，教育评估的数字技术也不是对当前被广泛使用的评估技术的否定，而是对传统的继承和创新发展，应该正确地选择使用。

数字技术赋能教育评估是对教育数字化转型这个时代主题的呼应。从2020年开始，线上教育活动已经经历了3-4个学期，近来讨论线上教育不足的文章呈增长趋势，［11-12］概括地说，由于缺少了班级这个集体环境和师生面对面交流的优势，线上教育表现出不少问题。例如，学生封闭在家，自律性差，缺少了相互启发，学习效果不理想；教师缺乏与学生的互动，不利于激发讲课热情和发现学生学习中的问题，而且教师普遍反映线上上课的工作量远远大于教室上课；从学校方面看，缺乏对教学质量监控与评价的能力与办法。

《上海市属普通高等学校本科教育教学审核评估实施方案（2021—2025年）》明确，新一轮审核评估采取线上与实地考察结合的方式，专家可通过线上审阅材料、线上访谈等对学校教育教学工作情况进行评估，通过全国普通高等学校本科教育教学评估系统，开展线上评审工作。上海市教育评估院全程开展在线评审的工作实践，以及在实践过程中对落实和推进教育评估数字化的深度思考为即将开展的上海高校新一轮审核评估奠定了思想基础和实践基础。这也提示我们应该科学应用评估技术。

在线教育出现的诸多问题，对于教育数字化转型来说是挑战，而教育评估数字化转型就需要将传统评估方法与数字技术有效结合，如何实现是对教育评估界智慧的一次考验。

《上海市教育数字化转型实施方案（2021-2023）》要求各单位以 “坚持整体性转变、全方位赋能、革命性重塑” 为指导制订工作方案。在上述项目中实施全程在线评审工作，这只是初步探索和尝试，在推进评估数字化进程中，未来将会遇到很多困难和瓶颈。我们相信，只要 “管办评” 各方坚持不懈、协同努力，就一定能够实现《方案》中所确立的目标： “将上海建设成全国教育数字化的标杆城市。”