智能学习评价研究：理念、挑战与前景

丁 念 亮

当前全球正在经历新一轮科技革命，人工智能技术已成为推动教育变革的重要力量。教育部于2018年发布《教育信息化2.0行动计划》，要求进一步推进人工智能教育的发展[1]，表明我国教育信息化已进入一个新的阶段。教育人工智能的理论探索、技术开发和生态构建将是当前和未来教育研究的重要任务。在学习评价研究领域，人工智能的介入正深刻改变着传统学习评价模式，但学习评价模式的智能化发展之路却充满了诸多挑战。

一、智能学习评价的内涵

人工智能是计算机系统的一种能力，它能够完成本质上具有人类特征的行为[2]。人工智能的概念源自Alan Turing的《计算机器与智能》，但其作为一个术语则是由麻省理工学院教授John McCarthy 等人首次提出[3]。这一术语本身具有较强的包容性，含有多个相互交叉重叠的概念，如预测分析、深度学习、机器学习、专家系统和社交机器人等。虽然人工智能是一个多维度概念，但其核心都是机器模仿人的一种或几种智力活动[4]。

在学习评价中的人工智能可以包含上述一个或多个技术概念，这与学习评价的内涵密切相关。学习评价一般理解为对学生学习成效的评价，其内涵在历史上也经历了若干变化，至今仍有不同的理解。Harlen将“对学习的评价(assessment of learning)”和“为学习的评价(assessment for learning)”做了区分，认为两者的差异归于其各自不同的评价目的[5]。“对学习的评价”目的是终结性的，意在提供可靠的学生学业成绩报告，评价过程是线性的；而“为学习的评价”本质上是形成性的、不断重复的循环过程，目的是从持续的学习活动中提取数据、形成反馈信息并指导学生下一步的学习。与上述两种理解不同，Dann提出了“评价即学习(assessment as learning)”的概念[6]。这种学评融合的评价理念使学生全程置于评价之中，使教、学、评三者融为一体，评价不再是教和学的附属品，而是与教和学一起构成的相互关联和渗透的统一体。学评融合模式的优势是能够对学习进行及时反馈和连续反馈，但限于传统评价手段高昂的时间成本，这种评价模式似乎只是一种现实中难以实现的评价理想。当大数据、人工智能和区块链技术日趋成熟并逐渐渗透到教育领域时，学评融合的评价模式也迎来了新的发展契机。

人工智能等信息技术与学评融合理念的结合可以实现学习与评价的同步。在过去的一二十年中，人工智能技术已经在学习评价中得到越来越广泛的应用，如智能作文评分系统和智能教学系统等。智能学习评价利用人工智能技术对学习过程大数据进行分析并提供实时反馈。学习过程中产生的大量与学习相关的数字化信息被准确完整地记录下来用于学习评价。这些数据既包括鼠标点击次数和键盘操作情况，也涵盖学习任务完成进度及正确率等信息。除此之外，通过精密传感仪器甚至可以获得学生的心率、微表情等所有个人活动信息数据。这些学习过程数据由系统预置的评价模型自动分析并生成实时反馈信息，指导进一步学习。理论上，智能学习评价能完全贯彻学评融合的评价思想，彻底改变传统评价体系下无法连续评价和及时评价的尴尬局面。

二、发展智能学习评价的意义

智能学习系统从早期的智能专家系统逐渐向自适应和智适应学习系统过渡，不仅自动提供学科知识，对学习行为进行诊断评价[7]，还可以凭借大数据和人工智能技术使其拥有媲美特级教师的教学能力[8]。通过基于大数据的量化自我学习算法，智能学习系统全面记录学生学习行为，评估预设学习内容是否掌握，最终实现学习评价的动态性、全程性和综合性[9]。信息化时代背景下，智能学习评价的内在价值决定了其存在和发展的合理性。

(一)评价目标的个性化

人工智能技术支持下的学习评价可以快速实现评价目标的个性化。依托智能学习系统，设计者利用人工智能技术对学习大数据进行分析，可以得到学生学习行为的预测信息，进而形成基于学习内容的个性化评价目标。在完成学习内容后，系统可对目标达成情况向学生和教师进行反馈，推送新的学习内容，形成新的评价目标，如此周而复始，引导每个学生完成预定的学习内容。由于学生学习能力存在个体差异，学生的评价目标和学习进度是不一样的。这与传统学校教育中的评价体制相异，因而目前无法将人工智能学习系统大规模应用到学校教学中，只能较多满足自主学习者的需要。

(二)评价过程的持续性

传统的纸笔评价方式只能进行数据抽样或阶段性测评，获取学习数据，完成评价和反馈。这种评价方式的不足在于评价过程的中断。学习评价的理想状态就是无间断的全程评价。但全程评价方式会产生巨量数据，传统数据分析手段无法快速处理，当然也无法进行全程记录、分析和评价。人工智能技术可以全程记录学习行为数据，并依据评价模型实现即时性全程性评价。除了学习行为之外，学生的心理状态、运动情况、休息情况等都可以通过智能便携设备进行全程记录和分析评价。

(三)评价效果的精确性

学习评价系统能够准确客观地诊断学习表现，帮助师生把握课程目标和教学策略[10]。学习过程大数据是学习行为的数字化体现，排除了人工打分的个人偏好、随意和误差等不利因素。数据记录精确即时，在评价模型成熟可靠的前提下，评价效果必然是客观和精确的。因此，开发出可靠的评价模型是评价效果的重要保障。但评价模型的开发并非易事，需要融合先进的信息技术和科学的评价理念，经过专业人员通力合作反复测试才能完成。

(四)评价内容的整体性

纸笔评价方式常以阶段性评价为主，评价内容围绕本阶段的学习表现，可以包括单元测试、课堂表现、作业成绩等主要学习行为。但除此以外的学生素质评价则较为主观和模糊，缺乏客观精确的统计数据作为依据。造成这种困难的原因在于缺少一种可以容纳全部可测项目的评价工具，仅依靠传统人力无法完成如此庞大的数据处理工作。人工智能技术的介入使学生综合素质评价成为可能。综合素质可以进行测评项目分解，并向人工智能评价系统无限添加，对数据进行自动记录、分析和汇总，最终得出评价结果和反馈建议。

三、智能学习评价的挑战

(一)评价主体单一化

智能评价系统往往与智能学习系统整合，成为智能学习系统的一部分，传统评价中的教师评价、学生自评和互评部分被人工智能取代，智能评价系统扮演了教师和学生在传统评价过程中的角色。原本由教育者和受教育者共同完成的教学评价活动，仅由人工智能便可完成[11]，原有的评价参与者被排除在外。通过所谓的算法“黑匣子”，基于深度学习的人工智能所构建的评价系统超出了人类监控能力，导致无法对智能评价系统的准确性、客观性和公正性做出科学评判。人类有可能从最初的系统设计者，转变为学习评价的旁观者；而人工智能评价系统则可能成为教育的隐形操控者。学习评价活动成为智能评价系统独立掌控的垄断事务，普通教师对学生的评价和学生的自评互评，因为过于“主观”或者过于繁琐而无奈让位于高效的智能评价。但智能评价系统的设计往往无法完全反映教育目标，如同情心、正义感、批判性思维能力等素质指标。这种狭隘的智能评价系统一旦取代人类成为学习的评价者，教育将面临被异化的风险。

(二)教师职能逐渐弱化

智能学习系统往往内置评价系统，在评价系统研发和测试阶段往往需要教师的参与，把符合时代要求的评价思想融入评价模型，由信息技术专家将教学评价思想转化为一串串代码，最终实现学生学习行为的智能化评价。由此带来的一个重要转变就是教师职能的弱化。正常使用的智能评价系统已经具备了全自动的评价流程，不需要教师的介入，教师失去话语权，师生关系可能会逐渐淡化。虽然人机交互的自主学习模式已逐渐成为学校教育的重要辅助力量，但人工智能技术目前还不能完全模拟教师在教育中的情感职能。师生之间和生生之间融洽的人际关系对学生未来成长至关重要，去教师化的智能评价系统很难实现如人类之间的直接情感交流，由此可能导致学生的情感缺失和性格障碍，不利于学生的人际交往能力发展[12]。

(三)综合素质难以测评

新时期我国陆续发布的重大教育政策已经明确了综合素质的重要性。国家近几年大力推进的新高考改革方案加强了对学生核心价值和综合能力的考核，并将综合素质评价作为高考录取的重要参考。2020年10月，中共中央、国务院印发了《深化新时代教育评价改革总体方案》，要求“改革学生评价，促进德智体美劳全面发展”[13]，探索通过信息化等手段记录学生品行等日常表现，并纳入学生综合素质评价。这些都表明综合素质评价日益凸显的重要性和创新评价手段的紧迫性。但目前的评价手段多为主观评价，难以保证综合素质评价结果的客观性和准确性。同时，利用过程数据进行的综合素质评价也面临挑战。首先，人们对综合素质的理解和界定存在一定的差异，对学习者的技能、信念、毅力、情感、态度等特质尚缺乏清晰的界定和明确的维度，因而难以准确测量和评估。其次，在综合素质评价建模过程中，存在大量无标注数据。缺乏语义标签的数据很难用于模型的构建、训练和完善[14]。造成这一困难的原因在于相关实证研究的不足。墨尔本大学教育学院评价研究中心的桑德拉等认为，缺乏有效的实证研究数据，就无法定义学习过程中学生的各项素质，难以实现学习评价的效度、效用和解释力[15]。可见，对学习过程要素进行明确的定义是构建测量模型的关键步骤，而要对学习过程所涉及要素进行确切定义，只能依靠大量的实证研究。

(四) 隐私伦理遭遇挑战

传统的学习评价目标较为单一，数据采集方式也较为简单，评价内容主要涉及课程学习本身，较少大规模采集学生的行为、情感或其他个人信息。因此，在传统评价体系中，学生个人隐私泄露风险和潜在危害较小。但随着人工智能技术的介入，学生行为数据的实时采集成为现实。学生的日常学习行为，包括学习平台登录次数、使用资源情况、在线学习时长、作业提交情况等都被记录在案。通过摄像头和智能便携设备，学生的地理位置、社交偏好、表情变化、运动和睡眠时长等私密性数据也可以实时记录和查询。在符合伦理并遵守法律的前提下合理使用这些数据，可以极大地提高学习评价的准确性和客观性，甚至可以帮助教师描绘出学生学习的数字全景图，为客观评价提供可靠的数据支持。但学生隐私数据实时采集往往伴随着伦理和法律风险。人工智能技术使学生可以被当作实验对象时时处处暴露在放大镜下等待评判，这种评价系统忽略了学生作为人的基本权利，违背了教育评价的本意。没有约束的智能评价系统极有可能沦为“课堂间谍”[16]，对学生的个人隐私构成极大威胁。许多智能系统基于云端建设，更增加了隐私数据滥用的潜在风险。

(五)开发建设成本高昂

传统的学习评价方式以终结性评价为主，简单易行，成本较低。即使采用形成性评价，教师也只是把评价过程粗略划分为几个大的类别，数据采集量不大，对数据处理能力要求不高。因此，传统评价方式投入的人工和经济成本相对较低。与之相反，智能评价系统开发费用较高，且管理运行也需要较高的技术要求和成本投入。构建大规模智能评价系统的成本难以准确估算，但通过其他大型人工智能项目动辄数亿美元的巨大投入来看，构建和维护一个智能学习评价系统的费用也会相当高昂[2]。桑德拉等指出，构建学习评价系统的测量模型成本较高，不仅耗时费力而且需要技术和设备支持，小规模应用时经济性也很差[15]。同时，学习行为数据采集需要硬件设施的支持才能实现。传统学校平台的数据采集功能十分有限，无法收集到学生平台之外的学习信息。智能便携设备尽管可以满足这一要求，但人人佩戴目前尚不现实。

四、智能学习评价的前景

(一) 智能评价与人工评价互为补充

智能评价系统应该体现正确的教育价值判断，否则人工智能技术不仅无助于学习评价，反而会造成严重误导。在现有的智能评价系统尚不能对学生情感和综合素质等方面做出整体评价的情况下，人工评价仍不可缺席。智能评价和人工评价应该形成互补关系，共同服务于学习评价。教师不能一味地将自己的评价者角色让位于日渐强大的人工智能，也不可完全否定人工智能在重复性技能型工作方面的客观性和专业性。学习评价不仅仅是对学习成绩和行为数据的统计和比较，还应涵盖复杂的思维活动和细腻的情感活动。目前即使最先进的人工智能系统也无法完全模拟和评价人类的情绪、意志和语言表达。人类评价者的参与可以关照学生的情商和语商等多个评价维度[14]，防止评价维度单一而导致的片面性。同时，学习者不论是作为独立的学习个体还是相互联系的集体成员，学习评价都应该包含学习者本人的自我评价和同伴互评，而不应当使学习评价成为智能学习系统的垄断行为。

(二)评价模型体现教育价值导向

科学的评价模型是有效实施学习评价的关键一环，也是目前大数据时代亟待攻克的难题。学界应当加强与商界的合作，开发大规模适用的智能学习评价系统。因为大数据本身并不能自动呈现教育的真相，应当把大数据变成可理解的小数据，才能对学习状况进行科学测量和评价，进而提供合理反馈，提高学习质量。这需要本学科教师、评价研究者、人工智能和大数据工程师的有效协作和努力。因此在一定意义上，科学的评价模型是智能化学习评价的核心与关键[17]。当把学习测量和学习评价分开看待时，它们的再次结合就变得不那么自然而然，而是需要使预先建构的测量模型与评价内容相适应，即测量模型须涵盖评价内容且体现评价者的价值判断。这就要求评价者明确学习评价的价值导向，在构建测量模型时确定“影响学习评价质量的关键性假设，并对其逐一检验”[15]。

(三)制度规约解决隐私和管理问题

学习评价系统中的数据采集内容能够包括学生全部学习行为。可穿戴设备、人脸识别、智慧校园监控等大量数据采集设备的应用使学生时时刻刻都处在“第三只眼”的注视之下，毫无隐私可言。所收集到的数据如何管理一直是严肃的伦理问题。人工智能在教育应用中的伦理风险主要在于设计开发和实践应用两个环节[11]。学习评价系统的设计人员在开发之初除了要有明确的教育价值理念指导之外，还要有严格的伦理规范作为约束。因此，制定符合社会伦理和技术伦理的制度规约是对学生学习行为数据进行管理、使用和保护的制度保障。在有效的伦理框架下开展学习行为评价，才能最大限度地保障学生权利，促进学生健康发展。在具体评价过程中，评价者能否遵守评价伦理制度需要由政策和法规加以强制约束。评价行为必须在法规框架内进行，违反伦理法规，侵犯、泄露、传播学生隐私的行为应受到法律制裁。学生提出质疑或对隐私有争议时，应该首先暂停数据采集，在获得学生或家长同意之后，才能继续使用。学生、家长和学校共同拥有学习数据的所有权和使用权。只有制定完整的隐私和伦理制度的具体规约，智能学习评价才能在更大规模上健康发展。

(四)政府决策推动人工智能评价落实

在我国现行的教育体制下，由政府推动的自上而下的评价模式改革更容易取得成效。除了加大研发和推广的投入以外，政府应顺应智能时代的发展趋势，继续强化政策导向，具体落实教育评价改革。事实上，我国已经发布了若干政策文件，大力推动人工智能学习评价的落实。其中，2020年发布的《深化新时代教育评价改革总体方案》就指明了落实教育评价改革的创新路径，强调充分利用“人工智能、大数据等现代信息技术，探索开展学生各年级学习情况全过程纵向评价、德智体美劳全要素横向评价”，“提高教育评价的科学性、专业性、客观性”[13]。以此为导向，教育主管部门可结合人工智能、大数据和区块链技术尝试建立区域性乃至全国性的权威智能评价系统，向所有学校开放，统一管理。这样可以降低小规模开发和应用造成的重复建设和资源浪费；也可以避免由于学校之间数据格式和评价标准的不统一，而无法横向比较的弊端。

综上所述，智能学习评价是新时期教育评价改革的重要组成部分，是智能时代 “识才”“育才”“选才”的重要手段。智能学习评价系统构建过程中，探索智能评价建模方法和关键技术、正确处理智能评价和人工评价的关系、制定保护隐私合乎伦理的政策法规、注重顶层设计和基层建设的结合，既是实现智能学习评价的保证，也是教育改革的要求。