物理空间中的智能学伴系统：感知数据驱动的学习分析技术

刘智 刘三(女 牙)等

编者按：在“人—技”协同进化的教育发展趋势下，物理空间中的学习支持服务将面临深刻变革。近年来，随着大数据与可穿戴技术的涌现，面向物理空间的学习分析技术已应运而生，其中一个研究趋势是利用传感器技术探察个体学习状态，并基于感知数据构建以学习者为中心的自适应与自主化学习环境。国际上，教育技术领域的相关专家学者已开始重点布局此项研究，致力于提供个性化学习反馈、推荐和干预等服务以创设移动式的智能学伴系统。如何获取学习者生理数据、合理利用这些数据、推测其学习状态（情绪、认知、注意力等）以及基于这些数据能为学习者提供哪些学习服务已成为研究者面临的现实问题。

基于传感器的自适应学习分析（Leaning Analytics for Sensor-based Adaptive Leaming，LISA）是由德国联邦教育与研究部资助的一个校企联合研发项目，旨在通过传感器感知个体在物理空间内的学习状态以支持自适应学习和提高学生学习体验，其核心是构建“移动学习同伴”以帮助学习者开展学习反思和协助教师实时监控。该项目的背景和意义是什么？智能学伴系统能感知哪些信息？提供哪些学习服务？如何评估其效果？未来的趋势和存在的问题是什么？带着这些问题，我们对该项目的主要负责人Niels Pinkwart教授进行专访。

Niels Pinkwart教授是教育技术领域的国际知名学者，目前担任德国柏林洪堡大学的（Humboldt University of Berlin）计算机科学研究院副主任，洪堡大学职业教育学院的“技术增强学习”（Technology Enhanced Leaming）研究中心和“计算机科学教育/计算机科学与社会”（Computer Science Education/Computer Science and Sociecy）实验室主任，德国计算机学会学习分析与e-learning工作组的联席主席。他的研究方向包括：学习分析、自适应学习技术、计算机支持的协作学习与多模态人机交互系统。他发表论文超过220篇，总引用次数已超过2360次，并一直担任《国际教育人工智能》（International joumal of Artificial Intelligence in Education，IJAIED）期刊编委、“智能导学系统”（Intemational Conference on Intelligent Tutoring Systems，ITS）、“IEEE先进学习技术”（IEEE InternationalConference on Advanced Learning Technologies，ICALT）、“学习分析与知识”（International Conference on Learning Analytics & Knowledge，LAK）等知名國际会议的程序委员会委员。

近年来，Pinkwart教授的团队专注于采用多学科（计算机科学、认知科学以及学习科学）交叉的方法开展学习系统设计与学生互动学习的实证研究，现已主持多项德国国家科学基金（DFG）、联邦教育与研究部（BMBF）及工业界智能导学与人机交互联合研发项目，他领导的“智能导学系统中的学习反馈”（Learning Feedback in IntelligentTutoring Systems，FIT）项目入选了DFG在研究方向“人工系统中的学习方法”上的优先资助计划，并授予8年的持续资助。

关键词：物理空间；感知数据；学习同伴；学习分析

中图分类号：G434 文献标识码：A

访谈者：Pinkwart教授，您好！很高兴您能应邀接受我们的访谈。随着可穿戴技术的涌现，物理学习空间（课堂教学、户外学习、图书馆等）内学生数据的可获得性得以显著提升，面向物理空间的学习分析研究已开始受到教育技术界的关注。作为柏林洪堡大学学习分析研究团队的负责人，您正从事一个基于感知数据的自适应学习环境与学习分析技术研发项目，并致力于开发一套“移动学习同伴”系统，能介绍一下这个项目的相关背景吗？

Pinkwart教授：在2016年4月，我们获得了德国联邦教育与研究部的资助，联合德国两所研究机构（莱布尼茨知识媒体研究所以及柏林工程与经济应用科学大学）和三个数字化教育公司（Serious Games Solutions、SGM Educational Solutions和NEOCOSMO）开始了这个项目的研发工作，他的全名叫做Leaning Analytics for Sensor-based Adaptive Learning（基于传感器的自适应学习分析）。我们洪堡大学的主要任务是从教育技术视角，提供一个基于传感器的感知化学习场景以及一些学习分析方法。如果我们回顾教育技术领域的发展历程，你会发现至少有25年的时间关注于人工智能在教育中的适配性（例如：智能导师系统、个性化辅导系统、智能协作学习系统、教育机器人等），并涌现出了很多有效的智能化教育产品，帮助学生提高了学习成效。

近来，我们发现，传感器技术已被广泛应用于生活中，每个人都或多或少地在智能手机中使用了传感器，如分享地理位置、感知环境与识别语音等。这些传感器设备也同样可用于获取学习者的数据，智能手表可记录他们的脉搏、心跳、行走步数等信息，还有一些设备可获得皮肤电反应信号用于感测个体的生理压力值。因此，该项目的一个目的是探索这些数据是否有助于设计更为先进的学习技术，它不仅仅是开发一个自动监控系统，还需要考虑学习者的生理维度，这些都是出于技术发展的考量。学术上，LAK和EOM等国际会议上越来越多的研究采用学习者与学习环境交互中产生的生理感知数据，关键问题在于我们用这些数据能记录什么学习特征，以及构建的学伴系统如何利用这些数据干预和改善个体学习过程。

访谈者：这个“学习同伴”看起来能像朋友一样关心和帮助学习者，它当前能检测到学习者的脉搏波连续血压（PPG）、皮肤电反应（EDA）、心率变异度（HRV）以及所在环境的空气污染指数（如TVOC、CO₂等气体密度），这有利于评估学习者的健康状况。在您看来，未来的“学习同伴”还会增加哪些功能？

Pinkwart教授：我们的项目当前最关注的是学习者在某种学习情境中情绪状态的测量，以及判断学习者是否真正地参与到学习中，例如，如果从传感器中测得某个人的脉搏和血压降低时，那么其更可能处于一个平静的心情；如果某个人体温很高，他可能是发烧了，这些信号是与人的身体健康直接相关的，和学习状态并不直接相关。但有些信号可用来推测人类的某些心理状态，例如AI测谎仪通过感测人的汗腺活动计算皮肤电阻，如果被测者的皮肤电阻偏离正常值，则其说谎的可能性较大。这种先进的人工智能思想利用了人的体温、皮肤电导、心率等传感器。这些信号能被用来通知“学习同伴”以制定干预策略，这个系统能以智能手机为载体运行，也能以单独的可穿戴式设备运行，这种私人学伴系统能反映你在学习过程中何时需要休息一会，何时会感到学习任务比较困难。

所以，它将不仅监测学生的健康状况，还将洞察学习者感受压力时的认知状态。虽然目前基于传感器的个人情绪检测尚未取得较为理想的效果，但这种新型检测方法对下一代智能教育系统的设计具有很大价值。如果没有这类数据，我们可能或多或少知道学生在测验中的答题正误情况，但你很难知道他们在使用学习系统或课堂学习中的感受如何。未来的“学习同伴”系统将增加一些情绪检测、学习干预以及用于情绪调节和互动的学习活动推荐等功能，例如通过感知学习者的沮丧情绪、预测和提醒他们何时需要休息和调整，使学习环境不断适配学习者的心理状态，并激发他们的学习动机和形成自我情绪调节的意识，所以这些将超越现有的健康信息监测功能，也是我们的项目需突破的研究方向。

访谈者：为了支持物理空间内学习者的自适应和自主化学习，在设计这种情绪支持的“学习同伴”时需要考虑哪些重要因素？

Pinkwart教授：首先，应该认真考虑需要收集哪些数据、存储哪些数据、整体的技术设计是什么，以及谁将能访问数据、谁将能管理数据、谁将能使用或访问学伴系统等问题，而且在设计情绪支持的“学习同伴”时需要特别考虑的是数据隐私问题。其次，需要考虑你将如何在“学习同伴”系统中将捕获的数据以可理解的方式进行可视化，毕竟很难有人能直接与原始数据进行交互。特别地，收集的生理数据都是毫秒级的时间序列，在这样一个大体量数据中有很多是没有意义的数据，并且非技术人员也很难直接看懂数据中的数值含义。因此，为了使数据对学生有意义，你必须要聚合、转换、结构化以及可视化这些数据使其满足自我管理式学习的需求。在可视化的算法设计中，需要提供一些反应过去和当前学习状态的反馈机制，但这个数据解释过程实际上并不容易，因为用传感器来探测人类的学习状态，单一学科的知识是不够的，可能还要参考医学、心理学、计算机科学、学习科学等领域的知识。

访谈者：根据您的介绍，在“学习同伴”的帮助下，学习者能开展自我管理式学习，那么它是否会对教师的教学提出新的挑战，从教师、家长和学生的视角来看，他们应如何使用这个系统？

Pinkwart教授：过去二十年研制的智能辅助教育系统一直致力于帮助教师去理解和掌握整个课堂的情况，这对智能导师系统的设计非常重要，它有利于减轻教师在观察群体学习状态上的精力。如果一半的学生学习任务完成情况不理想，那么系统可向教师给出提醒以调整教学。但对于我们的“学习同伴”来说，传感器监测的是学生生理上的信号，这比学习代理计算出的知识技能测验结果更加敏感，因此我们应更审慎地思考：教师和家长应分别从这些个人生理数据中知道些什么？此外，一个高度被关注的问题是教师很难知道每个学生个体的学习状态，他们仍然只知道类似于数学测验中某类错误的出现概率以及整个班级的测试情况，从这些结果信息来推测学生的沮丧程度。

所以，“学习同伴”将作为一种补充的途径来帮助教师了解学生的表现，解释学生的学习行为以及进行心理诊断，一旦获得了更多的个人学习数据，我们将获得比课堂整体表现更为详细的信息。从自我管理的角度来说，教师需要掌握这些背景信息来帮助他们更好地开展有序的自组织学习，但同时不应加入过多的外部管理和干预。有一个有趣的例子，当我们调查一所中学时，教师们总是问到：“我们真的应该在学校里使用这些学习技术吗？”“当学生一直坐在电脑前时，我们该如何评价他们的学习成绩？”，家长也经常想知道：“我的孩子为什么学得不好？”“孩子为什么回家后情绪低落？”“我该什么时候或如何去和孩子沟通并调节他们的心理状态？”。实际上，教师和家长都是希望通过技术来了解学生学习情况的，但在数字化教室中，学生自主学习状态的感知不仅包括生理信号监测，还包括基于视频的人脸表情监测等方法，采用何种渠道的数据以及如何理解这些数据都是摆在教师面前的挑战。

访谈者：我们知道，十多年前，美国麻省理工学院（MIT）的媒体实验室研发出了一套著名的“学习同伴”系统，它关注于理解学习者在计算机辅助教学环境下的認知和情绪状态，那么LISA项目中的“移动学习同伴”与MIT媒体实验室研发的“学习同伴”之间有何差异？

Pinkwart教授：正如我们所知，MIT的媒体实验室在情感计算方面做得非常出色。而我们的团队主要关注两个不同的方面。首先，LISA项目旨在构建一个情绪支持下的移动学习过程计算架构，并实现个人数据的隐私保护。我们确实非常重视数据的伦理问题，在教育过程并不是每个人都能轻易访问这些数据，因此在技术设计中需考虑数据的流向、访问权设置等问题。我相信，如果你去调查那些德国学生对数据驱动的学习技术的看法时，他们将会问你：“我的数据会被存储在哪儿？谁能看到这些数据？数据会被传递给哪些人？”等关于他们切身利益的问题。我们的研究将这些问题都作为最紧要的任务进行优先考虑，并且这些问题也与数据的解释（提取个体学习状态的哪些信息以及这些信息能传递给谁等问题）直接相关。

其次，MIT研发的“学习同伴”是嵌入到计算机辅助学习系统中，而LISA项目研发的“学习同伴”是移动和伴随式的。当前，大多数传感器实际上都是移动式的（如智能手表），因而我们需要在移动场景下生产和解释数据。这其实是具有很大难度的，特别是在户外学习中，一旦你做了运动，心率可能会突然提升，但这并不意味着你在学习中是沮丧或是有压力的，所以身体运动对心率的变化有更大的影响。基于此，我们将考虑引入与运动监测强相关的传感器，以尽可能规避与学生自身学习无关的生理信号，这样将有助于提高“移动学习同伴”在泛在学习过程中的适用性。

访谈者：随着M00Cs-与SPOCs等在线教育模式的日益普及，越来越多的在线学习数据能为学习分析研究所使用，如发掘学生访问资源时的行为模式、论坛中的情绪状态、以及预测辍学行为等。但作为正式教育的主要场景，物理空间中的学习分析研究很少被开展，如何利用数据驱动的技术来理解物理空间中的学习者状态？

Pinkwart教授：你的观察非常准确，如果对比研究在线学习数据和物理学习空间数据（主要是生理数据）的论文，你会发现MOOCs和SPOCs等在线学习空间中的学习分析研究更为盛行。这个现象与不同学习空间中的用户数量有很大关系，更多的数据呼唤着更多模型和算法的产生。相对而言，物理空间中产生的数据规模太小，相关的学习分析研究则很少。LISA项目中一个关于“生理数据-情绪反应”的对照试验仅招募了20名学生作为被试，在使用机器学习算法训练情感模型时也面临着数据量不足的问题，因为通常情感识别算法都用到了几百甚至几千名学生的数据（论坛文本、表情图像等），所以数据的可获得性将制约实验的有效性。

但是，随着传感器的广泛使用，在不久的将来他们会与我们如影随形以记录我们的生理信息和我们所在的环境信息，并驱动着更多关于物理学习空间中的学习者研究。这是一个非常年轻的领域，近来我们已经发现：利用传感器获得的感知数据进行教育数据挖掘已成为一个凸显的趋势，因此我们需要做一些试验性研究以发现哪种感知数据适合于学习分析并能带来好的结果。另外，如果更多的研究机构能共享这些学习感知数据，这个领域也将得到快速的发展，因为产生这些数据通常需要高昂的代价（需要更多传感器设备，招募大量被试以及耗费大量时间开展实验）。我们知道匹兹堡的学习科学中心开设了一个学习科学数据平台（PSLC Datashop），存储了来自于智能导师系统的丰富学习数据，这个不断更新的数据源为学习行为分析、学习效果预测与学习理论的验证等研究奠定了充分的支持，同样的，我们也需要涌现这样的数据平台以分享物理学习空间中产生的感知数据。

访谈者：通过以上讨论，我们发现教学情境对学习分析研究乃至未来的教室创设都非常重要，那么您认为应如何利用学习过程数据创设有意义的教学情境？

Pinkwart教授：首先，你需要建立试验性的研究场景，拥有充足的移动终端设备，创建不同类型的感知数据库（生理信号、人脸表情、环境数据等）以及一个充分配备传感器和能让每个学生佩戴一个智能手环（为了采集个人生理数据）的数字化教室，通过这些环境的配置，我们可以记录教室中的学习交互过程。在严格的隐私保护机制下，我们通过感知数据的分析可以探索一堂课中哪些活动能获得好的教学效果，学生对什么内容感兴趣、在哪些方面学得更好以及在哪个时间段产生更高的情绪唤醒度（或更积极的情绪）等信息。在获得这些信息的基础上，我们能设计一些能激发学生学习动机、正面情绪及较高情绪唤醒度的教学情境。

但有时候，你也可以预先设计一套教学情境，LISA项目中的一个合作伙伴——严肃游戏解决方案公司（Serious Games Solutions，SGS）专门研发用于消防员和警察技能培训的虚拟仿真系统，他们经常邀请不同的人去优化这个仿真系统（增强系统对不同水平训练者的适应性）。如果要指导一个新手去学习基本的灭火技能和临场应变能力，直接让他进入真实场景去训练是不可能的，因此只有让他先在这种虚拟情境中去学习。当然如何判断虚拟情境下的训练难度仍然是一个挑战，在这种教学情境中，我们可以获得学习者在模拟训练中的优势技能和冷静程度。如果你在这个情境下扮演消防员或警察时表现较为冷静且很好地完成了任务，那么我们便可以提高仿真训练的难度，因此这是一种不需要大量数据去训练的教学情境设计方式。

当然，在大多数学校教育中，我们经常探索更为复杂和开放情境下的教学效果，这就需要记录大量的学习过程数据进行教学情境的适配和对比分析。特别是课堂教学中，我们需要利用智能感知技术去观察学生在不同活动（参与小组协作讨论、使用智能导学和学习诊断系统等）中的表现，然后在课堂数据记录系统的后台进行学习分析和可视化呈现，发现需要帮助的学习困难者。据我所知，亚洲一些国家已经采用了课堂数据的实时捕获技术，如学生注意力检测、人脸表情/头部姿态/手势识别等，这些智能感知技术看起来可以全程跟踪学生表现，但这毕竟是机器的观察而不是教师的观察，教学情境的适配和优化还需要教师对课堂的观察并辅以学习感知数据进行人工分析和决策。

访谈者：为了深入洞察学习者的学习过程，我们需要从物理空间和网络空间采集大量数据来研究他们的情绪、偏好、行为、社会交互等方面特征，这样学习者将会被全方位的观察和分析，但同时，我们将如何处理学习者个人数据的安全和隐私保护问题？

Pinkwart教授：从数据伦理角度来看，我们需考虑我们要用这些数据做什么，使用这些技术的合理方式（倫理上可接受的）是什么。并且从不同利益相关方（学习者、家长、教师、学校管理者、技术供应商等）的视角来对数据驱动的智能监测技术进行利弊分析和权衡。毕竟，与成绩数据不同，学生的生理信息属于个人隐私范畴，这类原始数据对教师的教学并不能产生直接的价值，而从其中提取的学习状态信息才是教师愿意看到的，因此在不同的数据处理环节应考虑真正的受益者及其访问权限。从技术设计的角度来看，我们需要在系统中确保数据产生者的权利，在未经用户允许的情况下避免个人隐私的窥探。例如，LISA项目将存储学习者的生理感知数据，我们要求这些数据仅保存在学习者个人网络空间中，且仅能由标识其个人身份的移动设备所访问，以避免它们流入一些开放式的公共网络。所以，我们不会将数据存储在匿名的云服务系统中，用户将具有完全的控制权以决定哪些数据能被传输至学习服务系统进行分析，哪些数据能被与教师、家长或其他同伴分享，同样用户也能知道他们自身的哪些数据已被采集。

访谈者：现在我们已经对LISA项目有了一个整体的了解，那么该项目将如何应用与评估这种感知数据驱动的学习分析技术？该技术存在哪些局限性？它的发展前景如何？

Pinkwart教授：我们目前采用的是一种迭代式的产品设计方式。在“学习同伴”研发的初始阶段，我们使用纸质原型来快速生成和评估系统的设计构思。而在当前阶段，我们正在开展一些情感检测算法的实验验证工作，试图将EDA和HRV两种生理信号有效映射到不同的情绪维度（效价与唤醒度）上。去年，项目的目标是评估我们和三个工业伙伴（Serious Games Solutions、SGM Educational Solutions和NEOCOSMO公司）合作研发的智能教学产品，它们分别是：虚拟消防训练系统、在线教育杂志以及职业教育e-learning培训平台，因此，工业伙伴们帮助我们实现研究构思并将其融入到产品中，最后将测试过的产品交付给用户使用。此外，由于这个项目涉及多领域合作、产品推广以及品牌传播，工业上的合作者也审慎地评测我们实验室研究的各种学习分析方法，以发现哪些技术能进行规模化示范和应用。

当然这些产品只是我们当前项目的一部分，随着感知数据支持的“学习同伴”系统研发规模（更多感知设备的投入以及更大规模感知数据的产生）不断扩大，这个项目在学校的课堂教学和企业员工技能培训中将具有更大的应用前景。尽管如此，这种技术也面临一些局限性，一方面，这个项目的合作者以及覆盖的学科领域仍然太少，而且我们在研究中难以获得大量的高精度生理传感器以及大规模的实验参与者，所以我们不能像MOOCs研究那样对成千上万的学习者数据去分析和建模。另一方面，在移动学习场景下，有很多不确定因素影响了学习过程信息捕获的准确性，因此感知数据驱动的学习分析仍需在学习状态（情绪唤醒度和效价、学习偏好、认知水平等）的识别和预测精度上进行深入探索。

访谈者：在中国，随着新兴信息技术的不断涌现，物理学习空间正经历着巨大的变革，传统教室的教学环境逐渐向数字化、个性化、智能化的“未来教室”发展，您认为实现个性化和智慧化的学习环境的关键因素是什么？

Pinkwart教授：首先，面向未来的数字化教室要包含更多的交互式学习技术，这些能用便携式笔记本、交互式电子白板、教室反馈系统Clicker等设备实现；其次，教室应被塑造成更加网络化和协作化的学习环境，使教师、学习者、学习环境、各种移动设备和教学终端之间能无缝交互；最后，需要对师生交互、生生交互以及人机交互过程中的数据进行同步采集和事后（或实时）分析。在此过程中，每个学生的学习过程都能由移动设备（如“移动学习同伴”系统、互动反馈系统、情境感知系统等）完整记录和量化，并分为个人空间和社交空间数据，当然交互式学习技术的设计应遵循数据的伦理规范以保护学习者隐私。

此外，在中国的正式教育中，教师在课堂中通常扮演着管理者的角色，我们应清晰界定教师对课堂的管理和利用数据来观察学生学习过程之间的关系，可以想象一个完全由教师把控的课堂将很难帮助学生开展个性化的自主学习乃至探究式学习。我了解到，中国有一些研究机构正开展学习分析技术和智能导学系统的研发，而且具备规模化的实验和测试环境，因此我认为感知数据驱动的学习分析技术在中国有很大的应用前景，但这项技术的发展还有赖于多学科的交叉融合以及不同领域思想的碰撞。如果能汇聚世界上相关领域（包括认知科学、学习科学、计算机科学以及数据科学）的顶尖研究者共同合作与探讨，将为中国乃至世界的学习科学变革和教育技術发展起到推动作用。

访谈者：非常感谢您接受此次访谈。