人机交互技术在孤独症谱系障碍儿童教育干预中的应用

陈靓影，王广帅，刘俐俐，刘乐元

(1.华中师范大学 国家数字化工程技术研究中心，湖北 武汉 430079;2.华中师范大学 教育大数据应用技术国家工程实验室，湖北 武汉 430079)

一、引言

孤独症谱系障碍(autism spectrum disorder， ASD)也称孤独症或自闭症，是一种广泛性神经发育障碍，核心症状表现为社会交往和沟通障碍以及重复和刻板行为[1]。据2018年美国疾病控制与预防中心(CDC)报告，儿童孤独症发病率约为1∶59[2]，成为亟待解决的社会公共卫生问题。我国尚未开展针对孤独症的全国流行病学调查，但发病率和世界其他国家相似，约1%，以此推算，我国孤独症个体可能超过1000万，0～14岁少年儿童的数量可能超过200万[3]。目前尚无有效药物可以治愈孤独症，只能依靠长期教育干预辅助治疗，患者如果得不到及时的干预治疗，将会导致终身残障。研究发现，对孤独症儿童进行及时有效的教育干预，能帮助他们更好地融入社会生活。

随着孤独症发病率越来越高，对教育康复的需求也不断增加。我国日益重视孤独症儿童的教育，众多服务于孤独症儿童的教育机构陆续出现，但相对于发达国家我国对孤独症的研究起步较晚，现有的教育机构远远不能满足孤独症儿童的需求，还有大量的孤独症儿童没有接受及时的教育干预，错过了康复的最佳时机。一些教育机构的训练条件也存在不足，康复设施落后，监督管理不完善，专业康复训练人员严重短缺。因此，很有必要运用先进的技术配合康复人员教育干预孤独症儿童。

孤独症儿童对人与人之间的交流感到不适应，但他们更易于接受电子设备。人机交互是通过计算机的输入、输出设备，以有效的交互技术实现人与计算机的互动[4]。因此通过交互技术可以建立儿童与机器之间的互动，当儿童掌握了基本的互动技巧之后，可将能力泛化到现实生活中。人机交互干预安全、可预测、可重复训练、普及性强，便于监督管理，可以很好地辅助传统干预训练，并解决孤独症医疗费用高、医护人员稀缺、医疗机构水平参差不齐等诸多问题。随着智能手机、平板电脑等移动智能设备的普及，交互技术正逐步渗透到孤独症儿童的各项康复活动中，如共同注意、心理推测能力等训练[5-6]，同时，该技术也为他们提供了更多丰富有趣的交互体验。

相较于传统的计算机辅助教学，交互技术的使用在特殊教育领域具有广阔前景[7]，国外已经开展了虚拟现实技术、智能机器人等相关技术的理论与实践研究，并取得了不错的进展。但我国在此领域的相关研究和应用还处于起步阶段。本文将聚焦国内外交互技术在孤独症儿童教育干预中的研究现状，梳理和分析相关文献，在总结现有研究的基础上提出建议，为我国孤独症儿童教育干预的应用提供参考。

二、基于交互技术的孤独症儿童教育干预研究

已有研究成果表明基于交互技术的教育干预方法对孤独症儿童康复具有可行性和有效性。主要人机交互技术包括：虚拟现实、增强现实、多媒体、智能机器人、自然人机交互等，本文阐述分析这些交互技术在孤独症儿童教育干预中的应用，提出当前研究中存在的问题，并给出相应的建议。

(一)基于虚拟现实技术的干预研究

虚拟现实技术(virtual reality, VR)是一种利用计算机生成模拟环境，通过多种传感设备使用户投入到该环境中，实现孤独症儿童与环境直接交互的技术[8]。由于孤独症儿童大多存在不同程度的心理和生理障碍，不能像正常发展儿童那样有效地感知周围世界[9]，VR能为他们提供多来源的感知，为早期干预手段提供新的技术支撑。各种真实重现的仿真场景和软件平台，在融入寓教于乐的动画、语音等元素后，能让孤独症儿童直观立体地了解知识，这对于提升他们的社会交往能力和日常生活技能具有重要作用[10-11]。此外，VR不仅能充分调动孤独症儿童的视觉、听觉、触觉等多重感官，还突破了以往治疗的单调枯燥，具有逼真的现场感和可控性，能达到良好的干预和教育目的[12]。

社交和沟通是孤独症儿童普遍缺乏的一项能力，在人际交往上存在障碍，难以有效地适应复杂的社会生活。借助于VR创设的虚拟社交情境，孤独症儿童可以理解他人的行为意图，并做出合理的判断与反应[13]，VR现已成为孤独症儿童社会干预研究的重要领域[14]。帕森斯 (Parsons)等采用虚拟现实技术实现基于现实生活的社会场景仿真，训练儿童在不同拥挤程度下的咖啡馆和公共汽车中就座，来提高其社会互动能力；反复训练后，实验结果表明该方法具有明显效果[15]。儿童在社会交往过程中主要从人的面部表情获取社交线索[16]，而从面部表情感知社会相关信息是促进有效社会互动的基本技能[17]。贝克莱 (Bekele)等设计了在虚拟环境下的多模式适应社会互动系统(MASIVR)，通过跟踪儿童在不同虚拟社交环境中观察人物面部表情的注意力，生成视线扫描图案，运用于孤独症儿童的社会互动干预[18]。

日常生活技能是孤独症儿童亟需提升的重要能力，为了更好地融入社会，他们不仅要学习简单的生活技能，如穿衣、吃饭、洗漱等，稍大一些的孩子还需掌握上学、购物、过马路等技能，而这些能力培养需要回合式、密集训练才会有一定效果。基于VR技术可以创建特定的生活情景，为培养孤独症儿童的日常生活技能提供一种安全、可重复、可控制的环境。查里托斯 (Charitos)等用VR技术营造出“回家”的仿真场景，孤独症儿童可以跟随虚拟人物学习一系列日常基本活动技能[19]。巴马萨克( Bamasak)等将5-16岁孤独症儿童放在虚拟的房间中，在每个不同的房间开展一系列学习活动，活动结束后测试孩子的理解力，发现这种方法有助于形成、提高孤独症儿童的日常生活习惯、危险意识和周围环境意识[20]。乔斯曼(Josman)等的研究表明，在虚拟现实环境中孤独症儿童不仅能学习过马路的相关知识，还能将习得技能迁移到真实环境中[21]。

VR技术在我国的应用处于起步时期，设备价格昂贵、使用范围非常有限，未能广泛应用于孤独症儿童的教育干预中。国内相关学者主要介绍了国外虚拟现实技术在孤独症干预中的应用[22-23]及干预模型理论分析与设计[24]，2016年开始有学者设计与实现基于虚拟现实技术的感觉统合游戏[25]，但未展开循证层面的研究。

VR技术的仿真环境为孤独症儿童提供了轻松、舒适、安全的学习环境，让训练效果得到大幅提升，相对于传统教学方法具有明显的优势。但是，目前主要研究是基于实验室环境，家庭干预研究较少；研究主要针对具体能力的缺陷，缺乏系统性的学习活动设计；干预效果评估和学习者的操作规范都缺乏客观、明确的标准。

(二)基于增强现实技术的干预研究

增强现实技术(augmented reality，AR)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者一个感官效果真实的新环境[26]。AR技术依托于虚拟现实技术发展起来，与虚拟现实相比，增强现实更具现实感，更简化场景模式。对于教学应用而言，AR技术能够营造出虚拟元素和真实场景相融合的教学环境，生动形象地表现多种教学内容，使学生充分体验并掌握知识，提高技能。

孤独症儿童通常难以识别面部表情和理解相关的情绪，控制和表达情绪能力欠缺，学习迁移能力不足。AR技术将真实的环境与虚拟对象相结合，能够吸引孤独症儿童的注意力，提升想象力，更加有利于孤独症儿童将训练环境中学习的技能迁移到真实生活情境中，有利于回归现实社会。同时基于AR技术可以创建更加有吸引力和交互性的用户界面，只需手势操作，不需要外围设备(如键盘、鼠标)，非常适用于可视化教学和深度交互学习，能够促进孤独症儿童与对象之间的交互，提高他们在完成学习活动时的兴趣和好奇心[27]。佩德罗·库纳特(Pedro Cunhat)通过游戏手册提供的Tobias冒险游戏，验证了AR技术在提高孤独症儿童认知和社交技能方面的积极作用，并且游戏手册提供了一些在线游戏，方便家庭实施教育干预[28]。在国内，央数文化公司与华东师范大学，就AR技术在学前教育领域的使用合作开发相关课程，并且应用在上海部分特殊学校，对孤独症儿童产生了较强的吸引力[29]。程鹏润等完成了基于Android平台的AR实现及其在孤独症教育干预中的应用，通过对比是否使用该软件孤独症儿童注意力和情绪上的差异，表明AR技术能更好地帮助孤独症儿童融入社会，认知新事物[30]。华中师范大学陈靓影教授团队将AR技术用于孤独症儿童词汇认知学习，发现学习效果显著优于传统方式[31]。

AR技术具有三个突出的特点：1)真实世界和虚拟世界的信息集成；2)实时交互性；3)三维空间中增添定位虚拟物体。在孤独症儿童的教育领域有很好的应用前景。但目前基于AR技术的孤独症儿童教育干预应用还非常有限，缺乏技术与学习内容的深度融合，系统的学习活动和个性化的干预方法有待进一步研究。

(三)基于多媒体技术的干预研究

多媒体技术是指把文本、图形、图像、声音、动画、视频等多种形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操作的信息技术[32]。由于孤独症儿童在抽象思维和认知理解方面能力较弱，多媒体技术所呈现的直观、形象、具体的知识，正好适合孤独症儿童的学习特征。因此，在日常干预训练中可充分利用这一特点，通过多媒体技术提供具有丰富视觉效果的教学内容，能激发孤独症儿童的学习兴趣，从而达到提高沟通、社交等能力的目的[33]。

目前一些研究者通过多媒体技术，例如视频、音频、图片等方式，训练孤独症儿童的理解、表达及社交能力等。研究表明，孤独症儿童具有视觉学习的优势[34]，依托于视觉的干预方法得到了广泛使用。在视频方面，麦克弗森 (Macpherson)等在竞技游戏课中用iPad给五个孤独症儿童播放视频，结果显示观看视频后的儿童表现出更多的赞美手势和语言[35]。美国研究者拉奥 (Rao)和森格( Skouge)基于多媒体软件采用对被试儿童前后测的方法，分析数据发现，静态的图片有助于提高孤独症儿童交流的频次[36]。不仅如此，音频对孤独症儿童的干预也有良好的效果，如洛拉 (Lorah)等将平板电脑和便携式媒体播放器作为语音发生装置，系统训练孤独症儿童，研究证明使用这些设备的儿童很快习得一定的口头表达能力[37]。多媒体技术最大的优势在于能集多种媒体特征于一身，李亚华利用感官训练软件，结合文字、声音、图像、图形和视频等多种媒介手段，证明该方法能促进孤独症儿童的倾听技能[38]。

除了以上方式外，有更多研究者开始关注各类应用程序(APP)。随着移动设备的普及，众多为孤独症儿童量身打造的应用程序陆续出现，为教育干预提供了全新的学习方式。对于孤独症儿童而言，触摸是一个非常重要的社会信号，在手机、平板电脑等移动设备上安装应用程序，使孤独症儿童通过触控屏幕的简单操作完成学习活动，为其学习提供了便利。张春花采用基于iPad的图片交换沟通(PECS)教学方案对孤独症儿童沟通行为进行干预研究，为PECS教学的信息化提供了参考[39]。目前，已有超过350款应用程序服务于孤独症学生和家庭，这些应用程序价格便宜、操作简单、交互性强，学习活动不受时间地点的限制，干预人员和家长可以即时干预孤独症个体，从而大大提升了干预的绩效[40]。

综上所述，基于多媒体系统的交互活动对提高孤独症儿童的语言、社交、行为等能力有明显的效果，可归功于两方面：一是多媒体系统的新颖、人性化交互方式深受孤独症儿童的欢迎，可增强他们参与学习活动的积极性；二是多媒体提供丰富多样的学习情景，集娱乐学习于一体，有利于提升干预的有效性。但由于孤独症儿童个体差异大，基于多媒体系统的学习活动并不一定适用于每个孤独症儿童个体，如何设计更有针对性、个性化的学习计划，建立自适应的干预机制值得进一步研究。

(四)基于智能机器人的干预研究

智能机器人常指具有人工智能的机器人，它们在孤独症儿童的教育干预领域具有重要作用，被视为非常有潜力的康复工具。对于大多数孤独症儿童来说，他们缺乏正常的社交、沟通能力，与人类在表情、肢体和行为上的互动会让他们畏惧[41]。而通过机器人干预治疗孤独症儿童，可以模拟出与普通人沟通、生活的真实情景，并为孤独症儿童提供各式各样的训练活动，以提高社交、语言、沟通等能力。越来越多的学者开始关注机器人对孤独症儿童的干预治疗，机器人在实践训练和能力巩固方面发挥了重要作用[42-44]。目前专业康复人员严重不足，孤独症儿童个体差异大，康复人员的技巧和耐心十分重要，智能机器人可成为康复人员的有力支持。

目前聚焦于智能机器人辅助干预孤独症儿童的研究结果表明，机器人在行为改善、情绪理解和注意力提升等方面均能取得较好的干预效果。南洋理工大学的基尔 (Kee)通过3D虚拟粉红海豚机器人，为孤独症儿童创建良好的学习环境和治疗的平台[45]。怀纳 (Wainer)等设计了专门的以模仿为基础的合作游戏，通过仿生机器人“Kaspar”训练了23名孤独症儿童，实验结果表明机器人有助于孤独症儿童社会行为的改善，并通过他们试图证明机器人能用来提升孤独症儿童合作能力创造可能[46]。沙姆斯丁 (Shamsuddin)等研究发现，NAO机器人作为孤独症儿童理解人类表情的媒介，能帮助他们学习、理解和猜测情绪，并能成功地将这种能力迁移到人与人之间实际的交往中，为提升孤独症儿童认知能力提供了新途径[47]。卡乔普洛斯 (Kajopoulos)等通过宠物机器人“CuDDler”，让孤独症儿童学会根据机器人头部方向的指引来完成游戏，几周训练后发现被试儿童的注意力有明显改善[48]。贝维尔 (Bevill)等采用了具有面部表情识别功能以及通过语言、手势表达情绪功能的机器人对孤独症儿童进行干预，儿童通过学习模仿，有效提升了自然情感表达和互动交流能力[49]。

国内也开展了机器人干预的相关研究。刘小峰等通过NAO训练平台，对孤独症儿童动作模仿技能进行干预训练，实验表明：机器人能够吸引自闭症儿童的注意力，通过模仿训练可以发展自闭症儿童的社交技能[50]。 李睿强等开展了基于NAO 机器人的孤独症儿童教育干预研究，设计了基于NAO机器人的孤独症儿童教育课程，研究表明：NAO机器人能引起孤独症儿童的兴趣，改善自闭症儿童的专注力与行为能力，增强自闭症儿童的交往能力[51]。

总体来看，智能机器人提供的智能、先进的治疗方式确实能为孤独症儿童的康复带来曙光。然而，目前机器人的功能比较简单，主要以单个的学习活动为主，尚未形成一种包含孤独症儿童发展轨迹的学习体系。适用于不同年龄、不同特征的孤独症儿童的机器人非常少，很难满足实际的学习需求，但这些先进研究成果将为未来孤独症儿童的干预治疗提供坚实的基础。

(五)基于自然人机交互的干预研究

自然人机交互指人们通过语言、姿势和情感等自然的方式去实现沟通，通过视觉和操作实物去探索环境，从而使人与计算机的互动方式跟人与人日常生活间的互动一样[52]。随着动作捕捉技术的日益成熟，人们借助体感设备就能体验自然人机交互，身临其境地感受游戏。目前市场上体感设备以日本任天堂的“Wii”、索尼的“PlayStation”和美国微软的“Kinect”为代表，其中“Kinect”无需任何操控设备，是名副其实的自然人机交互。孤独症儿童在精细动作方面存在缺陷，很难操控鼠标、键盘、遥控等设备[53]，而体感设备凭借其独特优势弥补了这一缺陷，减轻了孤独症儿童对传统非自然的操控方式的依赖[54]。

体感游戏正逐步成为一种有效的教学工具，能减轻孤独症儿童面对真实世界中人际交往的恐惧感，提高儿童参与学习活动的积极性，从而达到良好的干预效果[55]。为了使孤独症儿童在社交行为上获得进步，乌祖班纳 (Uzuegbunam)等通过“Kinect”将孤独症儿童的动作赋予到游戏人物身上，在虚拟的故事性场景中学习正确的问候行为，初步证实该方法能帮助孤独症儿童建立良好的社会行为[56]。基于自然人机交互技术，孤独症儿童运动能力也能得到提升，加尔佐托 (Garzotto)等通过研究非接触式的“图像平衡”(Pixel Balance)游戏发现，游戏不仅能提高孤独症儿童的模仿能力和图形理解能力，在加强眼手协调和运动能力方面也有积极的效果[57]。 为了提高孤独症儿童的合作能力，克里斯蒂纳基 (Christinaki)等研究的体感游戏既有单人模式又有多人模式，有时需要多人合作才能做出指定的动作，这有助于提高孤独症儿童的团结协作能力[58]。布奇卡 (Boutsika)提出“大冒险”体感游戏，有助于改善孤独症儿童的行为，让他们学会彼此合作[59]。

基于自然人机交互技术的体感游戏，为孤独症儿童提供不同的训练情景和人性化的交互体验，打破了以往学习方式的局限性。训练内容的游戏化，能大大提高孤独症儿童的学习兴趣，融入身体运动和肢体动作有助于学习效果的提升。整体而言，自然人机交互技术在孤独症儿童的教育干预方面仍处于探索阶段，还有一些问题需要解决。如体感游戏设备较为昂贵，往往需要提供大量的人力和资金支持，实现广泛普及较难；目前优秀的教育游戏少，必须依靠丰富的游戏内容才能形成完善的教育干预体系。

三、建议

国内外研究成果表明现代交互技术已逐渐应用于自闭症儿童不同方面的教育干预训练，并且大都验证了其可行性及有效性。现代交互技术在矫正自闭症儿童语言技能缺陷，增强自闭症儿童面孔处理、表情识别与情绪理解能力，提高自闭症儿童社会技能和生活技能等方面，有着传统干预方法无法比拟的优势。在自闭症教育干预中应用现代交互技术已成为必然趋势。

然而，目前基于交互技术的方法没有考虑到自闭症儿童在干预训练过程中的学习状态，不能根据其状态来调整学习内容以满足不同儿童个体的需求。自闭症儿童个体差异性显著，研究表明学习状态是直接影响自闭症儿童干预效果的重要因素。因此，分析基于交互技术干预中自闭症儿童的学习状态，并发展一种包含不同自闭症儿童发展轨迹的、适应于不同儿童个体的交互技术干预方法很有必要。此领域有以下问题需要深入研究。

(1)如何创建提高孤独症儿童各项能力的学习活动；如何基于正常儿童与孤独症儿童发展领域的心理机能理论设计学习目标，创建基于人机交互的学习活动。孤独症儿童个体差异性大，发展轨迹不同，创建满足不同孤独症儿童在不同阶段各自社会认知需求的学习活动非常关键。探讨学习经验与学习活动、学习目标的关系，有助于认识和预测孤独症儿童个体发展轨迹。

(2)如何建立适应于不同孤独症儿童个体的干预机制及个体信息的准确采集、反馈和控制；如何通过模式识别技术实时跟踪与识别孤独症儿童在教育干预过程中的注意力、表情和动作，融合多通道信息分析儿童的各种心理状态和学习行为，综合理解儿童学习状态，并根据其状态来调整学习内容以满足不同儿童个体的需求。

(3)如何验证方法的有效性；如何根据儿童的发展轨迹，学习目标和学习状态评估干预方法有效性。基于设定的学习目标，通过教育技术学与心理学相结合的方法建立干预机制并展开实证研究，有助于揭示干预机制的有效性和科学性。干预效果的评估可分为微观与宏观两个方面，基于微观的干预效果由面向任务的方法来评定，它与每个独立的学习目标和相应的学习活动相关。例如评估与共同注意和对他人的信念及愿望推理这一学习目标相关的干预效果时，可利用注意力跟踪技术来检测儿童视线是否成功跟随他人的社会线索和根据儿童响应的快慢来评定。基于宏观的干预效果评定儿童各项技能的发展变化和把这些技能推广运用到新场景的能力，可通过社会交流问卷与心理教育量表等方法来测评。

四、总结

孤独症儿童的教育问题是特殊教育面临的重大挑战。基于交互技术的教育干预方法，安全、可预测、可重复训练、普及性强，便于监督管理，可以很好地辅助传统教育，为孤独症儿童的教育干预提供有效新途径。本文分析了虚拟现实、增强现实、多媒体、智能机器人与自然人机交互等技术在孤独症儿童教育干预中的相关应用研究，在此基础上总结了该领域面临的问题并提出发展一种包含不同孤独症儿童发展轨迹、适应于不同儿童个体的交互技术干预方法的建议，包括学习活动的创建、学习状态的理解以及干预机制的建立与验证。