具身认知视角下手语实训教学情境设计

张 帆,袁 芯,卢 苇

(浙江特殊教育职业学院 a.基础教学部；b.特殊教育系，杭州 310023)

0 引 言

2018年7月，国家手语和盲文研究中心正式发布了《国家通用手语常用词表》[1]，通用手语的研制与发布是我国残疾人教育事业的一件大事，它既是对聋人使用语言文字权利、平等参与社会生活的保障，同时也对高等特殊院校现有手语专业学科建设，手语高层次专业人才培养提出了更高要求。手语翻译专业的学生不仅要具备尊重生命差异、热爱残疾人事业，树立全心全意为聋人服务的责任感和使命感，更需要熟练掌握、应用通用手语，通过手译、口译实践，具备将汉语翻译成手语、手语翻译成口语的语言技能。但受目前国内开办此类专业的高校数量少，专业规模小、办学历史短等因素限制，手语翻译专业还存在课程体系不完善、实践教学定位不清晰、教学内容缺乏系统性、教学平台建设不匹配等诸多问题[2]。教学中，手语训练被视为视觉信息在头脑中输入、编码、存储和提取的操练过程，忽视了学生语言学习的主动性、参与性和体验性，学生学习动力不足，实践能力不强，缺乏岗位竞争力。

要开展手语实训教学模式创新，实施行之有效的教学，①要回归基础研究，从认知心理学、教育技术学、语言学等相关领域中汲取前沿理念，从基础理论的实验证据中为教学改革提供依据；②要充分聚焦学生在具体情境下作为主体的“人”的参与性，实现从机械刻板的词汇、句型操练转向主动的生成性学习，聚焦作为学习主体的“人”的认知、情意、态度全身心参与的过程学习。③强调手语学习与环境的互动，在技术支持下开展丰富的学习情境设计，让学生获得沉浸式的学习体验，获得学习成就感。因此，在第二代认知科学背景下，强调体验性、情境性、参与性的具身认知学习观为手语翻译教学改革提供新的契机与路径，具身视角下的手语实训教学成为高校手语翻译专业教学改革的突破口。

1 具身认知的学习理念

具身认知的中心含义是“人的身体在认知的过程中起到了非常关键的作用；认知是通过身体的体验及其行为活动方式而形成的。”[3]“具身认知”最重要的特征就是心智的具身性，强调人的心智、理性能力有赖于身体及身体与环境的交互，学习不是仅在大脑内进行的“脖子以上的学习”，身体也不仅是简单的信息接收器和效应器，身体本身参与了信息的加工分析过程[4]。近年来，镜像神经元的发现为具身认知理论提供了生理学的实验证据，FMRI等技术从认知神经科学角度进一步验证了具身认知理论的科学性。基于具身认知的手语实训教学以第二代认知科学为理论背景，强调语言学习过程的涉身性、体验性及环境的嵌入性。所谓涉身性是指手语学习不能脱离具体的身体，身体的感觉经验直接参与到语言认知过程中。聋人以身体经验为起点，将已知的具体概念映射到未知的抽象概念领域，通过隐喻、转喻等方式把握抽象范畴和关系；相应地，手语翻译需要充分调动学生身体的感知觉系统来完成对手语抽象概念的识解。所谓体验性是学生个人的主体认知会影响手语学习的内容、方式和结果，手语实训教学要以学生已有的先验性概念和知识储备为基础，教学有赖于学生自身对手语的感知、体验和先验理解。环境的嵌入性是手语实践教学必不可缺的条件，无论是真实的聋听交流情境还是模拟的交往情境，都会对学习产生重要影响，教学情境的生动、真实与否直接影响学生学习过程中的具身体验，当情境越具体、生动，就越能激发学生的交际欲望，相应地语言学习的效果也就越好。

2 构建手语实训教学模块

作为一种具有独立语言属性的视觉语言，手语学习对健听学生而言相当于二语学习，而视觉语言的特殊性又决定了手语的学习与英语、日语等其他国家的有声语言学习不同，手语实训教学模块设计要符合手语翻译专业的特点，在具身认知学习理念指导下，从基于言语本位的课程观、基于实践的教学观、以学生为主体的学习观三个方面入手，整合、打通手语翻译专业的主干课程，将其重组后整合成通用手语、手语翻译两大教学模块。其中通用手语以基础性的手语词汇、句型、语篇训练为主，为后续手语翻译技能培养奠定基础；手语翻译以口语手译、手语口译和手语手译技能训练为主，结合将来的就业岗位进行项目化设计。依据殷明等[5]的具身认知生成途径理论，在两大教学模块设置“实感具身”“实境具身”“离线具身”三种教学情境，根据情境需要引入多媒体、手语虚拟演播、虚拟现实技术，融入任务导向、项目驱动、情境模拟、小组合作、角色模拟等多种方法开展教学，在模块化教学中切实提高学生的手语应用能力和岗位适应性。手语实训教学模块设计如图1所示。

图1 具身视角下的手语实训教学模式设计

3 具身认知视角下手语实训教学情境设计

3.1 设置具身化教学情境

(1)实感具身。实感具身是由主体亲身的感受引发，通过身体与环境或者实物直接接触从而产生的具身效应[5]。实感具身可以提供学生最真实可靠的感受，通过直接的感官刺激增进学生概念的理解、语感的形成。在目前的手语实训教学中，相较实境具身、离线具身，实感具身不是一种常用的方式，教师往往容易忽略这种最常规却最易操作的情境设计。如通用手语模块教学，手语词汇和手语语法实训是重点。手语词生动形象，聋人在命名新事物时，通常会发挥“视觉代偿”功能，他们比健听人更善于捕捉事物的视觉形象(比如：形状、空间、颜色、大小等)，并善于运用隐喻、转喻、类化等手段，将其编入已有的认知框架，搭建手语词汇谱系。对于一些具体可感的事物，聋人往往会抓住其某些典型特征，过滤其中一些非典型因素，通过手形、手的移动、位置、手掌朝向以及面部表情、身体姿态等的配合使用来完成事物命名。同时，聋人善于消化、吸收汉语中的成分，将汉语字音、字形、字义融入、整合到手语表意体系中，转变成手语词中的构成要件。怎样让初学手语的健听学生体验手语的这种形象性特征呢？教师可以从“实感具身”入手，如让他们近距离观察教室，观察“课桌”“椅子”“讲台”“黑板”“窗户”“扫把”等实物，通过用眼睛看、用手触摸，在自己头脑中提炼事物的典型形象特征，然后通过双手模拟的方法来“创造”手语词。如“椅子”通用手语的打法是“左手直立，掌心向右；右手食、中、无名、小指弯曲与左手掌成直角，指尖抵住左掌心”[6](见图2)；“扫帚”的打法是“一手五指并拢，指尖朝下，划动两下”[6](见图3)。学生通过观察“椅子”构造，抓住“椅子”靠背与椅面垂直的结构特征来打出该手语词。通过请学生上讲台示范用扫帚扫地的动作，把“扫帚”扫地直接具身化为手部动作，从而引导学生打出该手语词。在实感具身类的教学情境设计中，教师把传统的视听课堂转变为操作性的体验课堂，通过目光交流、动作演示、手语示范与口语讲解，充分调动学生的肢体语言，舒展他们的身体，为他们的具身体验提供多样机会，使学生全身心地投入到学习情境中去。

图2 椅子

图3 扫帚

(2)实境具身。实境具身是指教师或带领学生赴现场观察，或创设与真实场景相类似的教学情境，使语言实训活动转变为可听、可看、可感的教学事件，学生在亲身参与中内化、生成对手语的感知、理解，成为教学事件的参与者、体验者。实境具身常用的手段包括教师示范、聋听交流、网络多媒体技术等。以通用手语实训模块中的语法教学为例，实境具身需要教师将语法知识点在情境中具体化，如老师现场演示左手拿着杯子，右手端着笔记本电脑，匆匆忙忙走进教室的样子，写成汉语句子可用并列关系的关联词“一边……一边……”将动词组合成句，转换成手语则需要按照手语句“主题先行”原则，把句子的主干“老师走进教室”放在前面，其他修饰成分后置，类似于英语中的定语从句，完成对句子主干的进一步说明。教师分析手语的句法特点后，再请学生把这句话用手语打出来，从而让他们内化所学知识，达到对手语语法点透彻领悟的教学效果。学生有了一定的通用手语基础之后，教师邀请聋人进实训室，让他们亲身讲述在找工作、去银行办业务、求医问诊、购物、婚恋等社会生活中遇到的障碍，让学生感同身受聋人沟通过程中的不易，从而激起内心的共鸣，增强对专业的认同度并激发手语学习的热情。学生通过与聋人面对面的沟通，把储存在头脑中的手语语言知识，转化为交际情境下的灵活运用，从而训练手语翻译技能。除现场示范外，教师还通过播放手语电影、手语故事、手语笑话、手语成语、手语诗歌、手语歌曲等手语影视作品来营造“实境具身”的教学氛围，引发学生个体主体体验式的学习过程。

(3)离线具身。与前两种具身化的教学情境不同，离线具身完全不依赖具体情境，而是通过个人自身的经验或者他人的言语描绘或者自己的心理想象，从而唤起具身效应[5]。离线具身适用于学生不在现场情境，或者教师无法提供该具体情境，学生缺乏相应的感性知识的学习场景。离线具身需要学生具备一定的联想、想象能力，根据教师提供的主题或任务，在头脑中虚构出该场景，然后由场景引发心理模拟，调动身体部位的参与、体验，产生“身临其境”般的具身效应。如通用手语实训模块，教师设定“遭遇火灾”主题，这时候学生需要先在心理中完成场景的现场模拟，眼前仿佛看到烈火熊熊燃烧般的场景，同时积极调动身体各部位的参与，唤醒、激活通用手语词汇中的相关手语词汇，然后用手语绘声绘色地将场景演绎出来，完成自身在场景中的行为过程描述。又如手语翻译实训模块中，手语虚拟演播是另一种“离线具身”手段。手语虚拟演播是以培养复合型手语翻译人才为方向，将每一个单项的手语技能整合成一个大型的实训项目，在教师指导下，学生分组完成项目策划、选题、立意、编导、摄像、编辑等工作，最后将作品呈现出来，展示实训成果。手语虚拟演播可以让学生模拟体验文艺晚会、新闻联播、体育赛事、天气预报、随班就读课堂教学等“离线具身”的手语翻译情境。

具身认知视角下的语言学习观认为，学习不再是一个简单的将知识纳入到自身记忆系统中输入与存储的过程，对手语学习而言，更需要学生个人的亲身实践，用可视的、形象生动的手势动作来完成手语、汉语互译。手语实训教学通过“实感具身”“实境具身”“离线具身”三种具身化教学情境的设计，增加、延长了学生的感悟、领会、体验环节，让学生获得手语学习过程中的满足感并收获快乐。

3.2 具身化教学情境中的技术应用

具身认知观确立了身体和体验在认知与学习过程中的有效地位，奠定了虚拟现实教育应用的认知基础[7]。对应上文3种具身化教学情境，技术支持下的手语翻译具身设计主要手段有：①网络多媒体手语技能实训，②手语虚拟演播，③手语翻译虚拟仿真实训。其中，多媒体手语技能实训、手语虚拟演播分别为“实境具身”“离线具身”教学情境提供技术支持，目前已在浙江特殊教育职业学院等手语翻译专业中推广使用。手语翻译虚拟仿真实训为“实感具身”情境提供最接近真实的手语学习体验，成为该专业极巨潜力的开发领域。

(1)多媒体手语技能实训。网络多媒体手语技能训练系统以多渠道、大通量、高效率的信息输入(输出)以及图文音像的交互性，与网络技术的兼容性为特征，创设人机交互的“实境具身”情境，较传统的教学方式体现出较大的优越性。浙江特殊教育职业学院网络多媒体手语技能系统由“云桌面管理平台”和“智能化多媒体教学系统”两部分组成，其中“云桌面管理平台”与其他二语实训平台相类似，包括多教室管理、远程管理及监视、远程控制及资源按需分配、多环境快速部署、学生工作站失效备援、系统硬件管理六大模块，主要功能在于帮助教师实现多个手语实训室统一管理，多教学场景批量管理。教师可通过浏览器访问云桌面管理平台，显示所有已连接学生工作站、终端运行状态，并批量展示学生端桌面，对教学各环节实施远程实时监视。“智能化多媒体手语教学系统”主要包括手语示范教学、手语分组教学、手语翻译音(视)频教学、手语文件点播、课堂测试、手语视频录制6个功能模块。各模块主要功能定位如下：手语示范教学可实现学生位自主示范、学生控制教师机演示、教师远程遥控学生位示范3种示范教学方式；手语分组教学可根据学生程度进行个性化分组，每组分配不同的学习任务，以开展交互式的手语翻译实训；手语翻译音(视)频教学可将教学所用音(视)频同步、流畅广播至所有学生位，且可进行音(视)频的变速不变调播放；手语文件点播可下发点播资源(文本、图片、PPT、音频、视频)至所有学生位，且教师能够查看资料点播次数及平均浏览时长；课堂测试可进行手语随堂作业与课堂抢答，客观题计算机自动批改，且教师能够查看测试完成度、测试成绩、学生卷面；手语视频录制可录制教师端屏幕与语音，并通过摄像头录制教师场景。此外，学生还可在多媒体手语技能实训室中通过在线语言学习，利用数据的快速传输和资源共享来满足语言学习的个性化需求，实现在手语与汉语间灵活传译的实训目的。

(2)手语虚拟演播。虚拟演播技术原本是一种新兴的电视节目制作方式，它利用摄像机跟踪技术和视频图像处理技术，将摄像机拍摄的人物录像与计算机制作的三维虚拟场景合成，产生人物在虚拟场景中活动的效果，近年来虚拟演播技术主要应用于教育领域的影视编导以及慕课的制作等[8]。虚拟演播技术也可应用于手语翻译专业教学，浙江特殊教育职业学院手语虚拟演播实训系统采用制作好背景的三维模型，预先定义好摄像机的运动和参数设置，运用色键将前景和相应的虚拟背景结合起来，生成比较真实的虚拟背景。其中系统主机是整个虚拟演播室的控制中心，它相当于手语翻译节目制作的“导播台”，除了调用和调整事先做好的三维虚拟场景外，还负责向图形发生器传输图像数据及处理由摄像机跟踪器传来的摄像机运动数据，并根据主机传来的摄像机运动数据实时地计算出演播者在虚拟的三维电脑场景中的运动，以保证其输出的虚拟背景与真实的前景同步，该院手语虚拟演播系统如图4所示。手语虚拟演播技术能激发学生的想象力、创造性和创作欲，使丰富多样的手语作品与虚拟的背景、道具相结合，学生能体验大型节目播报中的现场感，增强了职场体验感。另外，由于场景的制作、修改、保存等都在计算机上实时进行，制作和更换电子布景快捷简便，节省了大量的人力、物力、财力，而且缩短了节目制作周期，提高了演播室的利用率[9]。

图4 学院手语翻译虚拟演播系统

(3)虚拟现实技术。具身理论强调身体及身体与环境间的互动，近年来，具身认知理论指导下的学习环境设计从仅提供人机信息交流转向提供学习者身体进行活动、心智进行思维的环境[10]，为手语实训教学创新提供颇具启发性的思路。虚拟现实技术以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用和相互影响，可以产生身临其境般对应真实环境的感受和体验[11]。学生在高度仿真的虚拟环境中开展实训，已成为各高校加强实践教学、提高教学质量的重要手段[12]。目前，国家级的虚拟仿真实验教学中心建设已经面向全国铺开，各高校正大力推进虚拟现实技术的教育应用，可以预见，手语翻译虚拟仿真实训也将在不久的将来建成并应用于教学。手语翻译虚拟仿真实训具备的功能：①教师可以将学生“瞬间转移”到任何特定场景(包括某些极端场景如战争、车祸、地震)，学生可以根据训练项目开展多种情境下的手语沟通，突破时间、地点的限制，并大大节约人力、物力、财力；②学生可以“随时更换”自己的聋听身份，把枯燥的语言训练转变成情境交互中的游戏、表演、故事讲述及特定情境下真实的交际任务，释放身体自由度，获得学习的“在场”感和愉悦的情感体验。③大屏显示、多点触控、听触觉反馈等技术跟踪学生手势动作、肢体语言的运动轨迹，并提供动态提示，学生能根据反馈信息及时纠正手语“发音”，实时监控自身手语翻译的准确性、流畅度。总之，虚拟仿真技术能让学生产生最接近真实的具身体验，满足学生沉浸式、互动协作、碎片化的学习需求，促进知识迁移，使手语实训在全范围、全天候的学习成为可能。

4 结 语

自2007年我国建成第一个手语翻译实验室以来，国内手语翻译专业实验技术的创新就没有停止过步伐。从最初的让学生对着镜子对自己的手势动作纠正练习，到利用摄像机、计算机技术进行手语信息查询和手语软件学习，直至当今教育信息化2.0时代，网络多媒体、虚拟演播技术的应用，手语翻译专业也汇入了实验技术的信息化潮流。作为浙江省目前唯一一所开办该专业的高校，学院手语翻译专业积极探索手语实训教学模式及手段创新，2016年获批国家控制专业——特殊教育(手语翻译)，2017年被列为浙江省高校“十三五”特色专业建设项目，该专业师生利用扎实的实训技能，为残疾人教育、影视媒体、公安系统及其他公共事务领域提供不同类型的手语翻译专业服务，得到社会各界的广泛认可与好评。

第二代认知科学认为，人类的认知过程不只是需要大脑的参与，它更是一种学生以自身经验为基础，以身体以及身体与环境的交互作用发生的认知结构重组与功能嬗变的过程。学习的内化、转化与个性化生成，都涉及到人的经验匹配、概念扩充、情感评价和动作表情的虚拟预演等深层变化[13]。手语翻译专业以第二代认知科学“具身认知”观为指导，综合运用网络多媒体、手语虚拟演播室、手语虚拟现实技术，在“通用手语”“手语翻译”两大教学模块中构建“实感具身”“实境具身”“离线具身”教学情境，推进教学理念与实训技术的深度融合，产生了良好的社会效应。今后，高校手语翻译实训教学改革可沿着这一思路继续推进，重视学生学习的过程设计，在实训教学方式、课堂教学设计、教学评价等方面做出进一步探索。