基于具身认知的动作类非遗虚拟交互场景设计

王妍，刘澍岳，司峥鸣

1.哈尔滨工业大学建筑学院，哈尔滨 150001；2.互动媒体设计与装备服务创新文化和旅游部重点实验室，哈尔滨150001

一、动作类非物质文化遗产

非物质文化遗产（Intangible Cultural Heritage，简称非遗）是世代相传的传统文化表现形式及与之相关的实物和场所[1]。常见的分类包括以下几种方式。

第1，按照表现形式分为“口头传统和表现形式，包括作为非物质文化遗产媒介的语言；表演艺术；社会实践、仪式、节庆活动；有关自然界和宇宙的知识和实践；传统手工艺”5个类型（联合国教科文组织《保护非物质文化遗产公约》，2003年）；第2，按照学科分为“传统口头文学以及作为其载体的语言；传统美术、书法、音乐、舞蹈、戏剧、曲艺和杂技，传统技艺、医药和历法，传统礼仪、节庆等民俗，传统体育和游艺，其他非物质文化遗产”等6 类（《中华人民共和国非物质文化遗产法》）；第3，按照人体载体分为“口头文化；体形文化；综合文化；当下的造型文化”等四大类（向云驹）；第4，按照社会文化生活属性分为“语言文字类、传统艺术类、传统技艺类、传统体育类、民间知识类、民间信仰类、民间习俗类”（张敏）等七大类[2]。在学术界得到较多认可的是王文章[3]在《非物质文化遗产概论》，以非物质文化遗产传承规律和基本特点为依据提出的13类分法，即：语言、民间文学、传统音乐、传统舞蹈、传统戏剧、曲艺、杂技、传统武术、体育与竞技、民间美术、工艺美术、传统手工技艺及其他工艺技术、传统的医学和药学、民俗、文化空间。在此基础上，将以人体为载体，以动作为主要表现形式，通过完成特定的肢体动作来展现文化内涵的非物质文化遗产，归为“动作类非遗”，例如传统武术、体育与竞技、传统舞蹈、杂技等，比如中国的太极拳、形意拳、八卦掌、华佗五禽戏、少林功夫、朝鲜族农乐舞等都属于“动作类非物质文化遗产”。

二、动作类非物质文化遗产的数字化保护现状与问题

目前有关动作类非物质文化遗产的数字化保护有以下几个方面。

一是通过整理图像和文字内容进行数据库建档，实现动作类非遗的保护。例如“东莞麒麟舞”数字化信息平台，甘肃省民族传统体育项目数据库平台等。音像和文字资料可以对动作类非遗进行真实记录，数字化资源搭建的数据库在资源的存储、管理等环节具有明显优势[4]，然而，动作类非遗数据库的呈现大多停留在一般性的知识储存，已有的数据和信息大多在形式认知层面，不符合动作类非遗以“动作”为文化载体的传承需求。

二是在互联网的自媒体平台进行多渠道宣传，促进动作类非遗的保护和传播。例如武术类非遗“白猿通背拳”，通过开通官方认证账号“白猿武道”，从Bilibili、微博、抖音和其他直播类APP 上进行宣传，以期借助互联网的自媒体平台扩大宣传。相对于传统媒体单一的传播途径，自媒体传播途径更加多样、生动，也使受众获取信息的方式更加便捷，扩大了动作类非遗的影响，然而，自媒体平台发布的信息多为观赏性影像信息，同样无法满足动作类非遗传承的需求。

三是开发旅游产业与文娱产品，用以保护动作类非遗。例如苗族传统节庆将体育与旅游产业融合，将无形的苗族非遗传统文化转化为有形产品，创作开发相关的文化演艺、影视作品、游戏动漫、网络文学等文化休闲产品，组织策划相关的仪典、习俗旅游体验项目。动作类非遗特色旅游开发在宣传非遗发源地和传统文化的同时，也创造了一定的经济效益，一定程度上实现了动作类非遗可持续发展[5]，然而，旅游产业与文娱产品多追求观赏性、体验性，使受众体验非遗的文化氛围，并非关注相关“动作”的传承与学习。

综上可见，数据库建档、自媒体平台宣传和开发旅游产业与文娱产品的方式，对非遗的保护和传承发挥了一定的作用，但与“动作类非遗”“在过程中展开的序列动作”的存在模式相符合的数字化保护要求还存在较大差距。动作类非遗通常是通过现实场景中师徒传授动作的方式来完成的，但是这种身手传授的方式受众面小、受时空局限，对非遗的普及和传承造成了很大的障碍。在数字技术的环境背景下，可以大力发掘数字技术的能力，建构动作类非遗学习的数字化虚拟场景，使学习者实现标准化、跨时空学习和练习，对动作类非遗保护的方式具有探索意义。

三、基于具身认知的动作类非遗虚拟交互场景设计思路

（一）设计理据

动作类非遗是一种以身体动作经验方式传承的知识类型。著名设计心理学家唐纳德·诺曼[6]将人类所掌握的知识分为陈述性知识和程序性知识，陈述性知识以事实和规则作为主要表现形式，易用文字表达来进行传授；而程序性知识以下意识的经验和成体系动作为载体，难以用文字来表达或传授，最好的教授方法是示范，最佳的学习方法是练习。动作类非遗属于程序性知识，依靠身体与身体动作的标准化程式来传承，尤为突出地体现了具身认知的规律。

具身认知理论认为，认知的心理特性与身体的物理属性相关，身体的结构和感觉运动系统对认知的形成有重要作用，认知等高级的心理过程是由身体及其活动方式塑造的，不可能脱离身体而独立存在[7]。认知是身体的，身体的状态直接影响认知过程的进行，存储在记忆中的认知信息体现为与具体的、生动的身体感觉通道相关联的动作符号，学习者通过身体活动与周围环境的互动而获得知识[8]；认知是嵌入式的，心灵嵌于身体、身体嵌入环境，学习是个体与环境之间连续不断的交互作用过程[9]；认知是拟仿的，镜像神经元的生理学机制帮助人类的大脑在学习过程中对环境中的镜像行为进行模仿，从而形成认知[10]。

动作类非遗的学习过程是在镜像的身体动作学习的基础上加以理解和记忆，因此动作类非遗虚拟交互场景中应该具有3个模块：虚拟化身模块，记录标准化动作要领，作为知识数据储存起来，建构虚拟传授者，同时记录虚拟学习者数据，建构虚拟学习者化身；交互模块，建构可交互的动作模拟系统，用于学习者拟仿学习，实现对标准动作的模仿，用来操纵、理解、预测、评估身体动作的学习效果，掌握成体系的标准化动作程式，并养成下意识的经验，从而通过动作的教学与练习实现活化保护与传承；虚拟场景模块，提供自然化、情境化的虚拟现实场景，将体验者的虚拟化身投射进非遗文化的虚拟环境中，使学习者在非遗文化氛围中，真正把握动作类非遗的文化精髓。

（二）关键技术

1.动作捕捉技术

动作捕捉技术（Motion Capture）可以识别人物的动作，并基于捕捉识别结果，进行人体动态特性分析，通过还原真实动作，记录人物运动路径，并转换为数字模型，以动画形式表现出来。使用动作捕捉技术将人体动作映射到虚拟场景中，构建出与真实人物对应的虚拟人物，可以使用户获得更逼真的体验[11]。利用动作捕捉技术可以对动作类非遗的具体动作进行记录，不同于拍摄图片和录制视频的方式，动作捕捉将动作转化为定量的三维数据，采集精度更高，并支持对采集的动作进行详细分析。用户可以全方位观察三维数字化的动作，使动作学习过程更加准确和科学，满足动作类非遗精准传承的要求。

2.虚拟现实技术

虚拟现实技术（Virtual Reality，缩写为VR）利用计算机仿真系统模拟虚拟外界环境，为用户提供动态多信息模态的交互式仿真体验。使用虚拟场景展示更为生动，创造更加真实的视觉等效果，提高系统环境的吸引力，使用户通过身临其境的方式增强沉浸感。虚拟现实技术使动作类非遗的教学环境由真实环境转移到虚拟现实环境，打破时空的局限，改进现有动作类非遗数字化保护方式局限于视听形式的现状，使用户可以充分训练身体经验，实现动作类非遗数字化保护的拟真效果。

目前，动捕技术和虚拟现实技术用于动作表演、场景营造等方面，已有许多尝试和成功案例。例如邢丽梅等[12]将无锡茶花担舞的演出环境还原至虚拟空间，利用虚拟现实技术构建富有江南水乡情调的民间生活场景，为动作情境提供更翔实的记录，也为体验者提供真实、多维度的观看和学习样本。动作捕捉技术可以辅助进行动作采集与校正，使用户的经验与数据相结合，量化分析训练成果，例如Tongpaeng 等[13]建构的基于Kinect 动作捕捉的泰国传统舞蹈学习系统，实现实时捕捉用户的动作，并与数据库中专家的动作对比后给出相应的评价，用户在反馈中修正并把握动作的准确性与连贯性。Khundam等[14]将虚拟跑步与冒险类角色扮演游戏相结合，设计了一种虚拟健身的新型运动和娱乐方式，利用传感器检测身体的运动，并追踪动作发生的位置和精度。虚拟健身游戏增强了运动的娱乐性，虚拟空间沉浸式的游戏体验刺激玩家锻炼身体，并对其动作进行监测和矫正。与此同时，人们越来越认识到，用户的情绪是影响沉浸体验的至关重要的因素。Solah等[15]以情绪为驱动，将用户的情绪作为虚拟场景着色的参照，根据用户的特定情绪自动调整虚拟场景中物体的纹理和颜色，使其与用户的情感和心理反应相匹配，在场景的真实性和用户的情绪期望之间达到平衡。“维奇那托火山灰”博物馆利用VR和MR等沉浸式技术，将旅游城市的物理环境转移到虚拟空间中，重建文化之都马特拉的历史，在文化遗产的数字化保护场馆中加入情感环境的价值目标，结合人类历史传统和价值观，重塑了时空叙事，提高游客体验和满意度[16]。

综上所述，虚拟现实技术和动作捕捉技术结合的方式，可以使动作的记录和展示过程更加准确、便利、有趣，有望在动作类非遗数字化保护的领域发挥积极作用。因此，文中提出对动作类非物质文化遗产数字化保护的虚拟交互场景设计构想，通过在虚拟现实环境中搭建与真实环境相似的场景，将“过程性”的动作类非遗和教学过程在虚拟现实环境中以更贴近真实的方式展现出来，通过游戏化的学与练，使“体验者”成为“传承者”，从而实现动作类非遗的活化保护与更广泛的传承。

（三）设计流程

基于具身认知的动作类非遗虚拟交互场景的设计分为以下流程，见图1。

图1 动作类非遗虚拟交互场景设计流程

1.场景搭建

根据动作类非遗不同的文化背景、文化意蕴和文化特色来构建虚拟场景，确定场景的整体风格，将动作类非遗的主题、功能、内容和个性化信息传达给用户，用户可以多角度亲身体验场景，感受到动作类非遗的文化魅力。场景设计在聚焦与动作类非遗内容相符合的视觉效果的同时，也应满足交互的沉浸感，使学习者可以跨时空、零距离地在虚拟场景中向大师学习专业动作，反复练习，即时了解学习的效果，真实、直观地体验动作类非遗文化传统。

2.动作录入

1）标准动作录入。采用光学式动作捕捉系统对专业人员的动作进行三维空间的数据记录提取，经过优化处理后，保存专业人员在三维空间中的动作运动轨迹，与带骨骼绑定的虚拟角色模型进行运动数据绑定，将关节节点一一对应，生成角色动画，建成虚拟传授者动作数据库，在虚拟现实场景中，由用户随时调用，以虚拟传授者的角色演示标准动作。

2）学习者动作的实时录入。与标准动作只需录入后重复播放不同，学习者的动作需要在虚拟现实环境中实时显示，这就要求学习者的动作与虚拟场景中的虚拟学习者化身的角色动作实时同步。学习者通过穿戴VR 头显和动作捕捉服等硬件设备，由动作捕捉技术跟踪和测量其身体的动作和姿态，以及位置和方向，并通过实时监测和反馈，实现在虚拟场景内对虚拟学习者化身动作的显示和控制功能。

3.相似度评估

学习者身体与在虚拟场景中虚拟化身的动作绑定后，学习者便可以通过驱动虚拟化身的动作来模拟标准动作，从而完成学习和训练的过程。动捕技术将学习者的动作数据记录下来，在输出端对其动作进行量化分析，通过比对学习者的动作与标准动作之间的相似度，以定量的方式来评估学习者练习的成果并给予分数反馈，通过反复对比练习，学习者动作逐步改进，从而使学习者动作的标准化得到提升。

四、动作类非遗场景设计——以太极拳为例

文中以动作类非遗的代表——太极拳为例进行原型设计。2020年12月，中国“太极拳”项目列入联合国教科文组织人类非物质文化遗产代表作名录。太极拳具有悠久的历史和文化内涵，其诞生之初就集众家之长，集颐养性情、强身健体、技击对抗等多种功能于一体，体现了包罗万象、阴阳辩证、刚柔相济的中国传统哲学思想，历经演变和发展，成为中国社会文化和体育事业的重要组成部分，向全世界展现国家形象魅力[17]。弘扬太极拳文化对促进人的心理和精神健康、树立环保理念和濡养民族精神等都具有重要的价值。

（一）虚拟现实场景的搭建

练习太极拳要求放松身心，静心体悟，行拳时将自己的身心全然融入天地之间，用心感知身心变化，在与大自然进行沟通和互动中获得快乐和升华。在秀丽的自然景色中可以让动作慢下来，接收天地的能量，沉浸于身心合一的感觉，可以得到彻底的休息和能量补给。因此，将自然景色作为虚拟现实场景的构建，可以使练习者内心宁静，感官更加敏锐，达到太极拳追求的“天人合一”的境界。因此以自然山水为主要背景开展虚拟现实场景的构建。

首先搭建整体框架图，规定演示标准动作的虚拟传授者的运动区域和虚拟学习者模仿、练习动作的运动区域，通过三维建模生成主要场景；再对场景整体风格做出适当调整，为场景内添加水流、树木等自然景观装饰，增强场景的画面真实感，使其可以体现中国传统审美文化的风格和特点。

（二）标准动作的动作捕捉数据采集与动画生成

进入动作类非遗虚拟交互场景的用户可以分为2类：一类是录入标准动作的专业人员，受到专业认证的太极拳传承人和大师等；另一类是学习太极拳的非专业学习者。这2 类用户在进入本场景时，进行的操作过程是不同的。

1.专业人员的标准动作录入操作过程

专业人员在进入动作类非遗虚拟交互场景时，需要穿戴带有反光标记点的可穿戴式动作捕捉服，动捕服上有53个标记点，能捕捉全身骨骼的旋转和人体的位置信息，专业人员需要在布置了追踪相机的空间内站立，完成人物骨骼动画和虚拟角色的追踪与绑定，见图2。

图2 专业人员演示动作的骨骼动画追踪和虚拟角色绑定

专业人员在空间内演示太极拳的动作，动作捕捉系统会将专业人员的骨骼运动轨迹进行记录，得到动作的骨骼动画。为减少误差，在录入标准动作时，专业人员需要多次重复分势动作，动作捕捉获取多次录入的数据结果，再通过深度学习对专业人员的动作进行分析后得到标准动作，确保动作规范。

2.非专业学习者的模仿练习与评估

学习者在穿戴动作捕捉服进入虚拟交互场景的同时，还需要佩戴VR头显和手柄等设备，进入到虚拟现实场景。学习者在虚拟现实场景中可以看到自身的虚拟化身和标准动作演示的虚拟传授者，在虚拟传授者进行标准动作演示时，学习者可以仿照标准动作进行拟仿练习。学习者还可以在界面菜单中选择想要练习的分势，分阶段多次练习。

在学习者模仿虚拟传授者练习太极拳时，虚拟环境中将投射出学习者动作与标准动作的相似度评估分数，每秒评估一次，最低分为0分，满分为10分，分数越高代表学习者动作的模仿与标准动作越相似，从而证明学习者的练习更加熟练，对太极拳的掌握更加深入，见图3。

图3 学习者在虚拟现实场景中的拟仿训练界面效果

动作相似度评估可以通过2种途径实现。一是采用特征向量进行相似性匹配。将空间三维运动的离散点数据通过欧拉距离变换进行姿态分析和简化，初步对比标准动作与目标动作的差异度，再将人体骨架模型转化为7 个特征平面，比较标准动作与目标动作的特征平面的法向量与向量夹角，从而判断目标动作的精确程度和规范性，并计算身体的局部规范程度[18]。二是基于关节角度和DTW 算法进行相似度比较。首先计算练习者动作中关节角度的时间序列，使用指数平滑法消除时间序列中存在的误差，然后利用上下帧之间的人体关节角度差分割时间序列，最后用DTW算法求出练习者动作分割后得到的时间序列与标准动作对应的时间序列之间的距离，从而获取练习者动作与标准动作之间的匹配度，实现练习者动作与标准动作的配准[19]。将学习者每次练习的动作进行数据化分析，标注其关节节点的位置坐标，并与数字化标准动作的关节节点位置坐标进行对比，使用动作相似度评估的方法，从而判断学习者练习动作与标准动作的相似度，评估学习效果，使动作更加规范，保证学习者练习太极拳动作的准确性。

通过太极拳虚拟交互场景设计，吸引学习者进行太极拳的动作练习和校准，完成对太极拳的系统化和标准化学习，从而使学习者在掌握太极拳动作要领、强身健体的同时，体验到中国传统文化中的体育精神。在虚拟交互场景中，用户从“体验者”转化为“传承者”，实现了太极拳的可持续发展与活化保护，有效传播了太极拳的相关知识和文化内涵，有利于增强中华传统文化认同感和文化自信，提升民族凝聚力和文化影响力，传播文明康健、向善向美的国家形象。

四、结语

身体动作是动作类非物质文化遗产的表现形式和保护传承对象。因此，动作类非遗的数字化保护手段既要顾及动作的记录，更要注重动作的传授。动作类非遗虚拟交互场景设计改进了传统的数字化保护方式，将传统的文字和音像等单向传播的记录方式拓展为互动传播模式。首先，通过动作捕捉技术将标准化动作录入，利用动作捕捉设备采集代表性传承人的标准动作，进行标准动作的收集整理、片段分解及连贯重构再现，为学习者随时提供标准化传授者；其次，将传统的现实练习场景转移到虚拟交互场景中，增强了沉浸感，同时打破了动作类非遗传授的时空局限；再次，将传统的经验式模仿练习方式拓展为通过算法的数字分析与评估，对比学习者动作与标准动作的差异，给予及时反馈与校正的教学评估训练模式，动作类非遗得到准确的活化认知和继承；最后，充分发掘动作类非遗文化元素搭建虚拟场景，建构动作类非遗文化存在、延续和传承发展的数字化文化生态条件，将动作类非遗的文化精神渗透在教学与练习的环节中，使学习者在文化熏陶和审美体验中传承文化精神。