多模态交互理念下黄河文化数字化传承策略探究

张博文，李玉童

（郑州轻工业大学 艺术设计学院，河南 郑州 450002）

2020年8月，习近平总书记主持召开中共中央政治局会议，审议《黄河流域生态保护和高质量发展规划纲要》。他提出：“要大力保护和弘扬黄河文化，延续历史文脉，挖掘时代价值，坚定文化自信。”［1］同年，文化和旅游部研究出台的《关于推动数字文化产业高质量发展的意见》，明确指出了培育云展览、数字艺术、沉浸式体验等新型业态的具体路径［2］。弘扬黄河文化、推动黄河流域数字文化产业高质量发展具有时代意义。要想发挥资源优势，首先就须盘活各类资源。数字技术正在深刻地改变我们的生活。在此背景下，要引入多模态交互理念，搭建令人震撼的虚拟场景，构建动态展示系统，拓宽培育新业态的路径，以实现黄河文化多角度呈现、多维感官传达与体验、活态传承和保护，实现黄河文化的广泛传播。本文拟对多模态交互理念下黄河文化数字化传承策略进行探讨。

一、多模态交互理论与黄河文化数字化传承

模态，英文为modality，即“感官”，由德国生理学家赫尔姆霍茨最早提出。生物依靠感知器官和体验接收信息，感官是生物接收信息的一条重要渠道。对人体而言，眼耳口鼻手为基本模态，人通过视觉、听觉、触觉、嗅觉与味觉从外界获得信息，在所获信息中，这五种感知方式的贡献，其占比分别是83%、11%、3.5%、1.5%与 1%。人体中，各个感觉系统都在不断地接收来自不同刺激源的信号输入，并根据这些信号做出恰当反应。把多种感官都调动起来，就构成了所谓的多模态，也就是说，多模态是指两个以上感官作用的融合。而多模态交互指的是人通过声音、肢体语言、信息载体（文字、图片、音频、视频）、环境等多个通道，与计算机交流，模拟人与人之间的沟通，采用人与人之间的交互方式来进行，不同模态通道内的信息，最终会合并统一［3］。也就是说，多模态交互是指产生视觉、听觉、嗅觉、味觉和触觉的感官的交互，它通过眼、耳、鼻、嘴和皮肤的接触来实现，其技术应用也都围绕人的这五个感官来展开。随着科学技术的不断进步，运用多模态交互形式和虚拟现实技术进行的跨场景搭建与多任务下多模态交互基础模型的构建逐渐成为现实，同时，在数字媒体艺术与多模态交互设计等方面亦有所突破，其应用能够促进感官认知恢复和文化体验提升。基于此，多模态交互成为当前学术界研究的一个重点。

文化的传承发展在很大程度上要通过媒介平台传播来实现，一种文化如果失去传播的空间，就很有可能默默地消亡，所涉及的群体很有可能患上文化失忆症。如今，数字技术已全方位渗透进人们的生活。技术创新一般都有人文创新伴随，二者水乳交融。现在，文化艺术与数字技术联姻非常普遍，二者的联系越来越紧密。实践证明，数字化媒介可促进传统文化的有效传承［4］。讲好黄河故事，推进黄河文化数字化传承和创新性发展，是增强文化自信和民族凝聚力的现实需要，是时代赋予当代人的光荣使命，同时它也是一个新的重要课题。要推动黄河文化传播迈入新时代。如今，数字技术不断取得突破。相应地，人们的数字思维逐步升级。5G、人工智能、物联网等新技术的广泛应用，推进了新一轮数字化。新技术为数字化艺术创作和数字文化产业发展提供了可能，也为黄河文化数字化传播提供了可能，新的思维为黄河文化数字化传承提供了新的思路和新的创意。数字体验模式与黄河文化的联姻是弘扬黄河文化的需要，是时代的需要，定能产生巨大的经济效益和社会效益。

二、多模态交互理念下传统文化数字化传承载体和模式

（一）沉浸式数字博物馆

传统博物馆展示以单向的观看和解说为主，参观者与文物进行单向交流，参观者获取文物信息的自由度不高。而沉浸式数字博物馆致力于通过搭建数字场景、打造多模态交互系统来激活历史，通过新媒体与参观者进行互动，给观众带来身临其境的沉浸式体验。沉浸式数字博物馆支持多种感官交互，它突破了时空限制，消融了文物展示与文化传播有形的边界，具有传播手段丰富、传播渠道多样等优势，能够满足个性化观展需求。

如今，数字技术手段层出不穷，文化艺术与数字技术融合已成为一种趋势。打造沉浸式数字博物馆，需要触控交互、体感交互、3D Mapping、动态投影、VR/AR/MR、全息成像、多通道投影拼接融合等技术的支持。当前，应用最广泛的技术包括全息投影、互动投影、虚拟现实、三维立体、数字沙盘等。

目前，国内外均在进行沉浸式数字化博物馆的研究和建设实践。我国的故宫博物院较早进行了数字化探索，在这一方面堪称典范，从1998年开始，故宫博物院就致力于运用信息技术来改造传统的办展方式，改变古建环境保护及文物展示、收藏、保护等方面的手工作业状态，突破相关局限，打破条条框框，创新管理机制，向世界一流博物馆迈进。紧接着，开展“数字故宫”系列建设，开通故宫博物院网站，完成 《天子的宫殿》《三大殿》《养心殿》《倦勤斋》《灵沼轩》等大型虚拟现实作品的创作，开发相关APP。特别是故宫博物院端门数字馆的打造，非常成功。“数字建筑”与可交互的“数字文物”的呈现，丰富了观众的观展体验［5］。故宫博物院已大步迈入世界一流博物馆的行列。

（二）多感官交互装置艺术

多感官交互装置艺术是一种动态合作的艺术形态或者说艺术表现形式，它能提供包括视觉感官、听觉感官、触觉感官等感官在内的多种感官互动体验，能捕捉观众的语音、表情、姿势等信息并实时反馈给观众，使观众沉浸在交互活动与交互环境中，实现艺术作品与观众更深层次的对话与交流，将艺术作品的文化内核更有效地传达给观众。观众在体验多感官交互的同时，也成为完成交互装置艺术作品的人，成为交互装置艺术作品的一部分。展示不再是单方面的传达，而是更深刻的交融。总之，多感官交互装置艺术更加强调实时性、交互性与体验性。

近年来，多感官交互装置艺术与传统文化相结合，这种创新给受众带来了不一样的体验。创作者运用多感官交互装置艺术，充分展示与高效传播了我国璀璨的传统文化。例如由CCTV《国家宝藏》栏目组视觉团队等创作集体共同打造的“东方智美”国宝数字体验展这一全新的沉浸文化项目和体验空间［6］。他们选取在《国家宝藏》栏目中展示过的9件国宝，以此为展示主体，结合多感官交互装置艺术，打造多模态数字化演绎方式，给观众带来了具有趣味性的多感官互动体验。《江山新语》是整个展览的开端。展示《千里江山图》时，由宏观视角向沉浸视角，进而又向微观视角转变，进行多维度演绎，营造人画交融的氛围，勾勒出一幅具有极致东方美学韵味的人与装置跨时空对话的图画。展示《瓷裳》时，创作者建构了一个虚实相生、杂糅的场域，传递出深厚的东方美学意蕴。通过特别打造的感官互动装置，参观者可领略中华传统瓷器文化中最高水平的技术工艺，了解瓷器的釉彩变化，真切地感受国宝的魅力，进而充分认识国宝的价值。

三、黄河文化数字化传承取得的成效以及当前存在的问题

（一）成效

数字技术赋能，使黄河文化传承发展之路越走越宽阔；在数字技术的助力下，弘扬黄河文化的活动项目取得了丰硕的成果。在新的时代背景下，文化、艺术与科技不断擦出火花，黄河文化数字化传承也出现新的形态与向度。例如，开封博物馆对《清明上河图》进行数字化演绎，《清明上河图》在环状大屏幕上变成一幅流动的图景。大屏幕前面还有可触摸小屏幕，受众可以点击小屏幕，选择听取方言讲解或者普通话讲解，在此交互过程当中，进一步了解《清明上河图》所表现的那个历史时代，通过互动的方式，获得全新的体验和感受。再比如山西博物院推出的《“大河上下·民族根魂”黄河文化数字化展示传播》项目［7］，以数字技术为支撑，以数字创意和动效、交互设计为特色，梳理黄河文化的脉络，深挖黄河文化的内涵和时代价值，从地质演变、文明发展、人民生活三个层面展开，进行全新视角的呈现，给观众奉献一场黄河文化盛宴，让观众感到黄河文化触手可及，使观众领略到黄河文化的无穷魅力。这一系列优秀的数字创意作品不仅给观众带来多重感官上的冲击，更是引发了人们对传统文化传承模式的思考。

（二）问题

1.对黄河文化的内涵与价值挖掘不够深，对要素的提炼不够精，导致数字转化质量不高

近年来，黄河文化数字化传承得到充分重视，但是从整体上看，发展还不均衡，且作品项目的数字转化质量不高，同质化严重，多模态呈现和数字化体验的效果不佳。其根源在于黄河文化资源活化的意识不强。内容决定形式，文化传承内容体系的构建直接影响传播展示与传承的效果。所以，第一步要明确所要传递文化信息的价值。文化元素是指传统文化或文化遗产的基础构件和象征符号［8］。黄河文化元素应从黄河的物质文化、非物质文化以及精神品质中提炼，突出地域特色、强调艺术价值。要拓宽黄河文化传播渠道，注重表现形式和手段上的创新，给观众带来更多数字化艺术体验。

2.展示中的交互设计不足，导致受众的体验不充分，头脑中无法形成记忆点

目前，黄河文化数字化传承架构、系统和模式还不够健全，对数字环境中人与空间进行信息（包括文字、图片、影像、声音、灯光等）收集与传递的新界面的设计还不够完善，导致受众与文化项目作品的交互力度不够大，受众的体验不充分，其反馈不及时，对二次自主传播的参与性较弱，完整的传播链条无法形成。另外，黄河文化数字化传承方面，出圈和爆款的文化IP较少，也影响了传播效果。

3.黄河文化数字化传承中存在唯技术论的误区

当前，黄河文化数字化传承中存在着重技术重形式而轻内容的现象。其实，黄河文化数字化传承不是单一的技术问题。数字技术固然重要，但还不是核心，“文化和人”才是核心。黄河文化数字化传承要回到“黄河文化和人”这一核心上，设计作品与项目时，不仅要考虑技术性问题，还要注重活态性、传统性、整体性和生态性，强调数字艺术交互中的情感化设计［9］。黄河文化数字化传承中若缺失情感与内容的温度，就会直接影响精神层面的共鸣。

四、基于多模态交互理论的黄河文化数字化传承策略

（一）提炼黄河文化元素，并进行数字化转译

应基于对符号学的认知，挖掘和筛选黄河文化中具有典型性、传播热度高的元素符号，通过对不同类型的元素符号所代表的主题文化内容的准确解析、数字化转译、再设计，建立黄河文化与数字信息之间的联结关系，并结合不同数字媒体的传播特点，从筛选出的黄河文化元素符号中有针对性地提炼出现代化的形态化符号语言，实现黄河文化的数字化表达、传播。

（二）推进黄河文化多维度数字传播，增强黄河文化影响力

在多模态交互理念下，传播者与受众之间的关系发生变化，信息传输从以往的单向传输转变为双向传输、互动，传播模式亦由“中心化”传播向“去中心”传播演变。基于此，应充分利用互联网和大数据等新技术手段，全面掌握受众信息，对传播市场进行立体化细分，准确定位受众。建立完善的信息反馈机制，拓宽互动交流渠道，运用品牌宣传手段，提升黄河文化的影响力。推进协同联动，构建多维度、多主体、立体式黄河文化数字化传播体系。推动数字平台建设，整合各类数字化资源，建设黄河文化要素数据库。加强文创产业园建设，不断创新文化表达方式，推出更多形式各异的数字化交互艺术作品。

（三）建立黄河文化多模态展示交互系统，增加受众体验

应运用虚拟现实、3D扫描与重建、动作捕捉等新技术，建立黄河文化多模态展示交互体验系统，对黄河文化进行多维度数字化演绎与呈现，调动受众的多种感官机能，融合多种感官的作用，密切各模态之间的联系，促进多个模态串联条件下的通感转化，增加受众的观展体验。应加强数字化展示媒介与受众之间的互动，创新交互形式，使受众通过触摸、直视、做手势、发出指令声音等方法就可以与展示装置进行互动，促进多模态融合转化。总之，要通过新颖、多样的数字化艺术表现形式，突出黄河文化的特征和要素，将黄河文化有效传播给受众。

五、结语

传承弘扬黄河文化需要与时俱进。新时代，应深入挖掘黄河文化历史资源，创新黄河文化传承的载体，推进黄河文化沉浸式数字博物馆建设，实现多模态交互理念下黄河文化数字化传播，使受众在与数字化展示媒介的互动中获得丰富的多感官体验，进而产生情感上的共鸣，提升传承黄河文化的积极性和自觉性。总之，要全面分析当前黄河文化数字化传承中存在的问题，从新的视角，从多个层面探讨黄河文化数字化传承策略、模式、路径，以实现受众的多感官体验为目的，提供更多数字化产品和服务，增加与深化受众对黄河文化的感知和认知，增强黄河文化影响力，推动黄河文化传播迈入新时代。