清乾隆农耕商贸图外销壁纸多媒体呈现研究

刘海飒，付常青

摘 要 通过探究清乾隆农耕商贸图外销壁纸的多媒体视觉呈现，构建多媒体呈现视阈下的文物保护传承模式和科学方法。探索符合中国国情的文化遗产保护与可持续发展的载体和途径，对于清代广东外销艺术文化内涵的保护与传承，以及建构符合中国国情文化遗产的可持续发展开拓出新的研究领域和学术视野。

关键词 多媒体；叙事架构；文物数字化

中图分类号 G2 文献标识码 A 文章编号 2096-0360（2020）21-0027-03

由于当代信息传达呈现非物质性的特质，使得5G时代智慧博物馆建设中的展陈设计从以往侧重技术性层面的设计逐渐转变为根据人性需求，从观众的体验和反馈出发，利用多媒体虚拟现实和增强现实技术以沉浸性、趣味性和交互性的视觉形态，将历史文化由静态的可知到动态的可感，帮助人们提升对文物背后人文景象的多重认知。

2011年广东省博物馆从海外回购的清乾隆农耕商贸图外销壁纸，成为中国文博界唯一一套最大最完整的清代外销手绘壁纸。作为国家一级文物，对其进行多媒体艺术呈现以及整体展示流程的创新，借助多媒体这种综合性媒介技术的跨学科研究，分析不同媒介的形态要素和多模态呈现方式，及其形态的衍生特征，以原始数字图像为核心，通过大数据、云计算、物联网、人工智能等相关技术多维度的相互融合，从宏观层面建立文物多媒体艺术呈现体系，将多维的信息可视化。借以进行18世纪中期经广州口岸外销至欧洲的壁纸贸易的考释研究，探索清代广东外销壁纸前期数字化保护与后期多媒体呈现的“耦合关系”，拓宽对于清代广东外销壁纸从单一保护向多元传承的传播路径和传播广度，为构建清代广东外销壁纸保护和传承的可持续发展和文化价值的增值模式提供更多可能，从而让更多人关注和共享岭南优秀的文化遺产。

1 运用多媒体技术构建多维的叙事架构体系

由于文物的多媒体呈现研究，涉及到历史文化学、考古学、人类学、民俗学、设计艺术学、传播学等交叉学科。为了塑造更有利于传播的多维叙事情境，首先对清乾隆农耕商贸图外销壁纸进行红外线高精数据采集，即采用多个能透过不同波长的红外滤镜对壁纸进行同轴影像的信息采集，合成后可以得到壁纸中的更多细节。随后将这些采集到的图像信息建立数据档案库。后期运用计算机图形学、知识图谱信息技术等复合性技术的语义检索、关联挖掘和可视化呈现方式，全方位挖掘、诠释清乾隆农耕商贸图外销壁纸潜藏其后的历史文化内涵。同时，从数据端将散落的信息点进行语意数字化处理，构建起完整的叙事框架和多重的叙事空间，对壁纸画面内容描绘的情景进行再造、重构和深入拓展，将画面上的50多个生活生产场景，分成农耕、制茶等主题。每个主题均以完整的故事情节构建起叙事的逻辑系统，生动展现手绘壁纸中的人物关系，并串联起不同场景彼此之间的关联。通过对壁纸画面内容全方面、多维度、深层次的情境再现，还原清代广府地区的民风民俗、市井生活。同时将前期经过转换的数字信息，借助不同媒介叙事的表达方式和多模态形式语言，运用多种传感设备以及AR、VR、MR等辅助技术形成开放的“组联”，实现数据的智慧融合。拓展壁纸的传播的物化载体，将文字、图像、音频、视频等信息集合成完整的交互系统，全方位诉诸于观众的“五感”（视觉、听觉、触觉、嗅觉、味觉）神经中枢，将各种体感信息混合并重构，模糊各种感知之间的界限，使得通感联觉的多层级体验的转换进一步得以实现，增强叙事情境的真实感、叙事感染力和带入感，让壁纸背后的历史内容“复活”再生。

根据清乾隆农耕商贸图外销壁纸预设的叙事架构内容，以及多媒体视觉呈现创造的“拟真”情境，将物理上的静态图像衍变成虚拟的四维影像，重现和还原清中期农耕、桑织、制陶、制茶等传统工艺造物中的繁琐程序。实现人机的多模态即时交互。同时借助数字头盔、数据手套等可穿戴智能设备带来的空间信息定位，突破场地时空的限制，对真实空间进行扩增。复原手绘壁纸当时的历史现场和生活场景，让观众可以亲历，并细致观察当时制茶、农耕的整个动态流程，通过多重感官的审美体验让观众可以不受时空限制“浸入”到“真实”的情境空间中，让手绘壁纸中的图像仿若“触手可及”。感受到更多层次的历史情境以及手绘壁纸上的画面细节。产生身临其境的沉浸感和临场感。

作为历史信息物化的载体和传播媒介，由于清乾隆农耕商贸图外销壁纸整体信息内容呈现碎片化的特征，根据当下观众体验历史文化的心理需求，建构以观众体验为核心的非线性叙事形态和多向性的行为交互模块。以满足个性化差异带来的体验需求。先期的叙事设计根据清乾隆农耕商贸图外销壁纸中图像所呈现的空间与时间、事物与人的结构关系。预设出叙事结构和叙事空间的多种可能性。为观众介入预留下更多想象、自主掌控的空间，同时，为不同年龄和文化背景的人群搭建不同的叙事链接入口，将叙事发展的选择权交由观众，让观众的个性化选择产生不同的叙事发展走向，使外销手绘壁纸的叙事过程不仅局限于固定的物理空间和不可逆的时间序列，而是以人机双向互动产生的不确定性增强叙事的多层次表现。比如：观众的不同选择或指令直接影响叙事的进程或者导致叙事不同的结果，以此增强故事的连贯性和趣味性。同时根据场景中预设的热点链接，让观众可以通过AR功能面板进行个性化操作，通过手势点击、平移、旋转或者发出语音指令建立多维信息交互的空间，让观众可以自主放大和增强物理环境中体验的刺激效果，在虚拟现实的情境中始终处于 “在场”的状态，通过创建沉浸体验的不同层次空间和个性化的体验区域，让叙事的环节和情节设计更加流畅和自然。从中获取到更加多元化的信息解读和更为多维、丰富的身心体验。

同时注重人机交互过程中的情感体验，通过运用智能装置的识别与定位、全息投影、仿真信息技术，切入清乾隆农耕商贸图外销壁纸所描绘的“历史现场”，还原历史的真实感和临场感。让观众穿越到当时的历史情境中，通过近距离观看、触摸，甚至参与其中进行同样的生产劳作，获得更深入的理解和体验，从中感受到当时人们的生活方式与行为逻辑。进而获得更为自然、真实的情境体验，让受众在主动参与，促其“活化”的过程中实现 “拟像”后的叠加，对清代广州社会原貌的理解更加深刻、立体和全面，建立起与历史情境紧密的情感链接和情感认同。

2 运用多媒体技术实现文物数字化的设计策略

2.1 扩展清乾隆农耕商贸图外销壁纸多媒体呈现的沉浸式体验设计

首先，运用编程技术，构建图像数据库、网络拓扑架构等一系列模块，将数字技术与艺术表现相互融合。同时实景造型复原清乾隆农耕商贸图外销壁纸上的自然场景，通过幻影成像技术，多媒体投影沙盘，动感滑轨、360度环幕等多媒体技术，将壁纸上的图像处理成360度首尾相连的环形画面。将“景观造型”与“虚拟影像”相结合，运用混合现实技术塑造“幻象”把清乾隆农耕商贸图外销壁纸中的人物及其行为活动投射在模拟的现实场景中，实现在真实物理空间里中的“全息投影”。然后运用声效、动效将虚拟时空与真实场景相互融合，打破了时间和空间等因素的限制，还原历史的现场氛围，将平面壁纸上静态的历史场景“复活”。使得壁纸上的景物借助全息数字媒体技术得以再生呈现在现实空间中，以多维度、深层次的情境重现壁纸场景和细部形象，带给观众真实而深刻的沉浸感。并让观众与清乾隆农耕商贸图外销壁纸上的“人物”和历史情境的“交流”更加直观和完整。

其次，采集现场观众的眼动跟踪数据，配合增强现实技术提供的各种灵活、生动的交互资源，通过动态图文影像数字触摸屏和数字笔，提高与观众的参与度和互动。同时以移动终端为媒介，借助社交媒体为观众提供定制化的服务。以超链接方式将清乾隆农耕商贸图外销壁纸信息数据库中的多维信息（地理位置、历史背景等）通过关键字检索、需求分析和逻辑设计进行分类，实现个性化内容的发送。让观众在现场与清乾隆农耕商贸图外销壁纸中的虚拟人物、场景进行实时交互，并实时获取相关文字介绍和视频展示，便于深入解读其相关人文背景信息。让观众“走进历史”并沉浸其中，将其背后的历史感、美感和意蕴以更有效的方式传递给观众。最大化呈现其中的文化审美和历史价值，拓展和提升观众获取信息的层次和感知深度。

2.2 制定清乾隆农耕商贸图外销壁纸多媒体呈现的共情互动策略

在符合人机交互行为的逻辑性和满足观众观赏历史文物的心理、情感欲求的前提下，制定清代广东外销壁纸多媒体呈现的共情互动设计策略。通过体感交互游戏，虚拟场景漫游、虚拟剧场角色扮演等丰富灵活的人机交互模式，将清乾隆农耕商贸图外销壁纸二维平面拓展到四维形态、突破时空的限制，從实物到虚拟、从无声到有声，借助多媒体虚拟现实技术提供的预设空间，营造与清代外销文化相适应的审美和情趣兼具的虚拟场景。

由于清乾隆农耕商贸图外销壁纸的唯一性和不可复制性，以及当时历史时期、文化形态等不确定性，让观众穿戴智能设备通过手臂的动作，自主操控，同时运用摄像头捕捉空间跟踪点的实时定位功能和动态捕捉技术，引导观众在四维时空中通过手势识别、语音控制等增强现实技术与清乾隆农耕商贸图外销壁纸中的人物和场景隔空交互、共情互动。同时，通过虚拟漫游技术与系统编程软件创制的虚拟空间进行实时协作，将获取的观众表情信息实时映射到三维虚拟角色上，运用表情捕捉系统中的摄像校准模块提升拟真性和在场感。让观众通过全感官的沉浸式体验，穿越历史获得身临其境的真实感。同时开发《蒙面猜猜猜漫游农耕图》H5游戏，通过扫描游戏二维码进入游戏界面开始漫游之旅，将计算机生成的虚拟场景叠加到现实世界的真实场景中，让观众体验虚实结合的增强现实技术生成的混合空间，并在其中扮演各种角色穿梭在多个场景和多条线路之间进行“虚拟漫游”：种水稻、制茶饼等。游戏中还可以根据清乾隆农耕商贸图外销壁纸中的内容建设，设定多条叙事主题线路，如观光线路、冒险线路、制茶线路等，在“虚拟漫游”游览线路的途中可以查看线路延展的历史背景。同时还可以随意切换到其他线路，通过叙事剧情的发展体验穿越历史。同时通过参与知识竞答环节，答题赢积分，答题闯关解锁等方式获取成绩证书，兑换地图、明信片以及定制的周边衍生品。最终以审美体验为导向，打造更具感染力、亲和力和更为生动的传播路径和更为人性化、立体化的传播方式，增强感知的趣味性。多角度衍生和展现清乾隆农耕商贸图外销壁纸的艺术价值和人文知识。让观众从中获取与其相关的历史信息以及平面壁纸中隐藏的细节内容，实现其文化内涵的有效传播。

3 结语

随着信息时代的高速发展，物联网、云计算、大数据等先进技术让中国文博界面临新的挑战和机遇。通过探究清乾隆农耕商贸图外销壁纸的多媒体视觉呈现，构建多媒体呈现视阈下的文物保护传承模式和科学方法。将更加尖端、前沿的科技运用到文物的数字化保护中和建设成长型的智慧博物馆领域，赋能发展、扩大资源共享。探索符合中国国情的文化遗产保护与可持续发展的载体和途径，为清代广东外销艺术文化内涵的保护、传承以及可持续增值新模式拓展出新的研究领域和学术视野。

参考文献

[1]奥利弗·格劳.虚拟艺术[M].陈玲，译.北京：清华大学出版社，2007.

[2]迈克尔·海姆.从界面到网络——虚拟实在的形而上学[M].金吾仑，刘刚，译.上海：上海科技教育出版社，2000.

[3]周诗岩.建筑物与像——远程在场的影像逻辑[M].南京：东南大学出版社，2007.