基于AR技术的科普绘本多感官体验设计

摘要：AR科普绘本以视听交互构建沉浸体验，以触控交互构建互动体验，以媒介交互构建联觉体验，以此调动儿童视觉、听觉、触觉、味觉、嗅觉五感体验和动作、情感等行为体验。AR科普绘本的创作需要紧随媒介交互的时代，提升知识性、科学性、趣味性、启发性、智能性和艺术性，为儿童营造更真实和全面的多感官整合体验。AR科普绘本的多感官体验设计主要可以归纳为视听交互构建的沉浸体验、触控交互构建的互动体验和媒介交互构建的联觉体验。

关键词：AR技术;科普绘本;多感官体验;媒介交互

AR（Augmented Reality）即增强现实，是将计算机系统提供的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，即时混合真实与虚拟影像，从而实现对现实的增强的技术。AR技术的三维空间展示功能，实时与高互动特点能将抽象的信息可视化、形象化，为受众搭建一个自主探索的内容空间。在这个空间中，信息传播由文字符号、视频传递演变成多媒体传递、场景体验，突破了单一感官参与的限制，实现了多感官参与和联动体验。科普绘本是以绘本形式呈现的科普读物，其主要读者为儿童，内容涉及自然科学、实用技术、社会科学、人文科学等诸多领域，旨在普及科学知识、传播科学思想、培养科学精神。

一、AR技术在科普绘本中的应用现状

随着虚拟仿真、人工智能等新媒体科技的发展，数字出版与传统出版相结合已成为图书出版的一个新的方向。AR技术日渐应用于科普绘本中，将传统的静态阅读变为融视觉、听觉、触觉等多感官体验于一体的动态阅读，更加多元的呈现方式带给了儿童更丰富新奇的体验。从2016年开始，AR科普绘本开始在各大电商平台大规模上市，在近三年的童书畅销榜上都位居前列，呈现出良好的发展态势。

目前AR技术在科普绘本中的应用主要是借助计算机程序，将纸质绘本中的部分内容立体化和游戏化，以构建真实感和互动性。讀者需要先使用手机或平板电脑扫描纸质绘本中提供的二维码下载相关APP，再通过APP打开手机或平板电脑的摄像头，对照纸质绘本中融入AR元素的图形进行识别，进入AR场景，体验AR带来的增强现实效果和互动效果。目前AR科普绘本中的的AR体验可归纳为两种形式，第一种形式是借助AR技术实现静态与动态的融合。通过程序扫描书中的图片，使相关的节目视频叠加在绘本上播放，儿童可以同时体验静态的纸质绘本内容与动态的视频节目内容。第二种形式是借助AR技术实现平面与空间的融合。通过摄像头将预先设计好的三维立体虚拟形象叠加到纸质绘本上，使二维平面的形态变得直观与真实，儿童还可以通过触控手机或平板电脑屏幕进行更深层次和更复杂的互动。

二、科普绘本融合AR技术的优势

科普绘本的主要读者是处于形象思维阶段的儿童，AR技术将虚拟信息叠加到纸质绘本中，使科普信息可视化，加强科普绘本的科学性和知识性;通过游戏、音频、视频等数字化内容与儿童进行多样互动，能增加阅读的趣味性和启发性;多种媒介带来的多感官整合体验，能提升体验的智能性和艺术性。

（一）立体呈现科普信息，加强科学性和知识性

以文字和图画为主的纸质科普绘本受媒介限制，儿童只能通过静态的平面图画理解文字内容，对于科学概念和抽象信息难以有形象化呈现。AR技术将科普信息可视化，通过动态和立体的形象让科学概念和抽象信息“活”起来，呈现出更直观化和形象化的特征，加强科普绘本的科学性和知识性。

AR技术立体呈现的科普信息是对纸质绘本内容的增值，更符合儿童的认知特点和信息接收能力，能强化儿童对图像和文字信息相关性的记忆，更直观地理解科学知识。直观化和形象化的特征能使儿童以立体和全面的视角，感性地认识客观世界的构造和内在规律，同时也能积极调动儿童的抽象学习和认知参与能力。

（二）与儿童的多样互动，增加趣味性和启发性

作为主要读者为儿童的科普读物，科普绘本要求以趣味性增加阅读兴趣。AR技术提供的互动元素、游戏环节、音频、视频等数字内容全方位拓宽了纸质绘本的平面、单一的呈现形式，这种具有新颖性和科技感的图文交互形式，能为儿童提供更多样化的互动，增加科普绘本的趣味性和启发性。

AR技术是一种新型的人机交互技术，使阅读不再是单方面的信息接收，而是人与书之间的互动。儿童在虚实结合的三维场景和互动场景中，通过视听、触控进行互动，能提升儿童接受信息的主动性和专注度，启发儿童进行更深入学习和主动探索。

（三）多感官整合体验，提升智能性和艺术性

科普绘本的创作要求兼顾科学性、趣味性和艺术性，需要将知识、情境、故事、美感、趣味整合为一体，不能因内容过于枯燥导致儿童限于被动阅读和理解障碍之中，也不能因为过于注重有趣和美感而忽视科学的严肃性。相比于纸质绘本借助文字、图形、形态、材质进行的信息传达，AR科普绘本借助多媒体进行的信息传达更贴近儿童心理，能调动儿童的多感官参与，提升科普绘本的智能性和艺术性。

AR技术不仅是一种新媒体技术，也是一种新的信息传播方式，能赋予科普绘本多元叙事功能。将科普绘本的科学性、趣味性、艺术性紧密结合，使知识、情境、故事、美感、趣味多感官通道整合，使儿童产生强烈的在场感，在感官体验和行为体验上更加人性化，激发儿童的多维感知。

三、AR科普绘本的多感官体验设计

人类的感官系统是一个相互作用和联系的整体，人们利用多种感官来接收和反馈信息。多感官体验可分为基于视觉、听觉、触觉、嗅觉、味觉的五感体验和基于动作、情感等反应的行为体验。AR科普绘本的多感官体验设计主要可以归纳为视听交互构建的沉浸体验、触控交互构建的互动体验和媒介交互构建的联觉体验。

（一）视听交互与沉浸体验

AR科普绘本通过纸质绘本和AR数字内容的同时呈现，利用视觉、听觉两方面的感官通道同时加工信息，对纸质绘本和数字内容信息进行整合，以视听交互的方式为儿童搭建一个自主探索内容的空间，来构建沉浸式阅读体验。纸质绘本的文字内容、插画设计、科普信息可视化设计、图文版式、色彩等平面视觉内容，以APP形式呈现的包括界面设计、三维形态、音效、音频信息、视频信息等AR数字内容，使二维平面与全方位的视听空间融合，使科普绘本的科学性和知识性得到更好的呈现。在儿童阅读的过程中，共同调动儿童的视觉、听觉感官，让儿童产生身临其境的沉浸感。

2016年2月电子工业出版社出版的AR科普绘本《消失的世界》（如图1），APP设计风格与纸质绘本的风格一致，首先在情境的构建上，强化了科普绘本的史前神秘氛围。AR页面上的史前生物会通过APP，在手机或平板电脑上伴随着神秘的音效、炫目的光线立刻被激活成三维形态，使儿童眼前一亮。营造神秘氛围的音乐和相关生物的音频解说使科普知识在儿童眼前直观演绎，节奏、氛围、时空感让儿童沉浸其中，获得轻松愉悦的视觉和听觉体验，在无形中形成对科普知识的认知。

（二）触控交互与互动体验

AR科普绘本通过AR技术实现触控交互，调动儿童与绘本、APP进行互动，将被动阅读转变为主动体验，使儿童不再是阅读过程中的旁观者，而是积极主动的参与者。纸质绘本是通过纸张质感、印刷工艺、立体结构等表现形式，来调动儿童的触觉感知和互动行为，AR科普绘本是在纸质绘本的基础上，通过AR技术增加了AR数字互动内容，以在沉浸式的场景下构建多感官参与式的互动体验，虚实结合与即时互动的特点使科普绘本的趣味性和启发性得以加强。对三维形态设置的放大、缩小、旋转、音效等APP触控操作，专为儿童打造的APP互动小游戏等，使儿童不再被动地接受科普信息，而是突破纸质绘本的限制，与虚拟形态进行实时互动，在感受游戏乐趣的同时主动吸取知识，启发儿童的主动探索精神。

2018年6月化学工业出版社出版的AR科普绘本《恐龙立体书》（如图2），是一本AR互动立体书，融合了AR互动探索、立体书的形式和趣味知识卡片游戏。纸质绘本的封面设计上利用印刷工艺效果呈现了恐龙表皮的质感，吸引儿童去动手触摸。内页的每一个页面都设置了立体、抽拉、翻页等互动小机关，通过翻页的动作，儿童能够体验到页面从平面到立体的过程，也能通过抽拉、翻页等动作获得更多关于恐龙的知识。AR數字内容通过APP扫描趣味知识卡片来呈现，可以对恐龙进行放大、缩小、旋转，也可以与恐龙合影，还可以通过答题的形式让不同的恐龙进行对战。在人机互动的模式下，从单一的静态阅读转变为动静结合的体验，激发了儿童进行互动的兴趣。

（三）媒介交互与联觉体验

AR技术不仅仅是一种增强现实的工具，而且是一种崭新的叙事方式。AR科普绘本是传统媒介和数字媒介的交互，将传统的线性叙事方式转化为互动数字叙事，使阅读不再停留于翻阅的过程，而是将科普绘本塑造成了一个多模态时空系统。传统媒介和数字媒介的交互，将科普绘本通过超文本内容、互动故事、共时性叙事和具有叙事性的游戏进行呈现，允许儿童通过角色扮演、人机对话等方式参与叙事，将儿童的感知得以充分调动，让儿童的视觉、听觉、触觉、味觉、嗅觉在同一空间下相互作用，形成一种多感官整合的联觉体验。

从不同的感官通道体验的信息，并不是互不相关的元素，联觉会将不同感官通道的信息相互沟通，有效融合为统一、连贯的感知。这个过程就是多感官整合的过程，联觉就是多感官整合的心理现象。媒介交互通过互动数字叙事首先调动儿童视觉、听觉、触觉感官的直接参与，儿童在对视觉、听觉、触觉等感官信息接收的过程中会产生联觉，在视听交互和触控交互构建的沉浸、互动体验中感知到心理上的嗅觉、味觉等感官体验、行为体验、情感体验。

2018年3月电子工业出版社出版的《未来机械世界》（如图3），AR数字内容并不是锦上添花式的增强现实内容，而是有着与纸质绘本相互补充的内容，承担着叙事功能。当打开绘本和APP时，传统媒介和数字媒介交互呈现着大开本的设计、未来感的音效。首先为儿童构建了具有未来感的场景，不知不觉调动了儿童的好奇心，引导儿童继续探索。APP分为“开启机甲纪元”“召集机甲生物”“我的机甲战队”三部分，打开扉页就会激活故事视频“开启机甲纪元”，使儿童产生强烈的代入感，视听交互产生的联觉让儿童似乎能够感知到未来机械世界的气息。打开内页，用“召集机甲生物”扫描页面上的机甲生物，能看到在页面上游动的、破坏纸面的机甲生物，有攻击和防御能力的机甲生物。多种形式的增强现实与儿童互动，能调动儿童的虚拟嗅觉、味觉，使儿童仿佛闻到了机甲生物的味道，还可以对机甲生物拍照进行分享。机甲生物召集完成后，可以在“我的机甲战队”中进行回顾，完成一个完整的科普知识学习过程。传统媒介和数字媒介的交互将科普知识、故事、情境、游戏、学习反馈等交互呈现，使科普绘本和AR技术真正有效融合成一个整体，通过联觉让儿童调动全方面的多感官体验。

四、结语

科普绘本融合AR技术，改变了传统阅读通过视觉获取信息的单一方式，将阅读的概念从静态转向动态、从平面转向空间、从阅读转向体验。AR技术的应用契合儿童的认知特点，对于提升科普绘本的科学性、知识性、趣味性、启发性、智能性和艺术性方面具有优势。AR技术能通过视听交互、触控交互、媒介交互构建沉浸体验、互动体验、联觉体验，在多感官整合体验中使阅读更具人性化。当前的AR科普绘本还需要坚持内容为王，在文本创作上坚持科学性、趣味性、艺术性的平衡，在技术融合上向深层次和多元化方向发展，不能只是将AR技术在科普绘本上进行简单叠加，而是要使AR技术与科普绘本的内容进行深度融合并优化体验性设计，才能吸引儿童的注意力进行有效阅读，达到传播科普知识的目的。

参考文献：

[1]徐翔，王丽，翁瑾.AR/VR技术与信息传播模式重构[J].出版广角，2018（19）：65-67.

[2]马俊锋，高宏斌.数字时代科普图书的界定分类及统计研究概况[J].科普研究，2017（5）：43-49+57+108-109.

[3]陈蓓.“出版+AR”：智媒时代儿童图书出版的优化策略[J].出版广角，2019（2）：62-64.

[4]詹秦川，赵洋.AR技术与传统纸媒的交互融合设计研究[J].包装工程，2018（6）：139-144.

作者简介：张慧娟，武汉设计工程学院艺术设计学院副教授。研究方向：视觉传达设计。

编辑：宋国栋