基于增强现实技术的纸质出版物阅读体验重构研究

吕欣+郑蔚琦

【摘 要】 随着互联网时代的到来，媒体受众的审美趣味、消费习惯以及消费场景发生了巨大变化，传统出版业正迎来一场全产业链的深刻变革。AR等数字技术不断介入纸质出版物的媒介符号形体、内容形态乃至叙述方式，传统出版业的生态体不断涌现数字科技的基因，AR技术成为推动产业变革的一个重要赋能者。文章从《奇幻之书》等AR图书实际案例分析入手，以技术特征、艺术语言、信息呈现、人机交互方式等为研究视角，对AR图书所带来的全新阅读体验进行深入分析。

【关 键 词】AR技术；纸质出版物；阅读体验

【作者单位】吕欣，中国传媒大学艺术学部动画与数字艺术学院，网络与未来社会研究中心；郑蔚琦，中国传媒大学互联网信息研究院。

【中图分类号】G230 【文献标识码】A

传播媒介是人类精神情感与社会文化的重要载体，每个时代都会将它的社会生活、时代意象、文化心理结构与精神气质投射到那个时代的媒介内容与形式之中。当既有媒介形式不足以表现当代社会日益复杂多样的信息样态和公众审美需求，而新的技术工具又能为新的媒介形式提供有效技术支撐与表现手段时，时代就会迫切召唤符合这一时代审美特征的新媒介形态出现 。

数字技术的血液里似乎有着与生俱来的革命性，当它迅速进入传统出版领域时，不断扰乱和冲击着这个行业固有的形态、模式与秩序。近几年随着增强现实（AR）、HTML5、大数据、人工智能等技术的应用，以及智能手机、平板电脑等电子终端大规模普及，以AR图书为代表的新型书籍成为全世界关注的焦点。纸质出版物的形态被不断改造和重构，其所固有的线性图文形态在图片、声音、二维与三维影像、互动游戏等多媒体元素的不断叠加中呈现多感官、跨媒介、富媒体、交互式的发展趋势。本文从《奇幻之书》等AR图书实际案例分析入手，以技术特征、艺术语言、信息呈现、人机交互方式等层面作为研究视角，尝试对AR图书所带来的全新阅读体验进行深入分析。

一、AR技术的特性及其在提升阅读体验中的应用

AR技术是指利用计算机生成的特定现实情境中的虚拟环境，通过各种传感设备将虚拟环境嵌入真实世界之中，使用户沉浸在这种虚实相融的环境中，并与之产生自然交互行为。AR技术具有虚实结合、实时交互和三维注册三大特点。虚实结合是指AR技术可以通过摄像头获取真实世界场景，将虚拟影像叠加到真实物体之上，产生超真实之感，再结合设备对真实环境的感知，营造出极具沉浸感的第三世界。实时交互是指AR技术通过实时跟踪、多传感器融合等技术实现实时交互反馈，虚实场景无缝衔接。三维注册是指利用AR技术，在三维空间中增添定位虚拟物体，同时能够检测出AR设备相对于现实场景的位置，并准确地将实时生成的虚拟影像叠加到真实世界中，最终达到虚实结合的效果。

随着《奇幻之书》《口袋动物园》《AR西游记》《科学跑出来》等AR图书的流行，过去只能在魔幻或科幻电影中才能看到的动态影像报纸、能冒出神灵的神奇书、与书中角色进行对话交流等奇幻事物已经成为现实。借助AR技术，我们可以将具有高度交互性的虚拟影像或真实影像实时嵌入客观世界里的真实生活场景，从而不断创造出令人叹为观止的超现实景观世界。以《口袋动物园》为代表的早期AR图书，借助实时语音、手机摄像头以及智能移动终端的运算性能，将一些简单的三维虚拟动画叠加到现实生活场景之中，实现了初级的交互式阅读体验。而《奇幻之书》等大型AR图书，则深度集成了动态控制器、运动捕捉、实时跟踪、多传感器融合等技术，并充分借鉴电影、数字游戏等艺术表现手段，通过全新的交互方式重构书籍阅读体验。

近年来，AR头盔、智能眼镜、显示器、智能手机等硬件技术发展迅速，加上3D引擎技术、体感交互技术、语音与语义识别技术、手机相机功能、GPS定位技术、电子罗盘技术、重力感应和距离感应等传感技术日益成熟，不断促使AR技术向纵深领域发展。

二、AR技术对纸质出版物阅读体验的重构

传统出版行业要想在互联网时代继续拥有立足之地，必须积极融入媒介变革的大浪潮之中，AR技术无疑是能为传统出版带来变革力量的积极赋能者之一。

加拿大著名传播学者麦克卢汉认为，媒介是人的感觉能力的延伸或扩展，印刷是视觉的延伸，电子媒介是中枢神经系统的延伸。AR技术与纸质出版物的结合则拥有了更多维度的信息整合与呈现能力。

纸质出版物与数字媒体原分属不同的物理媒介，现实世界与虚拟世界在理论上也是不会交叉的，但AR技术却悄然打破了这些界线。AR技术基于读者的现实生活场景，通过定位跟踪技术无缝接入虚拟影像，既让用户停留在印刷品实体所处的现实世界中，又增加了数字媒体层面可探索的深度内容，结合实时交互、三维注册的特点，传递多维度的信息，从而构建具有高度沉浸感的超真实世界。AR技术在促进纸质媒体与数字媒体相互融合的进程中，不断促使AR图书衍生出崭新的艺术语言及独特的艺术风格，给读者带来实时互动、交互叙事、拟像操控、沉浸式体验等全新阅读体验。

1.实时互动——从被动接受到主动参与

纸质出版物由于受物理载体的限制，其表现形式只限于文字和图片，交互形式也仅限于对纸张的翻动。AR技术则完全打破了纸质出版的物理局限，重构其表现形式及交互方式，以往用于承载特定信息的平面内容成为与数字媒体交互的实物载体和通往虚拟世界的入口，单一不变的平面内容变成多样的全息影像，为现实世界加入一层注解。AR技术的特点也奠定了交互过程中信息实时生成的技术基础，通过摄像头及各种传感器捕捉用户的动作、获取用户所在的环境信息、语音信息等，形成数据并实时生成对应的反馈信息呈现给用户，从而实现虚拟与现实的无缝交互。

2.交互叙事——从线性叙事到交互式叙事

AR技术融入纸质出版物，使其具备了交互式、碎片化、多向性等特征，打破了传统纸质出版物封闭、单一的线性逻辑，并对纸质出版物的传统叙事结构进行重构。用户在使用纸质出版物时往往只是单向的阅读者，当AR技术将数字媒体带入印刷品中，用户便拥有了阅读者、观看者、体验者甚至创造者的多重身份，对印刷品所承载的内容有了更加全面的体验。在AR营造的虚实结合交互环境中，用户可以在作品中自由移动，每一步操作都会生成新的叙述内容，不同于以往只能被动跟随作者，用户成为故事的主导者。当然，作品的交互叙事并不是绝对的，也需要与主题本身达到平衡，用户拥有的主权与作品传达的思想之间存在一定的冲突。因此，在印刷品的重构中，叙事结构的设计是一大难点，在保证用户参与感、主动性的同时要进行必要的控制，以避免故事情节无序发展造成美感缺失。endprint

3.拟像操控——读者在交互文本中投射自我意识

如果说传统纸质出版物主要是通过作家对作品进行控制与操作来完成，那么AR图书则在一定程度上依赖读者的深度操控来实时生成作品。操控建立了作品与读者间的关系，读者通过一定规则参与到作品创作中，影响作品内容的生成。同时，AR图书实时反馈用户的操作结果，读者不断在其中循环操作。操控对参与者与作品来说是一种双向交流改变的过程，这样就形成了一种独特的艺术对话机制。

读者通过对AR图书中虚拟角色的拟像操控，不断在各种情境中穿梭，使图书信息与内容不断生成，形成不断流变的过程。在这个过程中，参与者的想象被激发，自我意识投射到虚拟世界中，进行现实与虚拟互联。此时，读者成为能够阅读、感知、体验AR图书乃至内容生成与再创造的综合体。

4.沉浸式体验——从实体装置到隐形媒介

纸质出版物的阅读体验主要来源于作者的图文叙述，借助图文营造的叙事场景与故事，将读者带入作品的叙述时空与故事脉络中。读者沉浸感的有效实现大多取决于本身的阅读专注力以及精神参与度。AR环境下的实时互动与交互叙事基于现实世界的真实感与作品本身的开放性，再加上叠加于真实生活场景之上的交互虛拟影像，可以有效触发读者的好奇心以及操控欲，使读者完全投入其中，从而达到高度沉浸感的心流状态。

AR主要依赖于操控物与显示屏两个不可缺少的物理媒介来营造沉浸感，达到重构用户阅读体验的关键是实现这两个物理媒介的“隐形”。操控物本身可以成为用户在超现实世界的武器，并不会过多地干扰用户的沉浸体验，而显示屏则需要借助虚拟影像的逼真性来造就“隐形衣”，除了增强虚拟影像的画面、音效、动画等效果，对现实的渲染以融合两个世界也是实现沉浸感的核心要素。

三、AR技术在纸质出版物中的创新应用

无论是报纸、期刊、图书、说明书还是产品宣传单等印刷品，均可利用AR技术提高用户的参与度与想象力，突破纸质出版物单一维度的信息表现方式，从而给读者带来多感官、跨媒介、富媒体、交互式的全新阅读体验。德国《南德意志报》于2013年出版了AR杂志《星期五》，将杂志上的图文动态化，展现3D插图、交互式视频、字谜游戏等，颠覆了传统报刊的固定模式，使新闻展现形式更加丰富。《东京新闻》则专门为儿童开发了AR News应用，儿童读者可通过手机扫描报纸，阅读生词较少、篇幅简短的新闻或听卡通形象诵读新闻，成功地将纸媒用户扩大到儿童读者。《吉尼斯世界纪录大全2013》图片版发布时推出相关的AR应用，用户可以通过应用浏览书籍查看更加生动的信息。但这些应用方式仅仅停留在信息内容展示层面，未能全面发挥AR技术所带来的交互式沉浸体验的作用。

2012年，由索尼公司联手《哈利·波特》作者J.K.罗琳打造的AR图书《奇幻之书》，结合PlayStation Eye摄像头及对应的PlayStation Move动态控制器，可对书籍进行准确图像识别以及实时捕捉用户交互动作，实现用户与图书内容的深度互动，为用户全面展现了纸质出版物通过AR技术赋能所创造的诸多可能。

1.通过拟像操控与实时互动使用户完全沉浸于文本故事之中

《奇幻之书》的操作十分简单，用户只要坐在摄像头前，配上PlayStation Move控制器，在镜头的捕捉下，显示屏会缓缓生成奇幻的画面，同时将实体书映射成魔法学院场景，控制器映射成魔法棒，用户便成为这个超现实世界中的主人公，开启魔法师之路。基于镜头对图书内容和控制器的图像识别及精确跟踪定位，并通过对用户语音的接收反馈，用户可以实时操控魔法棒对画面中的虚拟元素进行操作，产生画面反馈，从而实现以往只能在电影世界中才能出现的效果。不同于纸质出版物的平面展现方式，《奇幻之书》通过实时互动使这些画面全息投影出来，从而极大地调动了用户的积极性，使其主动参与到作品之中，并通过多感官信息让用户完全置身于故事情境之中。

2.借助交互叙事使得图书文本具备开放式块茎结构

控制器作为作品本身的流程指挥器和作品世界的魔法棒，用户可以通过其掌握作品的入口，改变作品叙事的发展方向，而不再是跟随文字、画面盲目前进的被动者，用户还可以主动参与探索作品内容，感受作品带来的惊喜。这种开放式的交互叙事结构，既可以满足用户在魔法世界中探索的好奇心，又可以推动用户获得个人成就感。为了保证作品的有序性及完整性，作品中预设的章节解锁顺序、章节中可操控点的限制与用户的自主探索要达到一定的平衡，从而使图书文本呈现为有机的开放式块茎结构。

3.借助跨媒介、多媒体表现方式给读者带来多感官沉浸式体验

逼真的带有魔幻滤镜的画面，火、恐龙、信件、精灵、南瓜等元素，魔法学院、森林、密室等场景，伴随着配乐，《奇幻之书》通过显示屏为用户营造了精致的魔法环境，采用推拉摇移等电影拍摄手段使作品在画面过度时自然不突兀，这些不仅为用户提供了更具沉浸感的体验，也使作品本身成为有机的生命体。对现实场景进行拍摄、将真实记录的图片或者视频融入虚拟元素中，让用户抛开对物理媒介的戒备，全身心投入作品展现的魔法世界之中。

《奇幻之书》利用隐喻将用户的控制器巧妙地转化成魔法棒，通过用户自主探索推进故事的发展，削弱了其他因素对用户的干扰，使得用户完全沉浸在作品中，获得身临其境的独特体验，这些都是传统纸质出版物所不能达到的效果。

四、结语

纸质出版物在漫长的演进中，蕴含了太多优良的文化精神及美学体验，AR等数字技术不断介入纸质出版物的媒介符号形体、内容形态乃至叙述方式，使传统出版业的生态体不断涌现数字科技的基因。集纸质出版物与数字媒体优势于一身的AR图书，深度契合信息时代公众审美需求的变化以及信息消费方式的革新，使人类绵延千年的纸质出版物与数字科技相互浸润，再难分开。在这一过程中，基于AR技术的多种新型图书以及相应的艺术理念喷薄而出，促使出版领域原有的文本内容、表现形式及审美趣味日趋多元化，阅读体验方式更是发生了体系性改变。AR技术充分借助实时互动、交互叙事、拟像操控、沉浸式体验等全新阅读体验方式，悄然开创了出数字出版的新时代。

参考文献

[1] 莫梅锋，蒋文妮. 论增强媒介及其实现路径[J]. 传媒观察，2016（5）：28-30.

[2] 王卉，李金城. AR技术在图书出版领域的应用研究[J]. 中国出版，2015（17）：38-40.

[3] 刘派. 体验式阅读——自然交互技术在传统出版领域的应用研究[J]. 科技与出版，2014（12）：104-107.

[4] 朱松林，吴琼. AR在纸媒出版中的应用与发展障碍分析[J]. 科技与出版，2014（6）：122-125.

[5] 毕秋敏，曾志勇. 基于AR技术的纸质出版立体化[J]. 出版发行研究，2014（2）：52-57.

[6] 张健，蔡新元. AR在传统出版领域中的应用探索[J]. 科技与出版，2013（10）：90-94.endprint